Robots.txt
# Actualizacion: 12 de septiembre 2024
# GAP Mexico
# Permitir a todos los robots acceder a ciertas secciones y recursos del sitio
User-agent: *
Allow: /tienda/pdp/
Allow: /tienda/*cat
Allow: /tienda/*cat*?showplp
Allow: /tienda/*cats*?showplp
Allow: /tienda/*catst*?showplp
Allow: /tienda/paginas/
Allow: /*.js$
Allow: /*.css$
# Bloquear el acceso a paginas específicas (Landings)
Disallow: /tienda/cart$
Disallow: /tienda/users/creditCards$
Disallow: /tienda/credit$
Disallow: /tienda/help$
Disallow: /tienda/login$
Disallow: /tienda/airtime$
Disallow: /tienda/nip$
Disallow: /tienda/monitor-orders$
Disallow: /tienda/safety-site$
Disallow: /tienda/services$
Disallow: /tienda/sitemap$
# Bloquear el acceso a grupos específicos de paginas
Disallow: /tienda?
Disallow: /tienda/*?s=
Disallow: /tienda/*?%
Disallow: /tienda/*;s
Disallow: /tienda/*;Ns
Disallow: /tienda/*Ns=
Disallow: /tienda/*/N-
Disallow: /tienda/*?amp;recsPerPage=
Disallow: /tienda/*?recsPerPage
Disallow: /tienda/*?skuId=
Disallow: /tienda/*categoryName
Disallow: /tienda/*compareBy
Disallow: /tienda/*eventDNo
Disallow: /tienda/*eventNo
Disallow: /tienda/*isAsc
Disallow: /tienda/*Nf=
Disallow: /tienda/*Ns=
Disallow: /tienda/*&s=
Disallow: /tienda/*recsPerPage
Disallow: /tienda/*salePrice
Disallow: /tienda/*page-*?showPLP
Disallow: /tienda/*?amp
Disallow: /tienda/*search
Disallow: /tienda/*page-
Disallow: /tienda/*undefined
Disallow: /tienda/*.php$
Disallow: /tienda/*.jsp$
Disallow: /tienda/checkout/
Disallow: /tienda/search/
Disallow: /tienda/promotion/
Disallow: /tienda/undefined/
Disallow: /tienda/users/
Disallow: /tienda/api/
# Permitir a los bots de Google rastrear todas las paginas
User-agent: Googlebot
Disallow:
# Permitir a los bots de Google Images rastrear todas las imagenes
User-agent: Googlebot-Image
Disallow:
# Permitir a los bots de Google Video rastrear todas las paginas de video
User-agent: Googlebot-Video
Disallow:
# Permitir a los bots de Google Mobile rastrear todas las paginas moviles
User-agent: Googlebot-Mobile
Disallow:
# Permitir a los bots de Google rastrear todas las paginas
User-agent: Googlebot/2.1
Disallow:
# Permitir a los bots de Storebot-Google rastrear todas las paginas
User-agent: Storebot-Google
Disallow:
# Googlebot-Shopping para permitir rastreo especializado en productos
User-agent: Googlebot-Shopping
Disallow:
# Permitir a los bots de Adsbot-Google rastrear ciertas paginas y recursos
User-agent: Adsbot-Google
Allow: /tienda?
Allow: /tienda/*page-
Allow: /tienda/*?s=
# Permitir a los bots de Mediapartners-Google rastrear ciertas paginas y recursos
User-agent: Mediapartners-Google
Allow: /tienda?
Allow: /tienda/*page-
Allow: /tienda/*?s=
# Bloquear al bot EtaoSpider
User-agent: EtaoSpider
Disallow:
# Permitir a los bots de comparadores de precios rastrear ciertas paginas y recursos
# Permitir a los bots de otros motores de busqueda acceder a los sitemaps
Sitemap: https://www.gap.com.mx/sitemap/sitemap.xml
Sitemap: https://www.gap.com.mx/sitemap/hreflang-gap.xml
(Nice to have)