User-agent: scrapy Disallow: / User-agent: msnbot Crawl-delay: 10 User-agent: Applebot Crawl-delay: 10 User-agent: LinkedInBot Crawl-delay: 10 User-agent: Bingbot Crawl-delay: 120 User-agent: facebookexternalhit Disallow: / User-agent: meta-externalagent Disallow: / User-agent: Meta-ExternalFetcher Disallow: / User-agent: * Allow: /
Se han encontrado las siguientes palabras clave. Comprueba si esta página está bien optimizada para cada palabra clave en concreto.
(Deseable)