User-agent: scrapy Disallow: / User-agent: msnbot Crawl-delay: 10 User-agent: Applebot Crawl-delay: 10 User-agent: LinkedInBot Crawl-delay: 10 User-agent: Bingbot Crawl-delay: 120 User-agent: facebookexternalhit Disallow: / User-agent: meta-externalagent Disallow: / User-agent: Meta-ExternalFetcher Disallow: / User-agent: * Allow: /
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)