# DI Wirtschaftsberatung - Robots.txt # https://di-w.de # Letzte Aktualisierung: 2025-01-24 # =========================================== # GOOGLE (Hauptsuchmaschine) # =========================================== User-agent: Googlebot Allow: / Disallow: /admin/ Disallow: /admin Disallow: /member/dashboard Disallow: /member/profile Disallow: /member/dataroom Disallow: /auth Disallow: /auth/ Disallow: /*?* # Query-Parameter vermeiden Disallow: /api/ Crawl-delay: 1 User-agent: Googlebot-Image Allow: /images/ Allow: /assets/ Allow: /og-image.jpg Allow: /og-image.png # =========================================== # BING # =========================================== User-agent: Bingbot Allow: / Disallow: /admin/ Disallow: /admin Disallow: /member/dashboard Disallow: /member/profile Disallow: /member/dataroom Disallow: /auth Disallow: /auth/ Disallow: /*?* Disallow: /api/ Crawl-delay: 2 # =========================================== # SOCIAL MEDIA BOTS (vollständiger Zugriff für Previews) # =========================================== User-agent: Twitterbot Allow: / User-agent: facebookexternalhit Allow: / User-agent: LinkedInBot Allow: / User-agent: Slackbot Allow: / User-agent: WhatsApp Allow: / User-agent: TelegramBot Allow: / # =========================================== # AI-CRAWLER (optional blockieren) # =========================================== User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: CCBot Disallow: / User-agent: anthropic-ai Disallow: / User-agent: Claude-Web Disallow: / # =========================================== # SEO TOOLS (erlauben für Analyse) # =========================================== User-agent: AhrefsBot Allow: / Crawl-delay: 10 User-agent: SemrushBot Allow: / Crawl-delay: 10 User-agent: DotBot Allow: / Crawl-delay: 10 # =========================================== # ALLE ANDEREN BOTS # =========================================== User-agent: * Allow: / Disallow: /admin/ Disallow: /admin Disallow: /member/dashboard Disallow: /member/profile Disallow: /member/dataroom Disallow: /auth Disallow: /auth/ Disallow: /*?* Disallow: /api/ Disallow: /_* # Interne Routen Crawl-delay: 5 # =========================================== # SITEMAP # =========================================== Sitemap: https://di-w.de/sitemap.xml # =========================================== # HOST (Canonical Domain) # =========================================== Host: https://di-w.de
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)