# ================================================ # robots.txt für www.werbetechnik-hoiss.de # Letzte Aktualisierung: 17. Dezember 2024 # ================================================ # Hauptregel für alle Crawler User-agent: * Allow: / # ================================================ # WICHTIGE SEITEN - ERLAUBT FÜR INDEXIERUNG # ================================================ # Impressum und Datenschutz MÜSSEN indexierbar sein (DSGVO!) Allow: /impressum Allow: /datenschutz # ================================================ # SEITEN VON DER INDEXIERUNG AUSSCHLIESSEN # ================================================ # Fehlerseiten Disallow: /404 Disallow: /500 Disallow: /error # Technische Seiten Disallow: /header.html Disallow: /footer.html # ================================================ # VERZEICHNISSE AUSSCHLIESSEN # ================================================ Disallow: /admin/ Disallow: /backup/ Disallow: /temp/ Disallow: /tmp/ Disallow: /_notes/ Disallow: /cgi-bin/ Disallow: /private/ Disallow: /test/ # ================================================ # DATEITYPEN AUSSCHLIESSEN # ================================================ # Dokumente (sollten nicht indexiert werden) Disallow: /*.pdf Disallow: /*.doc Disallow: /*.docx Disallow: /*.xls Disallow: /*.xlsx Disallow: /*.ppt Disallow: /*.pptx Disallow: /*.zip Disallow: /*.rar Disallow: /*.tar Disallow: /*.gz # ================================================ # RESSOURCEN EXPLIZIT ERLAUBEN # ================================================ # CSS und JavaScript (wichtig für Google Rendering) Allow: /*.css Allow: /*.js # Bilder (wichtig für Google Bildersuche) Allow: /img/ Allow: /*.jpg Allow: /*.jpeg Allow: /*.png Allow: /*.webp Allow: /*.svg Allow: /*.gif Allow: /*.ico # Schriftarten Allow: /*.woff Allow: /*.woff2 Allow: /*.ttf Allow: /*.eot # ================================================ # SITEMAPS # ================================================ Sitemap: https://www.werbetechnik-hoiss.de/sitemap.xml Sitemap: https://www.werbetechnik-hoiss.de/sitemap-images.xml # ================================================ # SPEZIELLE CRAWLER-REGELN (OPTIONAL) # ================================================ # GPTBot (OpenAI) - Optional blockieren # User-agent: GPTBot # Disallow: / # CCBot (Common Crawl) - Optional blockieren # User-agent: CCBot # Disallow: / # Crawl-Delay für langsame Server (optional) # User-agent: * # Crawl-delay: 10
Se han encontrado las siguientes palabras clave. Comprueba si esta página está bien optimizada para cada palabra clave en concreto.
(Deseable)