# robots.txt für Joomla - leuze-verlag.de # Stand 26.08.2026 (Umstellung auf den neuen Branchenfuehrer) # Änderungen gegenüber der aktuell live stehenden Fassung sind mit # [NEU] bzw. [FIX] markiert. # ============================================= # Alle Bots - Grundregeln User-agent: * # Blockiere session-intensive Bereiche Disallow: /component/docman/ Disallow: /component/users/ Disallow: /component/contact/ Disallow: /component/search/ Disallow: /component/finder/ Disallow: /component/mailto/ Disallow: /component/ajax/ # [NEU] Tag-Komponente. Das ist der Endpunkt, dessen Abfrage die Seite # umgebracht hat (getArticleTags, 11.549 Tags). Am 29.07. bis 07:33 Uhr # allein 4.078 Aufrufe. Auch gepatcht bleibt das die teuerste Seite. Disallow: /component/tags/ Disallow: /*/component/tags/ # [NEU] weitere Komponenten mit grossem URL-Raum # [26.08.2026] Umstellung auf den neuen Branchenfuehrer: Diese Adressen # antworten jetzt mit 301 auf die neue Branche. Gesperrt duerfen sie # deshalb nicht sein -- eine gesperrte Adresse wird nicht abgerufen, die # Umleitung also nie gelesen und der alte Eintrag bleibt im Index stehen. # Disallow: /component/sobipro/ # Disallow: /*/component/sobipro/ Disallow: /component/jevents/ Disallow: /*/component/jevents/ # [NEU] /de/ liefert ausschliesslich 301er (465 Aufrufe am 29.07.) Disallow: /de/ # [NEU] SEF-Duplikate Disallow: /index.php/ # Pagination-Endlosfalle stoppen (Bingbot hatte sich festgefressen, Stand 26.05.2026) Disallow: /*?*start= Disallow: /*?*limitstart= Disallow: /*?*limit= # Branchenfuehrer-Filter (Stand 29.07.2026) # Wirkt: bingbot ging am 29.07. von ~400 Filter-URLs/Stunde auf 0 zurueck, # knapp zwei Stunden nachdem er die neue robots.txt gelesen hatte. Disallow: /*?*cat= Disallow: /*?*group= Disallow: /*?*letter= Disallow: /*?*q= # --------------------------------------------- # Branchenfuehrer: Einzeleintraege ja, Filtervarianten nein # --------------------------------------------- # Zahlen vom 29.07., 00:00-07:33 Uhr: # Listenseite MIT Parametern 8.237 Aufrufe <- praktisch die ganze Last # Einzeleintraege 412 Aufrufe # Listenseite OHNE Parameter 25 Aufrufe # # Das Fragezeichen direkt hinter dem Listen-Slug trennt beides sauber: # blockiert wird nur die Liste samt Query, die Einzeleintraege darunter # (/galvanotechnik-2/branchenfuehrer-galva/firmenname) bleiben komplett frei. # Die parameterlose Listenseite bleibt bewusst erlaubt -- ueber sie findet # Googlebot die Einzeleintraege ueberhaupt erst. Disallow: /branchenfuehrer-galva? Disallow: /branchenfuehrer-elektro? Disallow: /*/branchenfuehrer-galva? Disallow: /*/branchenfuehrer-elektro? # [NEU 03.08.2026] Blaetterseiten stehen jetzt im Pfad: …/branchenfuehrer-galva/seite-2 # [26.08.2026] Die Uebersicht liegt seit der Umstellung unter einem # Menuepfad (/galvanotechnik-2/…), deshalb ueberall die Variante mit /*/ davor. # Sie bleiben bewusst erlaubt: es sind nur rund zehn je Branche, und ohne sie # faende Googlebot nur die ersten 20 von rund 180 Firmen (Sitemap gibt es keine). # Erfundene Seitenzahlen antworten seit dem 03.08. mit 404. # Gesperrt wird nur die Kombination aus Blaetterseite und Filter: Disallow: /branchenfuehrer-*/seite-*? Disallow: /*/branchenfuehrer-*/seite-*? # Alter Branchenfuehrer (SobiPro): Alphabet- und Filternavigation. # Beispiel aus dem Log: # /plus/branchenfuehrer-elektronik/list/alpha/b/field_elektroname_der_firma # ?amp=&b=field_elektroname_der_firma&list=alpha # [26.08.2026] Umstellung auf den neuen Branchenfuehrer: Diese Adressen # antworten jetzt mit 301 auf die neue Branche. Gesperrt duerfen sie # deshalb nicht sein -- eine gesperrte Adresse wird nicht abgerufen, die # Umleitung also nie gelesen und der alte Eintrag bleibt im Index stehen. # Disallow: /*/list/alpha/ # Disallow: /*?*list=alpha Disallow: /*?*site= Disallow: /*?amp Disallow: /*& # Eventkalender-Endlosschleife verhindern Disallow: /onlinemedien-plus/termine-plus/eventsnachtag/ Disallow: /onlinemedien-plus/termine-plus/eventsnachwoche/ Disallow: /onlinemedien-plus/termine-plus/eventsnachmonat/ Disallow: /onlinemedien-plus/termine-plus/monatskalender/ Disallow: /onlinemedien-plus/termine-plus/eventsbyday/ Disallow: /onlinemedien-plus/termine-plus/eventsbyweek/ Disallow: /onlinemedien-plus/termine-plus/eventsbymonth/ Disallow: /onlinemedien-plus/termine-plus/eventsbyyear/ Disallow: /onlinemedien-gt/termine-gt/eventsnachtag/ Disallow: /onlinemedien-gt/termine-gt/eventsnachwoche/ Disallow: /onlinemedien-gt/termine-gt/eventsnachmonat/ Disallow: /onlinemedien-gt/termine-gt/monatskalender/ Disallow: /onlinemedien-gt/termine-gt/eventsbyday/ Disallow: /en/onlinemedia-plus/date-plus/eventsbyday/ Disallow: /en/onlinemedia-plus/date-plus/eventsbyweek/ Disallow: /en/onlinemedia-plus/date-plus/eventsbymonth/ Disallow: /en/onlinemedia-plus/date-plus/eventsbyyear/ Disallow: /en/onlinemedia-plus/date-plus/monthcalendar/ Disallow: /en/onlinemedia-gt/date-gt/eventsbyday/ Disallow: /en/onlinemedia-gt/date-gt/monthcalendar/ Disallow: /es/component/jevents/eventsbyday/ Disallow: /*/jevents/eventsbyday/ Disallow: /*/jevents/eventsbyweek/ Disallow: /*/jevents/eventsbymonth/ # Generische JEvents-Patterns als Fallback (DE, EN, ES) Disallow: /*eventsbyday* Disallow: /*eventsbyweek* Disallow: /*eventsbymonth* Disallow: /*eventsbyyear* Disallow: /*eventsnachtag* Disallow: /*eventsnachwoche* Disallow: /*eventsnachmonat* Disallow: /*monatskalender* Disallow: /*monthcalendar* Disallow: /*fecha-plus* Disallow: /*date-plus* # Standard Joomla Verzeichnisse Disallow: /administrator/ Disallow: /api/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/ Disallow: /logs/ Disallow: /modules/ Disallow: /plugins/ Disallow: /tmp/ # URL-Parameter die Sessions erzeugen # [FIX] Alle Regeln haben jetzt ein zweites Sternchen: /*?*param= # Vorher stand hier /*?param= -- das trifft den Parameter nur dann, wenn er # der ERSTE in der Query ist. Praktisch steht er fast nie an erster Stelle: # von 5.044 task=-Aufrufen am 29.07. waren 5.019 nicht an erster Stelle, # die alte Regel hat also 99,5 Prozent davon durchgelassen. Disallow: /*?*option=com_docman Disallow: /*?*option=com_users Disallow: /*?*option=com_contact Disallow: /*?*option=com_ajax Disallow: /*?*view= Disallow: /*?*task= Disallow: /*?*layout=edit Disallow: /*?*searchword= Disallow: /*?*print= Disallow: /*?*tmpl=component Disallow: /*?*format=raw Disallow: /*?*format=json Disallow: /*?*format=feed # [NEU] Parameter aus der Logauswertung vom 29.07. # plugin= 1.567 Aufrufe, u.a. RunSchedulerLazy # sort= 1.013 Aufrufe, Sortiervarianten erzeugen Duplikate # direction= 781, time= 633, type= 440 Disallow: /*?*plugin= Disallow: /*?*sort= Disallow: /*?*direction= Disallow: /*?*time= Disallow: /*?*type= # Verlangsame Crawler (Google ignoriert das, Bing befolgt es) Crawl-delay: 2 # ============================================= # Spezielle Regeln für grosse Suchmaschinen # Wichtig: Crawler befolgen NUR ihren spezifischsten Block. Alles, was # fuer Googlebot und bingbot gelten soll, muss hier wiederholt werden. # ============================================= # Google - weniger restriktiv für SEO User-agent: Googlebot Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /tmp/ Disallow: /component/tags/ Disallow: /*/component/tags/ Disallow: /de/ Disallow: /index.php/ Disallow: /*?*print= Disallow: /*?*tmpl=component Disallow: /*?*format=raw Disallow: /*?*format=json Disallow: /*?*task= Disallow: /*?*view= Disallow: /*?*plugin= Disallow: /*?*sort= Disallow: /*?*direction= Disallow: /*?*start= Disallow: /*?*limitstart= Disallow: /*?*limit= Disallow: /*?*cat= Disallow: /*?*group= Disallow: /*?*letter= Disallow: /*?*q= # Branchenfuehrer: nur die Filtervarianten, nicht die Einzeleintraege Disallow: /branchenfuehrer-galva? Disallow: /branchenfuehrer-elektro? Disallow: /*/branchenfuehrer-galva? Disallow: /*/branchenfuehrer-elektro? # Blaetterseiten (…/seite-2) sind erlaubt, gefilterte Blaetterseiten nicht Disallow: /branchenfuehrer-*/seite-*? Disallow: /*/branchenfuehrer-*/seite-*? # [26.08.2026] Umstellung auf den neuen Branchenfuehrer: Diese Adressen # antworten jetzt mit 301 auf die neue Branche. Gesperrt duerfen sie # deshalb nicht sein -- eine gesperrte Adresse wird nicht abgerufen, die # Umleitung also nie gelesen und der alte Eintrag bleibt im Index stehen. # Disallow: /*/list/alpha/ # Disallow: /*?*list=alpha Disallow: /*?*site= Disallow: /*?amp Disallow: /*& Disallow: /*eventsbyday* Disallow: /*eventsbyweek* Disallow: /*eventsbymonth* Disallow: /*eventsbyyear* Disallow: /*eventsnachtag* Disallow: /*eventsnachwoche* Disallow: /*eventsnachmonat* Disallow: /*monatskalender* Disallow: /*monthcalendar* # Erlaube Googlebot Image User-agent: Googlebot-Image Disallow: /administrator/ Allow: /images/ # [NEU] Storebot-Google (Shopping-Crawler, 171 Aufrufe am 29.07.) User-agent: Storebot-Google Disallow: /component/tags/ Disallow: /*?*cat= Disallow: /*?*group= Disallow: /*?*letter= Disallow: /*?*q= Disallow: /*?*sort= Disallow: /*?*direction= # Bing User-agent: bingbot Disallow: /administrator/ Disallow: /cache/ Disallow: /component/docman/ Disallow: /component/users/ Disallow: /component/tags/ Disallow: /*/component/tags/ Disallow: /de/ Disallow: /index.php/ Disallow: /*?*start= Disallow: /*?*limitstart= Disallow: /*?*limit= Disallow: /*?*cat= Disallow: /*?*group= Disallow: /*?*letter= Disallow: /*?*q= Disallow: /*?*task= Disallow: /*?*view= Disallow: /*?*plugin= Disallow: /*?*sort= Disallow: /*?*direction= Disallow: /*?*tmpl=component Disallow: /*?*format=raw # Branchenfuehrer: nur die Filtervarianten, nicht die Einzeleintraege. # bingbot war hier der mit Abstand groesste Verursacher. Disallow: /branchenfuehrer-galva? Disallow: /branchenfuehrer-elektro? Disallow: /*/branchenfuehrer-galva? Disallow: /*/branchenfuehrer-elektro? # Blaetterseiten (…/seite-2) sind erlaubt, gefilterte Blaetterseiten nicht Disallow: /branchenfuehrer-*/seite-*? Disallow: /*/branchenfuehrer-*/seite-*? # [26.08.2026] Umstellung auf den neuen Branchenfuehrer: Diese Adressen # antworten jetzt mit 301 auf die neue Branche. Gesperrt duerfen sie # deshalb nicht sein -- eine gesperrte Adresse wird nicht abgerufen, die # Umleitung also nie gelesen und der alte Eintrag bleibt im Index stehen. # Disallow: /*/list/alpha/ # Disallow: /*?*list=alpha Disallow: /*?*site= Disallow: /*?amp Disallow: /*& Disallow: /*eventsbyday* Disallow: /*eventsbyweek* Disallow: /*eventsbymonth* Disallow: /*eventsbyyear* Disallow: /*eventsnachtag* Disallow: /*eventsnachwoche* Disallow: /*eventsnachmonat* Disallow: /*monatskalender* Disallow: /*monthcalendar* Crawl-delay: 5 # ============================================= # Aggressive Bots komplett blockieren # ============================================= User-agent: AhrefsBot User-agent: SemrushBot User-agent: SemrushBot-BA User-agent: DotBot User-agent: MJ12bot User-agent: Megaindex User-agent: SeznamBot User-agent: PetalBot User-agent: Bytespider User-agent: AspiegelBot User-agent: DataForSeoBot # [NEU] aus der Logauswertung 01.06.-29.07.2026 User-agent: Barkrowler User-agent: IbouBot User-agent: trendictionbot User-agent: SiteLockSpider User-agent: ShapBot User-agent: GeedoShop User-agent: Paqlebot User-agent: LinkupBot User-agent: genomecrawler User-agent: BLEXBot User-agent: serpstatbot User-agent: Diffbot User-agent: ImagesiftBot User-agent: Timpibot User-agent: omgili User-agent: Omgilibot User-agent: magpie-crawler User-agent: Scrapy User-agent: python-requests User-agent: scrape_central Disallow: / # ============================================= # Keine Trainingsdaten für KI-Modelle # ============================================= User-agent: GPTBot User-agent: ChatGPT-User User-agent: CCBot User-agent: anthropic-ai User-agent: Claude-Web User-agent: ClaudeBot User-agent: PerplexityBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: cohere-ai # [NEU] die vier hier haben am 29.07. zusammen 3.700 Anfragen gestellt # und standen bisher nicht in der Liste User-agent: meta-webindexer User-agent: Amzn-SearchBot User-agent: OAI-SearchBot User-agent: Claude-SearchBot User-agent: Claude-User User-agent: Meta-ExternalFetcher User-agent: FacebookBot Disallow: / # Social Media Bots - erlauben für Vorschau User-agent: facebookexternalhit User-agent: Twitterbot User-agent: LinkedInBot User-agent: WhatsApp User-agent: Slackbot User-agent: Discordbot Disallow: /administrator/ Disallow: /component/docman/ Allow: /images/ Allow: /media/
Folgende Keywords wurden erkannt. Überprüfe die Optimierung dieser Keywords für Deine Seite.
(Nice to have)