Robots.txt
User-agent: *
Disallow: /suche
Disallow: /search
Disallow: /de/diw_02.c.298577.de/soeppapers.html
Disallow: /en/diw_02.c.298577.en/soeppapers.html
Disallow: /en/diw_01.c.620271.en/publications/soeppapers.html
Disallow: /de/diw_01.c.620271.de/publikationen/soeppapers.html
Disallow: /de/diw_01.c.626639.de/publikationssuche.html
Disallow: /en/diw_01.c.626639.en/search_publications.html
Disallow: /en/diw_01.c.629929.en/soep/soep_research_infrastructure_publications.html
Disallow: /de/diw_01.c.629929.de/soep/publikationen_der_forschungsbasierten_infrastruktureinrichtung__sozio-oekonomisches_panel__soep.html
Disallow: /de/diw_01.c.799933.de/veranstaltungen_-_archiv.html
Disallow: /en/diw_01.c.799933.en/events_-_archive.html
Disallow: /suche_soep
Disallow: /de/diw_01.c.676225.de/thema_bildung.html
Disallow: /en/diw_01.c.676225.en/topic_education.html
Disallow: /de/diw_01.c.694373.de/thema_familie.html
Disallow: /en/diw_01.c.694373.en/topic_family.html
Disallow: /de/diw_01.c.694379.de/thema_gender.html
Disallow: /en/diw_01.c.694379.en/topic_gender.html
Disallow: /de/diw_01.c.694383.de/thema_gesundheit.html
Disallow: /en/diw_01.c.694383.en/topic_health.html
Disallow: /de/diw_01.c.982417.de/thema_kriminalitaet.html
Disallow: /en/diw_01.c.982417.en/topic_crime.html
Disallow: /de/diw_01.c.694387.de/thema_migration.html
Disallow: /en/diw_01.c.694387.en/topic_migration.html
Disallow: /de/diw_01.c.694391.de/thema_persoenlichkeit.html
Disallow: /en/diw_01.c.694391.en/topic_personality.html
Disallow: /de/diw_01.c.694395.de/thema_surveymethodologie_und_data-science.html
Disallow: /en/diw_01.c.694395.en/topic_survey_methodology_and_data-science.html
Disallow: /de/diw_01.c.702438.de/thema_ungleichheit.html
Disallow: /en/diw_01.c.702438.en/topic_inequality.html
Disallow: /de/diw_01.c.702434.de/thema_wohlbefinden.html
Disallow: /en/diw_01.c.702434.en/topic_well-being.html
Disallow: /de/diw_01.c.698709.de/thema_forschung_und_entwicklung.html
Disallow: /en/diw_01.c.698709.en/topic_research_and_development.html
Disallow: /de/diw_01.c.698705.de/thema_industrie.html
Disallow: /en/diw_01.c.698705.en/topic_industry.html
Disallow: /de/diw_01.c.698701.de/thema_maerkte.html
Disallow: /en/diw_01.c.698701.en/topic_markets.html
Disallow: /de/diw_01.c.698697.de/thema_produktivitaet.html
Disallow: /en/diw_01.c.698697.en/topic_productivity.html
Disallow: /de/diw_01.c.698693.de/thema_regionalwirtschaft.html
Disallow: /en/diw_01.c.698693.en/topic_regional_economy.html
Disallow: /de/diw_01.c.698689.de/thema_unternehmen.html
Disallow: /en/diw_01.c.698689.en/topic_firms.html
Disallow: /de/diw_01.c.698685.de/thema_verbraucher.html
Disallow: /en/diw_01.c.698685.en/topic_consumers.html
Disallow: /de/diw_01.c.698681.de/thema_wettbewerb_und_regulierung.html
Disallow: /en/diw_01.c.698681.en/topic_competition_and_regulation.html
Disallow: /de/diw_01.c.698677.de/thema_digitalisierung.html
Disallow: /en/diw_01.c.698677.en/topic_digitalization.html
Disallow: /de/diw_01.c.698673.de/thema_energiewirtschaft.html
Disallow: /en/diw_01.c.698673.en/topic_energy_economics.html
Disallow: /de/diw_01.c.698669.de/thema_immobilien_und_wohnen.html
Disallow: /en/diw_01.c.698669.en/topic_real_estate_and_housing.html
Disallow: /de/diw_01.c.698665.de/thema_klimapolitik.html
Disallow: /en/diw_01.c.698665.en/topic_climate_policy.html
Disallow: /de/diw_01.c.698661.de/thema_ressourcenmaerkte.html
Disallow: /en/diw_01.c.698661.en/topic_resource_markets.html
Disallow: /de/diw_01.c.698657.de/thema_umweltmaerkte.html
Disallow: /en/diw_01.c.698657.en/topic_enviromental_markets.html
Disallow: /de/diw_01.c.698653.de/thema_verkehr.html
Disallow: /en/diw_01.c.698653.en/topic_transportation.html
Disallow: /de/diw_01.c.698649.de/thema_arbeit_und_beschaeftigung.html
Disallow: /en/diw_01.c.698649.en/topic_labor_and_employment.html
Disallow: /de/diw_01.c.698643.de/thema_europa.html
Disallow: /en/diw_01.c.698643.en/topic_europe.html
Disallow: /de/diw_01.c.698505.de/thema_finanzmaerkte.html
Disallow: /en/diw_01.c.698505.en/topic_financial_markets.html
Disallow: /de/diw_01.c.698639.de/thema_geldpolitik.html
Disallow: /en/diw_01.c.698639.en/topic_monetary_policy.html
Disallow: /de/diw_01.c.698635.de/thema_konjunktur.html
Disallow: /en/diw_01.c.698635.en/topic_business_cycles.html
Disallow: /de/diw_01.c.698631.de/thema_oeffentliche_finanzen.html
Disallow: /en/diw_01.c.698631.en/topic_public_finances.html
Disallow: /de/diw_01.c.698627.de/thema_rente_und_vorsorge.html
Disallow: /en/diw_01.c.698627.en/topic_retirement_and_pension_provision.html
Disallow: /de/diw_01.c.698616.de/thema_steuern.html
Disallow: /en/diw_01.c.698616.en/topic_taxes.html
Disallow: /de/diw_01.c.698612.de/thema_verteilung.html
Disallow: /en/diw_01.c.698612.en/topic_distribution.html
Disallow: /ex_path_six_modules
Disallow: /fm
Disallow: /fp
Disallow: /globals
Disallow: /img
Disallow: /mitarbeiter_eingabe
Disallow: /objects
Disallow: /tmp
Crawl-delay: 20
(Nice to have)