Host: arbir.ru User-Agent: Yandex # Правила для поисковика Yandex Sitemap: http://arbir.ru/sitemap.xml # Disallow: empty Disallow instruction SHOULD be there Disallow: /?* # все что www.arbir.ru/? Disallow: /*?* # все что htm? Disallow: /bitrix/ # служебная директория Allow: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow Allow: /bitrix/templates/ # директория с шаблонами Allow: /bitrix/js # директория с js scripts Allow: /bitrix/components/bitrix/forum.interface/templates/ # директория с шаблонами Allow: /bitrix/cache/ # директория с cache Disallow: /forum/ # forum пока не доведено до ума Disallow: /answerlot/messages/ # answerlot пока не доведено до ума Disallow: /answerlot/help/ # answerlot пока не доведено до ума Disallow: /answerlot/rules/ # answerlot пока не доведено до ума Disallow: /answerlot/search/ # answerlot пока не доведено до ума Disallow: /answerlot/rss/ # answerlot пока не доведено до ума Disallow: /answerlot/search/ # answerlot пока не доведено до ума Disallow: /answerlot/subscribe/ # answerlot пока не доведено до ума Disallow: /answerlot/topic/ # answerlot пока не доведено до ума Disallow: /answerlot/users/ # answerlot пока не доведено до ума Disallow: /answerlot/pm/ # answerlot пока не доведено до ума Disallow: /answerlot// # answerlot пока не доведено до ума Disallow: /epaap/ekip06/ # служебная директория Disallow: /epaap/ekip_2011/ # служебная директория Disallow: /auth/ # служебная директория Disallow: /communication/ # служебная директория Disallow: /content/ # не используемая, закрытая директория Disallow: /examples/ # служебная директория Disallow: /h/ # служебная директория Disallow: /news/ # не используемая, закрытая директория Disallow: /laws/ # служебная директория Disallow: /links/ # не используемая, закрытая директория Disallow: /faq/ # не используемая, закрытая директория Disallow: /e-store/ # не используемая, закрытая директория Disallow: /gallery/ # не используемая, закрытая директория Disallow: /themes/ # не используемая, закрытая директория Disallow: /catalog/ # не используемая, закрытая директория Disallow: /w/ # не используемая, закрытая директория Disallow: /log/ # служебная директория Disallow: /navykov/ # служебная директория Disallow: /pda/ # служебная директория Disallow: /personal/ # служебная директория Disallow: /search/ # Поисковый модуль Disallow: /tags_cloud/ # служебная директория Disallow: /test/ # здесь тесты Disallow: /testing/ # здесь тесты Disallow: *print=Y # Страницы для печати Disallow: /*.zip$ # Запрещает все '*.zip' на данном сайте Disallow: /miscellany/U18S781* # Запрещает неправильно проиндексированный сборник Crawl-delay: 2 # Задает таймаут 1 секунд. задает поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. User-Agent: * Sitemap: http://arbir.ru/sitemap.xml # Disallow: empty Disallow instruction SHOULD be there Disallow: /?* # все что www.arbir.ru/? Disallow: /*?* # все что htm? Disallow: /bitrix/ # служебная директория Allow: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#allow-disallow Allow: /bitrix/templates/ # директория с шаблонами Allow: /bitrix/js # директория с js scripts Allow: /bitrix/components/bitrix/forum.interface/templates/ # директория с шаблонами Allow: /bitrix/cache/ # директория с cache Disallow: /forum/ # forum пока не доведено до ума Disallow: /answerlot/messages/ # answerlot пока не доведено до ума Disallow: /answerlot/help/ # answerlot пока не доведено до ума Disallow: /answerlot/rules/ # answerlot пока не доведено до ума Disallow: /answerlot/search/ # answerlot пока не доведено до ума Disallow: /answerlot/rss/ # answerlot пока не доведено до ума Disallow: /answerlot/search/ # answerlot пока не доведено до ума Disallow: /answerlot/subscribe/ # answerlot пока не доведено до ума Disallow: /answerlot/topic/ # answerlot пока не доведено до ума Disallow: /answerlot/users/ # answerlot пока не доведено до ума Disallow: /answerlot/pm/ # answerlot пока не доведено до ума Disallow: /answerlot// # answerlot пока не доведено до ума Disallow: /epaap/ekip06/ # служебная директория Disallow: /epaap/ekip_2011/ # служебная директория Disallow: /auth/ # служебная директория Disallow: /communication/ # служебная директория Disallow: /content/ # не используемая, закрытая директория Disallow: /examples/ # служебная директория Disallow: /h/ # служебная директория Disallow: /news/ # не используемая, закрытая директория Disallow: /laws/ # служебная директория Disallow: /links/ # не используемая, закрытая директория Disallow: /faq/ # не используемая, закрытая директория Disallow: /e-store/ # не используемая, закрытая директория Disallow: /gallery/ # не используемая, закрытая директория Disallow: /themes/ # не используемая, закрытая директория Disallow: /catalog/ # не используемая, закрытая директория Disallow: /w/ # не используемая, закрытая директория Disallow: /log/ # служебная директория Disallow: /navykov/ # служебная директория Disallow: /pda/ # служебная директория Disallow: /personal/ # служебная директория Disallow: /search/ # Поисковый модуль Disallow: /tags_cloud/ # служебная директория Disallow: /test/ # здесь тесты Disallow: /testing/ # здесь тесты Disallow: *print=Y # Страницы для печати Disallow: /*.zip$ # Запрещает все '*.zip' на данном сайте Disallow: /miscellany/U18S781* # Запрещает неправильно проиндексированный сборник Crawl-delay: 1 # Задает таймаут 1 секунд. задает поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. # Host: www.arbir.ru # будет учитывать, что это главное зерколо # Disallow: /content/board/ # Не задействованная директория # Disallow: /content/collective_action/ # Не задействованная директория # Disallow: /content/gallery/ # Не задействованная директория # Disallow: /content/links/ # Не задействованная директория # Disallow: /content/media/ # Не задействованная директория # Disallow: /content/photo/ # Не задействованная директория # Disallow: /forum/messages* # Запрещает индексацию отдельных сообщений в форуме # Disallow: /new_templates/ # служебная директория
Following keywords were found. You can check the keyword optimization of this page for each keyword.
(Nice to have)