joomlaФайл robots.txt это текстовый файл, находящийся в корне сайта, содержащий специальные инструкции для поисковых роботов и предназначен для правильной и быстрой индексации сайта, для исключения из индекса дублированных и не нужных страниц сайта, указания на правильное доменное имя и т. д. Настройка файла robots.txt происходит на первом дне жизни сайта, до появления поисковых пауков.

 

Далее приведен наглядный пример robots.txt на основе читаемого вами сайта:
Не рекомендую его копировать к себе, т.к. в вашем случае он может отличаться в зависимости от ваших настроек и дополнительных расширений для Joomla

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Host: barabulki.ru
Sitemap: http://barabulki.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1

Директива User-agent: * указывает что параметры файла robots.txt обязательны для всех поисковиков.
Директива Disallow: запрещает индексировать части сайта.
Директива Sitemap: показывает путь к карте сайта. Как создать карту сайта для Joomla
Директива Host: указывает на главное зеркало сайта, в примере без www

webmaster.yandex.ru/robots.xml  на этом ресурсе можно проверить файл robots.txt на правильность разрешения, не разрешения к индексации роботом Яндекса.

Если вы только установили robots.txt на не молодой сайт и хотите знать, что уже в индексе, воспользуйтесь специальными командами в строке поиска:
для Яндекса: host:domen.ru | host:www.domen.ru
для Google: site:domen.ru
где domen.ru имя вашего домена.


Поделиться:

У вас нет прав для отправки комментариев. Войти используя свою социальную сеть