Файл robots.txt это текстовый файл, находящийся в корне сайта, содержащий специальные инструкции для поисковых роботов и предназначен для правильной и быстрой индексации сайта, для исключения из индекса дублированных и не нужных страниц сайта, указания на правильное доменное имя и т. д. Настройка файла robots.txt происходит на первом дне жизни сайта, до появления поисковых пауков.
Далее приведен наглядный пример robots.txt на основе читаемого вами сайта:
Не рекомендую его копировать к себе, т.к. в вашем случае он может отличаться в зависимости от ваших настроек и дополнительных расширений для Joomla
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: barabulki.ru (уже не актуально)
Sitemap: https://barabulki.ru/index.php?option=com_xmap&view=xml&tmpl=component&id=1
Директива User-agent: * указывает что параметры файла robots.txt обязательны для всех поисковиков.
Директива Disallow: запрещает индексировать части сайта.
Директива Sitemap: показывает путь к карте сайта. Как создать карту сайта для Joomla
Директива Host: указывает на главное зеркало сайта, в примере без www
webmaster.yandex<.>ru/robots.xml на этом ресурсе можно проверить файл robots.txt на правильность разрешения, не разрешения к индексации роботом Яндекса.
Если вы только установили robots.txt на не молодой сайт и хотите знать, что уже в индексе, воспользуйтесь специальными командами в строке поиска:
для Яндекса: host:имявашегодомена | host:www.имявашегодомена
для Google: site:имявашегодомена
