Как настроить robots.txt для нового сайта с нуля?
Как настроить robots.txt для нового сайта с нуля? Для этого создайте в корневой папке сайта файл robots.txt, пропишите в нём директиву User-agent: * и перечислите через Disallow разделы, которые не нужно индексировать. Проверьте правильность файла в разделе «Инструменты разработчика» → «Анализ …












