Как настроить robots.txt для нового сайта с нуля? Для этого создайте в корневой папке сайта файл robots.txt, пропишите в нём директиву User-agent: * и перечислите через Disallow разделы, которые не нужно индексировать. Проверьте правильность файла в разделе «Инструменты разработчика» → «Анализ robots.txt» в Яндекс.Вебмастере или в соответствующем инструменте Google Search Console.
Для нового сайта обязательно закройте от индексации служебные адреса: корзину, поиск, личный кабинет, а также временные страницы. Не блокируйте файлы CSS и JavaScript — без них поисковик не сможет корректно оценить вёрстку. После каждой правки пересчитывайте файл в указанных инструментах, чтобы убедиться, что синтаксис верен и важные страницы остались доступны.
Внимание:
Условия: Продвижение сайта ежедневными статьями — от 15 000 ₽/мес (1-й месяц — 25 000 ₽, настройка).
Если бюджет подходит — посмотреть тарифы →