Как разрешить индексацию только определённых разделов сайта?

Как разрешить индексацию только определённых разделов сайта? В robots.txt по умолчанию обход всего сайта разрешён, поэтому для режима «только выбранные разделы» добавьте Disallow: / и затем Allow для каждого нужного пути — более длинное правило имеет приоритет. Такой запрет управляет обходом, но не гарантирует исключение из индекса: уже проиндексированные URL дополнительно закрывайте meta robots noindex или X-Robots-Tag. На практике укажите в robots.txt Disallow: /, а ниже — Allow: /каталог/ и Allow: /статьи/, включив в sitemap только эти разделы; проверьте, что разрешённые пути не перекрыты более длинным запретом, и не ставьте noindex на страницы, закрытые в robots.txt, потому что поисковик не увидит директиву. Для страниц вне нужных разделов, которые уже есть в выдаче, временно снимите запрет на обход, добавьте noindex или X-Robots-Tag, дождитесь переобхода и только потом при необходимости верните запрет.