Как настроить автоматическую генерацию robots.txt для разных сред? Самый надёжный способ — собирать этот файл на этапе деплоя из шаблонов, подставляя значения в зависимости от переменной окружения: для продакшена разрешать индексацию, а для стейджинга и тестовых сред запрещать её через директиву Disallow: /. В Node.js это делается скриптом, который проверяет process.env.NODE_ENV и записывает нужный файл в папку сборки, а в Docker — через entrypoint, подменяющий robots.txt при старте контейнера.
Важный технический нюанс: поисковики кешируют robots.txt, поэтому после переключения среды обязательно проверяйте ответ сервера командой curl -I https://ваш-домен/robots.txt и смотрите на код 200 и актуальное содержимое. Мини-чек-лист: создайте отдельные шаблоны под prod, staging и dev, пропишите генерацию в пайплайн CI/CD, добавьте проверку что файл не пустой, и не забудьте про Sitemap — в тестовых средах его лучше не указывать, чтобы не путать краулеров.