налаштування генерацію robots.txt

На данный момент robots.txt отдается на хапрокси.

Необходимо переместить управление этим файлом в ЦБД.

Реализовать энпоинт (/robots.txt) в сервисе который будет динамически генерировать контент файла. В идеале, эндпоинты для robots брать из свагер файлов конкретного сервиса и в самих сервисах разрешать индексировать или нет, ну в первой версии это не обизательно.