1. Сервис «Проверка выдачи сайта» при запросе с указанными User-Agent, Referer или другими заголовками. Для чего это удобно:
- Проверять — не отдаётся ли другой контент, если представиться поисковым роботом, например.
- Проверять правильно ли работают запрет на доступы к сайту при определённых Referer, например.
- Проверять сайт на уязвимости при отдачи определённых headers.
2. Сервис «Получение robots.txt» — получает и хранит архив файлов сайта клиента robots.txt, отвечающий за директивы для индексации сайтами роботами.