Проверка файла robots.txt

Анализирует синтаксис файла robots.txt. Проверяет правильность директив Disallow, наличие ссылки на Sitemap.xml и предотвращает случайное закрытие важных страниц сайта от индексации поисковыми роботами Яндекса и Google.