Техника ·
Что закрывать в robots.txt, а что не трогать
robots.txt говорит роботу, какие адреса лучше не обходить. Им закрывают кабинет, корзину, поиск по сайту и служебные параметры. Им не закрывают страницы, которые должны находиться по запросам.
Частая ошибка — запретить весь сайт на время разработки и забыть открыть его после запуска. Тогда новые статьи не попадают в обход, хотя на них ведут ссылки.
Второй промах — закрыть CSS и скрипты. Робот хуже понимает мобильную вёрстку, а страница для человека при этом выглядит нормально.
Лама проверяет, открывается ли файл robots.txt, и показывает, что в нём написано. Он не придумывает «идеальный» файл за хозяина сайта: закрывать ли каталог, решает тот, кто знает, какие адреса должны быть в поиске.
Что реально видно в аудите открытой страницы
Title и description без списка ключей