Как ускорить индексирование файла robots.txt

5 Январь, 2016

Сканирование и индексирование обновлённого файла robots.txt можно ускорить. Об этом рассказал специалист службы качества поиска Google Джон Мюллер (John Mueller) на форуме Google Webmaster Help.

«Вы можете ускорить обработку Google последней версии robots.txt (обычно, мы делаем это раз в день в зависимости от конкретного сайта). Для этого нужно использовать Инструмент проверки файла robots.txt в Search Console. Здесь вы увидите текущую, уже проиндексированную версию, и сможете отправить в Google изменённый файл для повторного сканирования», — пояснил Мюллер в ответ на вопрос одного из вебмастеров о проблемах, связанных с robots.txt.

Как отправить новую версию файла в Google, подробно рассказано в Справочном центре.

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.

Блог

Зачем вообще это может быть нужно СМИ? Может быть таким образом они получают деньги... 
Пытаясь разобраться, как привлечь к себе внимание понравившейся им девушки, многие... 
Одним из главных требований, который мы предъявляем к любой мебели, является... 
Пора понять, что проблемы со здоровьем никогда не начинаются внезапно. Дело в...