Новый инструмент тестирования robots.txt в Google Webmaster Tools (События)

Обновлен инструмент тестирования файлов robots.txt в Google Webmaster Tools. Теперь пользователи смогут выявлять ошибки, из-за которых Google не индексирует страницы сайта, редактировать файлы, проверять, не заблокированы ли URL, и просматривать старые версии файла robots.txt.

Если Google не индексирует страницу или целую часть сайта, тестер robots.txt, расположенный в разделе «Индексирование» в Google Webmaster Tools, позволит вам проверить, нет ли проблемы в вашем файле robots.txt. (Ранее этот раздел назывался «Заблокированные URL».)

Новый инструмент тестирования robots.txt в Google Webmaster Tools (События)

В блоге для вебмастеров Google сказано, что пользователи могут вносить изменения в файл и проверять их. Чтобы изменения вступили в силу, нужно просто загрузить новую версию файла на сервер.

Кроме этого, можно просматривать более ранние версии файла robots.txt и смотреть, когда была поставлена блокировка индексирования. Например, если робот видит 500 ошибку для файла robots.txt, Google обычно прекращает дальнейшую индексацию сайта.

В посте на Google+, посвященном этой новости, Джон Мюллер посоветовал пользователям проверять robots.txt на наличие ошибок и предупреждений всегда, даже если кажется, что файл идеален.   

Источник: http://www.seonews.ru/events/novyy-instrument-testirovaniya-robots-txt-v-google-webmaster-tools/

Заказать сайт, Обслуживание, продвижение, раскрутка, seo сайтов и реклама в Интернете
Внимание Акция! Сайт за 10 дней! Вы можете заказать разработку любого сайта за 10 рабочих дней, с доплатой всего 30% от его стоимости! >>>
Внимание Акция! Ждем новых друзей! Скидка 10% на услуги по созданию и(или) обслуживанию вашего сайта при переходе к нам от другого разработчика.
VPS