Google стал игнорировать robots.txt?

5812558535_c38c8037c0_z-1В последнее время, многие вебмастера запада отмечают, что Google стал игнорировать запреты, прописанные в файле robots.txt. Из чего они сделали такие выводы? Все просто. Ответ лежит в результах выдачи. Было замечено, что страницы, которые закрыты от индексации, появляются в результатах поисковой выдачи Google. В чем причина? Это новый алгоритм Google?

Нет. Это не новый алгоритм Google. И причина, как оказалось, не в самом Google.

Вебмастерам на заметку

Решите задачку. Вводные данные. Есть сайт domain.com. На сайте есть куча страниц. Одна из нихdomain.com/mypage.html. Вопрос: “В каком случае страница попадет в выдачу, если на нее стоит запрет в robots.txt и ни одной ссылки на эту страницу нету на всем сайте? … Ответ очевиден: поисковики не могут и не будут индексировать то, чего для них нет или скрыто. Это значит, что страница должна была быть ранее открыта для поисковых роботов. Это правильный ответ.

Отмечу еще один важный момент. Вебмастер закрывает то ссылку на страницу для своего сайта. Он не имеет возможности закрыть или удалить эту ссылку с каталогов или других ресурсов. С них тоGoogle и тянет результат в поисковую выдачу. Единственное, что эта ссылка не будет иметь снипета, т.е. описания.

Вот как комментирует эту ситуацию аместитель директора по продвижению в западном сегменте Роман Вилявин: “Подобные страницы не ищутся по точному вхождению текста, по TITLE, в кэше пусто. Однако такое положение дел мешает тем, что любая служебная страница, скажем domain.com/admin/password, может быть найдена таким образом“.

Что делать?

Для того чтобы служебные и другие страницы не появлялись в SERP, используйте мета-тэг “noindex“, либо инструмент URL Removal Tool в том случае, если она уже там.

Читать также:  Правильный прирост ссылок для гугла

Похожие статьи

Закладка постоянная ссылка.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *