Правильная индексация сайта поисковыми системами Robots.txt

robots

Быстрая и правильная индексация сайта роботами поисковых систем, является важным фактором эффективного продвижения  сайта.  Необходимым  условием для этого является  правильно составленный  файл robots.txt, расположенный в корневом каталоге вашего сайта.

robot-bot

Для чего на сайте нужен файл robots.txt?

При посещении любого сайта, поисковые боты в первую очередь проверяют этот файл. Если robots.txt не обнаружен – боты могут уйти не проиндексировав контент.

Основным назначением файла robots.txt является установка запрета на посещение поисковыми ботами, а следовательно на  индексацию, выбранных вами каталогов, разделов и страниц сайта.

Прежде всего, речь идёт о правилах “Disallow:”, исключающих попадание в индекс  дублированного контента, за который ваш сайт может попасть  под фильтр поисковых систем.

Например, при публикации новой статьи, её адрес выглядит так:

http://sitename.ru/статья10

в архиве рубрик адрес будет таким:

http://sitename.ru/рубрика/статья10

кроме этого, статья появится на главной странице, в ленте RSS, в архиве меток, поиске, replytocom и т.д.

Запрещёнными к индексации, могут быть также папки содержащие личную информацию, не представляющую интереса для посетителей, или разделы в которых хранятся конфиденциальные данные (пароли и др.) которые необходимо скрыть от публичного доступа.

Некоторые папки наоборот, надо открывать для индексации правилом “Allow:”.

Речь идёт о папке “Uploads”, в которой находятся изображения опубликованные на сайте. Хотя поисковые боты руководствуются правилом:” Что не запрещено – то разрешено”, тем не менее практика показывает, что в некоторых случаях это действие необходимо.

Многие вебмастера сталкивались с ситуацией, когда Яндекс не индексировал изображения сайта (в отличие от Гугла, у которого нет с этим проблем). Всё объясняется желанием лидера рунета, обращаться к нему персонально. Для этого  в файле robots.txt, в поле правил для Яндекса, необходимо применить правило “Allow: /wp-content/uploads/”. При первом посещении бота Яндекса, картинки будут проиндексированы при условии, что:

  1. страницы на которых они опубликованы находятся в индексе;
  2. изображения уникальны;
  3. страницы с изображениями не запрещены в robots.txt;
  4. изображения сохранены в стандартных форматах: GIF,JPEG(JPG),PNG;
  5. изображения должны иметь описание, чтобы поисковик выдавал их релевантно запросам. При добавлении изображения в публикацию, не поленитесь в правой колонке добавить описание.
Читать также:  Хостинг «Джино». Плюсы и минусы

Просмотреть правильно сгенерированный файл robots.txt, а также скопировать его можно здесь. Как и описано выше, правила запрета для индексации  установлены на служебные каталоги и разделы создающие дубли страниц. А папка с изображениями для индексации открыта.

На своём компьютере, в текстовом редакторе (Notepad2 или Notepad++) вам надо создать  текстовый документ и сохранить его как robots.txt. Название файла должно быть только таким – его нельзя изменять категорически.

Вставить в поле для текста скопированный  текст файла, обязательно измените “Host:”  на свой и укажите путь к своей карте сайта XML. Если у вас её нет – узнайте как её создать в статье “Google XML Sitemaps – карта сайта!”.

Теперь файл robots.txt  необходимо расположить в корневой папке сайта.

Сделать это можно двумя способами: Через панель управления хостингом или через FTP.

Вход в панель управления хостинга, в моём случае осуществляется через Cpanel. У вас может быть иначе, а все параметры доступа вы получили в письме от хостера  о создании сайта.

robots-cpanel

Входите и открываете менеджер файлов, а в нём папку “диспетчер файлов” .cpanell-261x300

По умолчанию, откроется корневая папка Public-HTML – именно сюда надо загрузить файл robots.txt.

robots-cpanel1

У меня  файл Robots.txt на месте, а вам надо его здесь разместить. Для этого в верхней панели инструментов кликните на папку “Загрузить” и укажите путь к файлу на своём компьютере.

Как загрузить файл на хостинг при помощи FileZilla читайте здесь.

Теперь и у вас он  расположен на месте.

Желаю Вам удачи.

Похожие статьи

Читать также:  Полезные рекомендации начинающим блоггерам
Закладка постоянная ссылка.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *