Файл robots.txt

robots-dli-wordpress-300x300Файл robots.txt для сайта на WordPress

Продолжая серию статей «Сайт с нуля», и рассказывая о настройке сайта, переходим к одному небольшому, но очень важному моменту настройки сайта или блога — файлу robots.txt

Для чего нужен robots.txt

Одним из самых основных моментов оптимизации сайта под поисковые системы, является файл robots.txt.  Этот файл располагается в корневой папке вашего сайта и отвечает за индексацию вашего сайта поисковыми системами, указывая поисковым роботам, какие разделы сайта и файлы не стоит индексировать ( например папку wp-dmin, комментарии, поиск  и т.д. )  
Фалом роботс.тхт вы можете открывать и закрывать для индексации именно те разделы сайта, папки и файлы, которые нужны именно вам, например было время, когда я открыл для индексации категории, потом закрыл их от поисковиков, также можно сделать открытыми и закрытыми теги и другие папки, страницы, в зависимости от того, что именно вам нужно.

Как составить robots.txt

Для того, чтобы составить файл роботс, вам нужно понять, что именно вам нужно закрыть от поисковиков, какие папки, файлы и разделы сайта им не нужно индексировать.   Например комментарии, их можно оставить открытыми, можно закрыть, можно спрятать некоторые разделы сайта, также в этом файле нужно указать путь к карте сайта ( карта сайта для поисковиков ), строчка Host: указывает домен вашего сайта ( с www или без )

Также вы можете для разных поисковых систем задать разные директивы, например у вас может быть различие между тем, как ваш сайт индексируют поисковые системы Яндекс и Google, например, для тех, кто использует для заработка Google AdSense, желательно вставить в самом начале файла строчки

User-agent: Mediapartners-Google
Disallow:

Эта директива для робота Google AdSense, которая позволит ему корректно обходить ваш сайт и собирать всю, нужную ему информацию ( я поставил его после того, как обнаружил, что у меня не отображается статистика кликов и просмотров, несмотря на установленный блок рекламы )

Читать также:  Админка WordPress

Есть очень много моментов, которые следует учитывать при составлении файла  robots.txt,  все  они описаны в специальном руководстве Яндекса  по составлению роботса и найти их все можно на странице

http://help.yandex.ru/webmaster/?id=996567    где всё описано самым подробным образом, а я покажу вам свой файл и расскажу, как можно посмотреть его на других сайтах

Пример robots.txt

Именно этот файл сейчас используется на моем сайте

User-agent: *

Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host:prodvizenie.info

Sitemap: http://prodvizenie.info/sitemap.xml

Для того, чтобы просмотреть файл роботс на другом сайте, вам нужно всего лишь установить себе расширение для хрома RDS-бар и если вы видите в графе «Другие параметры» robots да  кликнуть на него и вы увидите этот файл в новом окне браузера.robots-600x357-300x178

 

Проверить робот сможно на Яндексе   http://webmaster.yandex.ru/robots.xml  

Загрузить файл robots на сайт

Загрузить файл роботс на свой сайт можно несколькими способами, например, по FTP или используя файловый менеджер хостинга

Загрузка Файла robots на хостинге » Джино»

На хостинге «Джино» для того, чтобы загрузить файл роботс.тхт на сайт, вам понадобится зайти в контрольную панель  http://cp.jino.ru/cpanel   и в разделе «Управление» вы увидите «Файловый менеджер»

Кликаем на него  и попадаем в файловый менеджер, где вы можете управлять файлами на ваших сайтах, находящихся на этом хостинге .

Читать также:  Карта сайта для поисковиков и людей

Выбираем папку «domains«, в ней выбираем ваш сайт ( если у вас несколько сайтов, то выбираем нужный ) и попадаем в корневой каталог вашего сайта.  После того, как вы перешли в корневой каталог, нажимаем вверху значок «Создать»  выбираем файл и загружаем его в корневую папку вашего сайта.   Всё. Вы стали счастливым обладателем нужного и полезного файла.  Поздравляю!

Загрузка файла robots на hostinger

Тем, кто предпочитает бесплатный или платный хостинг www.hostinger.ru ( рекомендую платный, скорость выше и сервера мощнее ) загрузить файл robots  через файловый менеджер тоже просто.
Для этого заходим на хостинг, переходим в свой аккаунт

и находим раздел «Файлы»

Выбираем файловый менеджер ( в моем случае это файловый менеджер 1 ) вводим пароль

Загрузить файл robots.txt по FTP

Для загрузки файлов на хостинг по FTP используйте программы Total Commander  ( платный ) илиFilezilla  ( бесплатный FTP-менеджер )

Найти Тотал Коммандер можно по адресу http://www.ghisler.com/  или на русском языке на сайте http://wincmd.ru/

Пароль к FTP аккаунту можно узнать на своем хостинге.
Я использую   Total Commander, но для тех, кто хочет воспользоваться бесплатным FTP менеджером — велкам плиз, бесплатный руссифицированный FTP менеджер Filezilla скачать который и узнать о том, как с ним работать можно по адресу http://filezilla.ru/

Я рекомендую вам использовать FTP доступ, так как использование FTP менеджеров позволит вам совершать намного больше действий, чем при использовании файлового менеджера хостинга ( например на некоторых хостингах есть ограничения по размеру загружаемых файлов, а по FTP вы можете загрузить файлы и папки большего размера )

И в заключении хочу сказать, что файл robots.txt несмотря на то, что он очень небольшой по размеру, но отнюдь не самый маленький по значению и имеет существенное значение для индексации вашего сайта.

Читать также:  Как должен выглядеть СДЛ в чистом виде ( только для людей )

 

Закладка постоянная ссылка.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *