Мой основной проект: Боевые искусства в кинематографе! (fight-films.info)

Свеженькое
Реакция публики
Облако пометок

Правильный robots.txt и sitemap.xml для WordPress

Search Engine OptimizationНа повестке дня - сделать первый шаг для поисковой оптимизации сайта.

Поисковые системы - это в первую очередь роботы, которые занимаются индексированием нашего сайта и предоставлением его в своем поиске. А для того, чтоб легче воспринимать веб-сайты, они используют вспомогательные файлы. В первую очередь это файлы robots.txt и .xml, о них сегодня и речь пойдет, точней о создании этих файлов для WordPress.

Представим что мы уже добавили свой сайт в такие как Яндекс и Google. И они приступили к индексации нашего сайта. И в первое же обращение поисковики смотрят наш файл robots.txt...

Создание правильного robots.txt для WordPress

Поскольку на индексацию нашего сайта поисковой машине выделяется лишь определенное время, его необходимо использовать исключительно с пользой. В основном, за это отвечает файл robots.txt, лежащий в корне сайта, к которому поисковик обращается в первую же очередь. Задача этого файла - упрощение работы поисковых роботов путем исключения "лишних" страниц, которые не несут в себе информационной составляющей.

WordPress создает много "лишних" страниц, индексирование которых поисковыми ботами может привести не только к тому, что важные страницы сайта не попадут в поиск, но и может вызвать неприятности с дублированием контента (в случае, если не проведены seo работы по уникализации разделов), за этим уже последуют санкции, что неприятно.

Значит, нам необходимо исключить весь "мусор" из индексации. Я покажу свой robots.txt и прокомментирую:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Host: www.a3s.biz

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed

Sitemap: http://www.a3s.biz/sitemap.xml

Заполнив наш robots.txt таким образом, мы даем понять поисковому роботу какие категории сайта не стоит индексировать. Тут запрещен доступ в админку и страницу авторизации, в плагины, кеш и шаблоны, а также все фиды и трекбеки. Часто рекомендуют запрещать доступ к комментариям, но я считаю что комментарии - уникальный текст, который должен находиться поисковиками. Еще можно запретить к поиску страницы рубрик, меток и архивов, но в этом смысла мало, если они у вас уникальные.

Первые записи (до Host: www.a3s.biz) имеют отношение исключительно к Яндексу, у него запись "User-agent" уникальная, для всех остальных поисковых систем используется просто звездочка. Также, только Яндексу принадлежит директива "Host" , потому вписывать ее для других поисковиков не нужно.

Последней строчкой (Sitemap: http://www.a3s.biz/sitemap.xml) мы указываем расположение нашей карты сайта, файла sitemap.xml, о котором далее...

Как создать карту сайта для поисковых роботов (sitemap.xml)

Файл sitemap.xml полная противоположность robots.txt, если последний указывает поисковому роботу какие страницы не следует индексировать, то первый - помогает попасть в поиск важным страницам. Файл sitemap.xml успешно используется такими поисковиками, как Google, Yahoo, Ask.com, MSN и Яндекс, то есть - самыми популярными, что очень хорошо. Не смотря на то, что поисковые системы не гарантируют использование карты сайта, ее стоит создавать.

Конечно, самым качественным способом создания карты сайта является "ручное" создание с помощью предназначенных для этого программ, но это занимает много времени... Благо, для WordPress существует замечательный плагин, который автоматически генерирует и обновляет наш sitemap.xml, называется он "Google XML Sitemaps", несмотря на название, карты, создаваемые им, подходят для всех поисковых систем. Тут находится его описание, и скачать там же можно. Советую.

Всего комментариев: 12
  1. Спасибо:

    Спасибо. пожалуй возьму ваш роботс

  2. Кест:

    Непонимаю, зачем нужны метки если они делают дубли ? всмысле если мы запрещяем метки индексировать то какой тогда от них толк ?

    • BarSug:

      В первую очередь — юзабилити. Удобность в пользовании.

  3. seoblogo:

    Грамотный пост

  4. ФДуч:

    Спасибо за информацию) А как можно отключить индексирование комментариев?

    • BarSug:

      В роботс можно добавить строку:

      Disallow: */comments/

      Но комментарии — это уникальный текст, индексация которого, по моему мнению, довольно полезна.

    • ФДуч:

      Спасибо, просто на сайте отключены комментарии :)

  5. Простой:

    А как сделать карту сайта xml без плагинов для WP?

    • BarSug:

      Плагин для xml карты сайта один из лучших. Думаю, глупо было бы от него отказываться. А без плагина…не знаю, разве то, вручную менять после каждого поста. Есть специальные программы и онлайн сервисы, которые генерируют карту сайта. Но, повторюсь, для нормальной работы нужно будет после каждой новой статьи заново генерировать и заливать xml. Это…как минимум, неудобно.

  6. Дима:

    Если установить плагин Google XML Sitemaps, что делать с файлом sitemap.xml в корне сайта и ссылкой в robots.txt на него???

  7. Статьи:

    Четко, ясно, коротко)