Мой основной проект: Боевые искусства в кинематографе! (fight-films.info)

Свеженькое
Реакция публики
    Облако пометок
    css Google html SEO WordPress Яндекс видео графический дизайн заработок интернет интернет магазин контент партнерка поисковые системы посещаемость продвижение раскрутка реклама сайт ссылки статья юзабилити

    Правильный robots.txt и sitemap.xml для WordPress

    Search Engine OptimizationНа повестке дня - сделать первый шаг для поисковой оптимизации сайта.

    Поисковые системы - это в первую очередь роботы, которые занимаются индексированием нашего сайта и предоставлением его в своем поиске. А для того, чтоб легче воспринимать веб-сайты, они используют вспомогательные файлы. В первую очередь это файлы robots.txt и sitemap.xml, о них сегодня и речь пойдет, точней о создании этих файлов для WordPress.

    Представим что мы уже добавили свой сайт в такие поисковые системы как Яндекс и Google. И они приступили к индексации нашего сайта. И в первое же обращение поисковики смотрят наш файл robots.txt...

    Создание правильного robots.txt для WordPress

    Поскольку на индексацию нашего сайта поисковой машине выделяется лишь определенное время, его необходимо использовать исключительно с пользой. В основном, за это отвечает файл robots.txt, лежащий в корне сайта, к которому поисковик обращается в первую же очередь. Задача этого файла - упрощение работы поисковых роботов путем исключения "лишних" страниц, которые не несут в себе информационной составляющей.

    WordPress создает много "лишних" страниц, индексирование которых поисковыми ботами может привести не только к тому, что важные страницы сайта не попадут в поиск, но и может вызвать неприятности с дублированием контента (в случае, если не проведены seo работы по уникализации разделов), за этим уже последуют санкции, что неприятно.

    Значит, нам необходимо исключить весь "мусор" из индексации. Я покажу свой robots.txt и прокомментирую:

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-login
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: */trackback
    Disallow: */feed
    Host: www.a3s.biz
    
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-login
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: */trackback
    Disallow: */feed
    
    Sitemap: http://www.a3s.biz/sitemap.xml
    

    Заполнив наш robots.txt таким образом, мы даем понять поисковому роботу какие категории сайта не стоит индексировать. Тут запрещен доступ в админку и страницу авторизации, в плагины, кеш и шаблоны, а также все фиды и трекбеки. Часто рекомендуют запрещать доступ к комментариям, но я считаю что комментарии - уникальный текст, который должен находиться поисковиками. Еще можно запретить к поиску страницы рубрик, меток и архивов, но в этом смысла мало, если они у вас уникальные.

    Первые записи (до Host: www.a3s.biz) имеют отношение исключительно к Яндексу, у него запись "User-agent" уникальная, для всех остальных поисковых систем используется просто звездочка. Также, только Яндексу принадлежит директива "Host" , потому вписывать ее для других поисковиков не нужно.

    Последней строчкой (Sitemap: http://www.a3s.biz/sitemap.xml) мы указываем расположение нашей карты сайта, файла sitemap.xml, о котором далее...

    Как создать карту сайта для поисковых роботов (sitemap.xml)

    Файл sitemap.xml полная противоположность robots.txt, если последний указывает поисковому роботу какие страницы не следует индексировать, то первый - помогает попасть в поиск важным страницам. Файл sitemap.xml успешно используется такими поисковиками, как Google, Yahoo, Ask.com, MSN и Яндекс, то есть - самыми популярными, что очень хорошо. Не смотря на то, что поисковые системы не гарантируют использование карты сайта, ее стоит создавать.

    Конечно, самым качественным способом создания карты сайта является "ручное" создание с помощью предназначенных для этого программ, но это занимает много времени... Благо, для WordPress существует замечательный плагин, который автоматически генерирует и обновляет наш sitemap.xml, называется он "Google XML Sitemaps", несмотря на название, карты, создаваемые им, подходят для всех поисковых систем. Тут находится его описание, и скачать там же можно. Советую.

    комментариев 12
    1. Спасибо:

      Спасибо. пожалуй возьму ваш роботс

    2. Кест:

      Непонимаю, зачем нужны метки если они делают дубли ? всмысле если мы запрещяем метки индексировать то какой тогда от них толк ?

      • BarSug:

        В первую очередь — юзабилити. Удобность в пользовании.

    3. seoblogo:

      Грамотный пост

    4. ФДуч:

      Спасибо за информацию) А как можно отключить индексирование комментариев?

      • BarSug:

        В роботс можно добавить строку:

        Disallow: */comments/

        Но комментарии — это уникальный текст, индексация которого, по моему мнению, довольно полезна.

      • ФДуч:

        Спасибо, просто на сайте отключены комментарии :)

    5. Простой:

      А как сделать карту сайта xml без плагинов для WP?

      • BarSug:

        Плагин для xml карты сайта один из лучших. Думаю, глупо было бы от него отказываться. А без плагина…не знаю, разве то, вручную менять после каждого поста. Есть специальные программы и онлайн сервисы, которые генерируют карту сайта. Но, повторюсь, для нормальной работы нужно будет после каждой новой статьи заново генерировать и заливать xml. Это…как минимум, неудобно.

    6. Дима:

      Если установить плагин Google XML Sitemaps, что делать с файлом sitemap.xml в корне сайта и ссылкой в robots.txt на него???

    7. Статьи:

      Четко, ясно, коротко)