Проверка индексации страниц в Яндекс Вебмастер

Для проверки индексации сайта переходим по ссылке webmaster.yandex.ru

Примечание: Для пользования инструментом необходимо подтвердить доступ к сайту. Это выполняется с помощью инструкций Яндекс или при предоставлении Вам прав администратором сайта.

1. Открываем панель Яндекс Вебмастер и выбираем сайт для проверки.

 2. Открывается панель инструментов для выбранного сайта.

3. Выбираем пункт индексирование.

4. Сейчас нас интересуют страницы в поиске. По клику открывается график последних изменений. Зелёным цветом отмечены новые страницы попавшие в поиск. Синим цветом - удалённые из поиска страницы.

5. Прокрутив вниз страницы увидим подробную информацию о добавленных и удалённых страницах

6. На что здесь обращать внимание?

6.1 Первое и самое важное. Дубликаты контента.

Проблема возникает когда сайт отдаёт поисковому роботу одинаковое содержимое по разным url (адресам страниц).

Рассмотрим эту проблему на примере данной страницы.

Её url (адрес, который мы видим в адресной строке браузера "ilin-group.ru/instruktsii/seo/41-proverka-indeksatsii-stranits-v-yandeks-vebmaster", где "ilin-group.ru" - название сайта, "instruktsii" и "seo" - раздел и категория где находится документ, "41-proverka-indeksatsii-stranits-v-yandeks-vebmaster" - название документа.

Разные cms (системы управления сайтом), настройки сайта, доработки программиста, установленные на сайт дополнения могут привести к появлению на сайте этой страницы доступной по другому адресу.

Например, в процессе обхода сайта поисковый робот может найти нам страницу вида: "ilin-group.ru/tag/yandeks-vebmaster/41-proverka-indeksatsii-stranits-v-yandeks-vebmaster", где "ilin-group.ru" - название сайта, "tag" - компонент тегирования (меток документа), "yandeks-vebmaster" - название тега, "41-proverka-indeksatsii-stranits-v-yandeks-vebmaster" - название документа.

Попадание в индекс нового документа с одинаковым поисковые машины определяют как критическую ошибку. Ваш сайт будет понижен в результатах выдачи.

Что делать?

  • первый вариант - использовать на странице мета-тэг rel="canonical". При помощи этого мета-тэга мы указываем канонический адрес для данной страницы. Для этой страницы в запись в коде head страницы будет следующей:
    <link rel="canonical" href="http://ilin-group.ru/instruktsii/seo/41-proverka-indeksatsii-stranits-v-yandeks-vebmaster"/>​
  • второй вариант - закрыть страницу от индексации в файле robots.txt