Задача любого оптимизатора, вебмастера или руководителя сайта – сделать сайт чистым, неуязвимым для спама и увеличения количества мусорных страниц, а также не допустить добавления в индекс поисковых систем ненужных технических страниц.

Для этого в арсенале должно быть несколько довольно распространенных и очевидных методов, которые нужно использовать с умом.

Прежде всего, необходимо получить полные списки страниц Вашего сайта, которые находятся на хостинге и которые находятся в поисковой системе.

Для этого подойдет программа NETPEAK SPIDER и выгрузка проиндексированных страниц из Яндекс.Вебмастера.

Анализируем эти списки:

1. На наличие мусорных, ненужных страниц в индексе и просто на сайте: закрываем их в файле robots.txt в тег disallow, в иных случаях ставим 404 ошибку…

И снова перепроверяем программой NETPEAK SPIDER, – делаем так до тех пор, пока выгрузка будет содержать только реально существующие страницы вашего сайта;

2. Одна и та же страница может быть доступна и проиндексирована по разным адресам: исключаем дубли, которые не участвуют в правильной внутренней перелинковке всего сайта.

Проставляем 301 редирект на нужные страницы;

3. У разных страниц могут быть идентичные метатеги: находим такие страницы и уникализируем метатеги, чтобы они не повторялись внутри сайта;

4. Если у вас интернет-магазин, то добавление товаров практически на всех сайтах осуществляется не по всем правилам, к примеру, в ассортименте у одного и того же товара есть разные цвета, размеры, цены и т. д…

Нужно постараться исключить такие повторения либо сделав группы простых товаров составными (многие современные админки уже умеют это), либо проставив тег <rel=”canonical”> у неглавных дублей основных товаров – таким образом, показав поисковой системе, что данные товары имеют аналогичное описание, метатеги и т. д.

Данный набор действий поможет привести сайт к удобному для поисковых роботов виду, ускорится время обхода сайта и количество заходов на сайт поисковых роботов, а как следствие — поднимет позиции Вашего сайта.