Оптимизация и продвижение сайта. Шаг пятый.

Ссылка на оригинал статьи Winka

 

Шаг 5. robots.txt

Составляем файлик, который будет указывать поисковым роботам как именно они должны проиндексировать сайт.
В индекс Гугля попало некоторое количество динамических ссылок нашего сайта. Я не стал писать кучу редиректов для них в .htaccess, а просто запрещу их индексацию в robots.txt. Статические ссылки проиндексируются, а динамические постепенно из индекса уйдут.

Все динамические ссылки сайта имеют вид /?page=ХХХХХ поэтому правила для всех роботов будут такими:
Код:
User-agent: *
Disallow: /?page=
Disallow: /index.php?page=

 

Робот Яндекса понимает также директиву Host, которая определяет, какое из зеркал считать главным (т.е. в данном случае какой адрес "главнее" - с www или без него). Основным сайтом будет ваш_url(примечание: писать без добавления http:// или www). Добавляем:
Код:
User-agent: Yandex
Disallow: /?page=
Disallow: /index.php?page=
Host: ваш_url

 

Ну и одна непроверенная гипотеза (практически слух) говорит о том, что робот Гугля не любит "быть как все" и часто плюет на правила, если про него забывают и валят в кучу с остальными роботами. Не стану обижать малыша и пропишу для него персональные правила 🙂

В итоге файл robots.txt выглядит у меня следующим образом:
Код:
User-agent: *
Disallow: /?page=
Disallow: /index.php?page=

 

User-agent: Googlebot
Disallow: /?page=
Disallow: /index.php?page=

 

User-agent: Yandex
Disallow: /?page=
Disallow: /index.php?page=
Host: ваш_url

 

Его и запишем в коренной каталог сайта.
Осталось пройтись по основным русскоязычным поисковикам и сообщить о своем существовании. Остальные сами подтянутся.

Продолжение следует...

Похожие записи

Оптимизация и продвижение сайта. Шаг третий.... Ссылка на оригинал статьи Winka Шаг 3. Псевдостатика Все странички нашего сайта имеют адреса вида /?page=main, /?page=news и т.д. От таких дин...
Вам бы там побывать (обзор). 4 часть... Интересная статья на блоге про блоги Дмитрия Донченко про WordPress 2.7, в которой можно узнать, что там будет нового. По наводке одного хорошего че...
Вчера вышел долгожданный WordPress 2.8... Появилась новая версия WordPress 2.8, которую можно скачать с сайта WordPress.org и подробности об этой версии прочитать на блоге....
Оптимизация и продвижение сайта. Введение... Ссылка на оригинал статьи Winka   Цикл статей об оптимизации и продвижении сайта были заимствованы мной c форума Eomy.net по личному разрешен...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Страницы

Метки

Рубрики

Свежие записи

Свежие комментарии

Октябрь 2017
Пн Вт Ср Чт Пт Сб Вс
« Апр    
 1
2345678
9101112131415
16171819202122
23242526272829
3031  

Архивы