Оптимизация и продвижение сайта. Шаг пятый.

Ссылка на оригинал статьи Winka

 

Шаг 5. robots.txt

Составляем файлик, который будет указывать поисковым роботам как именно они должны проиндексировать сайт.
В индекс Гугля попало некоторое количество динамических ссылок нашего сайта. Я не стал писать кучу редиректов для них в .htaccess, а просто запрещу их индексацию в robots.txt. Статические ссылки проиндексируются, а динамические постепенно из индекса уйдут.

Все динамические ссылки сайта имеют вид /?page=ХХХХХ поэтому правила для всех роботов будут такими:
Код:
User-agent: *
Disallow: /?page=
Disallow: /index.php?page=

 

Робот Яндекса понимает также директиву Host, которая определяет, какое из зеркал считать главным (т.е. в данном случае какой адрес "главнее" - с www или без него). Основным сайтом будет ваш_url(примечание: писать без добавления http:// или www). Добавляем:
Код:
User-agent: Yandex
Disallow: /?page=
Disallow: /index.php?page=
Host: ваш_url

 

Ну и одна непроверенная гипотеза (практически слух) говорит о том, что робот Гугля не любит "быть как все" и часто плюет на правила, если про него забывают и валят в кучу с остальными роботами. Не стану обижать малыша и пропишу для него персональные правила 🙂

В итоге файл robots.txt выглядит у меня следующим образом:
Код:
User-agent: *
Disallow: /?page=
Disallow: /index.php?page=

 

User-agent: Googlebot
Disallow: /?page=
Disallow: /index.php?page=

 

User-agent: Yandex
Disallow: /?page=
Disallow: /index.php?page=
Host: ваш_url

 

Его и запишем в коренной каталог сайта.
Осталось пройтись по основным русскоязычным поисковикам и сообщить о своем существовании. Остальные сами подтянутся.

Продолжение следует...

Похожие записи

Вчера вышел долгожданный WordPress 2.8... Появилась новая версия WordPress 2.8, которую можно скачать с сайта WordPress.org и подробности об этой версии прочитать на блоге....
Оптимизация и продвижение сайта. Шаг третий.... Ссылка на оригинал статьи Winka Шаг 3. Псевдостатика Все странички нашего сайта имеют адреса вида /?page=main, /?page=news и т.д. От таких дин...
Оптимизация и продвижение сайта. Шаг первый и шаг ... Ссылка на оригинал статьи Winka Многих вебмастеров сейчас интересуют вопросы раскрутки и поисковой оптимизации сайтов. В этой теме я хочу сделать...
Вам бы там побывать (обзор). 4 часть... Интересная статья на блоге про блоги Дмитрия Донченко про WordPress 2.7, в которой можно узнать, что там будет нового. По наводке одного хорошего че...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Страницы

Метки

Рубрики

Свежие записи

Свежие комментарии

Август 2017
Пн Вт Ср Чт Пт Сб Вс
« Апр    
 123456
78910111213
14151617181920
21222324252627
28293031  

Архивы