Ссылка на оригинал
Шаг 8. Карта сайта
Лучший способ подружить поисковик с сайтом - явно указать все странички которые он должен проиндексировать. Для этого служит карта сайта - обычно это xml-файлик sitemap.xml, который располагается в коренном каталоге и содержит список страниц для индексации.
Формат файла и порядок работы с ним описаны на сайте
Обычно для больших сайтов, типа форумов с кучей топиков и разделов, я пишу свой собственный скрипт, формирующий sitemap.xml, но в данном случае просто воспользовался одним из Для небольшого сайта с количеством страниц до 500 довольно удобный. Нашлись 220 страничек и получился файл размером в 40Кб. Заодно таким образом можно проверить, какие из страниц доступны ботам - если какая-нибудь не нашлась, значит стоит поискать ошибки в системе навигации.
Чтобы скормить карту сайта Гуглю, нужно иметь в нем учетную запись веб-мастера, добавить в инструментах свой сайт и указать название файла.
У кого еще нет такой учетной записи, регистрация
После подтверждения сайта в инструментах веб-мастера можно найти много интересных отчетов и дополнительных сервисов, которые будут полезны. Некоторые из отчетов, типа показа всех внутренних и внешних ссылок сайта, обновляются очень редко, но могут предоставить информацию, которую Гугль обычно прячет.
По некоторым данным Яндекс также в этом году собирается запустить поддержку карт - некоторые веб-мастера фиксируют обращение поискового бота к файлу sitemap.xml - видимо идет тестирование такой возможности.
Ну и до кучи стоит написать, что существует расширение файла robots.txt, позволяющее явным образом указать название файла карты. Для Гугля и Яндекса у меня прописаны отдельные правила, а для всех остальных вполне можно такую строку дописать:
Код:
User-agent: *
Disallow:
Sitemap: http://ваш_url/sitemap.xml
Тоже недавно думал на тему …
Расскажи плиз про robots.txt в разрезе Sitemap подробнее — что чем обрабатывается. Я как-то упустил этот момент =(
Дело в том, что цикл статей «Оптимизация и продвижение сайта» были написаны не мной, а пользователем Wink с форума нашего хостинга eomy.net Вверху каждой статьи я ссылку приводил. Материал показался мне интересным, и я с разрешения Winka его опубликовал.
Так что на Вашу просьбу [quote post=»57″]Расскажи плиз про robots.txt в разрезе Sitemap подробнее — что чем обрабатывается. Я как-то упустил этот момент =([/quote]
здесь кое — что есть
Подробнее про robots.txt на сайтах:
— eng
и
— rus
Угумс… Не обратил внимания на ссылку =)
Спасибо, читаю.
Пожалуйста 🙂
Да вот как нужно сообщить об xml сайтмепе в поисковики: