Есть очень большой сайт - в сумме больше 5 млн. страниц, требуют индексации чуть более 2 млн., остальные не так важны. Существует 9 месяцев, в Гугле было максимум 35000, сейчас 29000. Сайт - каталог определенной продукции (малоконкурентный). Все базовые требования соблюдены - “человеко-понятные” URLы, все titles, describes и keywords разные. По мере возможности сделали разными и страницы продуктов, хотя, конечно, всё делается одним скриптом из БД. При таких объемах достоверно неизвестно, какие страницы Гугл посещал и какие есть в индексе. Хотя гуляет там Гугл в количестве 4-5 ботов постоянно. Сделан динамически генерируемый sitemap.xml в количестве 25000 ссылок на страницы, при каждом заходе гугл получает новый вариант (по идее, рано или поздно должен получить ссылки на все страницы). Находящиеся в индексе страницы успешно генерируют мало-мальский трафик (порядка 100 человек в сутки с 30000 страниц), все запросы - низкочастотные. Другого шанса поднять посещаемость кроме как проиндексировать все страницы у этого сайта нет, высокочастотных запросов на них нет и не будет. Есть же сайты подобных размеров, находящиеся полностью в индексе. Что надо сделать, чтобы гугл проникся и проиндексировал? Я думал поставить побольше ссылок - но ссылки на внутренние страницы ставить смысла нет, их слишком много. Имеет ли смысл навалить кучу ссылок на главную? И хотелось бы услышать другие идеи.
Для индексации большого объёма страниц необходимы 2 условия
1. Вес ресурса.
2. Возраст ресурса.
Но забыл тогда упомянуть ещё одно, возможно самое важное, условие - посещаемость этих страниц. Даже если сайт динамично обрастает ссылками в течении нескольких лет, страницы, на которые ни кто не заходит, будут выплёвываться с индекса.Сайтмапы - бесполезная вещь, если на страницу можно добраться с морды переходя по ссылкам. Знание о существовании страницы и взятие её в индекс не одно и то же.
Автору поможет повышение PR (а значит - жирные беки) и грамотная внутренняя перелинковка + время
у меня сайт с ~300 тыс. страниц полностью проиндексировался примерно за 5-6 месяцев. Ускорялся с увеличением PR. В настоящее время этот сайт с PR5 google bot за пол-июля уже оббегал уже 815000 страниц. (хотя за весь июнь - всего 700000).
Хотя гугль вебмастер говорит о том, что 292 000 страниц всего, 141 000 URL в интернет-индексе.
Добавить свой комментарий ниже, или trackback с Вашего собственного сайта.
Подписаться на эти комментарии.
Будьте вежливы. Держите его в чистоте. Оставайтесь в теме. Без спама.
Вы можете использовать эти теги: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>