Всем привет! Сейчас начал активно использовать 1-н завалявшийся парсер вконтакте и одноклассников и столкнулся с проблемой индексации больших объемов уникального контента.
Думаю объяснять не надо, что правильней подсовывать контент поисковикам маленькими пачками, организуя наполнение через CRON, но учитывая современные реалии, а-ля ” укради быстрее, а то украдут за тебя” – ежедневное наполнение – большая роскошь.
Поэтому обычно сразу делается большой сайт-сателлит и дальше идут танцы с бубном в попытках загнать его в индекс.
Всего было сделано около 15 сайтов и проблемы с индексацией были у 12. Что только я не делал – и прогонял хрумером, и покупал ссылки в ссылочных агрегаторах на бонусные деньги – все тщетно. Гугл кушает, но очень медленно, а яндекс зависает на 500-600 страницах.
Везде примерно такая ситуация:
Индексация сайтов Все сайты в индексе только на 10-15%, уникальность контента пока сомнений не вызывает. Трафик крошечный – примерно 20-30 человек/день.
Самое время обратиться за помощью к твиттеру. Но тут тоже все неоднозначно, все больше вебмастеров жалуются, что уже такой быстрой индексации, как раньше не добиться. Сразу же можно услышать 2 мнения: Не имеет значение в индексе ли Я и Г аккаунт, его возраст, количество фолловеров и тд. В любом случае бот перейдет по ссылке и возьмет страницу в индекс. Другие же утверждают, что лучше использовать для загона 5-10 прокачанных аккаунтов с большим количеством подписчиков и сидящие в индексе яндекса и гугла.
Из софта для работы с твиттером у меня в арсенале только Twi.Farm, стоящая на 2 доменах. На этих фермах уже месяц, как крутятся аккаунты и большая часть из них вошла в индекс ПС. По плану закинуть ферму еще на 1 домен и туда добавить нулевых твиттер аккаунтов.
Ну а дальше, как вы понимаете, последует серия тестов по загону в индекс. Не исключено, что придется воспользоваться услугами сторонних людей, благо прогон по twitter стоит не так уж и много.
Многие советуют постить твитты с ссылкой на карту сайта, этот способ тоже будет проверен. Так что занятие на ближайшее время я себе нашел, плюс ко всему много дел в оффлайне – диплом, автошкола, тренировки и тд, но в любом случае постараюсь отписываться о результатах.
