Вынесу данный пост из глубины комментариев сюда наверх.
Проект ТОП популярных записей дня SlyTop сегодня полностью заморожен. Он и до этого работал с перебоями, не было времени постоянно уделять ему внимание и поддерживать, а сейчас, когда я обнаружил глобальную и неустранимую ошибку в проекте - было решено полностью прекратить им заниматься до лучших времен.
Итак, какова была главная ошибка, изначально заложенная в сам движок сервиса?
Основная ошибка заключалась в следующей фразе - При составлении рейтингов использовались данные, полученные с помощью Яндекс.Поиска по блогам.
Кроме необходимости размещения данного дисклеймера на видном месте рядом с результатами, полученными с использованием API, приходилось так же пользоваться самими данными, поставляемыми Яндексом, в чем и оказалась основная засада.
Дело в том, что последний год статистика Яндекс.Поиск по Блогам не лезет ни в какие ворота. Они совершенно расписались в своей неспособности различать живые души и души механические, поэтому накрутками в блогосфере не занимаются лишь очень ленивые блогеры, или те, кто от подобной темы в принципе далек.
Любой, кто пытается монетизировать свой блог (а это, последнее время пытаются делать все или почти все) в обязательном порядке рано или поздно решает возложить основной груз работы на душу механическую, и Яндекс с радостью помогает в этом. Хотя, по идее, должен бы мешать и препятствовать.
А вот совсем свежий случай. Наткнулся на подозрительную активность неких "самарских товарищей", начал раскручивать - а про это уже давно известно, данные есть, цифры собраны, вот они (и ссылка на источник, конечно же):
126 место в общем рейтинге(64 место среди блогов жж) 52 записи в журнале 247 комментариев получено 1211 ссылок a_zaharova
200 место в общем рейтинге(104 место среди блогов жж) 48 записей в журнале 216 комментариев получено 1100 ссылок avinokyrov
214 место в общем рейтинге(110 место среди блогов жж) 41 запись в журнале 142 комментария получено 984 ссылки ssapynov
217 место в общем рейтинге(111 место среди блогов жж) 39 записей в журнале 135 комментариев получено 957 ссылок evkravez
232 место в общем рейтинге(116 место среди блогов жж) 42 записи в журнале 171 комментарий получено 1117 ссылок krasilnikovd
243 место в общем рейтинге(125 место среди блогов жж) 40 записей в журнале 191 комментарий получен 884 ссылки kolomejelena
255 место в общем рейтинге(130 место среди блогов жж) 56 записей в журнале 281 комментарий получен 914 ссылок apatlatyuk
265 место в общем рейтинге(136 место среди блогов жж) 59 записей в журнале 160 комментариев получено 898 ссылок kapiton_k
320 место в общем рейтинге(165 место среди блогов жж) 40 записей в журнале 190 комментариев получено 849 ссылок uli_nikolaeva
Только слепой не заметит, что это не журналы живых людей, а абсолютно механические SEO-проекты. Слепой или Яндекс.
Да, с прошлого раза роботы научились (а точнее их хозяева научили) оставлять комментарии в чужих журналах.
А ведь данная механическая душа находится на 126м месте в ТОПе Яндекса, не где-то в дебрях третьего миллиона, а на третьей странице! Аккурат над известным всей стране блогером kashin, и на пару мест выше "блога" Яндекс.Поиск
Как блог, имеющий 52 записи в журнале, получивший 305 комментариев и отправивший 124 комментария может оказаться "авторитетней" (это слово не я придумал, так официально называется рейтинг Яндекса - Рейтинг блогов рунета по авторитетности) блога президента России?
Как вообще роботы смогли забраться так высоко в ТОП? Почему продолжают там оставаться?
В отличие от beznazvaniya7 я не думаю, что места в рейтинге продаются. Воспользуемся бритвой Хэнлона - "Fuck-up before conspiracy", будем объективны. Вместо того, чтобы наводить напраслину на разработчиков Яндекс.Блоги и обвинять их в продажности, достаточно просто признать - они облажались.
Снаряд снова на какое-то (и уже весьма продолжительное!) время оказался крепче брони, а подвижек в бронестроении что-то никак не видно.
И что изменилось? Накрутчица вынесена из рейтинга, ее журнал перестал индексироваться поисковой машиной Яндекса, как они грозятся в своих дисклеймерах?
И снова. Не думаю, что Кристина лично платит Яндексу. Скорей всего корпорация просто махнула на блогосферу рукой - да, делайте уже, что хотите! Нам от вас одни проблемы, из Кремля даже звонить устали, теперь только СМС-ки шлют, как мы тут индексируем не совсем то, что показывают по Первому Каналу.
И что самое интересное. Непосредственно сам поиск по блогам у Яндекса работает неплохо, я и раньше им пользовался, и сейчас пользуюсь (даже при написании данного поста), а так же в будущем отказываться не собираюсь и другим посоветую.
Но вот все, что Яндекс пытался построить вокруг данного сервиса - все рейтинги, ТОПы, статистика - в 2010м году полностью провалилось.
С одной стороны то, что механические души неотличимы от живых - не может не радовать Инженера Механических Душ. :)
С другой стороны то, насколько топорно сделанные роботы кушаются Яндексом с причмокиванием - серьезно удручает.
А посему, остается два выхода. Либо сделать свой сбор статистики с сапером и камвхорами, но для этого потребуются вычислительные мощности корпорации подобной Яндексу, либо подождать, когда они снова начнут выдавать что-то удобоваримое, как в славном 2007м году...
Оба варианта - весьма туманны. Поэтому проект SlyTop замораживается. До лучших времен.