Делаю новый сайт на новом домене, неделя от роду, гугл-боту ещё не известен, отлаживаю скрипт, вдруг у меня на глазах начинает заполняться кэш и притом быстро так. Иду смотреть логи: робот panscient.com IP 38.100.8.50 шустро так сканирует сайт. 165 страниц за пять минут, притом некоторые страницы по два раза. А то на сайте всего сто страниц :) а ему мало. При этом роботс.тхт он не брал. Т.е. сканировал всё подряд.
Собранную базу они продают, не говорят за сколько :)
Кто-нибудь знает, это за стартап такой буйный?
В их ФАКе понравилось:
How often will your crawler request a page from my server?
The Panscient web crawler will request a page at most once every second from the same domain name or the same IP address.
Раз в секунду...
Прочитать полностью...
20 февр. 2009 г.
Новый поисковик с платной выдачей panscient.com
ZbesT SEO Blog снова в эфире.
После полугодового молчания снова ожил ZbesT SEO Blog СЕО глазами Узбека, а я уж думал плохо всё, ибо палево нереальное там было на старом блоге. Предлагает работу копирайтерам.
Говнокомменты там зачетные :) но без говнолинков.
"
Оля - February 16, 2009
Полезная инфа, поставлю в закладки и добалю в новости, пусть другие то же читают
"
Я смеялсо :) ага, "добалю" в новости по ОРТ, пусть читают :) Жалко сателлитик не спалился ибо автор прибил линк.
Кстати, http://epavel.ru/blog/ тоже перезагрузил блог, только всё равно ничего не пишет.
Прочитать полностью...
Подписаться на:
Сообщения (Atom)