20 февр. 2009 г.

Новый поисковик с платной выдачей panscient.com

Делаю новый сайт на новом домене, неделя от роду, гугл-боту ещё не известен, отлаживаю скрипт, вдруг у меня на глазах начинает заполняться кэш и притом быстро так. Иду смотреть логи: робот panscient.com IP 38.100.8.50 шустро так сканирует сайт. 165 страниц за пять минут, притом некоторые страницы по два раза. А то на сайте всего сто страниц :) а ему мало. При этом роботс.тхт он не брал. Т.е. сканировал всё подряд.
Собранную базу они продают, не говорят за сколько :)

Кто-нибудь знает, это за стартап такой буйный?


В их ФАКе понравилось:

How often will your crawler request a page from my server?

The Panscient web crawler will request a page at most once every second from the same domain name or the same IP address.

Раз в секунду...
Прочитать полностью...

ZbesT SEO Blog снова в эфире.

После полугодового молчания снова ожил ZbesT SEO Blog СЕО глазами Узбека, а я уж думал плохо всё, ибо палево нереальное там было на старом блоге. Предлагает работу копирайтерам.

Говнокомменты там зачетные :) но без говнолинков.
"
Оля - February 16, 2009
Полезная инфа, поставлю в закладки и добалю в новости, пусть другие то же читают
"
Я смеялсо :) ага, "добалю" в новости по ОРТ, пусть читают :) Жалко сателлитик не спалился ибо автор прибил линк.


Кстати, http://epavel.ru/blog/ тоже перезагрузил блог, только всё равно ничего не пишет.
Прочитать полностью...