Делаю новый сайт на новом домене, неделя от роду, гугл-боту ещё не известен, отлаживаю скрипт, вдруг у меня на глазах начинает заполняться кэш и притом быстро так. Иду смотреть логи: робот panscient.com IP 38.100.8.50 шустро так сканирует сайт. 165 страниц за пять минут, притом некоторые страницы по два раза. А то на сайте всего сто страниц :) а ему мало. При этом роботс.тхт он не брал. Т.е. сканировал всё подряд.
Собранную базу они продают, не говорят за сколько :)
Кто-нибудь знает, это за стартап такой буйный?
В их ФАКе понравилось:
How often will your crawler request a page from my server?
The Panscient web crawler will request a page at most once every second from the same domain name or the same IP address.
Раз в секунду...
20 февр. 2009 г.
Новый поисковик с платной выдачей panscient.com
Подписаться на:
Комментарии к сообщению (Atom)
1 комментарий:
Здравствуйте, F17! Вы не подскажите, как мне продлить домен, который я купил у Кирилла Стойлова, если Кирилла нет в живих? Его сайт нормально работает, а он не отвечает ни на аську, ни на письма, ни на скайп, ни на что. Скажите, как мне продлить домен, или с кем вместо него мне связаться?
Отправить комментарий