简单探讨Gigabot到底是什么样的爬虫蜘蛛

May 18, 2010 | tags Gigabot  Gigabot爬虫  Gigabot蜘蛛   | views
Comments 0

今天无意在查看网站日志的时候发现了几条特殊的网站日志：名为gigabot  的抓取蜘蛛，频繁的抓取网站内容。以下复制两条内容作为参考：

67.16.94.2 - - [17/May/2010:08:10:36 +0800] "GET /robots.txt HTTP/1.0" 200 568 "-" "Gigabot/3.0 (http://www.gigablast.com/spider.html)" 67.16.94.2 - - [17/May/2010:08:10:37 +0800] "GET /feed.xml HTTP/1.0" 200 1459 "-" "Gigabot/3.0 (http://www.gigablast.com/spider.html)"

显然蜘蛛是来自这个网站 http://www.gigablast.com  其gigabot出现的次数也是比较多。这个搜索了一下，好像是Gigabot搜索引擎爬虫。是否已被GOOGLE优化收购了？目前未知。

但从全天总的日志来看并不是太勤快，这是相比较Sogou web spider还有其他bot还是慢一些！

 


本文系原创文章,版权归为张家口SEO所有,原文请查看链接地址http://www.yinfengming.org/Gigabot.html,转载必须带上此地址,并标明原始出处,否则将追究法律责任。


    相关文章:



发表评论:

◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。