出名的搜索引擎蜘蛛名称

出名的搜索引擎蜘蛛名称

 
我在另外一篇文章中列出了

服务器端如何判断访问来自用户还是搜索引擎的蜘蛛

 

 

这样需要知道各个蜘蛛的名字,下面就列出了出名的搜索引擎蜘蛛名称。

------------------------------------------

Google的蜘蛛: Googlebot
该蜘蛛主要从Google的网站索引和新闻索引中抓取网页;Googlebot-Mobile是谷歌移动搜索的蜘蛛名称,主要是从Google的移动索引中抓取网页;Googlebot-Image是谷歌图片搜索的蜘蛛名称,主要是从Google的图片索引中抓取网页;Mediapartners-Google是谷歌为联盟会员站点开发的蜘蛛,主要是抓取网页确定 AdSense 的内容(网站上没有展示 AdSense 广告的情况下,Google是不会才使用此蜘蛛来抓取您的网站);Adsbot-Google是谷歌为抓取网页来衡量 AdWords 目标网页的质量(只有使用 Google AdWords 为网站做广告的情况下,Google才会使用此蜘蛛)。
百度的蜘蛛:baiduspider
该蜘蛛不仅能够为网页搜索抓取网页和文件,而且还能为图片等其他搜索抓取图片等相关的信息,可谓功能强大;Baiduspider-cpro是百度公司负责抓取百度联盟会员站点的蜘蛛,该蜘蛛只会出现在百度联盟会员的站点上;Baiduspider-sfkr是原来百度十分(即百度竞价的前身)的蜘蛛,该蜘蛛主要是抓取参与百度竞价排名或其他搜索营销服务的网站。

 

 

搜狐蜘蛛:sogou spider

搜狐(Sohu)公司一直都认为自己是中文搜索行业的鼻祖,搜狗(sogou)也号称是第三代中文搜索引擎。sogou spider是这个搜索引擎的发动机,其职责是访问互联网上的网页,存储到本地数据库中,并从中发现新的链接,走访互联网,使用户能在搜狗搜索引擎中搜索到您网站的网页。

 

 

网易蜘蛛:YodaoBot
网易(Netease)公司旗下的有道(youdao)原为yodao,后修改为今天的域名和品牌,但其搜索引擎的爬取程序依然没有变化仍然为YodaoBot。有道宣称其搜索引擎爬虫可以抓所有的内容。

腾讯的蜘蛛:
腾讯(Tencent)公司旗下的搜搜(soso)原使用的是谷歌的技术,李开复的离职后,搜搜也开始独立,Sosospider是其网页搜索引擎的蜘蛛名称。

Yahoo的蜘蛛:Yahoo Slurp  好像应该是 Yahoo! Slurp
雅虎(Yahoo)公司旗下搜索引擎众多,Inktomi、Altavista和Alltheweb都是其旗下搜索引起网站,中文搜索易搜(yisou.com)也是其旗下搜索引擎站点。Slurp是雅虎的网页蜘蛛,他可以从Yahoo!的索引中抓取网页,同时也是Inktomi的蜘蛛;Yahoo!-AdCrawler用来抓取Yahoo!搜索引擎广告登陆页网页;Altavista使用的网页蜘蛛为Scooter;Alltheweb使用的网页蜘蛛为FAST-WebCrawler(PS:通过这里我们能看到alltheweb原为fast公司开发的搜索引擎)。
MSN的蜘蛛:Msnbot
微软(Microsoft)公司旗下的搜索引擎多次修改名称,原为MSN,后修改为Live,今年又给自己起了个名字叫Bing(中文名称必应)。其负责网页搜索的蜘蛛为:MSNBot;而MSNBot-Media不仅仅负责图片的爬取,还负责视频、音乐等多媒体的爬取;MSNBot-NewsBlogs主要是负责新闻和博客的爬取;MSNBot-Products是产品和购物类网站的爬取蜘蛛;MSNBot-Academic则是学术、论文类的爬取蜘蛛。
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex) 
Alltheweb的蜘蛛: FAST-WebCrawler/ 
INKTOMI的蜘蛛: Slurp 

 

 

我们常用的搜索引擎类型有:(User-agent区分大小写)

*:代表所有搜索引擎种类;在”robots.txt”文件中,”User-agent:*”这样的记录只能有一条。

google蜘蛛:Googlebot

百度蜘蛛:Baiduspider

360蜘蛛:360Spider

sogou蜘蛛:Sogou Web Spider

yahoo蜘蛛:Yahoo!slurp

alexa蜘蛛:ia_archiver

bing蜘蛛:MSNbot

altavista蜘蛛:scooter

lycos蜘蛛:lycos_spider_(t-rex)

alltheweb蜘蛛:fast-webcrawler

inktomi蜘蛛:slurp

Soso蜘蛛:Sosospider

Google Adsense蜘蛛:Mediapartners-Google

有道蜘蛛:YoudaoBot

泽许蜘蛛: Zexuwhte

百度无线搜索:Baiduspider-mobile

图片搜索:Baiduspider-image

视频搜索:Baiduspider-video

新闻搜索:Baiduspider-news

百度搜藏:Baiduspider-favo

百度联盟:Baiduspider-cpro

商务搜索:Baiduspider-ads

网页以及其他搜索:Baiduspider

版权所有,禁止转载. 如需转载,请先征得博主的同意,并且表明文章出处,否则按侵权处理.

    分享到:

Leave a Reply

Your email address will not be published. Required fields are marked *