服务器端如何判断访问来自用户还是搜索引擎的蜘蛛   一般都是通过检测 $_SERVER[‘HTTP_USER_AGENT’] 的值来判断，如果是普通用户，这个值就是用户所用的浏览器的名字如： Mozilla之类的 如果是百度爬虫，那么这个值是 Baiduspider   所以我们代码可以这样来判断，假设是php function is_crawler() {     $userAgent = strtolower($_SERVER[‘HTTP_USER_AGENT’]);     $spiders = array(         'Googlebot', // Google 爬虫         'Baiduspider', // 百度爬虫         'Yahoo! Slurp', // 雅虎爬虫         'YodaoBot', // 有道爬虫         'msnbot' // Bing爬虫         。。。// 更多爬虫关键字     );    … Continue reading 服务器端如何判断访问来自用户还是搜索引擎的蜘蛛