php 抓取蜘蛛爬虫痕迹的代码分享

用php代码分析web日志中蜘蛛爬虫痕迹，代码如下：

<?php
//获取蜘蛛爬虫名或防采集
//by www.jbxue.com
function isSpider(){
    $bots = array(
                    'Google'    => 'googlebot',
                    'Baidu'        => 'baiduspider',
                    'Yahoo'        => 'yahoo slurp',
                    'Soso'        => 'sosospider',
                    'Msn'        => 'msnbot',
                    'Altavista'    => 'scooter ',
                    'Sogou'        => 'sogou spider',
                    'Yodao'        => 'yodaobot'
            );
    $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
    foreach ($bots as $k => $v){
        if (strstr($v,$userAgent)){
            return $k;
            break;
        }
    }
    return false;
} //by www.jbxue.com

//获取哪种蜘蛛爬虫后保存蜘蛛痕迹。
//根据采集时HTTP_USER_AGENT是否为空来防止采集
//抓蜘蛛爬虫 --by www.jbxue.com
$spi    = isSpider();
if($spi){
    $tlc_thispage    = addslashes($_SERVER['HTTP_USER_AGENT']);
    $file            = 'robot.txt';
    $time            = date('Y-m-d H:i:s',mktime());
    $handle            = fopen($file,'a+');
    $PR                = $_SERVER['REQUEST_URI'];
    fwrite($handle, "Time:{$time} ROBOT:{$spi} AGENT:{$tlc_thispage} URL:{$PR} \n\r");
    fclose($handle);
}
?>

您可能感兴趣的文章：
php 抓取蜘蛛爬虫痕迹的代码分享
python和爬虫有什么关系
零基础python爬虫需要多久
搜索引擎蜘蛛爬行统计分析
python爬虫能做什么
python的爬虫是什么意思
python爬虫能干什么
PHP采集器的简单示例代码
Python2爬虫入门：爬虫基础知识
python爬虫技术可以干什么