网站首页蜘蛛池蜘蛛池教程正文

分UA文本统计蜘蛛并展现的php代码

曹操 2023-07-18 蜘蛛池教程 1091 ℃ 0 评论 12130字 free 收藏

这是蜘蛛统计，分别统计百度蜘蛛、搜狗蜘蛛、360蜘蛛、谷歌蜘蛛、bing蜘蛛、神马蜘蛛和其他蜘蛛。

统计为txt格式，按照：时间抓取的链接，保存为txt，一行一个。

分别保存在对应的文件夹，如百度蜘蛛就保存在spider/baidu文件夹下，搜狗就保存在spider/sogou文件夹下，如果不存在则新建。

里面又有年月日命名的文件夹，如20230101，每天的蜘蛛来访则保存到对应的日期，如果不存在则新建。

最后在当前页面，图表展现txt数据。

<?php
// 蜘蛛类型数组
$spiders = array('baidu', 'sogou', '360', 'google', 'bing', 'sm', 'other');

// 获取当前日期
$currentDate = date('Ymd');

// 循环检查并创建对应的文件夹
foreach ($spiders as $spider) {
    $spiderDir = 'spider/' . $spider;
    if (!file_exists($spiderDir)) {
        mkdir($spiderDir, 0777, true);
    }

    $dateDir = $spiderDir . '/' . $currentDate;
    if (!file_exists($dateDir)) {
        mkdir($dateDir, 0777, true);
    }
}

// 获取访问者IP
$visitorIP = $_SERVER['REMOTE_ADDR'];

// 获取蜘蛛类型
$userAgent = $_SERVER['HTTP_USER_AGENT'];
$spiderType = 'other'; // 默认为其他蜘蛛
if (strpos($userAgent, 'Baiduspider') !== false) {
    $spiderType = 'baidu';
} elseif (strpos($userAgent, 'Sogou') !== false) {
    $spiderType = 'sogou';
} elseif (strpos($userAgent, '360Spider') !== false) {
    $spiderType = '360';
} elseif (strpos($userAgent, 'Googlebot') !== false) {
    $spiderType = 'google';
} elseif (strpos($userAgent, 'Bingbot') !== false) {
    $spiderType = 'bing';
} elseif (strpos($userAgent, 'YoudaoBot') !== false) {
    $spiderType = 'sm';
}

// 将访问信息保存到对应的文件
$logFile = 'spider/' . $spiderType . '/' . $currentDate . '/spider.txt';
$logData = date('H:i:s') . ' ' . $visitorIP . "\n";
file_put_contents($logFile, $logData, FILE_APPEND);

// 读取日志文件
$logLines = array();
if (file_exists($logFile)) {
    $logData = file_get_contents($logFile);
    $logLines = explode("\n", trim($logData));
}

// 显示统计数据
echo '<html>
<head>
<title>蜘蛛统计</title>
<style>
table {
    border-collapse: collapse;
    width: 400px;
}
th, td {
    border: 1px solid #ddd;
    padding: 8px;
    text-align: left;
}
</style>
</head>
<body>
<h1>蜘蛛统计</h1>';

foreach ($spiders as $spider) {
    $spiderDir = 'spider/' . $spider;
    $dateDir = $spiderDir . '/' . $currentDate;
    $logFile = $dateDir . '/spider.txt';

    echo '<h2>' . ucfirst($spider) . '</h2>';

    if (file_exists($logFile)) {
        $logData = file_get_contents($logFile);
        $logLines = explode("\n", trim($logData));

        echo '<table>
        <tr>
        <th>时间</th>
        <th>抓取的链接</th>
        </tr>';

        foreach ($logLines as $line) {
            $logParts = explode(' ', trim($line));
            $time = $logParts[0];
            $link = isset($logParts[1]) ? $logParts[1] : '-';

            echo '<tr>
            <td>' . $time . '</td>
            <td>' . $link . '</td>
            </tr>';
        }

        echo '</table>';
    } else {
        echo '<p>暂无数据</p>';
    }
}

echo '</body>
</html>';
?>

当然可以图表形式展示txt数据，可以使用图表库来实现。

下面是一个使用Chart.js库来绘制柱状图的例子：

<!DOCTYPE html>
<html>
<head>
    <title>蜘蛛统计图表</title>
    <script src="https://cdn.jsdelivr.net/npm/chart.js"></script>
</head>
<body>
    <canvas id="chart"></canvas>

    <script>
        // 读取日志数据
        var logData = `<?php echo $logData; ?>`; // 将$logData替换为实际的日志数据

        // 解析日志数据
        var lines = logData.split('\n');
        var labels = [];
        var counts = [];

        for (var i = 0; i < lines.length; i++) {
            var parts = lines[i].split(' ');
            if (parts.length >= 2) {
                labels.push(parts[0]);
                counts.push(parseInt(parts[1]));
            }
        }

        // 创建图表
        var ctx = document.getElementById('chart').getContext('2d');
        var chart = new Chart(ctx, {
            type: 'bar',
            data: {
                labels: labels,
                datasets: [{
                    label: '访问次数',
                    data: counts,
                    backgroundColor: 'rgba(0, 123, 255, 0.5)',
                    borderColor: 'rgba(0, 123, 255, 1)',
                    borderWidth: 1
                }]
            },
            options: {
                responsive: true,
                scales: {
                    x: {
                        display: true,
                        title: {
                            display: true,
                            text: '时间'
                        }
                    },
                    y: {
                        display: true,
                        title: {
                            display: true,
                            text: '访问次数'
                        },
                        beginAtZero: true
                    }
                }
            }
        });
    </script>
</body>
</html>

Tags：蜘蛛统计，搜狗，蜘蛛，

上一篇：多线程网页更新反馈工具
下一篇：解决E软件在Windows Serve上数据保护的问题

必看说明

本站中所有被研究的素材与信息全部来源于互联网，版权争议与本站无关。
本站文章或仅为文本内容原创，非程序原创。如有侵权、不妥之处，请联系站长第一时间删除。敬请谅解！
本站所有内容严格遵守国家法律的条例，所有研究的算法技术均来源于搜索引擎公开默认允许用户研究使用的接口。
阅读本文及获取资源前，请确保您已充分阅读并理解《访问曹操SEO网站需知：行为准则》。
本站分享的任何工具、程序仅供学习参考编写架构，仅可在本地的虚拟机内断网测试，严禁联网运行或上传搭建！
任何资源必须在下载后24个小时内，从电脑中彻底删除。不得传播或者用于其他任何用途！否则一切后果用户自负！
转载请注明 : 文章转载自站群程序分UA文本统计蜘蛛并展现的php代码
本文标题：《分UA文本统计蜘蛛并展现的php代码》
本文链接：http://www.zqcx.cn/2015.html

网站首页蜘蛛池蜘蛛池教程正文

分UA文本统计蜘蛛并展现的php代码

必看说明

猜你喜欢

本文暂时没有评论，来添加一个吧(●'◡'●)

取消回复欢迎你发表评论:

网站首页 蜘蛛池 蜘蛛池教程 正文

分UA文本统计蜘蛛并展现的php代码

必看说明

猜你喜欢

本文暂时没有评论，来添加一个吧(●'◡'●)

取消回复欢迎 你 发表评论:

网站首页蜘蛛池蜘蛛池教程正文

取消回复欢迎你发表评论: