网站首页 蜘蛛爬虫

• 实现IP地址屏蔽和白名单功能的php代码

  这段代码主要实现了一个屏蔽访客的功能，用于在网站管理后台中限制一些不需要访问的访客。具体来说，这段代码通过检查用户的IP地址和User-Agent头部信息，判断是否需要屏蔽访客。如果需要屏蔽访客，则会加载错误页面，并退出脚本执行。同时，该代...

  2023-12-15 曹操 原创站群教程 4292 ℃ 53 评论
• 

  分别统计百度PC蜘蛛和移动蜘蛛并输出txt的php代码

  以前分享过的记录百度蜘蛛抓取链接为txt的代码只能笼统的实现百度蜘蛛的记录，不能区分百度PC蜘蛛和移动蜘蛛。现在越来越多的人说百度PC蜘蛛不收录，要移动蜘蛛才行，所以特意编写了这段代码，本代码可区别判断百度PC蜘蛛和移动蜘蛛！其实核心是对百...

  2022-09-14 曹操 蜘蛛池技术 1182 ℃ 0 评论

• php记录搜索引擎爬行记录的实现代码

  以前分享过类似的代码，但是没有做出注释，并且部分代码有累赘，所以重新分享一下，下面是完整代码：//记录搜索引擎爬行记录$searchbot=get_naps_bot(); if ($searchbot) ...

  2022-09-14 曹操 蜘蛛池技术 918 ℃ 0 评论
• 

  为宝塔Nginx免费防火墙添加User-Agent屏蔽规则

  在宝塔中有付费的Nginx防火墙，也有Nginx免费防火墙，我们可以使用User-Agent屏蔽掉很多没必要的蜘蛛爬虫，并防止SQL注入或菜刀一句话的入侵。在免费版本的nginx防火墙规则并没有那么充分与多样，所以我们分享一下来自收费版本中...

  2022-07-15 曹操 站群优化教程 1220 ℃ 0 评论
• 

  [置顶] 各个搜索引擎的User-Agent

  想要做好蜘蛛池，首先需要对各个搜索引擎的User-Agent有详细的了解。知己知彼百战百胜，我们了解了各个搜索引擎的UA，才能基于此进行延伸，写出不同的判断，比如判断仅蜘蛛产生缓存、非蜘蛛产生跳转等。百度搜索User-Agent：百度PC...

  2021-06-19 曹操 蜘蛛池 3688 ℃ 0 评论

• SemrushBot是什么蜘蛛爬虫?

  SemrushBot是SEMrush的蜘蛛爬虫。SEMrush是一家老牌的提供搜索引擎优化数据的公司，是一个强大的、全面的在线营销竞争情报平台,其中包括SEO、PPC、社交媒体和视频广告研究。建议中文站屏蔽掉它的爬行，首先因为这个蜘蛛爬行...

  2021-05-24 曹操 蜘蛛池教程 3989 ℃ 0 评论

• BLEXBot是什么蜘蛛爬虫？

  今天查看网站蜘蛛爬行记录发现了这条蜘蛛UAMozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)因为没有见过百度查了一下原文：Bl...

  2021-05-24 曹操 蜘蛛池教程 3235 ℃ 0 评论
• 

  什么是蜘蛛池的搜索留痕技术？

  简单的先说下蜘蛛池，蜘蛛池是一款通过泛解析域名快速养蜘蛛的系统，通过蜘蛛池系统，可以把需要收录的链接放进去，蜘蛛池会大量的为这些链接引入批量蜘蛛爬取，从而达到收录的作用，这是蜘蛛池目前最主要的功能之一。接着我们就说下什么是蜘蛛池的搜索留痕技...

  2020-09-13 曹操 蜘蛛池技术 5102 ℃ 1 评论

• PHP生成蜘蛛访问记录txt文档

  分享一个PHP版本的蜘蛛统计代码，只需要加到你的index文件内即可实现蜘蛛统计！统计结果会在根目录生成bot.txt文本，您可以手动新建一个php文件，将代码填入该文件内，譬如zhizhu.php，创建好后访问即可！<?php$us...

  2020-04-30 曹操 蜘蛛池教程 2142 ℃ 0 评论

• 判断地区跳转劫持的JS代码

  曹操SEO网站站群程序交流群会员分享的代码，先看下代码。<script src="http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=js"...

  2020-04-30 曹操 引流跳转代码 2347 ℃ 0 评论