干货：蜘蛛抓取频次的现状

本文纯干货，也是本人这几个月来研究的方向。可惜的是目前为止路已经走到头了，弹尽粮绝，基本可以宣布放弃。

为不惹麻烦，已经删除所有关于搜索引擎名称的词汇。

首先发现，连续3个月，每个月的19号会出现大更新，这会导致网站抓取的蜘蛛数量出现显著变化，挺不过19号，基本宣布凉凉，必须找新的方法。网上有说每个月11号和26号才是大更新时间，但就我个人对蜘蛛抓取频率的监控而言，没有发现任何异常。眼下11号已经过去，安然无恙，到了19号直接断崖，26号即将来临，但估计也是恢复无望。

其他的一些发现，写下来已经没有必要，分享一下研究所得的蜘蛛抓取频次的现状。

下面的研究仅是个人研究所得，或有失偏颇，纯粹个人发出来以便日后考证而已。此结论可以对照任何人发的抓取频次图来效验！

一、被K域名

一些被K过的域名，以前自然蜘蛛还是能正常过来的，没有上限。

目前发现上限是每小时3~4个蜘蛛，一天就是70出头，基本恢复无望。

二、备案站点

不管是回爬的自然蜘蛛，还是强引新的PC或移动蜘蛛进去，基本上限制3~4分钟，释放3~5个蜘蛛，基本限制每小时37~38个。

这个限制在3、4月份的时候就有，但没有这么显著，当时就考虑这只是临时测试，终将应用到所有的域名上，没想到一语成谶。

当时虽然限制，但每天凌晨过后，或中午、或下午，会存在释放拥堵蜘蛛的时间，即所谓爆发。

但现在24小时全部都有上限，目前无法处理。

三、多域名站群

通过堆叠多域名、泛域名的方式，多平台网络爬虫，但实际发现依然有限制，没有爆发，无法突破。

四、其他

经过多次查看其他人通过其他途径（如：知道）引的蜘蛛发现，同样存在3~4分钟释放一波蜘蛛的情况，目前同样无解。

五、结论

如果一直这样想去，这条路算是走到头了，没有必要再琢磨了。毕竟不是方法论，而是结果论。锅里都没汤了，那再多的碗又有什么用？