爬虫ip被封的后果是什么?怎么办?

发布时间:2023-08-18
发布人:匿名用户
查看:90次
问题描述:无详细描述

下滑来查看全部答案或者发布回答帮助大家

问答内容由用户发布,答案可能存在参考互联网或书刊资源,如您认为文章或内容有侵权,请在用户发布后与我们取得联系删除。您可以点击网站下方的投诉举报,附带当前页面链接。我们会及时删除信息。部分用户创作内容可能标记版权信息,如您转载请提前联系并获得书面许可(盖章)。

被封后见过最多的就是被限访,但封禁时长和终端的不同设定有关,如某猫爬取后只是限制5分钟,过后还是可再用,而有些终端则设置短时内达到一定数量任务请求后就直接封号不会解封。还有的直接封禁可疑ip段,这种比较狠,可能被人工怀疑判定为CC攻击,因为我之前就有这样做过,深度分析日志或可看出。

被封说明爬虫ip质量不合格!如发放的末段ip相同概率大或短时内请求任务高度重叠,一般这种出现于低质共享池。

可以先跑一定量(不是正式爬取)测下终端大概限制阈值,而后再合理安排代理ip数量及控制访速等分爬取,最好节点多样多更换、同时请求的任务数不要太高,可增加通道数。经过多番测试使用还是隧道代理更便捷快速,可以试用下,只要隧道代理带宽具足能满足众多使用场景。

0