爬虫遇到“您的请求太过频繁，请稍后再试”怎么办？

更新时间2019-08-26 16:46:18

爬虫遇到“您的请求太过频繁，请稍后再试”怎么办？

你好，室是这样的，
你用的代理IP凑巧也是别人用来访问相同的网站的，而且用的还比较频繁，这种情况一般出现在免费代理IP、普通代理IP或者开放代理IP，还有一些IP池比较小的共享IP池上。很多朋友总觉得站大爷的IP池太大，我也用不了那多啊，不是浪费吗？能不能给个小点的IP池，价格再降低一些呢。这样的想法是不对的，IP池小，用的人多，那么项目冲突的几率也就越大，所以我们在找代理IP的时候，在保证IP有效率的同时IP池越大越好的，这样可以保证IP的新鲜度。
当您遇到“您的请求太过频繁，请稍后再试”时，不要慌，要镇定，检查下自己的爬虫策略，是否真的访问太过频繁，检查下自己的代理IP是否真的比较干净，调整自己的策略，选择更加纯净的IP，就能有效的避免这个错误了。
有关所有爬虫问题，可以到黑马程序员视频库。领取爬虫所有课程+源码"

你爬的地址可能有防爬虫设置，那么你就没办法了。