玩蛇网提供最新Python编程技术信息以及Python资源下载!

Python requests抓取速度变慢求分享应对经验

前3分钟可以达到每秒10个请求,后面就慢下来了,慢到每秒1个。有没有哪位大神有着方面的经验。

没有代码很难找到问题,
以我的经验,大部分爬虫慢的问题都是因为内存,建议你看一下werkzeug.utils里面cached_property的代码。

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19661.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月14日 - 12时42分08秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules