玩蛇网提供最新Python编程技术信息以及Python资源下载!

python运行爬虫程序时间如何控制?

问题如标题所说,用scrapy框架写了几个爬虫,由于一些原因,需要实时或者说是隔几十秒左右跑一遍,查了一下好像 time.stop()能实现,但是我这边加了之后没效果。请求支援

我的解决方案是用crontab。不知道和你想的方法是否匹配。

可以用quartz来调度scrapy

scrapy当队列里面没有任务的时候就会退出。
所以你这样就可以 用crontab计划任务一下

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd20398.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月24日 - 14时53分25秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules