玩蛇网提供最新Python编程技术信息以及Python资源下载!

pyton celery工作流的问题

celery中,我做这样的处理:
一个url经过a, b, c三个的函数,分别获得返回值,其中任意函数结果均与任意其他函数结果不相关,然后汇总起来,交给之后的流程.这样,我自然想到并行运行三个函数来加快处理速度.
然而由于一开始的设计问题, a函数式被设计成了一次可以处理多个url的形式,而一个一个的处理会非常慢.

@celery.task
def a(url_list):
    '...do something...'
    for url in url_list:
        b.delay(url)

我尝试这样控制,然而任务似乎并不能嵌套.
那么,如何设计可以比较好的满足我这种比较奇怪的流程和要求呢?

应该把a;b;c拆开,写成3个task, 同时数据库里要保存一个状态值,用来表示3个任务的执行状态,一个任务执行完成后,就修改状态值,并检查其他2个任务是否完成,如果都完成了,就汇总任务结果,再处理。

@xiaoboost 手工维护状态可行,但有点费事。

Celery 是可以设计执行流程的,参考文档:Designing Work-flows
题主的需求可以用 chords 搞定,在 celery task 里返回值就行。

BTW: 注意一下 Celery 配置中与返回值相关的几个选项,比如这个 task_ignore_result

玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd13907.html

相关文章 Recommend

玩蛇网Python互助QQ群,欢迎加入-->: 106381465 玩蛇网Python新手群
修订日期:2017年05月24日 - 14时38分08秒 发布自玩蛇网

您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules