求问tornado 3.2 chatdemo如何实现异步,不是很理解
主程序的代码是:
#!/usr/bin/env python
#
# Copyright 2009 Facebook
#
# Licensed under the Apache License, Version 2.0 (the "License"); you may
# not use this file except in compliance with the License. You may obtain
# a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
# WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the
# License for the specific language governing permissions and limitations
# under the License.
import logging
import tornado.auth
import tornado.escape
import tornado.ioloop
import tornado.web
import os.path
import uuid
from tornado import gen
from tornado.options import define, options, parse_command_line
define("port", default=8888, help="run on the given port", type=int)
class MessageBuffer(object):
def __init__(self):
self.waiters = set()
self.cache = []
self.cache_size = 200
def wait_for_messages(self, callback, cursor=None):
if cursor:
new_count = 0
for msg in reversed(self.cache):
if msg["id"] == cursor:
break
new_count += 1
if new_count:
callback(self.cache[-new_count:])
return
self.waiters.add(callback)
def cancel_wait(self, callback):
self.waiters.remove(callback)
def new_messages(self, messages):
logging.info("Sending new message to %r listeners", len(self.waiters))
for callback in self.waiters:
try:
callback(messages)
except:
logging.error("Error in waiter callback", exc_info=True)
self.waiters = set()
self.cache.extend(messages)
if len(self.cache) > self.cache_size:
self.cache = self.cache[-self.cache_size:]
# Making this a non-singleton is left as an exercise for the reader.
global_message_buffer = MessageBuffer()
class BaseHandler(tornado.web.RequestHandler):
def get_current_user(self):
user_json = self.get_secure_cookie("chatdemo_user")
if not user_json: return None
return tornado.escape.json_decode(user_json)
class MainHandler(BaseHandler):
@tornado.web.authenticated
def get(self):
self.render("index.html", messages=global_message_buffer.cache)
class MessageNewHandler(BaseHandler):
@tornado.web.authenticated
def post(self):
message = {
"id": str(uuid.uuid4()),
"from": self.current_user["first_name"],
"body": self.get_argument("body"),
}
# to_basestring is necessary for Python 3's json encoder,
# which doesn't accept byte strings.
message["html"] = tornado.escape.to_basestring(
self.render_string("message.html", message=message))
if self.get_argument("next", None):
self.redirect(self.get_argument("next"))
else:
self.write(message)
global_message_buffer.new_messages([message])
class MessageUpdatesHandler(BaseHandler):
@tornado.web.authenticated
@tornado.web.asynchronous
def post(self):
cursor = self.get_argument("cursor", None)
global_message_buffer.wait_for_messages(self.on_new_messages,
cursor=cursor)
def on_new_messages(self, messages):
# Closed client connection
if self.request.connection.stream.closed():
return
self.finish(dict(messages=messages))
def on_connection_close(self):
global_message_buffer.cancel_wait(self.on_new_messages)
class AuthLoginHandler(BaseHandler, tornado.auth.GoogleMixin):
@gen.coroutine
def get(self):
if self.get_argument("openid.mode", None):
user = yield self.get_authenticated_user()
self.set_secure_cookie("chatdemo_user",
tornado.escape.json_encode(user))
self.redirect("/")
return
self.authenticate_redirect(ax_attrs=["name"])
class AuthLogoutHandler(BaseHandler):
def get(self):
self.clear_cookie("chatdemo_user")
self.write("You are now logged out")
def main():
parse_command_line()
app = tornado.web.Application(
[
(r"/", MainHandler),
(r"/auth/login", AuthLoginHandler),
(r"/auth/logout", AuthLogoutHandler),
(r"/a/message/new", MessageNewHandler),
(r"/a/message/updates", MessageUpdatesHandler),
],
cookie_secret="__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__",
login_url="/auth/login",
template_path=os.path.join(os.path.dirname(__file__), "templates"),
static_path=os.path.join(os.path.dirname(__file__), "static"),
xsrf_cookies=True,
)
app.listen(options.port)
tornado.ioloop.IOLoop.instance().start()
if __name__ == "__main__":
main()
主要是class MessageUpdatesHandler(BaseHandler)那里,明明是用了异步的装饰器,但是我没看出来他是如何把他做成异步的,如果没有做成异步的,那这个东西会占用服务器的cpu的资源太多了,我想官方安装包下的demo应该不会出错的,请哪位大神帮我细致的解释一下,这段demo是如何唯美地实现了一个chatroom的功能?(其实它的大致意思我大概是能理解的,就是没发现他是如何在这个问题上用异步的,明明用了异步的装饰器,但是就是没有发现它使如何用异步的)
————————————
注:我理解异步,理解他这个chat的实现思路,只是认为他想做成异步的,但似乎实现异步的过程中是错的,没有用到异步,因为on new message那里虽然用到了异步装饰器,但是没有用到异步。求指出他在具体哪一步释放cpu线程的。对于二楼提出的他构造了一个异步的function的callback,但是callback回调函数不是异步的特有函数,是很平常的函数构造,我没看出他的构造。而我知道把异步的东西分开来构造的是func(args, callback=(yield gen.Callback(key)))
result = yield gen.Wait(key) 虽然说他没有gen,但是他根本没有用到他自己导入的那个tornado.web.asynchronous模块的任何功能。所以说感觉上他就没有实现异步。
其实这个问题的最佳实践方法是websocket,不过我就是觉得除了websocket的另外一个官方的直接不用websocket的代码应该不会有问题,明明用了异步装饰器,但是却没有发现他用到异步的功能。所以疑问。
—————————————
不过可能是我对tornado的理解不够深刻,也许二楼回答的就是对的。先采纳吧。谢谢大家的回答。
鉴于你竟然说到它看上去占用了很多服务器 CPU 资源,那么我假设你其实并不知道异步是什么。
在网络编程中,与科学计算和数据处理等非常不同的一点是,你没有很多需要大量 CPU 计算的任务,但是你会经常等待用户把请求发过来,以及等待响应发送到用户端。
同步编程就是配备很多服务员,每个服务员处理完一个顾客才会去处理下一个顾客的需求。而异步编程,「有事叫我」——
class MessageUpdatesHandler(BaseHandler):
@tornado.web.authenticated
@tornado.web.asynchronous
def post(self):
cursor = self.get_argument("cursor", None)
global_message_buffer.wait_for_messages(self.on_new_messages,
cursor=cursor)
def on_new_messages(self, messages):
# Closed client connection
if self.request.connection.stream.closed():
return
self.finish(dict(messages=messages))
def on_connection_close(self):
global_message_buffer.cancel_wait(self.on_new_messages)
global_message_buffer.wait_for_messages(self.on_new_messages, cursor=cursor)
这句即是说,有消息来了就去调用 self.on_new_messages
函数。没消息的时候程序就做其它的事情去了。比如用户的消息还没来,但是来了一个新的请求,于是程序请处理这个新的请求,直到它结束或者类似地等待某个事件发生。
至于那个 @tornado.web.asynchronous
,它的意思是告诉 Tornado 框架,这位服务员会在顾客暂时不需要服务时离开,暂时离开并不代表服务已经完毕(即函数返回时不要认为请求已经完成从而清理之),并且会在请求处理完毕之后告诉 Tornado(即调用 self.finish()
方法)。
您可以先看一下 @tornado.web.asynchronous
这个装饰器。根据 docstring 和源码可以得知,由它装饰过的 post()
函数必须自己负责异步地调用 finish()
。
有了以上知识,我们可以分析一下这个 MessageUpdatesHandler
了,入口是 post()
。第一句:
cursor = self.get_argument("cursor", None)
是一个简单的阻塞调用,我们并不感兴趣。第二句:
global_message_buffer.wait_for_messages(self.on_new_messages,
cursor=cursor)
这是比较标准的 Tornado 方式的异步调用——参数里带着一个回调函数(我非 Tornado 长期使用者,结论是根据阅读有限的代码和一些评价得出的)。我们继续跟到这个函数里面去。
def wait_for_messages(self, callback, cursor=None):
if cursor:
new_count = 0
for msg in reversed(self.cache):
if msg["id"] == cursor:
break
new_count += 1
if new_count:
callback(self.cache[-new_count:])
return
self.waiters.add(callback)
这里就是“异步”的关键了。这个方法大部分代码都是在检查这个 buffer 里面有没有足够的数据可以让这次 wait_for_message
直接调用回调函数,如果刚好有数据那就皆大欢喜。
但是如果没有,注意看这个方法将回调函数添加到 self.waiters
队列里之后,就返回了。这就意味着,MessageUpdatesHandler.post()
也会立即返回 None
,并且在 Tornado 内部会一直返回到 eventloop ——后者会“释放”CPU,去做循环里的别的事情;而此时这个 HTTP 请求,并没有因为函数的返回而结束,因为还没有人调用 finish()
——回忆一下 @asynchronous
。
此时异步地(在 eventloop 转了许多圈之后),MessageBuffer.new_messages()
会被调用到(就不细分析了),然后会调用到之前放在 waiters
队列里的回调函数——也就是 MessageUpdatesHandler.on_new_messages
:
def on_new_messages(self, messages):
# Closed client connection
if self.request.connection.stream.closed():
return
self.finish(dict(messages=messages))
它调用了 finish()
,至此请求完成。
MessageUpdateHandler
中定义了on_new_messages
这个callback回调函数,客户端请求新数据,服务器会检查cache中是否存有新数据
client会通过/a/message/new
来发送聊天消息,server收到消息以后会对消息进行封装和处理,然后根据waiters
中的等待的客户的callback函数进行数据的返回。
在on_new_messages
中执行self.finish(dict(messages=messages))
。因此真正的请求结束是在执行self.finish
以后,而中间一直处于等待新数据的状态。
比如有1万个client, 定时发送/a/message/updates
来获取最新的聊天信息数据。服务器接受请求并不处于忙等状态,如果没有新数据也不直接结束请求,而是将每个请求的self.finish()
封装成callback函数保存在集合waiters
中(之所以用集合是因为client会定时发送获取数据请求,集合能保证用于保存client的callback函数的唯一性)。
当任意client发送一条聊天消息的时候,server会解析并处理该消息,然后获取waiters
中的callback集合,遍历执行该1万个callback函数,给client返回数据并结束此次请求。
整个过程中服务器并不在任意请求处理环节中等待获取新数据,因此实现了请求数据处理的异步性。
另外,在授权验证登陆的过程里也做了一些异步操作。@gen.coroutine
可以实现模仿同步编程方式的异步编程,替代了原来的@gen.engine
,避免写回调函数,使得开发起来更加符合正常逻辑思维。在yield
语句之后,ioloop
将会注册该事件,等到user
返回之后继续执行
我也不是很懂,但是我觉得应该看一下twisted,这个才是tornado的核心
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19815.html
相关文章 Recommend
- • 请教tornado框架内链接数组参数类型的问题
- • 怎么解决python tornado总是需要重启的问题
- • tornado连接数据库报NameError是编码不对吗
- • 请教tornado站点cookie无效不能登录的问题
- • python tornado url斜杠补全如何定义
- • 关于Tornado的asyncHttpClient的问题
- • 求问boost::python为C++程序开发语言扩展框架高手指
- • beautifulsoup3.2.1使用时遇到的一些小问题
- • python 3.3.2没有urllib2库吗?
- • python tornado mongo驱动应该如何选择
- • 请问tornado authenticated的实现原理是什么
- • 求问如下python解析库工作原理是什么
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • django app提供pv信息的方法是什么
- • Django项目版本升级如何操作?
- • django较多数据传递如何优雅的呈现
- • django1.7获取参数问题求助
- • Django1.7使用内置comment遇到问题
- • python mysql数据库做insert操作时报_mysql_ex
- • 关于python mysql的duplicate insert机制的疑问
- • pymongo使用insert函数批量插入被中断要怎么
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
图文精华 RECOMMEND
-
django1.7获取参数问题求助
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问