py第三方库 pyspider使用redis分布式
在部署pyspider分布式时,尝试连接redis集群
配置项为: "message_queue":"redis://127.0.0.1:6380/db"
在启动时:报如下错误
[E 170221 09:40:39 tornado_fetcher:529] MOVED 12068 127.0.0.1:6380
Traceback (most recent call last):
File "/usr/lib/python2.6/site-packages/pyspider/fetcher/tornado_fetcher.py", line 515, in queue_loop
if self.outqueue.full():
File "/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py", line 50, in full
if self.maxsize and self.qsize() >= self.maxsize:
File "/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py", line 40, in qsize
self.last_qsize = self.redis.llen(self.name)
File "/usr/lib/python2.6/site-packages/redis/client.py", line 1219, in llen
return self.execute_command('LLEN', name)
File "/usr/lib/python2.6/site-packages/redis/client.py", line 573, in execute_command
return self.parse_response(connection, command_name, **options)
File "/usr/lib/python2.6/site-packages/redis/client.py", line 585, in parse_response
response = connection.read_response()
File "/usr/lib/python2.6/site-packages/redis/connection.py", line 582, in read_response
raise response
ResponseError: MOVED 12068 127.0.0.1:6380
经查找,得到:因为redis由单节点变为集群,而python的redis连接包暂时还不支持redis集群连接方式,需要更换连接包(redis-py-cluster)。
在安装完redis-py-cluster之后,依旧报上面的错误。
链接 redis 使用的库是写在代码里面的,不是你安装了就会切换的。
就算你要改代码,也要确认 API 是兼容的。
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd13929.html
相关文章 Recommend
- • Python操作Redis数据库方面的问题
- • tornado连接数据库报NameError是编码不对吗
- • flask web开发中使用redis做缓存怎么和数据库同步?
- • python编码cherrypy库文件乱码
- • MongoEngine怎样更新列表数据至MongoDB数据库中
- • 求解决pip安装python库下载超时的有效方法
- • 要用python检测遍历数据库内每一条url用twisted还是
- • Python能查到被导入而没有引用的类库吗
- • 请问SAE用第三方提示:ImportError: No module named feed
- • 数据库操作完成后需要关闭么
- • 动态加载数据库再重新加载的问题url route
- • BAE,SAE一类平台哪些能支持安装python第三方C扩展的
您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:
上一篇:python ConnectionRefusedError: [Errno 111] Connection refuse
下一篇:Python+Selenium+PhantomJs爬虫 怎么抓取弹出新标签页的内容
下一篇:Python+Selenium+PhantomJs爬虫 怎么抓取弹出新标签页的内容
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • django app提供pv信息的方法是什么
- • Django项目版本升级如何操作?
- • django较多数据传递如何优雅的呈现
- • django1.7获取参数问题求助
- • Django1.7使用内置comment遇到问题
- • python mysql数据库做insert操作时报_mysql_ex
- • 关于python mysql的duplicate insert机制的疑问
- • pymongo使用insert函数批量插入被中断要怎么
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
图文精华 RECOMMEND
-
django1.7获取参数问题求助
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问