py第三方库 pyspider使用redis分布式
在部署pyspider分布式时,尝试连接redis集群
配置项为: "message_queue":"redis://127.0.0.1:6380/db"
在启动时:报如下错误
[E 170221 09:40:39 tornado_fetcher:529] MOVED 12068 127.0.0.1:6380
Traceback (most recent call last):
File "/usr/lib/python2.6/site-packages/pyspider/fetcher/tornado_fetcher.py", line 515, in queue_loop
if self.outqueue.full():
File "/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py", line 50, in full
if self.maxsize and self.qsize() >= self.maxsize:
File "/usr/lib/python2.6/site-packages/pyspider/message_queue/redis_queue.py", line 40, in qsize
self.last_qsize = self.redis.llen(self.name)
File "/usr/lib/python2.6/site-packages/redis/client.py", line 1219, in llen
return self.execute_command('LLEN', name)
File "/usr/lib/python2.6/site-packages/redis/client.py", line 573, in execute_command
return self.parse_response(connection, command_name, **options)
File "/usr/lib/python2.6/site-packages/redis/client.py", line 585, in parse_response
response = connection.read_response()
File "/usr/lib/python2.6/site-packages/redis/connection.py", line 582, in read_response
raise response
ResponseError: MOVED 12068 127.0.0.1:6380
经查找,得到:因为redis由单节点变为集群,而python的redis连接包暂时还不支持redis集群连接方式,需要更换连接包(redis-py-cluster)。
在安装完redis-py-cluster之后,依旧报上面的错误。
链接 redis 使用的库是写在代码里面的,不是你安装了就会切换的。
就算你要改代码,也要确认 API 是兼容的。
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd13929.html
相关文章 Recommend
- • Python操作Redis数据库方面的问题
- • tornado连接数据库报NameError是编码不对吗
- • flask web开发中使用redis做缓存怎么和数据库同步?
- • python编码cherrypy库文件乱码
- • MongoEngine怎样更新列表数据至MongoDB数据库中
- • 求解决pip安装python库下载超时的有效方法
- • 要用python检测遍历数据库内每一条url用twisted还是
- • Python能查到被导入而没有引用的类库吗
- • 请问SAE用第三方提示:ImportError: No module named feed
- • 数据库操作完成后需要关闭么
- • 动态加载数据库再重新加载的问题url route
- • BAE,SAE一类平台哪些能支持安装python第三方C扩展的
您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:
上一篇:python ConnectionRefusedError: [Errno 111] Connection refuse
下一篇:Python+Selenium+PhantomJs爬虫 怎么抓取弹出新标签页的内容
下一篇:Python+Selenium+PhantomJs爬虫 怎么抓取弹出新标签页的内容
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
- • qiniu pythonsdk提示ImportError错误求解
- • 问一个关于Hadoop Python中读写文件统计分析
- • 求问str()同__str__原理上有什么不同,分别在
- • 大神帮忙看下20行的python代码,文件io和数
- • python 爬虫爬wiki 报错 [Errno 65] No route to
- • python续点上传问题None bad token...
- • python3环境下文本中超链接出错,要如何修
- • Python环境保存操作思路问题求助
图文精华 RECOMMEND
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
-
python里面为什么系统的时区是东八
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问