网页编码gb2312和gbk的pyquery中文乱码问题
生成的网页打卡乱码,但是url若换成www.baidu.com则正常,查看后发现贴吧编码是gbk,百度首页编码是gb2312。不知道是什么原因?
# -*- coding:utf-8 -*- from pyquery import PyQuery as pq import codecs d = pq(url'http://tieba.baidu.com/f?kw=宋时行') sep = d('body').html() file = codecs.open('new.html', 'w', 'utf-8') file.write(sep) file.close()
第一,url里面汉字你使用urllib2.quote()转码下
d = pq(url'http://tieba.baidu.com/f?kw=' + urllib2.quote('宋时行'))
第二,load下来的页面要从gbk转到unicode码在转为utf-8
sep = d('body').html().decode('gbk').encode('utf-8')
你可以试试这,我用urllib2就是这样写的,没用过pyquery,所以具体不清楚
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd20343.html
相关文章 Recommend
- • tornado连接数据库报NameError是编码不对吗
- • python编码cherrypy库文件乱码
- • python邮件乱码 smtp模块文本编码问题
- • linux + python2 + zsh, unicode编码显示异常
- • python 解析网页不出来
- • 关于python编码检测与chardet模块应用的一些小问题
- • pycharm unicode字符编码显示中文问题求助
- • 求python访问网页并提交请求的操作思路
- • 怎么确保在网页中插入含有html标签内容,页面还能
- • 遇到python编码问题怎么样确保能输出中文['\xe9\
- • 网页源码分析直接输出与print内容上有何有区别
- • 用python pyquery采集淘宝遇到的编码问题
您现在的位置: 玩蛇网首页 > Python问题解答 > 正文内容
我要分享到:
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • python mysql数据库做insert操作时报_mysql_ex
- • 关于python mysql的duplicate insert机制的疑问
- • pymongo使用insert函数批量插入被中断要怎么
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
- • qiniu pythonsdk提示ImportError错误求解
- • 问一个关于Hadoop Python中读写文件统计分析
- • 求问str()同__str__原理上有什么不同,分别在
- • 大神帮忙看下20行的python代码,文件io和数
- • python 爬虫爬wiki 报错 [Errno 65] No route to
图文精华 RECOMMEND
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
-
python里面为什么系统的时区是东八
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问