python3网页爬虫字节流编码问题
正在做网页爬虫,得到许多注入下列变量code的字符,想尝试将他们转换为utf-8的string输出到文件里,转换不成功,问题如下。
#Python 3.4.0
#coding:utf-8
import os
code = '\xe8\xb1\x86\xe7\x93\xa3'
bytes = code.encode(encoding='utf-8')
douban = str(bytes.decode('utf-8'))
#print(str(bytes.decode('utf-8')))
file_object = open('test.txt', 'w')
file_object.write(douban)
file_object.close()
lz爬的是豆瓣吗?豆瓣用的就是utf-8
<meta charset="UTF-8">
我原来也爬过,豆瓣用的是UTF-8 根本也不用转啊
本人用的2.7
已经是utf-8了编码一次又解码一次做了跟没做有什么区别?
#coding:utf-8
import os
code = b'\xe8\xb1\x86\xe7\x93\xa3'
code = code.decode('utf-8')
file_object = open('test.txt', 'w', encoding="utf-8")
file_object.write(code)
file_object.close()
首先,我觉得你需要认识这么几个概念:
1. unicode:在本文中表示用4byte表示的unicode编码,也是python内部使用的字符串编码方式。
2. utf-8:在本文中只最少1byte表示的unicode编码方式。
其次,你需要知道decode和encode之间的关系。
可以看出,在python中,所有格式的中间编码方式就是unicode
,需要从编码A转换为编码B,只需要string.decode("A").encode("B")
就可以了。
有了上面的知识储备再回到你的问题。
你的code = '\xe8\xb1\x86\xe7\x93\xa3'
根据我的经验看起来就是utf-8的编码方式(因为我看到的utf-8编码都是\xFF这种样式,但是我不确定这两者之间的绝对关系),所以这块应该使用u_code = code.decode("utf-8")
来使得code
解码为unicode
,再将其编码为你需要的编码方式(例如gb18030)。
而,你的需求中写到,你希望写入文件的是utf-8的编码格式,所以你可以直接file_object.write(code)
。这样你文件中的内容就是utf-8
编码的。
如果你拿到一个字符串,你不知道他的编码方式,可以试试chardet,他会给出字符串的编码格式,和信赖度。可以作为你的参考。
文中有任何问题请联系我,欢迎指出问题。
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19735.html
相关文章 Recommend
- • 我的网站爬虫python代码为什么不能正常运行,哪里
- • Python3.0版本做web可以吗?
- • python运行爬虫程序时间如何控制?
- • 网页编码gb2312和gbk的pyquery中文乱码问题
- • python 解析网页不出来
- • python3.3有哪些特别好用的模块
- • python爬虫脚通过web控制起始暂停的方法
- • 求python访问网页并提交请求的操作思路
- • Python3 在使用traceback.format_exc()的时候遇到 Unicod
- • 怎么确保在网页中插入含有html标签内容,页面还能
- • python爬虫运行一段时间后,返回403 forbidden原因是什
- • 网页源码分析直接输出与print内容上有何有区别
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
- • qiniu pythonsdk提示ImportError错误求解
- • 问一个关于Hadoop Python中读写文件统计分析
- • 求问str()同__str__原理上有什么不同,分别在
- • 大神帮忙看下20行的python代码,文件io和数
- • python 爬虫爬wiki 报错 [Errno 65] No route to
- • python续点上传问题None bad token...
- • python3环境下文本中超链接出错,要如何修
- • Python环境保存操作思路问题求助
图文精华 RECOMMEND
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
-
python里面为什么系统的时区是东八
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问