Python编码关于gb2312、utf、ansi、gbk、Unicode等汇总问题
从接触编程以来,一直对编码的知识一知半解,总没有掌握精髓。
比如:ansi和gbk的关系,gbk和gb2312又有何关系,ansi和utf8有何区别,Unicode又和utf8是什么关系,以及ansi、gbk、gb2312、utf8(有无Bom之分)、utf16、utf32、Unicode之间的相互转换等等,心中的疑问总没有找个机会解决下,希望能在segmentfault得到满意的答案。
如果有这方面的书籍的话(javascript的最好了,因为刚好是在javascript中碰到的问题),最好不过了!
汇总
书籍
《fonts and encodings》只找到英文版
许令波的《深入分析Java Web技术内幕》3.3节
文章
字符编码笔记:ASCII,Unicode和UTF-8
谈谈Unicode编码
UNICODE,GBK,UTF-8区别
Unicode字符集和多字节字符集关系
谈谈Unicode编码,简要解释UCS、UTF、BMP、BOM等名词
分析记事本写联通两字出现乱码的原因1
分析记事本写联通两字出现乱码的原因2
小代码大学问之JavaScript位运算
其他:
字体编辑用中日韩汉字Unicode编码表
ANSI是标准集,美国国家标准协会,涵盖多方面,类似大陆的国标
win下的ANSI是狭义的,指的是当前系统的编码,相当于code page
GB2312是国标,双字节字符集,但制定年份较早,包含的汉字(含标点符号等)较少
GBK是在GB2312的基础上扩展的,利用其中未被使用的码位,纳入更多的汉字和符号,所以一般情况下应该用GBK而不是GB2312。网页使用gb2312没问题是因为网页本身只是显示,取决于客户端的字体,即使超出gb2312编码范围的字符,只要字体包含就能显示,目前客户端的字体基本上都是足够显示gbk的,不会只有gb2312那么少字符,所以显示完全没问题。但编程时这两个就要分清楚,因为gb2312的字符数量少,容易造成转码错误,所以应该用gbk
unicode是字符集,其实是个码表,不是具体的编码,具体的编码是uc2,uc4,utf-7,utf-8,utf-16,utf-32等,uc是定长,每个字符字节数相同,utf是变长,字符视乎unicode的码位段字节数不同
windows下的unicode指的是utf-16,这样就有点混淆了概念
bom的概念是在文件最前面加上几个特定字节,以方便识别这是一个unicode某个编码的文本
编码间的转换一般用码表,这个一般如果不是研究,用现有的一些控件或接口就可以了,例如iconv等
百度一下,一大堆的博客介绍这个。
http://blog.csdn.net/garfield2005/article/details/7681299
http://www.cnblogs.com/cy163/archive/2007/05/31/766886.html
...
推荐下阮一峰写的一篇入门的文章: http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html
深入分析Java Web技术内幕 许令波写的 3.3节
上面这书是我见过的对编码解释的最清晰的了 可以找找看看
玩蛇网文章,转载请注明出处和文章网址:https://www.iplaypy.com/wenda/wd19490.html
相关文章 Recommend
- • 2019年3月最新消息: Python 3.4.10 现已推出
- • [上海]招Python量化系统开发工程师
- • 优集品网络科技有限公司招Python中/高级工程师
- • 爱因互动科技发展有限公司招募Python开发攻城狮
- • mozio招聘Python/Django工程师
- • Kavout金融科技公司招Python研发工程师
- • Python数组逆向输出,编程练习题实例四十
- • Python数组插入排序,编程练习题实例三十九
- • Python矩阵for循环应用,编程练习题实例三十八
- • Python操作Redis数据库方面的问题
- • 请python高手帮我看看这段python代码中函数setter的
- • Python什么方法可以快速将两个队列变成字典
必知PYTHON教程 Must Know PYTHON Tutorials
- • python 解释器
- • python idle
- • python dir函数
- • python 数据类型
- • python type函数
- • python 字符串
- • python 整型数字
- • python 列表
- • python 元组
- • python 字典
- • python 集合
- • python 变量
- • python print
- • python 函数
- • python 类定义
- • python import
- • python help
- • python open
- • python 异常处理
- • python 注释
- • python continue
- • python pass
- • python return
- • python global
- • python assert
- • python if语句
- • python break
- • python for循环
- • python while循环
- • python else/elif
- • lambda匿名函数
必知PYTHON模块 Must Know PYTHON Modules
- • os 模块
- • sys 模块
- • re 正则表达式
- • time 日期时间
- • pickle 持久化
- • random 随机
- • csv 模块
- • logging 日志
- • socket网络通信
- • json模块
- • urlparse 解析URL
- • urllib 模块
- • urllib2 模块
- • robotparser 解析
- • Cookie 模块
- • smtplib 邮件
- • Base64 编码
- • xmlrpclib客户端
- • string 文本
- • Queue 线程安全
- • math数学计算
- • linecache缓存
- • threading多线程
- • sqlite3数据库
- • gzip压缩解压
最新内容 NEWS
- • Python程序员解决棘手问题的常用库
- • 求助关于restfull api接口几个问题
- • qiniu pythonsdk提示ImportError错误求解
- • 问一个关于Hadoop Python中读写文件统计分析
- • 求问str()同__str__原理上有什么不同,分别在
- • 大神帮忙看下20行的python代码,文件io和数
- • python 爬虫爬wiki 报错 [Errno 65] No route to
- • python续点上传问题None bad token...
- • python3环境下文本中超链接出错,要如何修
- • Python环境保存操作思路问题求助
图文精华 RECOMMEND
-
Python程序员解决棘手问题的常用库
-
求问str()同__str__原理上有什么不同
-
scrapy框架里面用link extractor怎么能
-
python {}.fromkeys创建字典append添加操
-
python3 类型Type str doesn't support th
-
python里面为什么系统的时区是东八
热点文章 HOT
- 学习Python有什么好的书籍推荐?
- Python匿名函数 Lambda表达式作用
- Python与Java、C、Ruby、PHP等编程语言有什么
- Python 正则中文网页字符串提取问题
- 如何为实时性应用存取经纬度?django my
- 想用python做个客户端,在二维码登录这个地
- 有让IDE可识别Python函数参数类型的方法吗
- Python字符串转换成列表正则疑问