python编码和解码_Python中的编码与解码(转)

Python中的字符编码与解码困扰了我很久了，一直没有认真整理过，这次下静下心来整理了一下我对方面知识的理解。

文章中对有些知识没有做深入的探讨，一是我自己也没有去深入的了解，例如各种编码方案的实现方式等；二是我觉得只要提能对理解Python字符编码与解码的关键知识即可，想深入可以查其它资料。

文中的观点肯定有纰漏，只做参考，欢迎指正。

Unicode

Unicode是什么，这里不多说了，百科上面讲的很清楚了，这里只提下有助于理解本文主题的知识。

Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。每个字符都对应一个编号，编号的范围是0-0x10FFFF来。

字符编码方案

我们知道，每个Unicode字符对应一个编号，例如汉字“我”对应的编号是25105，但在程序中不是直接用编号来表示Unicode字符的（那得有多长的数字啊），而是表示成16进制格式，但具体怎么转换成16进制，不同的编码方案采用的方式不一样。

>>> s = u'我'

>>> ord(s)

25105

>>> s

u'\u6211'

>>> s.encode('utf-8')

'\xe6\x88\x91'

>>> s.encode('utf-16')

'\xff\xfe\x11b'

>>> s.encode('utf-32')

'\xff\xfe\x00\x00\x11b\x00\x00'

>>> s.encode('gbk')

'\xce\xd2'

>>>

我们用unicode()内置函数创建了一个Python中的unicode字符，然后ord()函数可以得到它在Unicode字符集中的编号。Python的unicode对象有一个encode()方法，用来对unicode对像进行编码。

这个示例中的一些知识，在后面会讲到，现在不用深究。这里提下UTF-8编码方式，其它的还没深入研究过，但不妨碍本文的主题。

UTF-8以字节为单位对Unicode编号进行编码。每个字节被转换成一个二位的十六进制数。UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符，UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。

Python支持很多的编码方案，包括ascii，utf-8，utf-16，utf32，gbk，gb2312等，完整的列表可以在下面的链接中找到：

http://docs.python.org/2/library/codecs.html#standard-encodings

Python中的字符串

在Python中，str 对象表示所有普通字符串对象，它只能表示ASCII码表中的字符，特点是每个字符占用一个字节，所以也叫做字节字符串（Byte string）。unicode 对象则可以表示所有Unicode字符集中的字符。

s = 'I love python'

u = u'我爱Python'

print isinstance(s, str)

print isinstance(u, unicode)

--输出

True

还可以使用 str() 函数和 unicode() 从一个对象构建字符串，

str(object) 函数返回的结果通常可以通过定义 object 的 str 属性来定制返回的结果。

unicode()函数接受多个参数，与编码格式有关，这在后面会讲到。

Python中的Unicode 转义字符

我们常看到“ \u6211” 这样的字符，用json.dumps(obj)时，如里obj是unicode字符，包含非ASCII码，且ensure_ascii=True,那返回的结果字符串中就包含这种形式。这是个转义字符，表示Unicode字符“我”。但是注意的是，这种转义只在unicode字面量中有效，用print 输出时会自动转为对应的unicode字符。而在str字面量中没有特殊意义。web信息中常会遇到“\u4f60\u597d”类型的字符。首先’\u‘开头就基本表明是跟unicode编码相关的。python里str.decode()和str.encode()为我们提供了解码和编码的方法。其中str.decode('unicode_escape')能将此种字符串解码为unicode字符串。下面是在ubuntu的ipython中的操作，

>>> a = u'你好'

>>> a

u'\u4f60\u597d'

>>> print a

你好

>>> b = '你好'

>>> b

'\xe4\xbd\xa0\xe5\xa5\xbd'

>>> print b

你好

>>> c = '\u4f60\u597d'

>>>

>>> c

'\\u4f60\\u597d'

>>> print c

\u4f60\u597d

>>>

>>> d = r'\u4f60\u597d'

>>> d

'\\u4f60\\u597d'

>>> print d

\u4f60\u597d

>>> d == c

True

>>> e = c.decode('unicode_escape')

>>> e

u'\u4f60\u597d'

>>> print e

你好

>>>

其实6211是字符‘我’在Unicode字符集中的编号25105的16进制值

字符串字面量和程序中处理的字符串

在源代码中，字符串通常用字面量来表示

u = u'我爱Python'

但字面量是给人看的，程序看到的是对字面量进行处理后的字符，而且 str 字符串和 unicode 字符串的处理方式不一样。

unicode 字符串会将字面量中的非ASCII字符替换成Unicode转义符，但最后的结果是与原字符串等价的。

str类型的字面量会使用设置的编码格式进行编码处理，最后得到的是编码字符串（这点很重要，后面会提到）。编码字符串与原字符串不能等同。

--脚本

-- coding: utf-8 --

s = '我爱Python'

u = u'我爱Python'

print 'encoded str: ', repr(s)

print 'escaped unicode: ', repr(u)

print 'str: ', s

print 'decoded str: ', s.decode('utf-8')

print 'unicode: ', u

--输出

encoded str: '\xe6\x88\x91\xe7\x88\xb1Python'

escaped unicode: u'\u6211\u7231Python'

str: 鎴戠埍Python

decoded str: 我爱Python

unicode: 我爱Python

'\xe6\x88\x91\xe7\x88\xb1Python'是对 s 编码后的编码字符串，直接输出编码字符串会得到不一样的结果，因为实际上，'\xe6' 等被当作16进制转义字符来处理了。要想得到正确结果，需要先解码。

u'\u6211\u7231Python'是转义后的与 u 等价的unicode字符串

编码字符串

编码字符串，是指采用指定的编码格式对字符进行编码后得到的字符串。编码格式有很多中，例如 ascii、utf-8、gbk、gbk2312等。

编码字符串是纯 str 字符串，它表示原字符串的编码结果。直接输出编码字符串可能会与原来的字符串表示的值不一样，除非原来的字符串都是ASCII字符。

--脚本

-- coding: utf-8 --

s = '我'

s1 = '我爱Python'

print len(s)

print repr(s)

print s

print repr(s1)

print s1

--输出

'\xe6\x88\x91'

我

'\xe6\x88\x91\xe7\x88\xb1Python'

鎴戠埍Python

'\xe6\x88\x91' 和 '\xe6\x88\x91\xe7\x88\xb1Python' 就是编码字符串。在编码字符串中类似 '\xe6' 这种字符是Python中的16进制转义字符，被看作是一个字符，而不是4个字符。（Python转义序列：http://docs.python.org/2/reference/lexical_analysis.html#string-literals）

我们可以看到 s 的长度已经是3了，因为这里统计的是编码字符串的长度。

上面的例子有个小细节，字符串只包含单个字符的时候，print语句好像做了解码处理能直接输出正确的结果，但多个字符就会乱码。

这是为什么呢？

开始编码和解码

前面介绍了一些基本知识，现在开始来对字符串进行编码和解码了。

编码：

--脚本

-- coding: utf-8 --

u = u'我爱Python'

print 'encoded[utf-8]: ', repr(u.encode('utf-8'))

print 'encoded[gbk]: ', repr(u.encode('gbk'))

print 'encoded[ascii]: ', repr(u.encode('ascii'))