字符串的encode和decode解决乱码问题

为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就来研究一下这个问题。

Python 中字符串的内部表示是 unicode 编码。因此，在做编码转换时，通常需要使用unicode作为中间编码，即先将其他编码的字符串decode（解码）成unicode，再从unicode编码（encode）成另一种编码。

decode的作用是将其他编码的字符串转为unicode编码，如str1.decode('gb2312')，表示将gb2312编码的字符串str1转为unicode编码。

encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode('gb2312')，意思是将unicode编码的字符串str2转换成gb2312编码。

所以在转码的时候，首先要了解字符串str的编码是什么，然后解码成unicode，再编码成其他编码

代码中字符串的默认编码与代码文件本身的编码一致。

如：s='中文'

如果是utf8文件，则字符串编码为utf8；如果它在 gb2312 文件中，则其编码为 gb2312。这种情况下，要进行编码转换，需要先使用decode方法转换成unicode编码，再使用encode方法转换成其他编码。通常，当没有指定具体的编码方式时，会使用系统默认的编码方式创建代码文件。

如果字符串是这样定义：s=u'中文'

然后指定字符串的编码为unicode，这是python的内部编码，与代码文件本身的编码无关。因此，对于这种情况下的编码转换，只需要直接使用encode方法将其转换成指定的编码即可。

如果一个字符串已经是unicode，再解码就会出错，所以通常需要判断它的编码方式是否是unicode：

isinstance(s, unicode)  #用来判断是否为unicode

用非unicode编码形式的str来encode会报错

如何获得系统的默认编码？

#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()

该段程序在英文WindowsXP上输出为：ascii

在某些IDE中，字符串的输出总是出现乱码甚至错误。其实是IDE本身的输出控制台无法显示字符串的编码，不是程序本身的问题。

如在UliPad中运行如下代码：

s=u"中文"
print s

会提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。这是因为UliPad在英文Windows XP上的控制台信息输出窗口是按照ascii编码输出的（英文系统默认编码是ascii），而上面代码中的字符串是Unicode编码，所以输出时出现错误。

将最后一句改为：print s.encode('gb2312')

则能正确输出“中文”两个字。

若最后一句改为：print s.encode('utf8')

然后输出：\xe4\xb8\xad\xe6\x96\x87，这是控制台信息输出窗口按照ascii编码输出utf8编码字符串的结果。

unicode(str,'gb2312')与str.decode('gb2312')是一样的，都是将gb2312编码的str转为unicode编码

使用str.__class__可以查看str的编码形式

原理说了半天，最后来个包治百病的吧：）

代码如下:

#!/usr/bin/env python 
#coding=utf-8 
s="中文" 
if isinstance(s, unicode): 
#s=u"中文" 
print s.encode('gb2312') 
else: 
#s="中文" 
print s.decode('utf-8').encode('gb2312')