【www.gdgbn.com--python】
1. 在python中使用中文
在python中有两种默认的字符串:str和unicode。在python中一定要注意区分“unicode字符串”和“unicode对象”的区别。后面所有的“unicode字符串”指的都是python里的“unicode对象”。 事实上在python中并没有“unicode字符串”这样的东西,只有“unicode”对象。一个传统意义上的unicode字符串完全可以用str对象表示。只是这时候它仅仅是一个字节流,除非解码为unicode对象,没有任何实际的意义。 我们用“哈哈”在多个平台上测试,其中“哈”对应的不同编码是: 1. unicode (utf8-16), c854; 2. utf-8, e59388; 3. gbk, b9fe。 1.1 windows控制台 下面是在windows控制台的运行结果: 可以看出在控制台,中文字符的编码是gbk而不是utf-16。将字符串s(gbk编码)使用decode进行解码后,可以得到同等的unicode对象。 注意:可以在控制台打印ss并不代表它可以直接被序列化,比如: 向文件直接输出ss会抛出同样的异常。在处理unicode中文字符串的时候,必须首先对它调用encode函数,转换成其它编码输出。这一点对各个环境都一样。 总结:在python中,“str”对象就是一个字节数组,至于里面的内容是不是一个合法的字符串,以及这个字符串采用什么编码(gbk, utf-8, unicode)都不重要。这些内容需要用户自己记录和判断。这些的限制也同样适用于“unicode”对象。要记住“unicode”对象中的内容可绝对不一定就是合法的unicode字符串,我们很快就会看到这种情况。 总结:在windows的控制台上,支持gbk编码的str对象和unicode编码的unicode对象。 1.2 windows idle(在shell上运行) 在windows下的idle中,运行效果和windows控制台不完全一致: 可以看出,对于不使用“u”作标识的字符串,idle把其中的中文字符进行gbk编码。但是对于使用“u”的unicode字符串,idle居然一样是用了gbk编码,不同的是,这时候每一个字符都是unicode(对象)字符!!此时len(ss) = 4。 这样产生了一个神奇的问题,现在的ss无法在idle中正常显示。而且我也没有办法把ss转换成正常的编码!比如采用下面的方法: 这有可能是因为idle本地化做得不够好,对中文的支持有问题。建议在idle的shell中,不要使用u“中文”这种方式,因为这样得到的并不是你想要的东西。 这同时说明idle的shell支持两种格式的中文字符串:gbk编码的“str”对象,和unicode编码的unicode对象。 1.3 在idle上运行代码 在idle的shell上运行文件,得到的又是不同的结果。文件的内容是: 直接运行的结果是: 毫无瑕疵,相当令人满意。我没有试过其它编码的文件是否能正常运行,但想来应该是不错的。 同样的代码在windows的控制台试演过,也没有任何问题。 1.4 windows eclips教程e 在eclipse中处理中文更加困难,因为在eclipse中,编写代码和运行代码属于不同的窗口,而且他们可以有不同的默认编码。对于如下代码: #!/usr/bin/python # -*- coding: utf-8 -*- s = "哈哈" ss = u"哈哈" print repr(s) print repr(ss) print s.decode("utf-8").encode("gbk") print ss.encode("gbk") print s.decode("utf-8") print ss 前四个print运行正常,最后两个print都会抛出异常: "xe5x93x88xe5x93x88" u"u54c8u54c8" 哈哈 哈哈 traceback (most recent call last): file "e:workspaceeclipsetestpythontesttest_encoding_2.py", line 13, inprint >> outfile, xmldoc.toxml().encode(‘utf-8’)[22:]
其中第二行需要过滤掉在调用xmldoc.toxml时生成的“”,它的长度是22。 相面是两种方法的用法比较: 另外,在idle的shell中,不要用 u’中文’ 对属性进行赋值。上面讨论过,这样得到的unicode字符串不正确