我正在读取具有UTF8编码的CSV文件:
ifile = open(fname, "r")
for row in csv.reader(ifile):
name = row[0]
print repr(row[0])
这很好用,并打印出我希望它打印出来的东西; UTF8编码 str :
> '\xc3\x81lvaro Salazar'
> '\xc3\x89lodie Yung'
...
此外,当我只是打印 str (而不是 repr() )时,输出显示正常(我不知道这会导致错误吗?):
> Álvaro Salazar
> Élodie Yung
但是当我尝试将我的UTF8编码 strs 转换为 unicode 时:
ifile = open(fname, "r")
for row in csv.reader(ifile):
name = row[0]
print unicode(name, 'utf-8') # or name.decode('utf-8')
我得到了臭名昭着的:
Traceback (most recent call last):
File "scripts/script.py", line 33, in
print unicode(fullname, 'utf-8')
UnicodeEncodeError: 'ascii' codec can't encode character u'\xc1' in position 0: ordinal not in range(128)
所以我查看了创建的unicode字符串:
ifile = open(fname, "r")
for row in csv.reader(ifile):
name = row[0]
unicode_name = unicode(name, 'utf-8')
print repr(unicode_name)
而输出是
> u'\xc1lvaro Salazar'
> u'\xc9lodie Yung'
所以现在我完全感到困惑,因为这些似乎是错误的十六进制值 . 我读过这个问题:
看来我正在做的一切正确,让我相信我的文件实际上不是UTF8,但是当我最初打印出单元格的 repr 值时,它们似乎是要纠正UTF8十六进制值 . 任何人都可以指出我的问题或指出我的理解在哪里崩溃(因为我开始迷失在编码的丛林中)
顺便说一句,我相信我可以使用 codecs 打开文件并将其直接读入unicode对象,但 csv 模块本身不支持unicode,所以我可以使用这种方法 .