Python中文编码问题详解

中文编码问题是用中文的程序员经常头大的问题,在python下也是如此,那么应该怎么理解和解决python的编码问题呢?

我们要知道python内部使用的是unicode编码,而外部却要面对千奇百怪的各种编码,比如作为中国程序经常要面对的gbk,gb2312,utf8等,那这些编码是怎么转换成内部的unicode呢?

首先我们先看一下源代码文件中使用字符串的情况。源代码文件作为文本文件就必然是以某种编码形式存储代码的,python默认会认为源代码文件是ascii编码,比如说代码中有一个变量赋值:

s1=’a’ 
print s1
python认为这个’a'就是一个asci编码的字符。在仅仅使用英文字符的情况下一切正常,但是如果用了中文,比如:
s1=’哈’ 
print s1
这个代码文件被执行时就会出错,就是编码出了问题。python默认将代码文件内容当作ascii编码处理,但ascii编码中不存在中文,因此抛出异常。
解决问题之道就是要让python知道文件中使用的是什么编码形式,对于中文,可以用的常见编码有utf-8,gbk和gb2312等。只需在代码文件的最前端添加如下:
# -*- coding: utf-8 -*-
这就是告知python我这个文件里的文本是用utf-8编码的,这样,python就会依照utf-8的编码形式解读其中的字符,然后转换成unicode编码内部处理使用。

不过,如果你在Windows控制台下运行此代码的话,虽然程序是执行了,但屏幕上打印出的却不是哈字。这是由于python编码与控制台编码的不一致造成的。Windows下控制台中的编码使用的是gbk,而在代码中使用的utf-8,python按照utf-8编码打印到gbk编码的控制台下自然就会不一致而不能打印出正确的汉字。


解决办法一个是将源代码的编码也改成gbk,也就是代码第一行改成:
# -*- coding: gbk -*-
另一种方法是保持源码文件的utf-8不变,而是在’哈’前面加个u字,也就是:
s1=u’哈’ 
print s1
这样就可以正确打印出’哈’字了。
这里的这个u表示将后面跟的字符串以unicode格式存储。python会根据代码第一行标称的utf-8编码识别代码中的汉字’哈’,然后转换成unicode对象。如果我们用type查看一下’哈’的数据类型type(‘哈’),会得到<type ‘str’>,而type(u’哈’),则会得到<type ‘unicode’>,也就是在字符前面加u就表明这是一个unicode对象,这个字会以unicode格式存在于内存中,而如果不加u,表明这仅仅是一个使用某种编码的字符串,编码格式取决于python对源码文件编码的识别,这里就是utf-8。

Python在向控制台输出unicode对象的时候会自动根据输出环境的编码进行转换,但如果输出的不是unicode对象而是普通字符串,则会直接按照字符串的编码输出字符串,从而出现上面的现象。
使用unicode对象的话,除了这样使用u标记,还可以使用unicode类以及字符串的encode和decode方法。
unicode类的构造函数接受一个字符串参数和一个编码参数,将字符串封装为一个unicode,比如在这里,由于我们用的是utf-8编码,所以unicode中的编码参数使用’utf-8′将字符封装为unicode对象,然后正确输出到控制台:
s1=unicode(‘哈’, ‘utf-8′) 
print s1


另外,用decode函数也可以将一个普通字符串转换为unicode对象。很多人都搞不明白python字符串的decode和encode函数都是什么意思。这里简要说明一下:

decode是将普通字符串按照参数中的编码格式进行解析,然后生成对应的unicode对象,比如在这里我们代码用的是utf-8,那么把一个字符串转换为unicode就是如下形式:
s2=’哈’.decode(‘utf-8′)
这时,s2就是一个存储了’哈’字的unicode对象,其实就和unicode(‘哈’, ‘utf-8′)以及u’哈’是相同的
那么encode正好就是相反的功能,是将一个unicode对象转换为参数中编码格式的普通字符,比如下面代码:
s3=unicode(‘哈’, ‘utf-8′).encode(‘utf-8′)
s3现在又变回了utf-8的’哈’。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/451528.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PHP环境搭建和Apache HTTP服务器配置

所需软件: 需要准备Apache HTTP 服务器: http://httpd.apache.org/download.cgi PHP环境下载:http://www.php.net/downloads.php Apache HTTP服务器安装: 由于最新的 Apache 已经不提供 Windows 的安装版本了&#xff0c;所以我们这里使用的是解压版。 下载地址&#xff1a;htt…

ElasticSearch安装过程中遇到的一些问题

问题1&#xff1a; 安装Elasticsearch5.X版本&#xff0c;不修改默认配置的情况下&#xff0c;一切还好&#xff0c;能够正常启动。但我必须开通外网访问。然后报错了&#xff0c;报错信息如下&#xff1a; ERROR: max file descriptors [1024] for elasticsearch process like…

Java原子操作类AtomicInteger应用场景

参考文章&#xff1a;Java原子操作类AtomicInteger应用场景 感谢作者分享&#xff01;

漂泊的足迹

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到教程。 似乎有河一样的蔓延 流淌过我被阳光翻晒过的身躯 你的足迹 是遥远的一个小岛 从不知名的地方漂泊而来

什么是MD5

MD5是message-digest algorithm 5&#xff08;信息-摘要算法&#xff09;的缩写&#xff0c;被广泛用于加密和解密技术上&#xff0c;它可以说是文件的“数字指纹”。任何一个文件&#xff0c;无论是可执行程序、图像文件、临时文件或者其他任何类型的文件&#xff0c;也不管它…

selenium使用js进行点击

WebElement button driver.findElement(By.xpath("/html/body/div[1]/div[3]/h2/div[2]")); JavascriptExecutor js (JavascriptExecutor) driver; js.executeScript("arguments[0].click();", button);当你使用driver原生API如果发现报错&#xff0c;或…

screenX clientX pageX的区别

screenX:鼠标位置相对于用户屏幕水平偏移量&#xff0c;而screenY也就是垂直方向的&#xff0c;此时的参照点也就是原点是屏幕的左上角。 clientX:跟screenX相比就是将参照点改成了浏览器内容区域的左上角&#xff0c;该参照点会随之滚动条的移动而移动。 pageX&#xff1a;参照…

进程的五种状态和线程的六种状态

参考文章&#xff1a; 进程的状态转换和线程的状态转换

谈谈对程序员的培养

这篇文章是我好久以来的想法&#xff0c;有一些感悟&#xff0c;有一些激烈的言辞&#xff0c;我很自豪我就是一名程序员&#xff0c;我希望给程序员或者前程序员们带来一点启发。也许你认可我的言辞&#xff0c;也许你不屑我的观点&#xff0c;无论如何&#xff0c;欢迎谈谈你…

我记得

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到教程。 我记得在农村一片一片金色的稻田 , 碧绿的秧苗 , 我想起有风吹过的时候那金穗一层一层的翻滚 ... 是一际熟悉于往昔的海洋 , 那火黄的…

Python实现文件md5校验

Linux下校验文件MD5值&#xff0c;最简单的方法就是执行md5sum命令 md5sum filename 原本打算用subprocess调用系统命令来获取md5值&#xff0c; [python] view plaincopy print?import subprocess,shlex cmd "md5sum filename" p subprocess(shlex.split(cmd…

Nexus 安装(Linux 环境)

一、环境准备 安装 JDK 1.7 二、下载 Nexus 压缩文件 下载地址&#xff1a;http://www.sonatype.org/nexus/archived/ 三、上传压缩文件 四、解压缩文件 五、配置环境变量 1、临时配置 mvn clean package -Dmaven.test.skiptrue -Dmaven.javadoc.skiptrue命令&#xff1a;expor…

android 连接指定wifi

本文牵涉kotlin和rxjava的相关知识 //查询wifi信息需要申请权限&#xff0c;权限工具类就不要在意了&#xff0c;重点在下面 PermissionUtils.permission(PermissionConstants.LOCATION).callback(object : PermissionUtils.SimpleCallback {override fun onGranted() {//通过授…

英特尔预计5年内将成智能手机芯片大厂

北京时间4月26日早间消息&#xff0c;英特尔预计&#xff0c;英特尔在未来5年内将成为智能手机芯片市场的“重要参与者”。过去10年中&#xff0c;英特尔在这一市场的多次尝试都未能获得成功。 英特尔CFO斯泰西史密斯(Stacy Smith)表示&#xff1a;“英特尔并不满足于成为市场中…

java.util.UnknownFormatConversionException: Conversion = ‘,‘ 解决

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到教程。 1. 报错&#xff1a; 2. 原因&#xff1a; 出错代码&#xff1a; if(info.getRiceCount() < 0){ ... } 事实上 对象的riceCoun属性值…

JAVA中获取当前系统时间

一. 获取当前系统时间和日期并格式化输出: import java.util.Date; import java.text.SimpleDateFormat;public class NowString { public static void main(String[] args) { SimpleDateFormat df new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");//设置日期格式Sys…

爬虫中的关于字符串的一些理解

1.基本概念 字符(Character)是各种文字和符号的总称&#xff0c;包括各国家文字、标点符号、图形符号、数字等 字符集(Character set)是多个字符的集合 字符集包括&#xff1a;ASCII字符集、GB2312字符集、GB18030字符集、Unicode字符集等 ASCII编码是1个字节&#xff0c;而Uni…

分布式数据一致性

分布式系统数据一致性问题 感谢作者分享&#xff01;

HttpServletRequest中获取IP值

获取IP值&#xff1a; public class IpAdrressUtil {/*** 获取Ip地址* param request* return*/private static String getIpAdrress(HttpServletRequest request) {String Xip request.getHeader("X-Real-IP");String XFor request.getHeader("X-Forwarded-F…

国外较好的IT网站

最近有些读者给我来信说很喜欢这个网站上的文章&#xff0c;并且也想通过翻译学习英文&#xff0c;他们询问我这些文章的英文原文是从哪里找到的? 外刊IT评论上的翻译的英文来源很杂&#xff0c;我总结了一下&#xff0c;大概有几个 集中的出处&#xff0c;下面列举出来供大家…