网站首页 > 技术文章 正文

字符编码:
编码,编成01;解码:把01转换成人能识别的字符;乱码:没意义的字符;
方案:
关键点: 编码和解码一致;
字符集(key-value):key是指01,value是指字符;
python字符编码原理:解释器在内存中把字符都转为unicode;因为其兼容所有的字符集,可以当做其它字符转换的中转站;
具体流程:
第一阶段:python解释器启动,此时就相当于启动了一个文本编辑器
第二阶段:python解释器相当于文本编辑器,去打开test.py文件,从硬盘上将test.py的文件内容读入到内存中;pyhon的解释性,决定了解释器只关心文件内容,不关心文件后缀名;
第三阶段:python解释器解释执行刚刚加载到内存中test.py的代码( ps:在该阶段,即真正执行代码时,才会识别python的语法,执行文件内代码,当执行到name="egon"时,会开辟内存空间存放字符串"egon")
以下两个场景下涉及到字符编码的问题:
1、一个python文件中的内容是由一堆字符组成的,存取均涉及到字符编码问题(python文件并未执行,前两个阶段均属于该范畴)
此时,python解释器会读取test.py的第一行内容,#coding:utf-8,来决定以什么编码格式来读入内存,这一行就是来设定python解释器这个软件的编码使用的编码格式这个编码,可以用sys.getdefaultencoding()查看,如果不在python文件指定头信息#-*-coding:utf-8-*-,那就使用默认的,python2中默认使用ascii,python3中默认使用utf-8;
2、python中的数据类型字符串是由一串字符组成的(python文件执行时,即第三个阶段)
在程序执行之前,内存中确实都是unicode,比如从文件中读取了一行x="egon",其中的x,等号,引号,地位都一样,都是普通字符而已,都是以unicode的格式存放于内存中的;但是程序在执行过程中,会申请内存(与程序代码所存在的内存是俩个空间)用来存放python的数据类型的值,而python的字符串类型又涉及到了字符的概念比如x="egon",会被python解释器识别为字符串,会申请内存空间来存放字符串类型的值,至于该字符串类型的值被识别成何种编码存放,这就与python解释器的有关了,而python2与python3的字符串类型又有所不同。
在python中文件存储的编码格式,需要和解释器的编码格式保持一致,否则无法正常工作;从硬盘到内存的解码工作;
在py3中encode还会把string 变成bytes类型,decode在解码的同时还会把bytes变回string;
python2中的str类型就是python3的bytes类型;
py2:只要是ascii编码范围内的字符对象,和unicode字符串运算时默认从bytes存储 转到 unicode存储;
汉字等不在ascii编码的字符对象存储时被py2转换成bytes存储;
print '苑昊' # 苑昊
print repr('苑昊') #'\xe8\x8b\x91\xe6\x98\x8a'
print (u"hello"+"yuan")
#print (u'苑昊'+'最帅') #UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6
# in position 0: ordinal not in range(128)
py3:文本总是Unicode,由str类型表示,二进制数据则由bytes类型表示。Python 3不会以任意隐式的方式混用str和bytes;
import json
s='苑昊'
print(type(s)) #<class 'str'>
print(json.dumps(s)) # "\u82d1\u660a"
b=s.encode('utf8')
print(type(b)) # <class 'bytes'>
print(b) # b'\xe8\x8b\x91\xe6\x98\x8a'
u=b.decode('utf8')
print(type(u)) #<class 'str'>
print(u) #苑昊
print(json.dumps(u)) #"\u82d1\u660a"
print(len('苑昊')) #
- 上一篇: Python之Pandas使用详解
- 下一篇: Python爬虫入门之爬取图片
猜你喜欢
- 2025-01-05 译|Python幕后(3):漫步CPython源码
- 2025-01-05 c语言和python的区别
- 2025-01-05 Python常见的数据结构实现
- 2025-01-05 为什么我的python总是学不好
- 2025-01-05 #!/usr/bin/python与#!/usr/bin/env python的区别
- 2025-01-05 Python爬虫入门之爬取图片
- 2025-01-05 Python之Pandas使用详解
- 2025-01-05 一张思维导图概括Python的基本语法, 一周的学习成果都在里面了
- 2025-01-05 妙趣横生Python海龟图turtle
- 2025-01-05 使用Python获取HTTP请求头数据
- 05-25Python 3.14 t-string 要来了,它与 f-string 有何不同?
- 05-25Python基础元素语法总结
- 05-25Python中的变量是什么东西?
- 05-25新手常见的python报错及解决方案
- 05-2511-Python变量
- 05-2510个每个人都是需要知道Python问题
- 05-25Python编程:轻松掌握函数定义、类型及其参数传递方式
- 05-25Python基础语法
- 257℃Python短文,Python中的嵌套条件语句(六)
- 257℃python笔记:for循环嵌套。end=""的作用,图形打印
- 256℃PythonNet:实现Python与.Net代码相互调用!
- 251℃Python操作Sqlserver数据库(多库同时异步执行:增删改查)
- 251℃Python实现字符串小写转大写并写入文件
- 106℃原来2025是完美的平方年,一起探索六种平方的算吧
- 91℃Python 和 JavaScript 终于联姻了!PythonMonkey 要火?
- 81℃Ollama v0.4.5-v0.4.7 更新集合:Ollama Python 库改进、新模型支持
- 最近发表
- 标签列表
-
- python中类 (31)
- python 迭代 (34)
- python 小写 (35)
- python怎么输出 (33)
- python 日志 (35)
- python语音 (31)
- python 工程师 (34)
- python3 安装 (31)
- python音乐 (31)
- 安卓 python (32)
- python 小游戏 (32)
- python 安卓 (31)
- python聚类 (34)
- python向量 (31)
- python大全 (31)
- python次方 (33)
- python桌面 (32)
- python总结 (34)
- python浏览器 (32)
- python 请求 (32)
- python 前端 (32)
- python验证码 (33)
- python 题目 (32)
- python 文件写 (33)
- python中的用法 (32)