CPython（Python 官方解释器）对字符串`str` 的底层存储实现，到底是UTF-8，还是UTF-16/UTF-32？

news/2025/11/16 10:50:47/文章来源:https://www.cnblogs.com/wangya216/p/19227375

CPython（Python 官方解释器）对 str 的底层存储实现，核心结论是：Python 3.3+ 采用“柔性字符串存储”（Flexible String Representation），优先使用 UTF-8 编码，仅在必要时动态切换到 UTF-16/UTF-32，而非固定某一种编码。

这种设计的目标是 平衡“内存占用”和“访问效率”——UTF-8 节省内存（常用字符1-3字节），UTF-16/UTF-32 访问单个字符更快（固定2/4字节），CPython 自动根据字符串包含的字符范围选择最优编码，用户无需感知（语义上 str 始终是 Unicode 字符序列）。

一、底层存储的3种编码模式（CPython 源码级解析）

CPython 源码中，str 对象的存储由 PyASCIIObject 和 PyUnicodeObject 两个结构体管理，核心分为3种模式：

编码模式	适用场景	存储方式	内存占用
ASCII 模式	字符串仅包含 ASCII 字符（0x00-0x7F）	单字节存储（本质是 ASCII 编码）	最小（1字节/字符）
UTF-8 模式	字符串包含非 ASCII 但属于 UTF-8 可覆盖的字符（如中文、日文、常用符号，Unicode 基本多文种平面 BMP 内大部分字符）	可变字节（1-3字节/字符，符合 UTF-8 编码规则）	中等（比 ASCII 略大，比 UTF-16 小）
UTF-16 模式	字符串包含 UTF-8 无法覆盖的字符（如极少数 Unicode 辅助平面字符，U+10000 及以上，如某些 emoji、古文字）	双字节存储（符合 UTF-16 编码规则）	较大（2字节/字符）
UTF-32 模式	仅在极特殊场景（如包含 UTF-16 也无法高效存储的字符，或 Python 内部优化需求）触发（极少使用）	四字节存储（符合 UTF-32 编码规则）	最大（4字节/字符）

注意：Python 3.3 之前，CPython 采用固定 UTF-16 存储 str，内存占用极高（如中文占2字节）；3.3 引入“柔性存储”后，优先用 ASCII/UTF-8，内存占用大幅优化。

二、编码模式的自动切换逻辑（用户无感知）

CPython 会在创建 str 对象时，自动检测字符范围并选择编码模式，后续修改字符串（如拼接、替换）时，若字符范围超出当前编码支持，会动态切换到更宽的编码：

创建时：先检查是否全为 ASCII → 是则用 ASCII 模式；否则检查是否可被 UTF-8 覆盖 → 是则用 UTF-8 模式；否则用 UTF-16/UTF-32 模式。
修改时：若新增字符超出当前编码范围（如 ASCII 字符串拼接中文），会自动升级为 UTF-8 模式；若 UTF-8 字符串拼接辅助平面字符，会升级为 UTF-16 模式。

示例（直观感受切换逻辑）：

# 1. ASCII 模式（仅 ASCII 字符）
s1 = "abc123"
print(s1.encode("utf-8"))  # b'abc123'（底层单字节存储）# 2. UTF-8 模式（包含中文，属于 BMP 平面）
s2 = "abc中文"
print(s2.encode("utf-8"))  # b'abc\xe4\xb8\xad\xe6\x96\x87'（中文占3字节/字符）# 3. UTF-16 模式（包含辅助平面字符，如 U+1F600 笑脸 emoji）
s3 = "abc😀"  # 😀 的 Unicode 编码是 U+1F600（超出 BMP 平面）
print(s3.encode("utf-16"))  # b'\xff\xfea\x00b\x00c\x00\x00\x1f@\x00'（UTF-16 编码）

关键：用户无需关心编码模式切换，因为 Python 会统一对外提供 Unicode 语义接口（如 len() 计算字符数、s[i] 取单个字符），底层编码不影响上层使用。

三、如何验证底层编码模式（可选：源码级验证）

若想通过代码间接验证编码模式，可借助 sys.getsizeof() 函数（计算对象占用内存），结合字符数反推编码：

import sys# 1. ASCII 模式：10个 ASCII 字符 → 内存占用 = 基础 overhead + 10*1 字节
s1 = "a" * 10
print(sys.getsizeof(s1))  # 输出 ~59 字节（CPython str 基础 overhead 约 49 字节，49+10=59）# 2. UTF-8 模式：10个中文（每个占3字节）→ 内存占用 = 49 + 10*3 = 79 字节
s2 = "中" * 10
print(sys.getsizeof(s2))  # 输出 ~79 字节（符合 UTF-8 存储逻辑）# 3. UTF-16 模式：10个笑脸 emoji（每个占2字节）→ 内存占用 = 49 + 10*2 = 69 字节
s3 = "😀" * 10
print(sys.getsizeof(s3))  # 输出 ~69 字节（符合 UTF-16 存储逻辑）