Pandas 的数据类型都有哪些？ `category` 类型是什么？

我们来系统地梳理一下 Pandas 的数据类型，并重点讲解 category 类型。这是一个非常重要的知识点，也是 Pandas 能高效处理大数据集的关键原因之一。

这篇文章会分为以下几个部分：

1. Pandas 数据类型概览：列出并简要介绍 Pandas 支持的主要数据类型。
2. 核心数值类型详解：深入探讨 int 和 float 类型，包括 nullable 类型。
3. 核心字符串类型详解：重点讲解 object 和 string 类型的区别与应用。
4. category 类型深度解析：这是本文的重点，包括其原理、优势、适用场景、创建方法以及注意事项。
5. 其他常用数据类型：介绍 datetime64, timedelta64, bool 等。
6. 数据类型的转换与检查：如何查看和转换数据类型。
7. 总结与最佳实践。

---

1. Pandas 数据类型概览

Pandas 构建在 NumPy 之上，因此它的数据类型与 NumPy 紧密相关，但又进行了扩展，以支持更丰富的数据形式（如字符串、日期时间和分类数据）。

主要的数据类型可以分为以下几类：

• 数值类型 (Numeric)：

  • int64 / int32 / int16 / int8: 有符号整数。
  • uint64 / uint32 / uint16 / uint8: 无符号整数。
  • float64 / float32: 浮点数。
  • Int64 / Float64: Pandas 特定的 nullable 整数和浮点数类型（支持缺失值 pd.NA）。

• 字符串类型 (String)：

  • object: 通用类型，可存储字符串、Python 对象等。
  • string: Pandas 1.0+ 引入的专门字符串类型。

• 分类类型 (Categorical)：

  • category: 用于存储具有固定数量的离散值的数据。

• 日期时间类型 (Datetime/Timedelta)：

  • datetime64[ns]: 日期时间类型。
  • timedelta64[ns]: 时间差类型。

• 布尔类型 (Boolean)：

  • bool: 布尔类型（True/False）。
  • boolean: Pandas 特定的 nullable 布尔类型。

选择正确的数据类型对于优化内存占用和提升计算性能至关重要。

2. 核心数值类型详解

数值类型是数据分析中最常用的类型。

• int vs float:

  • int 用于存储没有小数部分的整数。
  • float 用于存储有小数部分的数字或科学记数法表示的数字。
  • 内存占用: int64 和 float64 各占 8 个字节。可以通过选择更小的类型（如 int32 或 float32）来节省内存，前提是数据范围允许。

  import pandas as pd
  import numpy as nps_int64 = pd.Series([1, 2, 3], dtype='int64')
  s_int32 = pd.Series([1, 2, 3], dtype='int32')print(f"int64 内存占用: {s_int64.memory_usage(deep=True)} bytes") # 通常约为 72 bytes (索引+数据)
  print(f"int32 内存占用: {s_int32.memory_usage(deep=True)} bytes") # 通常约为 56 bytes
  

• Nullable 数值类型 (Int64, Float64):

  • 标准的 int64 和 float64 类型无法表示缺失值（会自动向上转换为 float64 并用 np.nan 表示）。
  • Pandas 的 Int64 (注意大写 I) 和 Float64 类型专门支持缺失值 pd.NA，同时保持整数或浮点数的特性。

  s_with_na = pd.Series([1, None, 3], dtype='Int64')
  print(s_with_na)
  # 0       1
  # 1    <NA>
  # 2       3
  # dtype: Int64
  

3. 核心字符串类型详解

处理文本数据时，我们主要使用两种类型：object 和 string。

• object 类型:

  • 特点: 这是 Pandas 中最通用的数据类型。一个 object 类型的 Series 可以包含任意 Python 对象，包括字符串、整数、字典等。当 Series 中包含字符串时，Pandas 默认使用 object 类型。
  • 优点: 非常灵活，没有限制。
  • 缺点:
    • 性能差: 对 object 类型的操作通常是逐元素的 Python 循环，比基于 NumPy 的向量化操作慢得多。
    • 内存占用大: 每个字符串在 Python 中都是一个独立的对象，有额外的内存开销。
    • 功能有限: 缺乏专门针对字符串的内置方法（需要使用 .str 访问器，这本质上还是在循环）。

• string 类型 (Pandas 1.0+):

  • 特点: 这是 Pandas 为字符串数据引入的专用类型。它在内部有更高效的存储方式，并提供了更丰富、更快速的字符串处理方法。
  • 优点:
    • 性能更好: 许多字符串操作都经过了优化，速度远超 object 类型。
    • 功能更丰富: 提供了更全面的字符串处理方法，且语法更简洁（部分方法无需 .str）。
    • 明确的类型语义: 清晰地表明这一列存储的就是字符串。
    • 支持缺失值: 可以原生支持 pd.NA 缺失值。
  • 使用:

  s_str_obj = pd.Series(['apple', 'banana', 'cherry'])
  s_str_spec = pd.Series(['apple', 'banana', 'cherry'], dtype='string')print(f"s_str_obj dtype: {s_str_obj.dtype}") # object
  print(f"s_str_spec dtype: {s_str_spec.dtype}") # string# 更丰富的方法
  print(s_str_spec.str.contains('a')) # 仍然可以使用 .str 访问器
  # 0     True
  # 1     True
  # 2    False
  # dtype: boolean
  

  • 建议: 当一列数据明确是字符串且需要进行大量文本处理时，强烈建议使用 string 类型。

4. category 类型深度解析

category 类型是 Pandas 中一个非常强大但常常被低估的特性。它专为处理分类数据（Categorical Data）而设计。

什么是分类数据？

分类数据是指其取值范围是有限的、离散的。例如：

• 性别：男、女
• 学历：小学、中学、大学、研究生
• 评分：优秀、良好、及格、不及格
• 国家/地区：中国、美国、英国、日本...

category 类型的核心原理

category 类型通过一种“字典编码”的方式来存储数据，从而实现内存优化：

1. 提取唯一值：从数据中提取出所有不重复的类别（Categories），并赋予它们一个唯一的整数编码（Code）。
2. 存储编码：实际在内存中存储的不是原始的字符串或值，而是它们对应的整数编码。
3. 保留映射关系：同时保留一个从“编码”到“原始类别”的映射关系（categories 属性）。

举例说明：
原始数据：["男", "女", "男", "男", "女"]

• object 类型存储: ["男", "女", "男", "男", "女"] (每个字符串都是一个对象)
• category 类型存储:
  • 编码 (Codes): [0, 1, 0, 0, 1]
  • 类别 (Categories): Index(['男', '女'], dtype='object')

category 类型的优势

1. 极大地节省内存：

   • 这是最主要的优势。存储整数编码比存储重复的长字符串要高效得多。数据中重复度越高，节省的内存就越多。对于有上百万行的数据集，效果非常显著。
   • 示例: 一个包含 100 万条记录的 object 类型 Series（存储城市名）可能占用几十 MB，而转换为 category 类型后可能只占用几 MB。

2. 显著提升性能：

   • 计算速度更快: 基于整数编码的操作（如分组、排序、合并、逻辑判断）比基于字符串的操作快得多。
   • 减少磁盘 I/O: 更小的数据体积意味着读写文件（如 CSV, Parquet）时速度更快。

3. 提供更有意义的语义：

   • 明确地告诉 Pandas 和其他开发者，这一列是分类数据，具有固定的取值范围。
   • 可以防止输入无效的类别值（默认情况下）。

如何创建 category 类型数据？

• 在创建时指定 dtype='category':

s = pd.Series(['red', 'blue', 'red', 'green', 'blue'], dtype='category')
print(s)
# 0      red
# 1     blue
# 2      red
# 3    green
# 4     blue
# dtype: category
# Categories (3, object): ['blue', 'green', 'red']

• 使用 .astype('category') 进行转换:

s_obj = pd.Series(['red', 'blue', 'red', 'green', 'blue'])
s_cat = s_obj.astype('category')

• 指定类别顺序 (Ordered Categories):
  默认情况下，类别是无序的。但有时类别有自然顺序（如：低 < 中 < 高）。

s_ord = pd.Series(['low', 'high', 'medium', 'low'], dtype=pd.CategoricalDtype(categories=['low', 'medium', 'high'], ordered=True
))
print(s_ord)
# 0       low
# 1      high
# 2    medium
# 3       low
# dtype: category
# Categories (3, object): ['low' < 'medium' < 'high']# 有序分类支持比较操作
print(s_ord > 'low')
# 0    False
# 1     True
# 2     True
# 3    False
# dtype: boolean

内存占用对比示例

import pandas as pd
import numpy as np# 创建一个包含100万个高重复率字符串的Series
np.random.seed(42)
categories = ['Apple', 'Banana', 'Cherry', 'Date', 'Elderberry']
data_object = np.random.choice(categories, size=1_000_000)s_object = pd.Series(data_object)
s_category = s_object.astype('category')mem_obj = s_object.memory_usage(deep=True) / (1024 * 1024) # MB
mem_cat = s_category.memory_usage(deep=True) / (1024 * 1024) # MBprint(f"Object 类型内存占用: {mem_obj:.2f} MB")
print(f"Category 类型内存占用: {mem_cat:.2f} MB")
print(f"内存节省比例: {((mem_obj - mem_cat) / mem_obj * 100):.1f}%")# 典型输出:
# Object 类型内存占用: 68.66 MB
# Category 类型内存占用: 0.95 MB
# 内存节省比例: 98.6%

这个例子清晰地展示了 category 类型在内存上的巨大优势。

使用 category 类型的注意事项

1. 适合高重复率数据: 如果一个列的唯一值非常多（例如，唯一ID、姓名），使用 category 类型不仅不能节省内存，反而可能因为存储类别映射表而增加内存开销。
2. 类别操作的开销: 添加新的类别或修改现有类别可能比在 object 类型上操作更复杂、开销更大，因为它可能需要重新编码。
3. 并非所有操作都更快: 对于一些简单的逐元素访问，category 类型可能因为需要解码而比 object 类型稍慢。但在涉及分组、聚合等大规模操作时，优势明显。
4. 与其他库的兼容性: 虽然 Pandas 生态系统内部对 category 类型支持良好，但在与某些外部库或旧版本工具交互时，可能需要先将其转换回 object 类型。

5. 其他常用数据类型

• datetime64[ns]:

  • 用于存储日期和时间。Pandas 对此类数据提供了强大的处理能力，如日期解析、提取年/月/日、时间差计算等。
  • pd.to_datetime() 是创建此类数据的常用函数。

  s_dt = pd.to_datetime(['2023-01-01', '2023-02-15', '2023-12-31'])
  print(s_dt.dtype) # datetime64[ns]
  

• timedelta64[ns]:

  • 用于存储时间差。

  s_td = s_dt - pd.to_datetime('2023-01-01')
  print(s_td.dtype) # timedelta64[ns]
  

• bool / boolean:

  • bool 用于存储 True 或 False。
  • boolean 是 nullable 版本，支持 pd.NA。

  s_bool = pd.Series([True, False, None], dtype='boolean')
  

6. 数据类型的转换与检查

• 检查数据类型:

  • df.dtypes: 查看 DataFrame 中每列的数据类型。
  • s.dtype: 查看 Series 的数据类型。

• 转换数据类型:

  • s.astype(dtype): 将 Series 转换为指定类型。
  • pd.to_numeric(s, errors='coerce'): 安全地将数据转换为数值类型，无法转换的值设为 NaN。
  • pd.to_datetime(s): 将数据转换为日期时间类型。
  • s.astype('category'): 转换为分类类型。

7. 总结与最佳实践

• 优先使用专用类型: 如用 string 代替 object 存储字符串，用 datetime64 存储日期。
• 善用 category 类型: 当你确定某列是分类数据且重复率较高时，毫不犹豫地使用 category 类型，可以极大地优化性能和内存。
• 关注内存占用: 对于大型数据集，检查和优化数据类型是首要的性能优化步骤之一。
• 注意缺失值: 根据需要选择支持 pd.NA 的 nullable 类型（Int64, Float64, string, boolean）。
• 了解数据: 选择数据类型的前提是充分了解你的数据内容和业务含义。

希望这篇全面的介绍能帮助你更好地理解和使用 Pandas 的数据类型，特别是强大的 category 类型！