1. 项目概述为什么info()远不止一个“查看”命令如果你用pandas处理数据超过一周大概率已经用过DataFrame.info()这个函数了。表面上看它就是个简单的信息摘要打印出数据框的行列数、列名、非空值数量和数据类型。很多新手教程把它归为“数据预览”或“基本信息查看”一类用一两句话带过。但在我处理过上百个真实的数据清洗、特征工程和模型准备项目后我意识到绝大多数人都严重低估了info()的价值。它不是一个被动的“查看器”而是一个主动的“诊断仪”。当你拿到一份陌生的、脏的、来源不明的数据时info()是你按下的一键扫描。它输出的那几行文字几乎能立刻告诉你这份数据的“健康状态”哪里缺了“骨头”缺失值哪里“骨头”长得不对数据类型错误以及整体的“骨架”是否匀称内存占用。很多后续数小时的数据清洗和调试工作其根源问题在第一次调用info()时就已埋下伏笔。这次我们就彻底拆解这个看似简单却至关重要的函数让你从“会用”升级到“精通”真正把它变成数据分析工作流中的核心侦察兵。2.info()的核心功能与输出全解info()方法会向控制台打印一个DataFrame或Series的简明摘要。这个摘要信息结构固定但每一行都暗藏玄机。我们先从一个最简单的例子开始建立直观认识。2.1 基础输出结构拆解假设我们有一个简单的DataFrameimport pandas as pd import numpy as np # 创建一个包含多种数据类型和缺失值的示例数据框 df pd.DataFrame({ user_id: [101, 102, 103, 104, 105], name: [Alice, Bob, Charlie, None, Eve], age: [25, 30, 35, 40, None], score: [89.5, 92.0, 76.5, 88.0, 95.5], is_active: [True, True, False, True, False], join_date: pd.to_datetime([2023-01-15, 2023-02-20, 2023-01-10, 2023-03-01, 2023-02-28]) }) print(df.info())运行后你会看到类似下面的输出具体格式可能因pandas版本略有不同class pandas.core.frame.DataFrame RangeIndex: 5 entries, 0 to 4 Data columns (total 6 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 user_id 5 non-null int64 1 name 4 non-null object 2 age 4 non-null float64 3 score 5 non-null float64 4 is_active 5 non-null bool 5 join_date 5 non-null datetime64[ns] dtypes: bool(1), datetime64[ns](1), float64(2), int64(1), object(1) memory usage: 338.0 bytes我们来逐行解读这个“诊断报告”class ‘pandas.core.frame.DataFrame’ 确认对象类型。这行看似废话但在复杂的代码流或函数封装中有时需要确认传入的变量确实是DataFrame而非Series或其他结构。RangeIndex: 5 entries, 0 to 4 索引信息。这里使用的是默认的RangeIndex共5条记录索引从0到4。如果索引是自定义的如时间序列索引DatetimeIndex或多级索引MultiIndex这里会明确显示出来。注意entries指的是行数。表格主体Data columns 这是核心部分。# 列的序号。Column 列名。Non-Null Count该列非空非NaN/None值的数量。这是发现缺失值最直接的地方。例如name列显示4 non-null而总行数是5立刻可知有1个缺失值。Dtype 列的数据类型。pandas用object通常表示字符串或混合类型int64/float64是数值bool是布尔值datetime64[ns]是日期时间。dtypes: 所有数据类型的汇总统计。告诉你这个DataFrame由哪些类型的列构成。快速扫一眼可以判断数据是否“干净”。例如如果一个应该是数值的列显示为object通常意味着数据中混入了字符串如“N/A”,“-”需要清洗。memory usage: 338.0 bytes内存使用量估算。对于小型数据可以忽略但对于百万、千万行级别的大数据这个数字是优化内存的起点。如果内存占用远超预期可能意味着数据类型选择不当比如用object存储了本可以用category存储的分类数据。2.2 关键参数深度解析df.info()的默认行为已经很有用但通过其参数我们可以定制化这份“诊断报告”获取更精准的信息。verbose参数布尔值默认为True 当设置为verboseFalse时info()将只输出一个精简版的摘要省略每一列的详细信息只显示数据类型汇总和内存使用情况。print(df.info(verboseFalse))输出class pandas.core.frame.DataFrame RangeIndex: 5 entries, 0 to 4 dtypes: bool(1), datetime64[ns](1), float64(2), int64(1), object(1) memory usage: 338.0 bytes使用场景当你已经了解数据概貌或者在一个需要快速、简洁输出的自动化脚本/日志中不希望控制台被冗长的列信息刷屏时这个参数非常有用。memory_usage参数可接受布尔值或字符串默认为None在多数版本中等同于True 这个参数控制内存使用情况的显示和计算方式是进行大数据内存优化的关键入口。memory_usageTrue或None 显示内存使用量如上例所示。memory_usageFalse 不显示内存使用量。memory_usage’deep’进行深度内存估算。这是最重要的一个选项。默认的内存估算只计算各列本身数据的开销对于object类型尤其是字符串的列它只计算引用的大小而不会计算字符串实际内容占用的内存。使用’deep’会进行更精确但也更耗时的计算。# 创建一个包含长字符串的DataFrame df_large_text pd.DataFrame({id: range(1000), text: [a_very_long_string_ * 10] * 1000}) print(“默认估算:”) print(df_large_text.info(memory_usageTrue)) # 或 None print(“\n深度估算:”) print(df_large_text.info(memory_usage’deep’))你会看到两个截然不同的memory usage值。’deep’模式下的值才更接近真实内存消耗。注意对于大型DataFrame深度估算可能较慢建议在需要精确评估内存时使用。show_counts参数布尔值默认为None在多数新版pandas中等同于True 控制是否显示Non-Null Count。如果数据量极大计算非空值计数会有开销。当你只关心数据类型和内存或者明确知道没有缺失值时可以将其设为False来加速并简化输出。print(df.info(show_countsFalse))输出中Non-Null Count列将消失。null_counts参数布尔值旧版参数已被show_counts取代 在一些较旧的pandas版本中你可能看到这个参数其功能与show_counts相同。在新代码中应使用show_counts。实操心得我个人的习惯是在数据探索的第一步总是使用df.info()的默认参数获取最全面的第一印象。如果数据框很大输出太长我会先用df.head()看几行数据再用df.info(verboseFalse)看整体类型和内存。当怀疑内存占用异常时一定会用df.info(memory_usage’deep’)进行深度检查。3. 从info()输出中洞察数据问题info()的输出是一份静态报告但资深分析师能从中读出动态的“故事”和潜在风险。以下是几种常见的“问题模式”及其诊断思路。3.1 识别缺失值模式与陷阱Non-Null Count是发现缺失值最直接的指标。但看绝对值不够要学会看模式和比例。模式一整列缺失。如果某一列的Non-Null Count为0意味着该列全部是空值。这通常是一个需要删除的列除非有特殊业务含义。模式二均匀缺失。多列的非空数量相同但都小于总行数。这可能意味着这些列的缺失发生在同一批记录上提示可能存在系统性的数据采集失败例如某次问卷中部分题目未被作答。模式三单一列大量缺失。例如总行数100万某列非空数只有10万。这需要重点审视这列是否还有保留价值缺失是随机的还是有规律的如新上线的功能字段旧数据没有一个经典陷阱info()显示的Non-Null Count只识别pandas认可的缺失值即NaN对于数值列或None/NaT对于对象/时间列。如果数据中缺失值以其他形式存在如空字符串“”、“NULL”、“N/A”、-1、999等info()会将其视为有效值从而误导你。注意在调用info()之前一个良好的数据清洗习惯是先将这些“伪缺失值”统一替换为真正的NaN。例如df.replace([“”, “NULL”, “N/A”, -1, 999], np.nan, inplaceTrue)。这样info()给出的缺失值报告才是真实的。3.2 诊断数据类型错误Dtype列是数据质量的另一面镜子。数据类型错误会导致计算错误、性能下降甚至分析逻辑谬误。数值列显示为object这是最常见的问题。例如一个应该是年龄的列因为混入了“未知”或“twenty-five”这样的字符串导致整列被推断为object类型。这将导致你无法进行任何数学运算mean(),sum()。解决方案是使用pd.to_numeric(…, errors’coerce’)进行强制转换非法值会变成NaN此时再结合info()查看新的缺失情况。日期列显示为object日期时间数据如果格式不统一pandas在读取时如用read_csv可能无法自动解析会保留为object。你需要用pd.to_datetime(…, errors’coerce’)进行转换同样转换失败会变成NaT时间戳类型的缺失值。分类文本列显示为object如果一个列只有有限的几个重复值如性别“男”,“女”城市名保持为object会浪费大量内存。info()中如果看到大量object类型且内存占用很高就要考虑是否将其转换为category类型。转换后info()显示的Dtype会变成category内存使用量通常会大幅下降。3.3 评估内存使用与优化方向memory usage是性能优化的指南针。对于大型数据集内存直接决定了你能否在本地机器上进行分析以及计算速度。建立基线首先用df.info(memory_usage’deep’)获取真实内存占用。识别内存大户object类型的列通常是内存消耗的主力尤其是存储了长文本的列。优化策略向下转换数值类型int64可以尝试转为int32或int16float64可以尝试转为float32。使用df[‘column’].astype(‘int32’)。转换前用df[‘column’].min()和df[‘column’].max()检查值域是否在新类型范围内。使用分类类型对低基数唯一值少的object列使用df[‘column’] df[‘column’].astype(‘category’)。转换后再次运行info()对比内存节省效果。使用稀疏数据结构如果数据中绝大部分是相同的值如0可以考虑使用稀疏数据类型但这属于进阶优化。监控优化效果每进行一次优化操作就重新运行一次df.info(memory_usage’deep’)量化你的优化成果。这是一个非常有效的正反馈循环。4.info()在数据分析工作流中的实战应用理解了info()的细节和诊断能力后我们把它嵌入到一个完整的数据分析工作流中看看它如何在不同阶段发挥作用。4.1 数据读取后的首次“体检”这是info()最标准的应用场景。在pd.read_csv(),pd.read_excel()或从数据库读取数据后立即执行df.info()。import pandas as pd # 模拟从CSV读取数据 df_raw pd.read_csv(‘your_data.csv’) print(“ 数据首次体检报告 ”) df_raw.info()这次调用将回答以下问题数据有多大行、列列名是否符合预期有没有多余的空格或奇怪的字符检查Column列有没有令人意外的缺失检查Non-Null Count数据类型是否正确数字、日期是否被正确识别检查Dtype数据规模是否在我的机器内存承受范围内检查memory usage基于这份报告你可以决定下一步是直接开始分析还是需要先进行数据清洗。4.2 数据清洗过程中的“监控器”数据清洗不是一蹴而就的info()是监控清洗效果的最佳工具。场景示例清洗用户信息表假设原始df_raw的info()显示age列是object类型且有少量缺失。# 步骤1查看原始状态 print(“清洗前:”) df_raw.info() # 步骤2处理“伪缺失值”和错误格式 df_clean df_raw.copy() # 将年龄列中的非数字字符如’约30‘替换为NaN df_clean[‘age’] pd.to_numeric(df_clean[‘age’], errors’coerce’) # 步骤3查看转换后的效果 print(“\n转换年龄列后:”) df_clean.info() # 此时age列的Dtype应变为float64Non-Null Count可能减少非法值变NaN # 步骤4处理其他列如日期列 df_clean[‘join_date’] pd.to_datetime(df_clean[‘join_date’], errors’coerce’) # 步骤5再次查看整体状态 print(“\n清洗完成后:”) df_clean.info()通过对比几次info()的输出你可以清晰地追踪每一列数据类型的转变和缺失值数量的变化确保清洗操作按预期进行。4.3 特征工程与数据合并后的“校验器”在进行特征衍生、数据合并merge,concat或数据透视pivot后数据形状和类型可能发生变化。此时调用info()进行校验至关重要。# 假设我们有两个数据框要合并 df_users pd.DataFrame({‘user_id’: [1, 2, 3], ‘name’: [‘A’, ‘B’, ‘C’]}) df_orders pd.DataFrame({‘order_id’: [‘o1’, ‘o2’, ‘o3’], ‘user_id’: [1, 2, 99], ‘amount’: [100, 200, 300]}) print(“合并前 df_users:”) df_users.info() print(“\n合并前 df_orders:”) df_orders.info() # 进行左连接 df_merged pd.merge(df_users, df_orders, on‘user_id’, how‘left’) print(“\n合并后 df_merged:”) df_merged.info()合并后的info()可以帮你验证合并后的行数是否符合预期左连接应保持左表行数新增的列如order_id,amount是否成功加入新增列的缺失值情况如何例如user_id3的用户没有订单其order_id和amount应为NaN这会在Non-Null Count中体现合并键user_id的数据类型在两张表中是否一致如果不一致如一个是int64一个是object合并可能会失败或产生意外结果info()可以提前预警。4.4 自动化脚本与日志记录在自动化数据管道或定期报告中将info()的输出记录到日志文件是非常好的实践。你可以使用StringIO来捕获它的输出。import pandas as pd from io import StringIO import logging logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) def process_data(df): “”“模拟数据处理函数”“” # 捕获info输出 buffer StringIO() df.info(bufbuffer) info_str buffer.getvalue() # 记录到日志 logger.info(“DataFrame Info after processing:\n%s”, info_str) # 也可以写入文件 with open(‘data_profile.log’, ‘a’) as f: f.write(f”{pd.Timestamp.now()} - DataFrame Info\n”) f.write(info_str) f.write(“\n” “”*50 “\n”) return df # 使用示例 df pd.DataFrame({‘A’: [1, 2, 3]}) process_data(df)这样每次脚本运行时数据的关键状态都会被持久化记录便于事后审计和问题排查。5. 常见问题与排查技巧实录即使对info()很熟悉在实际使用中还是会遇到一些令人困惑的情况。这里记录了几个我踩过的坑和解决方案。5.1info()显示内存很小但实际操作时内存爆炸问题描述一个DataFrame调用info()显示内存只有几十MB但在进行groupby、merge或简单赋值时Python 进程内存迅速增长到几个GB。根本原因info()默认的memory_usage计算方式非’deep’严重低估了object类型列的内存占用。object类型在pandas中存储的是 Python 对象的指针引用info()只计算了这些指针的大小通常8字节/值而没有计算对象本身如字符串的大小。当object列存储了大量长字符串时真实内存消耗可能是指针的数十倍甚至上百倍。解决方案永远对包含文本数据的DataFrame使用df.info(memory_usage’deep’)。这会触发一次全面的内存计算虽然慢但能反映真实情况。如果’deep’模式显示内存巨大那么优化策略就是针对这些object列删除不必要的文本列、将短文本列转为category、或者考虑使用更高效的数据格式如parquet进行存储。5.2 缺失值数量显示不一致问题描述df.info()显示的某列Non-Null Count是 9000但用df[‘column’].isna().sum()计算出来的缺失值数量却是 9500。排查思路这通常是因为数据中存在pandas不认为是NaN的“伪缺失值”。info()只统计真正的NaN/None/NaT。而isna()或isnull()方法也只识别这些真正的缺失值。如果数量不一致说明你用来计算缺失值的方法可能识别了更多东西比如你可能用了df[‘column’].isnull().sum()这在大多数情况下和isna()等价。更可能的情况是你心里以为的“缺失值”如空字符串、占位符并没有被pandas识别。确保在数据清洗的第一步就使用df.replace()或df.map()将这些伪缺失值统一转换为np.nan。之后info()和isna().sum()的结果就会一致。5.3 大数据集下info()执行缓慢或卡住问题描述当处理一个有几百万行、上百列的数据集时调用df.info()需要很长时间甚至感觉程序无响应。原因分析info()为了计算Non-Null Count和内存使用需要遍历每一列的数据。对于超大数据集这是一个计算密集型操作。memory_usage’deep’模式尤其耗时因为它要深入计算每个对象的大小。优化策略采样查看对于初步探索不必在全量数据上运行info()。可以使用df.sample(10000).info()对数据进行采样获取近似的信息。这能极大提升响应速度。分批查看如果列非常多可以使用df.iloc[:, :20].info()查看前20列的信息然后再看后面的列。按需使用深度估算只在怀疑内存有问题时才使用memory_usage’deep’。日常监控用默认模式即可。使用df.dtypes和df.isna().sum()替代如果你只关心数据类型和缺失值总数可以分别调用这两个属性/方法它们可能比info()更快因为info()还整合了其他信息。5.4 如何获取info()的信息以供程序化使用问题描述info()的输出是给人看的字符串如果想在程序里获取这些数据比如自动判断哪些列缺失率超过50%并报警该怎么办解决方案info()的大部分信息都可以通过DataFrame的其他属性或方法单独获取然后进行编程处理。import pandas as pd import numpy as np df pd.DataFrame({‘A’: [1, 2, np.nan], ‘B’: [‘x’, None, ‘z’]}) # 1. 获取行数和列数 shape df.shape # (3, 2) # 2. 获取数据类型 dtypes df.dtypes # 3. 获取每列的非空值数量 non_null_counts df.count() # 返回一个Series # 4. 获取每列的缺失值数量 null_counts df.isnull().sum() # 返回一个Series # 5. 计算缺失率 missing_rates (df.isnull().sum() / len(df)) * 100 # 基于这些信息进行自动化决策 high_missing_cols missing_rates[missing_rates 50].index.tolist() if high_missing_cols: print(f“警告以下列缺失率超过50%建议检查或删除: {high_missing_cols}”) # 6. 获取内存使用近似值非深度 memory_usage df.memory_usage(deepFalse).sum() # 获取深度内存使用较慢 memory_usage_deep df.memory_usage(deepTrue).sum()通过组合这些属性你可以构建出比info()更灵活、更强大的自动化数据质量检查脚本。