案例一：数据处理场景 —— 批量清洗 CSV 文件中的无效数据

1. 问题定义与需求拆解

核心问题

某业务场景下有一批用户信息 CSV 文件（存储在user_data/目录下），存在三类无效数据：① 关键列（user_id、phone）为空值；② 手机号（phone）不符合 11 位数字格式；③ 存在重复user_id的冗余数据。

需求目标

批量处理user_data/目录下所有 CSV 文件，清洗无效数据，将每个文件的清洗结果保存到cleaned_user_data/目录，保留列结构为user_id,name,phone,register_time，并记录清洗日志。

2. 信息收集与现状分析

• 收集样本 CSV 文件（user_202601.csv），部分原始数据如下：| user_id | name | phone | register_time ||---------|-------|------------|---------------|| 1001 | 张三 | 13800138000| 2026-01-01 || 1002 | 李四 | | 2026-01-02 || 1003 | 王五 | 1390013800 | 2026-01-03 || 1001 | 张三 | 13800138000| 2026-01-01 || | 赵六 | 13700137000| 2026-01-04 |
• 分析清洗规则：① 删除user_id或phone为空的行；② 正则验证phone为 11 位纯数字；③ 按user_id去重，保留第一条记录；
• 技术选型评估：Python 的pandas库高效处理表格数据，os库遍历目录文件，re库验证手机号格式，方案轻量且易落地。

3. 方案实现与完整代码

import pandas as pd import re import os from datetime import datetime # 1. 定义基础配置与工具函数 INPUT_DIR = "user_data" OUTPUT_DIR = "cleaned_user_data" LOG_FILE = "data_cleaning_log.txt" # 验证11位手机号的正则表达式 PHONE_PATTERN = re.compile(r"^1[3-9]\d{9}$") # 定义日志记录函数 def write_log(content): """记录清洗过程日志""" current_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S") log_content = f"[{current_time}] {content}\n" with open(LOG_FILE, "a", encoding="utf-8") as f: f.write(log_content) print(log_content.strip()) # 2. 定义单文件数据清洗函数 def clean_single_csv(file_path, output_path): """ 清洗单个CSV文件 :param file_path: 输入CSV文件路径 :param output_path: 输出清洗后CSV文件路径 """ try: # 读取CSV文件 df = pd.read_csv(file_path, encoding="utf-8") original_row_count = len(df) write_log(f"开始清洗文件：{file_path}，原始数据行数：{original_row_count}") # 步骤1：删除user_id或phone为空的行 df = df.dropna(subset=["user_id", "phone"]) drop_null_row_count = original_row_count - len(df) write_log(f" - 删除空值行：{drop_null_row_count} 行") # 步骤2：验证手机号格式，保留符合11位数字的行 df["phone"] = df["phone"].astype(str) # 统一转换为字符串格式 df = df[df["phone"].apply(lambda x: bool(PHONE_PATTERN.match(x)))] drop_invalid_phone_count = original_row_count - drop_null_row_count - len(df) write_log(f" - 删除无效手机号行：{drop_invalid_phone_count} 行") # 步骤3：按user_id去重，保留第一条记录 df = df.drop_duplicates(subset=["user_id"], keep="first") drop_duplicate_row_count = original_row_count - drop_null_row_count - drop_invalid_phone_count - len(df) write_log(f" - 删除重复user_id行：{drop_duplicate_row_count} 行") # 步骤4：保存清洗后的数据 os.makedirs(os.path.dirname(output_path), exist_ok=True) df.to_csv(output_path, index=False, encoding="utf-8") write_log(f"清洗完成：{output_path}，清洗后数据行数：{len(df)}\n") except Exception as e: error_msg = f"清洗文件 {file_path} 失败，错误信息：{str(e)}" write_log(error_msg) # 3. 定义批量处理函数 def batch_clean_csv(): """批量处理INPUT_DIR下的所有CSV文件""" # 初始化日志文件 write_log("="*50 + " 开始批量数据清洗 " + "="*50) # 检查输入目录是否存在 if not os.path.exists(INPUT_DIR): write_log(f"输入目录 {INPUT_DIR} 不存在，终止清洗") return # 遍历输入目录下的所有CSV文件 for root, dirs, files in os.walk(INPUT_DIR): for file in files: if file.endswith(".csv"): # 构建输入与输出文件路径 input_file_path = os.path.join(root, file) relative_path = os.path.relpath(input_file_path, INPUT_DIR) output_file_path = os.path.join(OUTPUT_DIR, relative_path) # 调用单文件清洗函数 clean_single_csv(input_file_path, output_file_path) write_log("="*50 + " 批量数据清洗结束 " + "="*50) # 4. 执行批量清洗 if __name__ == "__main__": batch_clean_csv()

4. 结果验证与优化迭代

（1）结果验证

1. 运行代码前，创建user_data/目录并放入样本 CSV 文件；
2. 运行代码后，生成cleaned_user_data/目录（存放清洗后文件）和data_cleaning_log.txt（清洗日志）；
3. 验证核心指标：清洗后的文件无空值、手机号格式正确、无重复user_id，日志记录完整可追溯。

（2）优化迭代

1. 初始版本仅支持utf-8编码 CSV，优化后添加gbk编码兼容（处理中文乱码问题）；
2. 新增列名校验，防止因 CSV 列名不一致导致报错；
3. 优化去重逻辑，支持保留最新记录（按register_time排序后去重）。

三、案例二：程序调试场景 —— 排查 Python 平均分计算函数异常

1. 问题定义与需求拆解

核心问题

一个用于计算学生考试平均分的 Python 函数calculate_average()，存在两个异常：① 输入有效成绩列表[90, 85, 95, 88]，计算结果错误；② 输入包含非数字的列表[80, "90", 75, 92]，直接抛出类型错误。

需求目标

修复函数逻辑，实现：① 正确计算非空有效成绩列表（0-100 分）的平均分，保留 2 位小数；② 兼容字符串格式的数字（如"90"转换为90）；③ 对无效输入（空列表、非数字、成绩超出 0-100 范围）给出友好提示，而非直接报错。

2. 信息收集与现状分析

（1）原始错误代码

def calculate_average(scores): """计算学生成绩平均分""" total = sum(scores) average = total / len(scores) return round(average, 2)

（2）问题排查

1. 测试用例 1：calculate_average([90, 85, 95, 88])，预期结果89.50，实际返回错误（无语法错误，逻辑无问题？不，若输入包含字符串则报错）；
2. 测试用例 2：calculate_average([80, "90", 75, 92])，抛出TypeError: unsupported operand type(s) for +: 'int' and 'str'，原因是无法直接对 int 和 str 求和；
3. 隐藏问题：输入空列表[]会抛出ZeroDivisionError，输入成绩105或-5会被正常计算，不符合业务规则。

3. 方案实现与优化后代码

def calculate_average(scores): """ 计算学生成绩平均分（优化版，支持容错与数据校验） :param scores: 成绩列表（支持int、str格式的有效数字） :return: 平均分（保留2位小数）或友好错误提示 """ # 步骤1：校验输入是否为空列表 if not isinstance(scores, list): return "错误：输入必须为列表类型" if len(scores) == 0: return "错误：成绩列表不能为空，请输入有效成绩" # 步骤2：数据清洗与类型转换（兼容字符串格式数字） valid_scores = [] for score in scores: try: # 转换为浮点数 num_score = float(score) # 校验成绩是否在0-100范围内 if 0 <= num_score <= 100: valid_scores.append(num_score) else: print(f"警告：成绩 {score} 超出0-100范围，已忽略") except (ValueError, TypeError): print(f"警告：成绩 {score} 不是有效数字，已忽略") # 步骤3：校验清洗后是否有有效成绩 if len(valid_scores) == 0: return "错误：无有效成绩可计算平均分" # 步骤4：计算平均分并返回结果 total = sum(valid_scores) average = total / len(valid_scores) return round(average, 2) # 测试用例验证 if __name__ == "__main__": test_cases = [ [90, 85, 95, 88], [80, "90", 75, 92], [], [105, -5, 90, "abc"], "not a list" ] for i, case in enumerate(test_cases, 1): result = calculate_average(case) print(f"测试用例 {i}：输入 {case} → 结果 {result}\n")

4. 结果验证与优化迭代

（1）结果验证

运行测试用例，输出结果如下，符合预期需求：

1. 测试用例 1：返回89.50（正确计算有效成绩）；
2. 测试用例 2：返回84.25（兼容字符串数字并转换）；
3. 测试用例 3：返回 “错误：成绩列表不能为空，请输入有效成绩”（友好提示空列表）；
4. 测试用例 4：忽略无效成绩，返回90.0（仅计算有效成绩）；
5. 测试用例 5：返回 “错误：输入必须为列表类型”（校验输入类型）。

（2）优化迭代

1. 初始版本仅打印警告信息，优化后新增日志记录，便于追溯无效成绩；
2. 支持自定义成绩范围（添加参数min_score、max_score），提升函数复用性；
3. 新增返回值类型统一（异常场景返回字典格式{"code": -1, "msg": "错误信息"}，成功场景返回{"code": 0, "data": 89.50}），便于后续业务调用。

四、计算机问题解决的核心技巧总结

1. 重视问题拆解：将复杂问题拆分为多个可落地的小任务，避免 “胡子眉毛一把抓”，比如数据清洗拆分为 “空值处理、格式验证、去重” 三个小步骤；
2. 善用工具与库：站在巨人的肩膀上，避免重复造轮子，比如数据处理用pandas、正则验证用re、调试用pdb，提升解决效率；
3. 注重日志与测试：日志是排查问题的 “线索”，完善的测试用例能覆盖边界场景，避免上线后出现隐藏问题；
4. 容错性优先：程序设计中要考虑异常场景，比如空输入、无效数据，给出友好提示而非直接崩溃；
5. 积累可复用方案：将常见问题的解决方法整理为模板（如批量文件处理、数据校验），后续遇到同类问题可快速复用。

五、总结

计算机问题的解决，核心是建立 “系统化思维” 与 “落地能力” 的结合。通用方法论是指导方向，避免盲目试错；代码与案例是落地载体，验证方案的可行性。无论是数据处理、程序调试，还是更复杂的系统运维、算法实现，都可以遵循 “定义问题→收集信息→设计方案→落地实现→验证优化” 的流程。随着实践经验的积累，你会逐渐形成自己的问题解决体系，高效应对各类计算机场景中的挑战。