处理csv文件，同样将结果保存为csv文件，只涉及数据不涉及Excel文件的格式，主要使用pandas包就足够了。以我自己的任务为主，串一串基础语句进行总结。
1、读取csv文件
import pandas as pd
import numpy as np
import os# 读取CSV文件
df = pd.read_csv(filepath_or_buffer=input_csv_path, encoding="ANSI", header=0)
"""
df:DataFrame数据
filepath_or_buffer: 文件路径
encoding：文件的编码格式，正确设置才能正确读取文件
header：文件有没有表头，默认值为0表示有表头，设置值为None表述没有表头；文件没表头时，第一行容易被错误识别为表头，处理缺少数据。
"""
2、获取数据的站点号、年和月，用于循环操作
siteNames=df['区站号'].unique() # 只要不重复值,返回ndarray数据，纯数值容器
b = df['区站号'].nunique() # 只要数量,返回Series数据，是带标签的一维数组，相当于dataframe的一列
c = df['区站号'].value_counts() # 要值和计数,返回Series数据
d = df['区站号'] # 返回Series数据，一列数据
具体的筛选和循环过程：
# 批量处理每个站点for site in siteNames:l=df['区站号'] == site # 获取单个站点号的索引，返回Series数据，包括行号和一个bool值site_data = df[l] # 根据索引筛选数据，返回dataFrame# 年月循环for y in site_data['年'].unique():year_data=site_data[site_data['年']==y] # 筛选年for m in range(12):month_data=year_data[year_data['月']==m+1].copy() # 筛选月，创建的是"视图"，copy()创建副本为方便标记错误值# 具体的处理过程
3、处理过程，获取统计值
month_data = year_data[year_data['月'] == m + 1].copy() # 筛选月
# 将第10-18列中超出范围的值设为NaN，标记错误值为Nan
cols = month_data.columns[9:18] # 第10-18列（Python从0开始索引）
month_data[cols] = month_data[cols].apply(lambda x: x.where((x >= -500) & (x <= 500), np.nan)) # 使用apply，配合lamba函数，将范围外的值标记为Nan
l = ["平均气温(℃)", "日最高气温(℃)", "日最低气温(℃)","20-20时累计降水量（mm）", "平均地表气温(℃)","日最高地表气温(℃)", "日最低地表气温(℃)"]write_row = month_data.iloc[0:1] # 取第一行
write_row = write_row[["区站号", "纬度", "经度", "海拔高度", '年', "月"]].copy()for c in l:if c == "平均气温(℃)":write_row["月平均气温(℃)"] = round(month_data[c].mean(), 5) # 如果所有值都为Nan,返回值为Nan,会自动忽略Nan值(包括分母),下同elif c == "日最高气温(℃)":write_row["月最高气温(℃)"] = round(month_data[c].max(), 5)pass # 略
newline=write_row.to_csv().replace(output_top.strip(),"").strip()+"\n" # 这里用dataframe存储数据，然后转为csv，是为了练习dataframe
4、dataFrame数据结构的相关一些总结
import pandas as pd
# 新建DataFrame
# 方法1：直接字典新建DataFrame
df = pd.DataFrame({'气温': [25, 28, 30], # 列名：行值'降水': [0, 5, 10]
}, index=['2023-01-01', '2023-01-02', '2023-01-03']) # 不是很懂这个索引的作用
# 方法2：从二维列表新建DataFrame
data = [['北京', 25, 0], ['上海', 28, 5], ['广州', 30, 10]]
df = pd.DataFrame(data, columns=['城市', '气温', '降水'])
# 方法3：从多个列表新建DataFrame
cities = ['北京', '上海', '广州']
temps = [25, 28, 30]
df = pd.DataFrame({'城市': cities, '气温': temps})# 列相关
# 增加列
df['年份'] = 2023
df['华氏温度'] = df['气温'] * 9/5 + 32
# 删除列
df = df.drop('华氏温度', axis=1) # 删除单列
df = df.drop(['列1', '列2'], axis=1) # 删除多列
# 重命名列
df = df.rename(columns={'旧名': '新名', '气温': '温度'})# 行相关
# 增加行
new_row = {'城市': '深圳', '气温': 32, '降水': 8}
df = pd.concat([df, pd.DataFrame([new_row])], ignore_index=True)
# 删除行
df = df.drop(0) # 删除索引为0的行
df = df.drop([0, 2]) # 删除多行
# 条件删除
df = df[df['气温'] < 30] # 删除气温>=30的行# 修改值
# 修改单个值
df.at[0, '气温'] = 26 # 索引0, 列'temperatura'
# 条件修改
df.loc[df['城市'] == '北京', '气温'] = 27
# 批量修改
df['气温'] = df['气温'] + 1 # 所有气温+1# 筛选行、列
# 选择列
df['城市'] # 单列 → Series
df[['城市', '气温']] # 多列 → DataFrame
# 选择行
df.iloc[0] # 按位置选择第0行，前闭后开
df.iloc[0:3] # 前3行
df.loc['2023-01-01'] # 按索引标签选择行，前闭后闭
# 单条件筛选
hot_days = df[df['气温'] > 28]
# 多条件筛选
summer_hot = df[(df['气温'] > 28) & (df['降水'] > 0)]
# 包含查询筛选
beijing_data = df[df['城市'].str.contains('北京')]
# isin查询筛选
selected = df[df['城市'].isin(['北京', '上海'])]# 统计
df.describe() # 数值列统计
df.info() # 数据类型信息
df.shape # 数据形状
df.columns # 列名列表
df.index # 索引信息
# 单列统计
df['气温'].mean() # 平均值
df['气温'].max() # 最大值
df['气温'].min() # 最小值
df['气温'].std() # 标准差
df['气温'].count() # 非空数量# 文件操作
df = pd.read_csv('data.csv') # 读取CSV
df.to_csv('output.csv') # 保存为CSV# 数据查看
df.head(10) # 前10行
df.tail(5) # 后5行
df.sample(3) # 随机3行
df.nunique() # 每列不重复值数量
