Pandas 简易教程
- 1.Pandas简介
- 2.创建
- 2.1创建dataFrame
- 2.2创建Series
 
- 3.dataframe数据访问
- 3.1 获取一列--列标签
- 3.2 获取多列--列标签列表
- 3.3 获取一行--行标签.loc()
- 3.4 获取多行--行切片操作.loc()
- 3.5 index 获取行列信息--df.iloc()
- 3.6 获取一个元素
- 3.7 布尔值选择数据
 
- 4.dataframe删除操作
- 4.1 DataFrame.drop()
- 4.2 删除一列--del,pop
 
- 5.dataframe 合并追加操作
- 5.1 追加一行
- 5.2 追加一列
- 5.3 合并操作-- pd.concat()
 
- 6.dataframe统计操作
- 6.1求均值
- 6.2 df.describe()
- 6.4 df.T
- 6.4 df排序
- 6.4.1 按行/列名称排序--df.sort_index()
- 6.4.2 按某一行/列值排序
 
- 6.5 查看df数据的头部/尾部
- 6.6 df 与numpy.array 相互转换
- 6.7 分位点
 
- 7.文件读写
- 7.1 pd.read_csv() 读CSV文件
- 7.2 pd.to_csv() 写csv文件
- 7.3 df.read_excel() 读 excel 文件
- 7.4 df.to_excel()
 
- 8.统计绘图(待)
- 8.1 DataFrame.hist()
 
- 9.常用方法清单
1.Pandas简介
是什么
 Pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。
Pandas 的主要数据结构: Series(一维数据) 与 DataFrame(二维数据),这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。
Pandas 的优势
1.处理浮点与非浮点数据里的缺失数据,表示为NaN;
 2.成熟的 IO 工具:读取文本文件(CSV 等支持分隔符的文件)、Excel 文件;
 3.把 Python 和 NumPy 数据结构里不规则、不同索引的数据轻松地转换为 DataFrame 对象;
Pandas 可用于,数据处理 整个流程中:
 数据整理与清洗->数据分析与建模->数据可视化与制表
Pandas 里,绝大多数方法都不改变原始的输入数据,而是复制数据,生成新的对象。 一般来说,原始输入数据不变更稳妥。(内存管理问题)
2.创建
2.1创建dataFrame
1.不指定数据创建,然后填入数据
>>> dfa=pd.DataFrame()
>>> dfa["A"]=np.array([1,2,3,4])
>>> dfaA
0  1
1  2
2  3
3  4
2.numpy数组创建
>>> dfb= pd.DataFrame(np.random.randn(3, 4), index=["day1","day2","day3"], columns=list('ABCD'))
>>> dfbA         B         C         D
day1  0.292165 -0.514650 -1.013541  0.206613
day2  1.255805 -0.504385 -0.121249 -0.041156
day3  0.083240 -0.887587  0.792058 -0.144602
3.字典创建
data = {"id" : ["Jack", "Sarah", "Mike"],"age" : [18, 35, 20],"cash" : [10.53, 500.7, 13.6]}
df = pd.DataFrame(data)                                     # 默认列名
print(df)
df2 = pd.DataFrame(data, index=["one", "two", "three"])     # 设定列名
print(df2)
输出:
      id  age    cash
0   Jack   18   10.53
1  Sarah   35  500.70
2   Mike   20   13.60id  age    cash
one     Jack   18   10.53
two    Sarah   35  500.70
three   Mike   20   13.60
2.2创建Series
系列其实构成了dataframe中的一列,默认的情况下,系列的索引是非负整数列
s = pd.Series({"a" : 4, "b": 9, "c" : 16}, name="number")
print(s)
输出
a     4
b     9
c    16
Name: number, dtype: int64
3.dataframe数据访问
系列类似于数组,可以使用下标索引,支持向量化操作。由很多的系列构成dataFrame,所以对dataFrame的操作也与系列中类似。
# 系列的访问
print(s[0], s[:3])      # 下标,切片
print(s["a"])           # 索引
print(np.sqrt(s))# dataFrame 的增删查改
print(df["id"])                     # 查
df["rich"] = df["cash"] > 200.0     # 增
print(df)
del(df["rich"])                     # 删除
print(df)
输出:
----------
4 a     4    #print(s[0], s[:3]) 的结果
b     9
c    16
Name: number, dtype: int64
4
a    2.0
b    3.0
c    4.0
Name: number, dtype: float64
0     Jack
1    Sarah
2     Mike
Name: id, dtype: objectid  age    cash   rich
0   Jack   18   10.53  False
1  Sarah   35  500.70   True
2   Mike   20   13.60  Falseid  age    cash
0   Jack   18   10.53
1  Sarah   35  500.70
2   Mike   20   13.603.1 获取一列–列标签
>>> df["A"]
2013-01-01   -0.512998
2013-01-02    0.851308
2013-01-03    0.154169
Freq: D, Name: A, dtype: float64
3.2 获取多列–列标签列表
(列标签需要放在List中,否着无法访问)
>>> df[["A","B"]]A         B
2013-01-01 -0.512998  1.674901
2013-01-02  0.851308  0.090532
2013-01-03  0.154169  0.761327
3.3 获取一行–行标签.loc()
>>> df.loc["2013-01-01"]
A   -0.512998
B    1.674901
C   -0.447253
D    1.888928
Name: 2013-01-01 00:00:00, dtype: float64
3.4 获取多行–行切片操作.loc()
不能用df.loc[[“2013-01-01”,“2013-01-02”]])
>>> df[0:2]A         B         C         D
2013-01-01 -0.512998  1.674901 -0.447253  1.888928
2013-01-02  0.851308  0.090532 -0.407433  0.320288
3.5 index 获取行列信息–df.iloc()
类似于numpy矩阵的索引操作
 1.获取一行
>>> df.iloc[0]
A   -0.512998
B    1.674901
C   -0.447253
D    1.888928
Name: 2013-01-01 00:00:00, dtype: float64
>>> df.iloc[0,:]
A   -0.512998
B    1.674901
C   -0.447253
D    1.888928
Name: 2013-01-01 00:00:00, dtype: float64
2.获取多行–行索引切片
>>> df.iloc[0:2]A         B         C         D
2013-01-01 -0.512998  1.674901 -0.447253  1.888928
2013-01-02  0.851308  0.090532 -0.407433  0.320288
3.行列切片
-0.512997918520904
>>> df.iloc[0:2,1:2]B
2013-01-01  1.674901
2013-01-02  0.090532
3.6 获取一个元素
>>> df.loc["2013-01-01", 'A']
-0.512997918520904>>> df.at["2013-01-01", 'A']
-0.512997918520904>>> df.iloc[0,0]
-0.512997918520904
3.7 布尔值选择数据
>>> df[df.A > 0]A         B         C         D
2013-01-02  0.851308  0.090532 -0.407433  0.320288
2013-01-03  0.154169  0.761327 -0.488159 -0.498190
利用.reset_index(drop=True) 重新设置行标号
4.dataframe删除操作
4.1 DataFrame.drop()
DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)
参数:
| labels | 要删除的行,列的标签,用列表给定 | 
|---|---|
| axis | 默认为0,指删除行;删除columns时要指定axis=1 | 
| index | 直接指定要删除的行索引 | 
| columns | 直接指定要删除的列名称 | 
| inplace | =False,默认该删除操作不改变原数据,而是返回一个执行删除操作后的新 | 
| =True,则会直接在原数据上进行删除操作,删除后无法返回。 | 
因此,删除行列有两种方式:
1)labels=None,axis=0 的组合
 2)index或columns直接指定要删除的行或列
df.drop(['B', 'C'], axis=1)  # 删除"B","C"列
df.drop([0, 1])				 # 删除0,1行
df.drop(columns=['B', 'C'])	 # 删除"B","C"列
df.drop(index=[0, 1])    	 # 删除0,1行
按列标号删除列
DF.drop([DF.columns[[0,1, 3]]], axis=1,inplace=True) # Note: zero indexed
4.2 删除一列–del,pop
 >>> del df["A"]			# 删除列A
>>> dfB         C         D
2013-01-01  1.674901 -0.447253  1.888928
2013-01-02  0.090532 -0.407433  0.320288
2013-01-03  0.761327 -0.488159 -0.498190
>>> B=df.pop("B")			# 将第B列弹出,起到输出某一列的作用 
>>> dfC         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> B
2013-01-01    1.674901
2013-01-02    0.090532
2013-01-03    0.761327
Freq: D, Name: B, dtype: float64
>>> 
5.dataframe 合并追加操作
5.1 追加一行
>>> df1 = pd.DataFrame(np.random.randn(2, 4), columns=['A', 'B', 'C', 'D'])
>>> df1A         B         C         D
0 -0.559292  0.198070 -0.114022 -1.622667
1  0.794817  0.682684  1.476562  0.163302
>>> row=pd.DataFrame(np.random.randn(1, 4), columns=['A', 'B', 'C', 'D'])
>>> df1.append(row,ignore_index=True)A         B         C         D
0 -0.559292  0.198070 -0.114022 -1.622667
1  0.794817  0.682684  1.476562  0.163302
2 -1.181575 -0.272601 -1.752255 -0.859897
5.2 追加一列
直接df[“列名”]=一列数据:df, numpy.array
5.3 合并操作-- pd.concat()
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,keys=None, levels=None, names=None, verify_integrity=False,copy=True)
| 参数 | |
|---|---|
| objs | Series,DataFrame或Panel对象的序列或映射 | 
| ignore_index | True: 拼接轴上的坐标从0-n-1排布 | 
>>> df1 = pd.DataFrame(np.random.randn(3, 4))
>>> df2 = pd.DataFrame(np.random.randn(3, 4))
>>> df10         1         2         3
0  2.360959 -1.855941 -0.079708  0.533404
1  0.891633 -1.918339 -1.069706  1.069652
2  0.469251  0.198839 -1.661338  1.449165
>>> df20         1         2         3
0  0.697094 -0.003241 -1.077108  0.713898
1 -0.788362  0.616115 -0.123818  1.385414
2 -0.422057 -1.759653  1.094616  0.109523
>>> pd.concat([df1,df2])     # 原有的行标签直接拼接0         1         2         3
0  2.360959 -1.855941 -0.079708  0.533404
1  0.891633 -1.918339 -1.069706  1.069652
2  0.469251  0.198839 -1.661338  1.449165
0  0.697094 -0.003241 -1.077108  0.713898
1 -0.788362  0.616115 -0.123818  1.385414
2 -0.422057 -1.759653  1.094616  0.109523
>>> pd.concat([df1,df2],ignore_index=True)   # 忽略原有标签,标签直重新排列0         1         2         3
0  2.360959 -1.855941 -0.079708  0.533404
1  0.891633 -1.918339 -1.069706  1.069652
2  0.469251  0.198839 -1.661338  1.449165
3  0.697094 -0.003241 -1.077108  0.713898
4 -0.788362  0.616115 -0.123818  1.385414
5 -0.422057 -1.759653  1.094616  0.109523
>>> pd.concat([df1,df2]).index
Int64Index([0, 1, 2, 0, 1, 2], dtype='int64')
>>> pd.concat([df1,df2],ignore_index=True).index
RangeIndex(start=0, stop=6, step=1)
参考资料:https://blog.csdn.net/zzpdbk/article/details/79232661
6.dataframe统计操作
6.1求均值
1.求列均值
>>> df.mean()
A    0.164160
B    0.842253
C   -0.447615
D    0.570342
dtype: float64
2.求行均值
>>> df.mean(1)
2013-01-01    0.650894
2013-01-02    0.213674
2013-01-03   -0.017713
Freq: D, dtype: float64
6.2 df.describe()
查看数据统计摘要
df.describe()A         B         C         D
count  6.000000  6.000000  6.000000  6.000000
mean   0.073711 -0.431125 -0.687758 -0.233103
std    0.843157  0.922818  0.779887  0.973118
min   -0.861849 -2.104569 -1.509059 -1.135632
25%   -0.611510 -0.600794 -1.368714 -1.076610
50%    0.022070 -0.228039 -0.767252 -0.386188
75%    0.658444  0.041933 -0.034326  0.461706
max    1.212112  0.567020  0.276232  1.071804
6.4 df.T
转置操作
>>> dfC         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> df.T2013-01-01  2013-01-02  2013-01-03
C   -0.447253   -0.407433   -0.488159
D    1.888928    0.320288   -0.498190
6.4 df排序
6.4.1 按行/列名称排序–df.sort_index()
>>> dfC         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> df.sort_index(axis=1, ascending=False)D         C
2013-01-01  1.888928 -0.447253
2013-01-02  0.320288 -0.407433
2013-01-03 -0.498190 -0.488159
>>> df.sort_index(axis=0, ascending=False)C         D
2013-01-03 -0.488159 -0.498190
2013-01-02 -0.407433  0.320288
2013-01-01 -0.447253  1.888928
6.4.2 按某一行/列值排序
按值排序(指定按某一列的值)
>>> df.sort_values(by='C')C         D
2013-01-03 -0.488159 -0.498190
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
df.sort_values(by=‘2013-01-03’) 报错
6.5 查看df数据的头部/尾部
df.head()A         B         C         D
2013-01-01  0.469112 -0.282863 -1.509059 -1.135632
2013-01-02  1.212112 -0.173215  0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929  1.071804
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401df.tail(3)A         B         C         D
2013-01-04  0.721555 -0.706771 -1.039575  0.271860
2013-01-05 -0.424972  0.567020  0.276232 -1.087401
2013-01-06 -0.673690  0.113648 -1.478427  0.524988
6.6 df 与numpy.array 相互转换
DataFrame.to_numpy() 转化成NumPy 数据类型,输出不包含行索引和列标签。当dataframe各列的数据类型不同时,该操作耗费系统资源较大。
>>> dfC         D
2013-01-01 -0.447253  1.888928
2013-01-02 -0.407433  0.320288
2013-01-03 -0.488159 -0.498190
>>> df.to_numpy()
array([[-0.44725345,  1.88892814],[-0.40743299,  0.32028762],[-0.4881592 , -0.49818956]])
6.7 分位点
df.quantile(a)
a就是分位点参数[0,1]
7.文件读写
7.1 pd.read_csv() 读CSV文件
0.读入csv 文件,返回一个df数据
pd.read_csv(filepath , header , parse_dates , index_col)
1.给数据加上一个从0开始的列索引
df=pd.read_csv(“test.csv”,header=None)
2.给的数据加上一个从m开始n-1结束的索引
df=pd.read_csv(“test.csv”,header=None,names=range(m,n))
3.指定数据的第一行为列索引
df=pd.read_csv(“test.csv”,header=0)
4.指定每个列的名称
col_label =[“A”, “B”, “C”]
df = pd.read_csv(“test.csv”, names = col_label)
参考博文:https://www.jianshu.com/p/ebb64a159104
7.2 pd.to_csv() 写csv文件
df.to_csv(“test.csv”,sep=‘?’,header=0,index=0,float_format=‘%.2f’,)
| sep=‘?’ | 数据保存时分隔符,默认为逗号 | 
|---|---|
| header=0 | 不保留列名 | 
| index=0 | 不保留行名 | 
| float_format=‘%.2f’ | 浮点数保留两位小数 | 
| columns=[‘name’] | 保留特定的列 | 
| mode=“a” | 追加一行数据 | 
df.to_csv(“test.csv”,mode=“a”,header=False,index=False)
#df 为一行新数据
参考博文:https://blog.csdn.net/toshibahuai/article/details/79034829
7.3 df.read_excel() 读 excel 文件
df.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, usecols=None, squeeze=False,dtype=None, engine=None, converters=None, true_values=None, false_values=None, skiprows=None, nrows=None, na_values=None, parse_dates=False, date_parser=None, thousands=None, comment=None, skipfooter=0, convert_float=True, **kwds)
| 必要参数 | |
|---|---|
| io | Excel的存储路径 | 
| sheet_name | 定位要读取的子表,整型数字(表格序号,从0开始)、列表名或SheetN | 
data_path = "./data2.xlsx"
excel = pd.read_excel(path, sheet_name = 0)
参考博文:https://blog.csdn.net/weixin_38546295/article/details/83537558
7.4 df.to_excel()
to_excel()会直接覆盖原来所有的数据表
df = .....
df.to_excel(file_name, sheet_name="xxx") 
借助ExcelWriter间接保留原有数据表
#----encoding: utf8------
import pandas as pd
excel_file = "123.xlsx"
writer = pd.ExcelWriter(excel_file)
df_sheet1 = pd.read_excel(excel_file, sheet_name="Sheet1")   # 保持原有的sheet不变
df_sheet1.to_excel(writer, sheet_name="Sheet1")
# 新建处理后数据表
post_process_list = ["sheet2", "sheet3"]
for sheet_name_str in post_process_list:df_sheet = pd.read_excel(excel_file, sheet_name=sheet_name_str)# do some process....df_sheet.sort_values("delta_s", inplace=True)df_sheet.to_excel(writer, sheet_name=sheet_name_str )
writer.save()8.统计绘图(待)
8.1 DataFrame.hist()
使用DataFrame.hist()方法创建直方图, 该方法是matplotlib pyplot API的包装器。
DataFrame.hist()函数参数接口:
DataFrame.hist(data, column=None, by=None, grid=True, xlabelsize=None, xrot=None, ylabelsize=None, yrot=None, ax=None, sharex=False, sharey=False, figsize=None, layout=None, bins=10, **kwds)
DataFrame.hist()函数返回:
matplotlib.AxesSubplot或numpy.ndarray。
DataFrame.hist()用例:
import pandas as pd
info = pd.DataFrame({
‘length’: [2, 1.7, 3.6, 2.4, 1], ‘width’: [4.2, 2.6, 1.6, 5.1, 2.9]
})
hist = info.hist(bins=4)
提示:
 1.列标会显示在直方图上
 2.bins:决定了直方的条数,默认为10条
 3. 绘图之后,还需要plt.show(),或者保存
 4. DataFrame.hist()返回axes 那么就可以设置子图属性啥的?
9.常用方法清单
| 方法 | 用途 | 
|---|---|
| pd.get_dummies() | 将类别变量转换成one-hot 编码 | 
| Series.isnull() | 判断系列中是否含有空值 | 
| Series.is_unique() | 判断系列中是否存在重复值 | 
| Series.value_counts() | 统计系列中所有取值出现的次数 | 
| DataFrame.mean() | 计算行列均值 | 
| DataFrame.dropna() | 删除数据缺失的行或者列 | 
| DataFrame.drop_duplicates() | 删除所有重复的行或者列 | 
| DataFrame.head() | 返回数据的前5行,查看数据格式 | 
| DataFrame.tail() | 返回数据框的后5行,查看数据格式 | 
| df.corr() | 计算各列的相关系数,参数可选项pearson,kendall,spearman | 
df.corr()参考博文:https://blog.csdn.net/walking_visitor/article/details/85128461
全文参考博文:https://www.pypandas.cn/docs/