Pandas 简易教程
- 1.Pandas简介
- 2.创建
- 2.1创建dataFrame
- 2.2创建Series
- 3.dataframe数据访问
- 3.1 获取一列--列标签
- 3.2 获取多列--列标签列表
- 3.3 获取一行--行标签.loc()
- 3.4 获取多行--行切片操作.loc()
- 3.5 index 获取行列信息--df.iloc()
- 3.6 获取一个元素
- 3.7 布尔值选择数据
- 4.dataframe删除操作
- 4.1 DataFrame.drop()
- 4.2 删除一列--del,pop
- 5.dataframe 合并追加操作
- 5.1 追加一行
- 5.2 追加一列
- 5.3 合并操作-- pd.concat()
- 6.dataframe统计操作
- 6.1求均值
- 6.2 df.describe()
- 6.4 df.T
- 6.4 df排序
- 6.4.1 按行/列名称排序--df.sort_index()
- 6.4.2 按某一行/列值排序
- 6.5 查看df数据的头部/尾部
- 6.6 df 与numpy.array 相互转换
- 6.7 分位点
- 7.文件读写
- 7.1 pd.read_csv() 读CSV文件
- 7.2 pd.to_csv() 写csv文件
- 7.3 df.read_excel() 读 excel 文件
- 7.4 df.to_excel()
- 8.统计绘图(待)
- 8.1 DataFrame.hist()
- 9.常用方法清单
1.Pandas简介
是什么
Pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。
Pandas 的主要数据结构: Series(一维数据) 与 DataFrame(二维数据),这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例。
Pandas 的优势
1.处理浮点与非浮点数据里的缺失数据,表示为NaN;
2.成熟的 IO 工具:读取文本文件(CSV 等支持分隔符的文件)、Excel 文件;
3.把 Python 和 NumPy 数据结构里不规则、不同索引的数据轻松地转换为 DataFrame 对象;
Pandas 可用于,数据处理 整个流程中:
数据整理与清洗->数据分析与建模->数据可视化与制表
Pandas 里,绝大多数方法都不改变原始的输入数据,而是复制数据,生成新的对象。 一般来说,原始输入数据不变更稳妥。(内存管理问题)
2.创建
2.1创建dataFrame
1.不指定数据创建,然后填入数据
>>> dfa=pd.DataFrame()
>>> dfa["A"]=np.array([1,2,3,4])
>>> dfaA
0 1
1 2
2 3
3 4
2.numpy数组创建
>>> dfb= pd.DataFrame(np.random.randn(3, 4), index=["day1","day2","day3"], columns=list('ABCD'))
>>> dfbA B C D
day1 0.292165 -0.514650 -1.013541 0.206613
day2 1.255805 -0.504385 -0.121249 -0.041156
day3 0.083240 -0.887587 0.792058 -0.144602
3.字典创建
data = {"id" : ["Jack", "Sarah", "Mike"],"age" : [18, 35, 20],"cash" : [10.53, 500.7, 13.6]}
df = pd.DataFrame(data) # 默认列名
print(df)
df2 = pd.DataFrame(data, index=["one", "two", "three"]) # 设定列名
print(df2)
输出:
id age cash
0 Jack 18 10.53
1 Sarah 35 500.70
2 Mike 20 13.60id age cash
one Jack 18 10.53
two Sarah 35 500.70
three Mike 20 13.60
2.2创建Series
系列其实构成了dataframe中的一列,默认的情况下,系列的索引是非负整数列
s = pd.Series({"a" : 4, "b": 9, "c" : 16}, name="number")
print(s)
输出
a 4
b 9
c 16
Name: number, dtype: int64
3.dataframe数据访问
系列类似于数组,可以使用下标索引,支持向量化操作。由很多的系列构成dataFrame,所以对dataFrame的操作也与系列中类似。
# 系列的访问
print(s[0], s[:3]) # 下标,切片
print(s["a"]) # 索引
print(np.sqrt(s))# dataFrame 的增删查改
print(df["id"]) # 查
df["rich"] = df["cash"] > 200.0 # 增
print(df)
del(df["rich"]) # 删除
print(df)
输出:
----------
4 a 4 #print(s[0], s[:3]) 的结果
b 9
c 16
Name: number, dtype: int64
4
a 2.0
b 3.0
c 4.0
Name: number, dtype: float64
0 Jack
1 Sarah
2 Mike
Name: id, dtype: objectid age cash rich
0 Jack 18 10.53 False
1 Sarah 35 500.70 True
2 Mike 20 13.60 Falseid age cash
0 Jack 18 10.53
1 Sarah 35 500.70
2 Mike 20 13.60
3.1 获取一列–列标签
>>> df["A"]
2013-01-01 -0.512998
2013-01-02 0.851308
2013-01-03 0.154169
Freq: D, Name: A, dtype: float64
3.2 获取多列–列标签列表
(列标签需要放在List中,否着无法访问)
>>> df[["A","B"]]A B
2013-01-01 -0.512998 1.674901
2013-01-02 0.851308 0.090532
2013-01-03 0.154169 0.761327
3.3 获取一行–行标签.loc()
>>> df.loc["2013-01-01"]
A -0.512998
B 1.674901
C -0.447253
D 1.888928
Name: 2013-01-01 00:00:00, dtype: float64
3.4 获取多行–行切片操作.loc()
不能用df.loc[[“2013-01-01”,“2013-01-02”]])
>>> df[0:2]A B C D
2013-01-01 -0.512998 1.674901 -0.447253 1.888928
2013-01-02 0.851308 0.090532 -0.407433 0.320288
3.5 index 获取行列信息–df.iloc()
类似于numpy矩阵的索引操作
1.获取一行
>>> df.iloc[0]
A -0.512998
B 1.674901
C -0.447253
D 1.888928
Name: 2013-01-01 00:00:00, dtype: float64
>>> df.iloc[0,:]
A -0.512998
B 1.674901
C -0.447253
D 1.888928
Name: 2013-01-01 00:00:00, dtype: float64
2.获取多行–行索引切片
>>> df.iloc[0:2]A B C D
2013-01-01 -0.512998 1.674901 -0.447253 1.888928
2013-01-02 0.851308 0.090532 -0.407433 0.320288
3.行列切片
-0.512997918520904
>>> df.iloc[0:2,1:2]B
2013-01-01 1.674901
2013-01-02 0.090532
3.6 获取一个元素
>>> df.loc["2013-01-01", 'A']
-0.512997918520904>>> df.at["2013-01-01", 'A']
-0.512997918520904>>> df.iloc[0,0]
-0.512997918520904
3.7 布尔值选择数据
>>> df[df.A > 0]A B C D
2013-01-02 0.851308 0.090532 -0.407433 0.320288
2013-01-03 0.154169 0.761327 -0.488159 -0.498190
利用.reset_index(drop=True) 重新设置行标号
4.dataframe删除操作
4.1 DataFrame.drop()
DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False)
参数:
labels | 要删除的行,列的标签,用列表给定 |
---|---|
axis | 默认为0,指删除行;删除columns时要指定axis=1 |
index | 直接指定要删除的行索引 |
columns | 直接指定要删除的列名称 |
inplace | =False,默认该删除操作不改变原数据,而是返回一个执行删除操作后的新 |
=True,则会直接在原数据上进行删除操作,删除后无法返回。 |
因此,删除行列有两种方式:
1)labels=None,axis=0 的组合
2)index或columns直接指定要删除的行或列
df.drop(['B', 'C'], axis=1) # 删除"B","C"列
df.drop([0, 1]) # 删除0,1行
df.drop(columns=['B', 'C']) # 删除"B","C"列
df.drop(index=[0, 1]) # 删除0,1行
按列标号删除列
DF.drop([DF.columns[[0,1, 3]]], axis=1,inplace=True) # Note: zero indexed
4.2 删除一列–del,pop
>>> del df["A"] # 删除列A
>>> dfB C D
2013-01-01 1.674901 -0.447253 1.888928
2013-01-02 0.090532 -0.407433 0.320288
2013-01-03 0.761327 -0.488159 -0.498190
>>> B=df.pop("B") # 将第B列弹出,起到输出某一列的作用
>>> dfC D
2013-01-01 -0.447253 1.888928
2013-01-02 -0.407433 0.320288
2013-01-03 -0.488159 -0.498190
>>> B
2013-01-01 1.674901
2013-01-02 0.090532
2013-01-03 0.761327
Freq: D, Name: B, dtype: float64
>>>
5.dataframe 合并追加操作
5.1 追加一行
>>> df1 = pd.DataFrame(np.random.randn(2, 4), columns=['A', 'B', 'C', 'D'])
>>> df1A B C D
0 -0.559292 0.198070 -0.114022 -1.622667
1 0.794817 0.682684 1.476562 0.163302
>>> row=pd.DataFrame(np.random.randn(1, 4), columns=['A', 'B', 'C', 'D'])
>>> df1.append(row,ignore_index=True)A B C D
0 -0.559292 0.198070 -0.114022 -1.622667
1 0.794817 0.682684 1.476562 0.163302
2 -1.181575 -0.272601 -1.752255 -0.859897
5.2 追加一列
直接df[“列名”]=一列数据:df, numpy.array
5.3 合并操作-- pd.concat()
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,keys=None, levels=None, names=None, verify_integrity=False,copy=True)
参数 | |
---|---|
objs | Series,DataFrame或Panel对象的序列或映射 |
ignore_index | True: 拼接轴上的坐标从0-n-1排布 |
>>> df1 = pd.DataFrame(np.random.randn(3, 4))
>>> df2 = pd.DataFrame(np.random.randn(3, 4))
>>> df10 1 2 3
0 2.360959 -1.855941 -0.079708 0.533404
1 0.891633 -1.918339 -1.069706 1.069652
2 0.469251 0.198839 -1.661338 1.449165
>>> df20 1 2 3
0 0.697094 -0.003241 -1.077108 0.713898
1 -0.788362 0.616115 -0.123818 1.385414
2 -0.422057 -1.759653 1.094616 0.109523
>>> pd.concat([df1,df2]) # 原有的行标签直接拼接0 1 2 3
0 2.360959 -1.855941 -0.079708 0.533404
1 0.891633 -1.918339 -1.069706 1.069652
2 0.469251 0.198839 -1.661338 1.449165
0 0.697094 -0.003241 -1.077108 0.713898
1 -0.788362 0.616115 -0.123818 1.385414
2 -0.422057 -1.759653 1.094616 0.109523
>>> pd.concat([df1,df2],ignore_index=True) # 忽略原有标签,标签直重新排列0 1 2 3
0 2.360959 -1.855941 -0.079708 0.533404
1 0.891633 -1.918339 -1.069706 1.069652
2 0.469251 0.198839 -1.661338 1.449165
3 0.697094 -0.003241 -1.077108 0.713898
4 -0.788362 0.616115 -0.123818 1.385414
5 -0.422057 -1.759653 1.094616 0.109523
>>> pd.concat([df1,df2]).index
Int64Index([0, 1, 2, 0, 1, 2], dtype='int64')
>>> pd.concat([df1,df2],ignore_index=True).index
RangeIndex(start=0, stop=6, step=1)
参考资料:https://blog.csdn.net/zzpdbk/article/details/79232661
6.dataframe统计操作
6.1求均值
1.求列均值
>>> df.mean()
A 0.164160
B 0.842253
C -0.447615
D 0.570342
dtype: float64
2.求行均值
>>> df.mean(1)
2013-01-01 0.650894
2013-01-02 0.213674
2013-01-03 -0.017713
Freq: D, dtype: float64
6.2 df.describe()
查看数据统计摘要
df.describe()A B C D
count 6.000000 6.000000 6.000000 6.000000
mean 0.073711 -0.431125 -0.687758 -0.233103
std 0.843157 0.922818 0.779887 0.973118
min -0.861849 -2.104569 -1.509059 -1.135632
25% -0.611510 -0.600794 -1.368714 -1.076610
50% 0.022070 -0.228039 -0.767252 -0.386188
75% 0.658444 0.041933 -0.034326 0.461706
max 1.212112 0.567020 0.276232 1.071804
6.4 df.T
转置操作
>>> dfC D
2013-01-01 -0.447253 1.888928
2013-01-02 -0.407433 0.320288
2013-01-03 -0.488159 -0.498190
>>> df.T2013-01-01 2013-01-02 2013-01-03
C -0.447253 -0.407433 -0.488159
D 1.888928 0.320288 -0.498190
6.4 df排序
6.4.1 按行/列名称排序–df.sort_index()
>>> dfC D
2013-01-01 -0.447253 1.888928
2013-01-02 -0.407433 0.320288
2013-01-03 -0.488159 -0.498190
>>> df.sort_index(axis=1, ascending=False)D C
2013-01-01 1.888928 -0.447253
2013-01-02 0.320288 -0.407433
2013-01-03 -0.498190 -0.488159
>>> df.sort_index(axis=0, ascending=False)C D
2013-01-03 -0.488159 -0.498190
2013-01-02 -0.407433 0.320288
2013-01-01 -0.447253 1.888928
6.4.2 按某一行/列值排序
按值排序(指定按某一列的值)
>>> df.sort_values(by='C')C D
2013-01-03 -0.488159 -0.498190
2013-01-01 -0.447253 1.888928
2013-01-02 -0.407433 0.320288
df.sort_values(by=‘2013-01-03’) 报错
6.5 查看df数据的头部/尾部
df.head()A B C D
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632
2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401df.tail(3)A B C D
2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2013-01-05 -0.424972 0.567020 0.276232 -1.087401
2013-01-06 -0.673690 0.113648 -1.478427 0.524988
6.6 df 与numpy.array 相互转换
DataFrame.to_numpy() 转化成NumPy 数据类型,输出不包含行索引和列标签。当dataframe各列的数据类型不同时,该操作耗费系统资源较大。
>>> dfC D
2013-01-01 -0.447253 1.888928
2013-01-02 -0.407433 0.320288
2013-01-03 -0.488159 -0.498190
>>> df.to_numpy()
array([[-0.44725345, 1.88892814],[-0.40743299, 0.32028762],[-0.4881592 , -0.49818956]])
6.7 分位点
df.quantile(a)
a就是分位点参数[0,1]
7.文件读写
7.1 pd.read_csv() 读CSV文件
0.读入csv 文件,返回一个df数据
pd.read_csv(filepath , header , parse_dates , index_col)
1.给数据加上一个从0开始的列索引
df=pd.read_csv(“test.csv”,header=None)
2.给的数据加上一个从m开始n-1结束的索引
df=pd.read_csv(“test.csv”,header=None,names=range(m,n))
3.指定数据的第一行为列索引
df=pd.read_csv(“test.csv”,header=0)
4.指定每个列的名称
col_label =[“A”, “B”, “C”]
df = pd.read_csv(“test.csv”, names = col_label)
参考博文:https://www.jianshu.com/p/ebb64a159104
7.2 pd.to_csv() 写csv文件
df.to_csv(“test.csv”,sep=‘?’,header=0,index=0,float_format=‘%.2f’,)
sep=‘?’ | 数据保存时分隔符,默认为逗号 |
---|---|
header=0 | 不保留列名 |
index=0 | 不保留行名 |
float_format=‘%.2f’ | 浮点数保留两位小数 |
columns=[‘name’] | 保留特定的列 |
mode=“a” | 追加一行数据 |
df.to_csv(“test.csv”,mode=“a”,header=False,index=False)
#df 为一行新数据
参考博文:https://blog.csdn.net/toshibahuai/article/details/79034829
7.3 df.read_excel() 读 excel 文件
df.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, usecols=None, squeeze=False,dtype=None, engine=None, converters=None, true_values=None, false_values=None, skiprows=None, nrows=None, na_values=None, parse_dates=False, date_parser=None, thousands=None, comment=None, skipfooter=0, convert_float=True, **kwds)
必要参数 | |
---|---|
io | Excel的存储路径 |
sheet_name | 定位要读取的子表,整型数字(表格序号,从0开始)、列表名或SheetN |
data_path = "./data2.xlsx"
excel = pd.read_excel(path, sheet_name = 0)
参考博文:https://blog.csdn.net/weixin_38546295/article/details/83537558
7.4 df.to_excel()
to_excel()会直接覆盖原来所有的数据表
df = .....
df.to_excel(file_name, sheet_name="xxx")
借助ExcelWriter间接保留原有数据表
#----encoding: utf8------
import pandas as pd
excel_file = "123.xlsx"
writer = pd.ExcelWriter(excel_file)
df_sheet1 = pd.read_excel(excel_file, sheet_name="Sheet1") # 保持原有的sheet不变
df_sheet1.to_excel(writer, sheet_name="Sheet1")
# 新建处理后数据表
post_process_list = ["sheet2", "sheet3"]
for sheet_name_str in post_process_list:df_sheet = pd.read_excel(excel_file, sheet_name=sheet_name_str)# do some process....df_sheet.sort_values("delta_s", inplace=True)df_sheet.to_excel(writer, sheet_name=sheet_name_str )
writer.save()
8.统计绘图(待)
8.1 DataFrame.hist()
使用DataFrame.hist()方法创建直方图, 该方法是matplotlib pyplot API的包装器。
DataFrame.hist()函数参数接口:
DataFrame.hist(data, column=None, by=None, grid=True, xlabelsize=None, xrot=None, ylabelsize=None, yrot=None, ax=None, sharex=False, sharey=False, figsize=None, layout=None, bins=10, **kwds)
DataFrame.hist()函数返回:
matplotlib.AxesSubplot或numpy.ndarray。
DataFrame.hist()用例:
import pandas as pd
info = pd.DataFrame({
‘length’: [2, 1.7, 3.6, 2.4, 1], ‘width’: [4.2, 2.6, 1.6, 5.1, 2.9]
})
hist = info.hist(bins=4)
提示:
1.列标会显示在直方图上
2.bins:决定了直方的条数,默认为10条
3. 绘图之后,还需要plt.show(),或者保存
4. DataFrame.hist()返回axes 那么就可以设置子图属性啥的?
9.常用方法清单
方法 | 用途 |
---|---|
pd.get_dummies() | 将类别变量转换成one-hot 编码 |
Series.isnull() | 判断系列中是否含有空值 |
Series.is_unique() | 判断系列中是否存在重复值 |
Series.value_counts() | 统计系列中所有取值出现的次数 |
DataFrame.mean() | 计算行列均值 |
DataFrame.dropna() | 删除数据缺失的行或者列 |
DataFrame.drop_duplicates() | 删除所有重复的行或者列 |
DataFrame.head() | 返回数据的前5行,查看数据格式 |
DataFrame.tail() | 返回数据框的后5行,查看数据格式 |
df.corr() | 计算各列的相关系数,参数可选项pearson,kendall,spearman |
df.corr()参考博文:https://blog.csdn.net/walking_visitor/article/details/85128461
全文参考博文:https://www.pypandas.cn/docs/