一、缺失值处理 isnull( ) 、fillna( ) 、dropna( )
（1）查看
- 缺失
查看数据集缺失，返回每列的缺失个数 df.isnull().sum()
查看某字段有缺失的行 df[df.a.isnull()]
查看某字段每行的缺失情况：返回T/F：df.score.isnull() 、返回0/1：df.score.isnull().astype(int)
- 缺失占比
返回每列的缺失占比：df.apply(lambda col:sum(col.isnull())/col.size)
行的缺失占比大于60%的列：data.ix[data.isnull().sum(axis=1)/data.shape[1]>0.6,:]
列的缺失占比大于60%的行：data.isnull().sum(axis=0)/data.shape[0]>0.6
- 可视化
import missingno as msno
msno.bar(Customer, color='IndianRed')
（2）填补 fillna
- 以指定值填补：
#填补一列：df.a.fillna(df.a.mean/median())，#mean：使用均值填补、median：使用中位数填补
#填补多列：
fill_cols=['a','b','c']
fill_values={col:df[col].mode()[0] for col in fill_cols} #使用每个字段的值的众数填补
df=df.fillna(fill_values)
- 通过字典调用fillna：df.fillna({'a': 0.55, 'b': 0.66} , inplace=True)
- df.fillna(method='ffill', limit=2) limit：对于前向和后向填充可以连续填充的最大数量
- 利用随机森林对缺失值预测填充函数
def set_missing(df):
# 把已有的数值型特征取出来
process_df = df.ix[:,[12,1,2,3,4,5,6,7,8,9,10,14,16]]
# 分成已知该特征和未知该特征两部分
known = process_df[process_df.StockMoney>0].as_matrix()
unknown = process_df[process_df.StockMoney==0].as_matrix()
# X为特征属性值
X = known[:, 1:]
# y为结果标签值
y = known[:, 0]
# fit到RandomForestRegressor之中
rfr = RandomForestRegressor(random_state=0,
n_estimators=200,max_depth=3,n_jobs=-1)
rfr.fit(X,y)
# 用得到的模型进行未知特征值预测
predicted = rfr.predict(unknown[:, 1:]).round(0)
print(predicted)
# 用得到的预测结果填补原缺失数据
df.loc[(df.StockMoney==0), 'StockMoney'] = predicted
return df
Data=set_missing(data07)
（3）删除 dropna
- df=df.dropna(subset=['a','b','c'],how='any'/'all',inplace=True)
- 删除缺失率超过80%的字段（首先筛选缺失超过80%的列）：df.drop(columns=['a','b'])
- df.dropna(thresh=2) 这一行除去NA值，剩余数值的数量大于等于2，便显示这一行。
二、重复值处理duplicated( )、drop_duplicates( )
（1）查看
- 查看数据集重复，返回重复的行数
df.duplicated().sum()
(df.duplicated(subset=['a','b','c'])).sum()
- 查看指定字段有的重复的行
df[df.a.duplicated()]
df[df.duplicated(subset=['a','b','c'])] #isnull( )没有此用法
- 查看指定字段的重复情况，返回T/F：df.a.duplicated()、返回0/1：df.a.duplicated().astype(int)
（2）去重
- df.drop_duplicates()
df.drop_duplicates(subset=None, keep='first', inplace=False)
keep : {‘first’, ‘last’, False}, default first’删除重复项并保留第一次出现的项(duplicated和drop_duplicates默认保留的是第一个出现的值组合)
