人设生成器网站,深圳交易平台网站开发,广东莞建建设工程有限公司,企业微信公众号异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的#xff0c;不加剔除地把异常值包括进数据的计算分析过程中#xff0c;对结果会产生不良影响#xff1b;重视异常值的出现#xff0c;分析其产生的原因#xff0c;常常成为发现问…异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的不加剔除地把异常值包括进数据的计算分析过程中对结果会产生不良影响重视异常值的出现分析其产生的原因常常成为发现问题进而改进决策的契机。异常值是指样本中的个别值其数值明显偏离其余的观测值。异常值也称为离群点异常值的分析也称为离群点分析。(1)简单统计量分析可以先对变量做一个描述性统计进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值用来判断这个变量的取值是否超出了合理的范围。如客户年龄的最大值为199岁则该变量的取值存在异常。(2)3原则如果数据服从正态分布在3原则下异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。在正态分布的假设下距离平均值3之外的值出现的概率为P(x-3)≤0.003属于极个别的小概率事件。如果数据不服从正态分布也可以用远离平均值的多少倍标准差来描述。(3)箱型图分析箱型图提供了识别异常值的一个标准异常值通常被定义为小于QL1.5IQR或大于QU1.5IQR的值。QL称为下四分位数表示全部观察值中有四分之一的数据取值比它小QU称为上四分位数表示全部观察值中有四分之一的数据取值比它大IQR称为四分位数间距是上四分位数QU与下四分位数QL之差其间包含了全部观察值的一半。箱型图依据实际数据绘制没有对数据作任何限制性要求(如服从某种特定的分布形式)它只是真实直观地表现数据分布的本来面貌另一方面箱型图判断异常值的标准以四分位数和四分位距为基础四分位数具有一定的鲁棒性多达25%的数据可以变得任意远而不会很大地扰动四分位数所以异常值不能对这个标准施加影响。由此可见箱型图识别异常值的结果比较客观在识别异常值方面有一定的优越性如图3-1所示。如下数据日期 2015/2/10 2015/2/11 2015/2/12 2015/2/13 2015/2/14销量额 2742.8 3014.3 865 3036.8我们对其进行异常值分析import pandas as pdcatering_sale data2.xls #餐饮数据data pd.read_excel(catering_sale, index_col u日期) #读取数据指定“日期”列为索引列import matplotlib.pyplot as plt #导入图像库plt.rcParams[font.sans-serif] [SimHei] #用来正常显示中文标签plt.rcParams[axes.unicode_minus] False #用来正常显示负号plt.figure() #建立图像p data.boxplot() #画箱线图直接使用DataFrame的方法x p[fliers][0].get_xdata() # flies即为异常值的标签y p[fliers][0].get_ydata()y.sort() #从小到大排序该方法直接改变原对象#用annotate添加注释#其中有些相近的点注解会出现重叠难以看清需要一些技巧来控制。#以下参数都是经过调试的需要具体问题具体调试。for i in range(len(x)):if i0:plt.annotate(y[i], xy (x[i],y[i]), xytext(x[i]0.05 -0.8/(y[i]-y[i-1]),y[i]))else:plt.annotate(y[i], xy (x[i],y[i]), xytext(x[i]0.08,y[i]))plt.show()