机械网站开发,铁路局招聘正式工4000人,东风地区网站建设,确定网站开发团队文章目录 赛题思路一、简介 -- 关于异常检测异常检测监督学习 二、异常检测算法2. 箱线图分析3. 基于距离/密度4. 基于划分思想 建模资料 赛题思路 #xff08;赛题出来以后第一时间在CSDN分享#xff09; https://blog.csdn.net/dc_sinor?typeblog 一、简介 – 关于异常… 文章目录 赛题思路一、简介 -- 关于异常检测异常检测监督学习 二、异常检测算法2. 箱线图分析3. 基于距离/密度4. 基于划分思想 建模资料 赛题思路 赛题出来以后第一时间在CSDN分享 https://blog.csdn.net/dc_sinor?typeblog 一、简介 – 关于异常检测 异常检测outlier detection在以下场景 数据预处理病毒木马检测工业制造产品检测网络流量检测 等等有着重要的作用。由于在以上场景中异常的数据量都是很少的一部分因此诸如SVM、逻辑回归等分类算法都不适用因为 监督学习算法适用于有大量的正向样本也有大量的负向样本有足够的样本让算法去学习其特征且未来新出现的样本与训练样本分布一致。 以下是异常检测和监督学习相关算法的适用范围 异常检测 信用卡诈骗制造业产品异常检数据中心机器异常检入侵检测 监督学习 垃圾邮件识别新闻分类 二、异常检测算法 import tushare from matplotlib import pyplot as pltdf tushare.get_hist_data(600680) v df[-90: ].volume v.plot(kde) plt.show()近三个月成交量大于200000就可以认为发生了异常天量嗯要注意风险了…… 2. 箱线图分析 import tushare from matplotlib import pyplot as pltdf tushare.get_hist_data(600680) v df[-90: ].volume v.plot(kde) plt.show()大体可以知道该股票在成交量少于20000或者成交量大于80000就应该提高警惕啦 3. 基于距离/密度 典型的算法是“局部异常因子算法-Local Outlier Factor”该算法通过引入“k-distance第k距离”、“k-distance neighborhood第k距离邻域”、“reach-distance可达距离”、以及“local reachability density局部可达密度 ”和“local outlier factor局部离群因子”来发现异常点。 用视觉直观的感受一下如图2对于C1集合的点整体间距密度分散情况较为均匀一致可以认为是同一簇对于C2集合的点同样可认为是一簇。o1、o2点相对孤立可以认为是异常点或离散点。现在的问题是如何实现算法的通用性可以满足C1和C2这种密度分散情况迥异的集合的异常点识别。LOF可以实现我们的目标。 4. 基于划分思想 典型的算法是 “孤立森林Isolation Forest”其思想是 假设我们用一个随机超平面来切割split数据空间data space, 切一次可以生成两个子空间想象拿刀切蛋糕一分为二。之后我们再继续用一个随机超平面来切割每个子空间循环下去直到每子空间里面只有一个数据点为止。直观上来讲我们可以发现那些密度很高的簇是可以被切很多次才会停止切割但是那些密度很低的点很容易很早的就停到一个子空间了。 这个的算法流程即是使用超平面分割子空间然后建立类似的二叉树的过程 import numpy as np import matplotlib.pyplot as plt from sklearn.ensemble import IsolationForestrng np.random.RandomState(42)# Generate train data X 0.3 * rng.randn(100, 2) X_train np.r_[X 1, X - 3, X - 5, X 6] # Generate some regular novel observations X 0.3 * rng.randn(20, 2) X_test np.r_[X 1, X - 3, X - 5, X 6] # Generate some abnormal novel observations X_outliers rng.uniform(low-8, high8, size(20, 2))# fit the model clf IsolationForest(max_samples100*2, random_staterng) clf.fit(X_train) y_pred_train clf.predict(X_train) y_pred_test clf.predict(X_test) y_pred_outliers clf.predict(X_outliers)# plot the line, the samples, and the nearest vectors to the plane xx, yy np.meshgrid(np.linspace(-8, 8, 50), np.linspace(-8, 8, 50)) Z clf.decision_function(np.c_[xx.ravel(), yy.ravel()]) Z Z.reshape(xx.shape)plt.title(IsolationForest) plt.contourf(xx, yy, Z, cmapplt.cm.Blues_r)b1 plt.scatter(X_train[:, 0], X_train[:, 1], cwhite) b2 plt.scatter(X_test[:, 0], X_test[:, 1], cgreen) c plt.scatter(X_outliers[:, 0], X_outliers[:, 1], cred) plt.axis(tight) plt.xlim((-8, 8)) plt.ylim((-8, 8)) plt.legend([b1, b2, c],[training observations,new regular observations, new abnormal observations],locupper left) plt.show()建模资料 资料分享: 最强建模资料