做lgoo的网站一般有哪些,企业网站板块,火山开发软件可以开发网站吗,比亚迪新能源汽车车型本文从不平衡学习的基础概念和问题定义出发#xff0c;介绍了几类常见的不平衡学习算法和部分研究成果。总体来说#xff0c;不平衡学习是一个很广阔的研究领域#xff0c;但受笔者能力和篇幅的限制#xff0c;本文仅对其中部分内容做了简单概述#xff0c;有兴趣深入学习…本文从不平衡学习的基础概念和问题定义出发介绍了几类常见的不平衡学习算法和部分研究成果。总体来说不平衡学习是一个很广阔的研究领域但受笔者能力和篇幅的限制本文仅对其中部分内容做了简单概述有兴趣深入学习或研究的读者可以参阅下文所列参考文献或其他相关资料。来自: 哈工大讯飞联合实验室3.5 不平衡学习算法的实际应用效果对比上面4小节已经给出了很多针对数据不平衡问题的处理算法下面将对这些算法的实际应用效果进行对比本节的所有数据与图表都来自于Buda, M.等人于2017年发表在Arxiv上的文章《A systematic study of the class imbalance problem in convolutional neural networks》。图 3.10 数据不平衡的形式。(a)和(b)为阶梯性不平衡(c)为线性不平衡。在这篇文章中作者定义了2种数据不平衡的形式阶梯性不平衡和线性不平衡两种形式见图 3.10。评价指标为ROC AUC实验了四种不平衡学习算法1)随机过采样2)随机降采样3)使用随机过采样方法预训练CNN模型然后再使用原始数据集对模型最后一层做微调4)使用随机降采样方法预训练CNN模型然后再使用原始数据集对模型最后一层做微调作者在MNIST、CIFAR-10和ImageNet这3个数据集上分别进行了实验实验配置均在下表中列出3.5.1 在阶梯性不平衡数据上的实验结果图 3.11 在阶梯状不平衡数据上随不平衡比例变化的各个算法的表现。(a)(b)(c)为在MNIST上的结果(d)(e)(f)为在CIFAR-10上的结果从图 3.11中可以看到相比于简单任务(MNIST)数据不平衡对CNN在复杂任务(CIFAR-10)上的表现影响更大;随机过采样方法在几乎所有情况下都要优于其他方法。图 3.12在阶梯状不平衡数据上随少数类数量变化的各个算法的表现。(a)(b)(c)为在MNIST上的结果(d)(e)(f)为在CIFAR-10上的结果从图 3.12中也可以看出使用随机过采样之后效果几乎始终优于原始的不使用任何不平衡学习算法的效果;预训练方法的效果始终介于非预训练方法和原始方法之间。3.5.2 在线性不平衡数据上的实验结果图 3.13 线性不平衡数据上的实验效果从图 3.13可以看出随机过采样对于实验效果始终有促进能力;随机降采样的效果则会随着不均衡比例的提升而逐渐下降。上表给出了作者在ImageNet上的实验效果可以看到随机过采样方法还是始终优于随机降采样方法但要差于不使用任何不平衡学习算法的Baseline方法。因为我们在将采样方法应用于复杂任务时需要格外小心。3.5.4 过采样/降采样比例对实验结果的影响图 3.14 过采样/降采样比例对实验结果的影响从图 3.14可以看到随机过采样方法会在过采样到各类别完全均衡的情况下取得较好效果;随机降采样方法所需的较佳降采样比例则随着数据变化而变化。3.5.5 对采样方法泛化能力的研究图 3.15 在CIFAR-10 阶梯性不平衡数据集上的实验结果图 3.15比较了不使用任何不平衡学习算法、随机过采样和随机降采样的泛化能力。从图中可以看出对于该任务中使用的CNN模型随机过采样方法可以在测试集上取得最优的分类准确率并且不会导致更严重的过拟合。4、不平衡学习的成果上一节给出了不平衡学习算法的分类、几个经典算法的介绍和性能比较。本节将关注不平衡学习的研究进展着重介绍两篇论文1)Lin, H.等人2018年发表在ACL上的《Adaptive Scaling for Sparse Detection in Information Extraction》2)Huang, C.等人2016年发表在CVPR上的《Learning Deep Representation for Imbalanced Classification》4.1 《Adaptive Scaling for Sparse Detection in Information Extraction》4.1.1 引言检测任务是信息抽取领域非常常见的任务典型的任务如命名实体识别、关系抽取和事件检测等。在做检测任务时我们可以把待检测的标签作为正例其他标签作为反例从而将检测任务转换为标准的分类任务。在这种分类任务中一般使用交叉熵作为损失函数正例的F值作为评价指标。由于正例(待检测的标签)往往非常稀疏因此这是一个数据不平衡的分类任务。可以看到在计算F值时正例和反例并非是等价的这导致评估指标和优化目标出现了背离。因此在设计模型训练方法时需要考虑到这种差异尽量保证训练目标与评估指标的一致性。一种做法是使用cost-sensitive的方法对不同类别样本设置不同的损失权重但在权重的设置上过去的研究一般是手动设置或者是在大规模数据集上多次实验搜索得到这些方法费时费力而且可迁移性较差。论文针对这一问题提出一种自适应调整权重的算法称为Adaptive Scaling。4.1.2 Adaptive ScalingAdaptive Scaling算法借鉴了经济学中的边际效用理论指每新增(或减少)一个单位的商品或服务它对商品或服务的收益增加(或减少)的效用。在分类任务中将边际效用理论中的“商品或服务”替换为分类样本收益即为评估指标(F值)此时的边际效用定义为每新增(或减少)一个分类正确(错误)的样本它对评估指标F值增加(或减少)的效用。由此可以使用每个类别对F值的边际效用作为其重要程度的衡量。实际计算时可以将评估指标对TP和TN的偏导值作为正例和反例的边际效用值。如果是把Accuracy作为目标计算正例和反例的边际效用可以得到可以看到当把Accuracy作为目标时正例和反例的边际效用始终是恒定而且相等的如果是将F值作为目标可以得到这样就得到了能够自动在训练过程中调整样本权重的Adaptive Scaling算法而且该算法不需要引入任何额外的超参数。相比于传统的cost-sensitive方法其特点在于1)正例和反例的相对重要程度既与正反例的比例有关也会受到当前模型的分类能力影响2)反例的重要性会随着正例分类准确率的提升而增加3)反例的重要性也会随着反例分类准确率的提升而增加4)当precision比recall更重要时反例的重要性也会增加4.1.3 Batch-wise Adaptive Scaling在训练神经网络时最常用的是batch-wise的方法如果用TP和TN在当前batch下的预测值作为近似我们就得到了Batch-wise Adaptive Scaling算法。具体来说当前batch下TP和TN的近似值按照下式计算再忽略掉PE对结果的影响(比较微弱)得到由此在每个batch训练时首先可以根据前向预测结果估计得到正例和反例的相对权重然后计算cost-sensitive的交叉熵损失最后反向传播更新模型参数。可以将Batch-wise Adaptive Scaling视为一个插件运行在前向预测和反向传播之间不会影响到前后流程的正常运行。4.1.4 实验验证图 4.1 实验效果验证论文在事件检测任务上进行了验证实验。测试数据为TAC KBP 2017 Event Nugget Detection Evaluation(LDC2017E55)官方提供的验证集包含167篇英文文档和167篇中文文档。图 4.1给出了多种算法的效果比较可以看到Adaptive Scaling(A-Scaling)算法几乎在各项指标上都达到了State-of-the-Art的效果。图 4.2 稳定性分析图 4.2给出了多次实验下不同算法结果的稳定性比较同样可以看到Adaptive Scaling算法在稳定性上也要好于传统的采样方法或者代价敏感型方法尤其是在数据不平衡程度更高的中文数据集上Adaptive Scaling表现明显更加稳定。4.2 《Learning Deep Representation for Imbalanced Classification》4.2.1 引言计算机视觉领域的很多数据集都存在数据不平衡的问题。例如在人脸识别任务中正例和反例的数据就极为不平衡。传统的应对数据不平衡的算法有采样方法和代价敏感型方法等这些方法在经典的“浅层”机器学习算法上已经有充分的研究但在深度学习模型上还缺乏系统的研究。针对计算机视觉领域的数据不平衡问题论文提出一种在不平衡数据下的更有效的深度表征并结合kNN做分类的算法Large Margin Local Embedding (LMLE)-kNN(LMLE-KNN)。该算法包括2个步骤首先使用CNN模型从不平衡数据集中学习得到每个样本的深度表征(embedding向量)然后使用改进的k近邻分类算法对embedding向量分类。4.2.2 从不平衡数据中学习深度表征给定一个数据不均衡的计算机视觉数据集论文希望先对每个样本学习一个embedding向量表示f(x)学习到的embedding既具有区分性又能不包含本地的类别不均衡。为了实现这一目标论文首先从不平衡数据中采样获取多个五元组如图 4.3所示。图 4.3 (a)传统的三元组表示 (b)五元组表示相比于传统的三元组方法这种五元组方法的优势在于1)五元组包括四个距离这四个距离的大小需要满足一定的排序关系这种排序关系可以提供更加丰富的信息和更强的约束。2)尽管在做五元组采样时我们会限制锚样本的采样概率分布使得来自少数类和多数类的数量尽量均衡这种做法与降采样有些类似。但与降采样不同的是由于这个采样过程会重复很多次所以实际上并不会有降采样的信息丢失。为了满足五元组四个距离的不等式要求论文设计了一种三头的Hinge loss表示如下这个损失函数应用了Large Margin的思想引入3个松弛变量限制了五元组四个距离的3个间隔。论文使用CNN来生成对每张图片的深度表征图 4.4示意了该CNN的的训练方法。图 4.4 CNN模型训练训练时五元组的五个样本分别由同一个CNN做编码获得5个embedding向量然后计算三头的Hinge loss最后经过反向传播更新CNN参数。图 4.5 整体训练流程图 4.5给出了训练获得样本数据深度表征的整体流程。4.2.3 kNN不平衡数据分类使用上一小节训练的CNN可以获得对于数据集中每个样本的深度表征在此基础上论文设计了一种基于聚类cluster的kNN分类算法用于做最终的分类。由于这一部分的算法与本文“不平衡学习”的主题没有关联这里不再赘述有兴趣的读者可以参阅Huang, C.等人的公开论文。4.2.4 实验结果论文在CelebA面部特性识别和BSD500边缘检测两个数据集上进行了实验并与State-of-the-Art的方法做了比较。图 4.6 CelebA上的实验结果。Imbalance level的值越大该特性数据的不平衡程度越高;评估指标为balanced accuracy(TP/P TN/N)/2。图 4.7 随数据不平衡程度增加的相对性能提升变化图 4.6和图 4.7分别给出了在CelebA数据集上的实验效果比较和随数据不平衡程度增加的相对性能提升变化。可以看到LMLE-kNN的分类效果明显优于其他State-of-the-Art方法并且数据不平衡程度越高LMLE-kNN在效果上的提升更加明显。图 4.8 BSD500上的实验结果图 4.8给出了在BSD500上的实验结果LMLE-kNN算法同样取得了与State-of-the-Art方法相当的效果。需要说明的是图中的HFL、HED等方法都使用了大型的VGGNet模型而LMLE-kNN只使用了一个小型的6层CNN。图 4.9 一个边缘检测的例子。从左到右依次为原始图像、理想结果、Sketch Token、DeepContour和LMLE-kNN的检测结果图 4.9给出了一个具体的边缘检测例子相比于其他算法LMLE-kNN算法不会受到太多噪声边缘的影响。5、总结本文从不平衡学习的基础概念和问题定义出发介绍了几类常见的不平衡学习算法和部分研究成果。总体来说不平衡学习是一个很广阔的研究领域但受笔者能力和篇幅的限制本文仅对其中部分内容做了简单概述有兴趣深入学习或研究的读者可以参阅下文所列参考文献或其他相关资料。