网站技术制作流程图,做网站好做吗,网站开发平均工资,网站排名怎样做有效作者 | 何从庆转载自AI算法之心(ID:AIHeartForYou)笔者整理最近几年比较经典的深度文本分类方法#xff0c;希望帮助小伙伴们了解深度学习在文本分类中的应用。Convolutional Neural Networks for Sentence Classification (EMNLP 2014)Kim在EMNLP2014提出的TextCNN方法… 作者 |  何从庆转载自AI算法之心(ID:AIHeartForYou)笔者整理最近几年比较经典的深度文本分类方法希望帮助小伙伴们了解深度学习在文本分类中的应用。Convolutional Neural Networks for Sentence Classification (EMNLP 2014)Kim在EMNLP2014提出的TextCNN方法在多个数据集上取得了很好的效果。由于其计算速度快以及可并行性在产业界得到了广泛使用。TextCNN的模型示意图如下图所示。TextCNN模型首先将文本映射成向量然后利用多个滤波器来捕捉文本的局部语义信息接着使用最大池化捕捉最重要的特征。最近将这些特征输入到全连接层得到标签的概率分布。代码参考1) https://github.com/alexander-rakhlin/CNN-for-Sentence-Classification-in-Keras2) https://github.com/brightmart/text_classification图1TextCNN模型架构Document Modeling with Gated Recurrent Neural Network for Sentiment Classification (EMNLP 2015)Tang等人提出了一种利用GRU对文档进行建模的情感分类模型。模型如下图所示。该模型首先将文本映射为向量然后利用CNN/LSTM(论文中使用3个滤波器的CNN)进行句子表示。另外为了捕获句子的全局语义表征将其输送给平均池化层再接入tanh激活函数。最后将整个句子的不同宽度卷积核的向量表示接入一个Average层从而得到句子平均向量表示。然后将得到的句子表示输入到GRU中得到文档向量表示。最后将文档向量输送给softmax层得到标签的概率分布。图2文档级别情感分类的神经网络模型Recurrent Convolutional Neural Networks for Text Classification (AAAI 2015)Lai等人提出了一种无人工特征的循环卷积神经网络分类方法简称RCNN。RCNN首先利用Bi-RNN来捕捉前后的上下文表征然后将其concat起来接着使用滤波器filter_size1的卷积层并使用最大池化操作得到与文档最相关的向量表征最后将这些向量输入到softmax层得到标签的概率表征。代码参考1) https://github.com/roomylee/rcnn-text-classification2) https://github.com/brightmart/text_classification图3 RCNN的模型结构示意图Recurrent Neural Network for Text Classification with Multi-Task Learning (IJCAI 2016)Liu等人针对文本多分类任务提出了基于RNN的三种不同的共享信息机制对具有特定任务和文本进行建模。模型1(Uniform-Layer Architecture):所有任务共享同一个LSTM层并在每个特定任务后面拼接一个随机生成可训练的向量。LSTM层的最后一个时刻的隐藏层作为输入传入到softmax层。模型2(Coupled-Layer Architecture): 每个任务具有自己独立的LSTM层但是每一时刻所有任务的hidden state则会和下一时刻的character一起作为输入最后一个时刻的hidden state进行分类。模型3(Shared-Layer Architecture):除了一个共享的BI-LSTM层用于获取共享信息每个任务有自己独立的LSTM层LSTM的输入包括每一时刻的character和BI-LSTM的hidden state。图4三种架构进行多任务学习建模Hierarchical Attention Networks for Document Classification (NAACL 2016)Yang等人提出了一种用于文档分类的层次注意力机制网络简称HAN。这篇文章和Tang等人都是针对于文档分类的问题然而这篇文章在句子级别以及文档级别提出了注意力机制使得模型在构建文档时是能够赋予重要内容不同的权重同时也可以缓解RNN在捕捉文档的序列信息产生的梯度消失问题。HAN模型的模型示意图如下所示。HAN模型首先利用Bi-GRU捕捉单词级别的上下文信息。由于句子中的每个单词对于句子表示并不是同等的贡献因此作者引入注意力机制来提取对句子表示有重要意义的词汇并将这些信息词汇的表征聚合起来形成句子向量。具体的注意力机制的原理可以参考FEED-FORWARD NETWORKS WITH ATTENTION CAN SOLVE SOME LONG-TERM MEMORY PROBLEMS然后对于所有的句子向量输入到Bi-GRU中捕捉句子级别的上下文信息得到文档向量。同样地为了奖励对文档进行正确分类的线索句作者再次使用注意力机制来衡量句子的重要性得到文档向量。最后将文档向量均输入到softmax层得到标签的概率分布。代码参考1) https://github.com/richliao/textClassifier2) https://github.com/brightmart/text_classification图3 HAN模型结构示意图Bag of Tricks for Efficient Text Classification (EACL 2017)Joulin等人提出了一种简单而又有效的文本分类模型简称fastText。fastText模型输入一个词序列(一段文本或者一句话)序列中的词与词组成特征向量然后特征向量通过线性变换映射到中间层中间层再映射到标签。输出这个词序列属于不同类别的概率。其中fastText在预测标签是使用了非线性激活函数但在中间层不使用非线性激活函数。代码参考1) https://github.com/facebookresearch/fastText2)  https://radimrehurek.com/gensim/models/fasttext.html图4fastText模型结构示意图Deep Pyramid Convolutional Neural Networks for Text Categorization (ACL 2017)Johnson 和Zhang 提出了一种单词级别的深层CNN模型来捕捉文本的全局语义表征该模型在不增加太多的计算开销的情况下通过增加网络深度可以获得最佳的性能简称DPCNN。模型结构示意图如下所示。DPCNN模型首先利用“text region embedding”将常用的word embedding 推广到包含一个或多个单词的文本区域的embedding类似于增加一层卷积神经网络。然后是卷积快的叠加(两个卷积层和一个shortcut连接其中shortcut连接类似于残差连接)与步长为2的最大池化层进行下采样。最后使用一个最大池化层得到每个文档的文档向量。代码参考https://github.com/Cheneng/DPCNN图4DPCNN模型结构示意图Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm (EMNLP 2017)Felbo等人使用数以百万计的表情符号来学习任何领域的表情符号来检测情绪、情绪和讽刺提出了DeepMoji模型并取得了具有竞争性的效果。同时DeepMoji模型在文本分类任务上也可以取得不错的结果。DeepMoji模型首先使用embedding层将单词映射成向量并将每个embedding维度使用双正切函数映射到[-1,1]。然后作者使用两层的Bi-LSTM捕捉上下文特征。接着作者提出了一种新的注意力机制分别将embeddding层以及2层的Bi-LSTM作为输入得到文档的向量表征。最后将向量输入到softmax层得到标签的概率分布。代码参考https://github.com/bfelbo/DeepMoji图5DeepMoji模型结构示意图Investigating Capsule Networks with Dynamic Routing for Text Classification (EMNLP 2018)Zhao等人提出了一种基于胶囊网络的文本分类模型并改进了Sabour等人提出的动态路由提出了三种稳定动态路由。模型如下所示该模型首先利用标准的卷积网络通过多个卷积滤波器提取句子的局部语义表征。然后将CNN的标量输出替换为向量输出胶囊从而构建Primary Capsule层。接着输入到作者提出的改进的动态路由(共享机制的动态路由和非共享机制的动态路由)得到卷积胶囊层。最后将卷积胶囊层的胶囊压平送入到全连接胶囊层每个胶囊表示属于每个类别的概率。 代码参考https://github.com/andyweizhao/capsule_text_classification.图6文本分类的胶囊网络体系结构Sentiment Analysis by Capsules (WWW 2018)Wang等人提出了一种用于情感分类的RNN胶囊网络模型简称RNN-Capsule。(这篇文章在可视化方面做的还是不错的)模型结构示意图如下所示。RNN-Capsule首先使用RNN捕捉文本上下文信息然后将其输入到capsule结构中该capsule结构一共由三部分组成representation module, probability module和reconstruction module。具体地首先用注意力机制计算capsule 表征然后用capsule表征计算capsule状态的概率最后用capsule表征以及capsule状态概率重构实例的表征。图7 RNN-Capsule模型结构示意图Graph Convolutional Networks for Text Classification (AAAI 2019)Yao等人提出了一种基于graph convolutional networks(GCN)进行文本分类。作者构建了一个包含word节点和document节点的大型异构文本图显式地对全局word利用co-occurrence信息进行建模然后将文本分类问题看作是node分类问题。代码参考https://github.com/yao8839836/text_gcn图7Text GCN的模型结构BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (NAACL 2019)Google提出的BERT模型突破了静态词向量无法解决一词多义的问题。BERT是基于语言模型的动态词向量在自然语言处理的多项任务中取得了最优秀的结果。笔者对BERT模型进行微调在文本分类的多个领域诸如法律、情感等取得了非常有竞争性的性能。BERT的模型架构是一个多层的双向Transformer编码器(Transformer的原理及细节可以参考 Attention is all you need)。作者采用两套参数分别生成BERTBASE模型和BERTLARGE模型(细节描述可以参考原论文)所有下游任务可以在这两套模型进行微调。代码参考https://github.com/google-research/bert图8BERT的Pre-training结构和Fine-Tuning结构(*本文为 AI科技大本营转载文章转载请联系原作者)◆精彩推荐◆6月29-30日2019以太坊技术及应用大会 特邀以太坊创始人V神与以太坊基金会核心成员以及海内外知名专家齐聚北京聚焦前沿技术把握时代机遇深耕行业应用共话以太坊2.0新生态。推荐阅读阿里带火的中台到底是什么白话中台战略入门学习 | 什么是图卷积网络行为识别领域新星文件操作So Easy来一起体验下Python的Pathlib模块~有一种青春叫高考Python爬取历年数据说说我们一起经历的高考漫话如何给女朋友解释什么是编译与反编译超级黑幕开发者千万别被算法迷惑了鲍岳桥52 岁还在熬夜写代码 | 人物志IBM 确认裁员约 1700 人华为新款操作系统来了开通 5G 服务不换卡不换号 | 极客头条9年前他用1万个比特币买了两个披萨, 9年后他把当年的代码卖给了苹果, 成为了GPU挖矿之父你点的每个“在看”我都认真当成了喜欢