网站排名优化在线培训,云营销网站建设电话咨询,廊坊制作网站公司,网站建设用户调查一只小狐狸带你解锁 炼丹术NLP 秘籍作者#xff1a;机智的叉烧#xff08;OPPO算法工程师#xff0c;擅长Query理解方向#xff09;背景搜索和推荐经常会被放在一起对比#xff0c;其中最突出的区别就是搜索中存在query#xff0c;需要充分考虑召回内容和query之间的… 一只小狐狸带你解锁 炼丹术NLP 秘籍作者机智的叉烧OPPO算法工程师擅长Query理解方向背景搜索和推荐经常会被放在一起对比其中最突出的区别就是搜索中存在query需要充分考虑召回内容和query之间的相关性而如果内容是搜索广告则对内容有更高的要求相关性过低的内容被展示会让用户有很差的体验。相关性在一定程度上可以被抽象成doc和query之间的语义相似度问题其实当前语义相似度的研究已经非常成熟在sigir2018中有人曾经对搜索和推荐中的深度学习匹配进行了非常全面的综述Deep Learning for Matching in Search and Recommendation[1]。在语义匹配上大家的关注点经常在于如何去定义“匹配”上尤其是分析如何将两者的编码内容更好地匹配起来。常见的其实就是两个思路前者是重表示学习也就是我们常说的“endocer”然后通过简单的方法计算他们的相似度如余弦相似度。最具有代表性的应该是DSSM[2]等双塔模型了。后者则重相似度计算encode之后通过句子之间的交互关系计算相似度达成目标。常用的交互计算就是两个句子token间相互attention的过程当然也有一些两者一起进入encoder共同计算的方法比如BERT中的Text_aText_b的训练方式就是同时进行句内和句间的表示计算。虽然语义相似度问题已经有很多解决办法了然而事实上在应用过程中相关性和相似度还是有着很大的差距因为搜索内容的细微变化会带来较大的语义意图变化。比如用户想买“手机充电器”但结果出了“手机壳”。虽然两者有一定的相似度但明显是不相关的。回过头来谈搜索广告搜索广告是搜索中商zhuan业qian化的一环希望的是能给到用户尽可能接触的东西尽可能相关本来广告点的人就少还无关就更凉凉了。不慌今天就介绍一个最新方法来自亚马逊ACL20的《Learning Robust Models for e-Commerce Product Search》[3]文章主要用在商品搜索的场景下目的是判断query和item/doc之间的相关性。文中提出了一个与“对抗生成网络”类似结构的模型[4]其中的判别器能够衡量query和doc之间的相关性判断两者是否相关生成器则能够生成与query相似却不相关的doc借助类似对抗生成网络模式的训练能够在较多噪音数据下仍尽可能保证模型的鲁棒性。模型问题定义为了更好的对模型进行描述对问题进行定义对一个匹配对其中文档内容和对应的query 表示两者的匹配情况表示两者不匹配而表示两者匹配而在建模过程中会产生一个当时会有。模型架构想要学东西看论文肯定不能错过模型部分了。模型主要分为3大部分LSTM-attention为基础的分类模型蓝色虚线框变分编码-解码生成器a variational encoder-decoder query generatorVED红色虚线框状态融合器橙色实心矩形分类器上面提到分类器是一个LSTM-attention模式的模型。它的模式是基于(Rocktaschel et al., 2015)[5]产生的作者认为搜索场景的语句格式和常规的自然语言会存在差异。首先query和对应的物品title在语法结构上会存在不同query一般较短而title的描述则更多的是关键词的堆砌。广告场景下的query和title更可能是一个多对一的情况比如“红色跑鞋 耐克”和“红色 耐克运动鞋”都对应着同一个商品另外query中存在的对属性的描述如品牌颜色等电商场景这些属性会在长句中出现因此需要具有一定记忆性的模型。综上作者对query和物品的标题title分别进行了不同的词向量训练最终合并然后计算。底层的输入本就有两块一块是titie另一块是query两者分别通过自己训练的word2vector进行编码然后如图所示地进入各自的LSTM其中还能看到的是query的LSTM其实还用了title LSTM的末端信息信息随后进入了一个additive attention其实是一种比较常规的attention方法(Bahdanau et al., 2014)[6]此后就进入三层全连接最终完成了匹配度的计算。值得注意的是里面attention的使用作者虽然使用的是additive attention但是还提出了一个改进这个改进把attention本来不包含上下文信息的模式升级为考虑了上一期信息的模式来看看他具体是怎么做的设为LSTM的输出维数和是title和query分别经过各自LSTM的输出矩阵。要理解attention首先要弄明白的是attention的对象和依据显然构造的时候我们针对的是query中LSTM输出后每一个节点进行计算的因此公式表示的意思是对于query中的每个词分别对title的表示进行attention并得到分数另外计算时引入了目的是加入t-1步之前模型主要focus的信息。当然了attention只是一种对信息的调整最终还要考虑原来的信息汇总出去于是有其中是query经过LSTM后的最终输出。得到的就是query这一次送入全连接层之前的形态。细心的我们可以发现除了我们计算得到的和还多考虑了作者给出的解释是提升分类的效果具体的体现就在于前面所提到的query和item之间的“多对一”的关系attention中考虑了query中每个位置和title整体的关系后计算得到而这个通过参数的训练其实能够表示一整批与title相关的query具有统一的表达能力此时则能够体现这个所谓“统一的表达”与特定query之间的差距。最后当然就是损失函数了其中是一个调整正样本权重的超参数在本文中会更看重正样本不匹配的因此有。文本生成器搜索引擎下正样本不匹配很简单但是要找到与对应title不匹配但是和对应query比较相似的文本也就是我们所说的“对抗样本”真的不容易我们希望的是找到对抗样本协助训练从而提升模型的鲁棒性。文章里作者使用的是VED——变分编码解码器我们希望的是输入能够生成一个这个与不匹配但是与非常接近其实某种程度上可以理解为我们要去挖掘相似度分类的“决策边界”。作者本身对VED没有很多的改进而是直接沿用(Bahuleyan et al., 2017)[7]的操作具体的格式就变得很简单生成器和query的联动由于内部其实涉及了两个任务分类和生成要使这两者总体端到端化有必要涉及一个统一的损失函数权衡两者使两者尽可能同时达到最优。回过头来重新看看整个模型架构尤其是橙色部分这里的和分别是query和生成的query分别通过query LSTM后产生的结果是一个满足概率为的伯努利分布。展开来看看这个公式其中的原理首先如果query本身就和title不相似也就是则整个公式下其实就只使用了原始query相反如果则完全使用生成的query。而为了产生一定的噪音引入了一个随机数。损失函数设计与训练双重任务——分类和生成那就要谨慎考虑两者的联合学习了为此作者设计出了这么一个公式仔细看看这个公式是不是和上面公式(3)有些类似说白了只有当query和titile非常相似的时候负例才会更多的考虑生成器生成的query与title之间的相关性。但是其实我们可以发现上面这个损失函数无论是看query还是生成的query都只是在分析他们与doc的不相似性换言之都是再考虑“正样本”而没有负样本实际上他们是怎么做的呢来看看他们的训练流程。在训练过程中首先要做的是对分类器进行第一轮训练然后用分类器划分出相似和不相似的query然后用这块数据训练出第一版本的VED在此基础上再用公式(4)作为损失去做调整最终得到需要的模型尤其是这个分类模型。实验与效果有了基本的模型以及一定的理论基础当然就要开始实操这块的内容了。作者是针对电商搜索来进行的设计当然就要用电商的数据进行实验实验数据量将达到了320万对其中只有少量是不匹配的这里面的“匹配”是指query查询后频繁购买的那些商品的title。模型效果以gbdt为基线说实话这里其实并不太同意用gbdt来做基线我的视角看语义相似度他并非主流dssm才是比较出名的基线可以看到还是有比较明显的提升从这里看作者的模型效果甚至要高于著名的bert哪怕是只有分类器在加上生成器进行协助训练后效果得到了进一步的提升。不仅离线评估效果喜人QUARTS在线上也获得了很好的表现经过在两个国家的A/B测试后相比当前的基线分别提升了12.2%和5.75%。生成器效果生成器的效果根据作者分析现实准确率能达到82%算是一个不错的水平吧来看一些case可以看到如作者预期query和生成的query具有较高的相似性的同时也能够满足与对应title之间的关系。结论与展望读完这篇文章后我们需要做的当然就是吸收这篇文章提到和提出的一些建模的trick在进行语义相似度时query和title的embedding可以通过设置两个来表达不同的语义句式。attention中引入上一期的信息。在进行语义相似度时attention对query进行处理可以加入title的所有信息辅助生成。核心变分编码产生正样本对原模型进行微调。这里面让我感到比较惊喜的是bert被干趴下了而且输得挺多的不过这主要是因为BERT是在DSSM基础上进行的改进其实可以尝试把本文模型下训练的title embedding和query embedding都换成bert估计会有新的提升但模型估计会蹭蹭蹭的变大。那么我下面给一些可以尽可能提升的思路吧快记着下一篇顶会就是你的了另外我还想提的一个点是在bert被干趴下的同时这个模型除了LSTM之外本身没有复杂度很高的操作耗时预计就在10ms左右。中文是否有这个效果搜索的query大都是短句现在看来效果还是不错的但是从上面生成器的效果来看还是出现一些语义类似但是文本匹配低的情况是否可以加入文本匹配的信息协助保证文本层面的匹配度如BM25。相似度的衡量目前比较粗暴直接用的全连接是否有必要升级为余弦、矩阵相似度尝试训练一个title embedding和query embedding都换成bert的模型然后用本文的模型来做蒸馏估计还会有提升。本文收录于原创专辑《卖萌屋自然语言处理》重磅惊喜卖萌屋小可爱们苦心经营的 自然语言处理讨论群 成立三群啦扫描下方二维码后台回复「入群」即可加入。众多顶会审稿人、大厂研究员、知乎大V以及美丽小姐姐等你来撩噢~手慢无夕小瑶的卖萌屋_关注星标小夕带你解锁AI秘籍订阅号主页下方「撩一下」有惊喜哦参考文献[1] SIGIR2018的报告有关这个领域的语义匹配模型都有谈到: http://staff.ustc.edu.cn/~hexn/papers/sigir18-tutorial-deep-matching.pdf[2]Learning deep structured semantic models for web search using clickthrough data: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf[3] Learning Robust Models for e-Commerce Product Search: https://arxiv.org/abs/2005.03624[4] Adventure: Adversarial training for textual entailment with knowledge-guided examples: https://arxiv.org/abs/1805.04680[5] Reasoning about entailment with neural attention: https://arxiv.org/pdf/1509.06664.pdf[6] Neural machine translation by jointly learning to align and translate.: https://arxiv.org/abs/1409.0473[7] Variational attention for sequence-to-sequence models.: https://cs.uwaterloo.ca/~ppoupart/publications/conversational-agents/variational-attention-sequence.pdf