免费做电子书的网站,新闻头条最新消息,html源码网站建设中,重庆亮哥做网站论文笔记整理#xff1a;叶群#xff0c;浙江大学计算机学院#xff0c;知识图谱、NLP方向。会议#xff1a;WSDM 2019链接#xff1a;https://dl.acm.org/citation.cfm?id3290961Motivation基于spring-electrical的模型在网络可视化中取得了非常成功的应用#xff0c;一… 论文笔记整理叶群浙江大学计算机学院知识图谱、NLP方向。会议WSDM 2019链接https://dl.acm.org/citation.cfm?id3290961Motivation基于spring-electrical的模型在网络可视化中取得了非常成功的应用一个优秀的网络可视化算法意味着越相似的节点在空间中欧式距离越相近。本文将spring-electrical模型应用在了链接预测问题上前提是假设节点之间的欧氏距离和节点之间存在link的概率成正相关。性能评估上模型与baseline的对比显示了其性能的优越尤其是在node embedding维度很低的时候。Problem Statement      知识图谱由于种种原因其中很多节点之间存在缺失的边。链接预测算法指的是给定网络节点和网络结构等信息去预测尚未存在边的节点之间存在链接的概率。实验中给定网络GV,E我们随机掩盖一定比例的边如10%并采样一部分负例作为测试集然后将剩下90%的边和所有节点作为训练集。评估指标采用AUC值Baseline介绍三种常用的baseline1. Local similarity indices分析节点周围的局部结构作为节点之间存在链接的概率以下式子中δ表示节点的相邻一跳节点。Common neighbours以两节点公共邻居的个数来衡量存在链接的概率Adamic-Adar indexcommon neighbours的一种加权的改进Preferential Attachment index以节点现有的度来衡量节点之间存在链接的概率非常naïve的assumption2. Matrix factorization矩阵分解的方式将网络的邻接矩阵作为输入分解成两个低秩的矩阵。低秩矩阵的行或列可以作为节点的latent feature将两节点的latent feature做点积即可得到两节点之间存在链接的概率。Truncate SVDNon-negative matrix factorizationNMF3. Neural embedding一些工作尝试用神经网络来学习graph embedding比如经典的DeepWalk和node2vec算法都是受word2vec的启发。基本思想是将图中的节点当做单词在图中随机游走得到一系列节点当作一个句子然后利用word2vec的目标函数来做训练。训练完成后将节点的embedding做点积即得到节点之间存在链接的概率。ModelSpring-electrical中的spring指的是弹簧electrical指的是电荷其基本思想是将一张图当做一个机械系统将图中的节点比作电荷将边比作弹簧。所有的电荷均为同性电荷相互之间存在斥力弹簧力表现为引力。基于这样的假设当这个力学系统达到平衡之后不存在边相连的节点将会由于斥力在空间距离上分布较远。对库伦定律进行修改引入超参p电荷之间的斥力公式为对虎克定律进行修改弹簧的引力公式为通过利用力是能量的负梯度这个性质可以将一个力学系统转换成能量系统力的平衡对应系统能量的最小值。所以目标函数为求解系统能量的极小值即     上式的求解存在两个问题1计算复杂度过大2容易收敛到局部极小值。本文采用了一种叫做ScalableForce Directed PlacementSFDP的优化方法进行求解较好的解决了这两个问题。Case Study       在实际的数据集上进行评估之前本文先在由球体的三角剖分得到的图上进行了casestudy。链接预测的结果如下图所示可以看到SFDP方法取得了很好的效果同时注意到SFDP方法在向量维度极小的情况d2,3下依旧取得非常好的效果。除此之外实验将d3的向量进行了可视化如下图比较了不同模型可视化的差异。可以看到SFDP方法很好的保留了球体的原始形状SVD向量分布在3条坐标轴上node2vec则是一个锥形。造成这种差异的原因是SFDP采用了欧式距离作为损失函数而SVD和node2vec则是基于点积。基于欧式距离的损失函数会使不相似的节点在空间上尽可能远而点积则会使不相似节点尽可能垂直。Experiment 实验在以下几个公开数据集上做了评估PowerGrid: 美国的电力供应网络Euroroad: 欧洲道路交通网络Airport: 美国航空机场网络Facebook:      Facebook社交网络Reactome: 蛋白质的相互作用网络Ca-HepTh:arXiv上的作者合作关系网络。实验结果如下图所示SFDP在多数数据集上的表现都达到最优同时在向量维度d2,3时就可以得到非常好的实验效果。下表是得到最佳结果时embedding维度的比较SFDP方法在d2,3维度时的结果就可以媲美其他模型100维甚至500维的效果embedding效率极高。下表给出了SFDP模型与localsimilarity indices方法的效果比较另外实验还在二分网络和有向图数据集上进行评估并对SFDP做了相应的修改。Conclusion            本文将网络可视化中的spring-electrical模型应用在了链接预测问题上在数据集评估上取得了十分优越的结果尤其是在低维空间展现了非常好的效果。Embedding维度效率的提升可以解决向量嵌入在现实应用中的一些问题如向量维度过高时最近邻搜索的计算复杂度过高。后续工作可以聚焦在如何为latent feature model选择更优的距离度量以及向量维度效率更深入的分析。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。