RippleNet: Propagating User Preferences on the Knowledge
Graph for Recommender Systems

代码： https://github.com/hwwang55/RippleNet

心得

（1）你需要知道Kg是如何起到作用的！ KG的形式是什么！
（2）Ripple中的o是什么？怎么起到一圈一圈的作用的！
（3）Ripple的获得是通过上一层，但是Ripple是如何减弱的呢？代码呢？怎么控制h-hop？怎么控制兴趣范围，防止太大？
（4）多个涟漪叠加？

核心创新点

其实就是利用了波纹的逐渐递减的原理，对应于相关性的逐渐递减，也就是权重！将嵌入和路径结合，也就是路径上的统一作为嵌入！经过函数后得到最后的结果

摘要

方法要解决的问题
本文将知识图作为边信息的来源，结合基于嵌入和基于路径的知识图感知方法，我们提出了RippleNet。
具体点：
与在水面上传播的实际波纹类似，RippleNet通过自动迭代地沿着知识图中的链接扩展用户的潜在兴趣来刺激用户偏好在知识实体集合上的传播。将用户历史点击物品激活的多个“涟漪”叠加，形成用户对候选物品的偏好分布，用于预测最终的点击概率。

引入

在这里插入图片描述

2. 问题公式化

推荐系统中， $U = {u_1, u_2, ...}$ 和 $V = {v_1. v_1,...}$ 分别表示users和items，user-item交互矩阵 $Y={yuv∣u∈U,v∈V}\mathrm{Y}=\left\{y_{u v} \mid u \in \mathcal{U}, v \in \mathcal{V}\right\}$ 是根据用户的隐性反馈来定义的,其中
在这里插入图片描述
其中1表示有隐式交互，比如点击、观看、浏览等行为；除了交互矩阵Y，我们还有一个可用的知识图G，其中包含了大量的三元组 $(h, r, t)$ ，其中 $\in{\mathcal{E} }$ , $\in{\mathcal{R} }$ 和 $\in{\mathcal{E} }$ 表明了在KG中的头、关系和三元组的尾部！ $E\mathcal{E}$ 和 $R\mathcal{R}$ 表明了KG中的实体和关系的集合！而且一个实体可能和多个实体由不同的关系！

也就是user、items、Y、G（h、r、t输入 $E\mathcal{E}$ 、 $R\mathcal{R}$ ）处理！

3 RIPPLENET

3.1框架

在这里插入图片描述
综述方法：
输入： RIPPLENET将用户u和物品v作为输入
输出：输出用户u点击物品v的概率。
对于输入用户u，他的历史兴趣集 $V_u$ 被作为KG的种子，之后扩展成不同的ripple sets $S_u^{k}(k = 1,2,...,H)$ ，一个ripple set $S_u^{k}$ 是远离种子集 $V_u$ 的k-hop(s)的知识三元组！这些ripple set用于与item embedding(黄色块)进行迭代交互，获取useru对item v(绿色块)的响应，然后将这些响应组合成最终的user embedding(灰色块)。

3.2 第一步：获取Ripple Set

我们知道，如果我们喜欢一部电影是因为什么？电影类型？电影主演？电影导演？这些都是知识图谱中和电影相连接的关系！

定义1(相关实体) ：给定交互矩阵Y和知识图G，定义user u的k-hop相关实体集合为
在这里插入图片描述
其中 $Eu0=Vu={v∣yuv=1}\mathcal{E}_{u}^{0}=\mathcal{V}_{u}=\left\{v \mid y_{u v}=1\right\}$ 是用户过去点击过的物品集，可以看作是user u在KG中的种子集。
而相关实体视为用户历史兴趣相对于KG的自然扩展。根据相关实体的定义，定义user u的k-hop ripple集如下:

定义2(纹波集) ：user u的第k hop ripple set定义为从 $Eu(k−1)\mathcal{E}^{(k-1)}_{u}$ 开始的知识图谱三元集合:
在这里插入图片描述

“ripple”一词有两层含义:(1)用户对实体的潜在兴趣是由其历史偏好激活的，然后沿着KG中的链接逐层传播，从近到远。我们可以通过图3中所示的同心圆来进行类比。(2)用户在纹波集中的潜在偏好强度随着跳数k的增加而减弱，相关性也在减弱。

其中hop的k是需要我们留意的！
（1）在真实KG中大部分的实体都是sink entities，这意味着它们只有传入链接而没有传出链接，比如“2004”和“PG-13”
（2）在特定的推荐场景(如电影或书籍推荐)中，可以将关系限制在场景相关的类别中，以减少涟波集的大小并提高实体之间的相关性。例如，在图3中，所有关系都与电影相关，并且在它们的名称中包含单词“film”。
（3）在实践中，最大量的hop H的数量通常不会太大，因为与用户历史距离太远的实体可能带来更多的干扰，而不是积极的信号。我们将在实验部分讨论H的选择。
（4）在RippleNet中，我们可以对一个固定大小的邻居集进行抽样，而不是使用一个完整的ripple集来进一步减少计算开销。这类采样器的设计是未来工作的重要方向，尤其是非均匀采样器的设计，以更好地捕捉用户的层次潜在兴趣。

3.3偏好传播

第一步：首先是item的Embedding：
传统的基于CF的方法和他们的变体学习用户和物品之间的潜在的关系，然后使用一个评分函数！
在RippleNet中，则是探索用户对其Ripple集的潜在兴趣！以一种更加细粒度的方式对用户和items之间的交互建模（什么叫做细粒度？？？？），我们提出了一种偏好传播技术！什么叫细粒度，就是
在图表2中，每个物品 $v$ 和一个物品嵌入 $v∈Rdv\in\ \mathbb{R}^d$ 链接，其中d是维度；根据应用场景物品Embedding可以包含one-hot ID、属性、bag-of-words（BOW词袋）或者是上下文信息！这就是细粒度！

第二步：波纹集合和其概率：
同时我们利用该Embedding $v$ ，得到该用户u的1-hop波纹集 $S_u^1$ ，而在该 $S_u^1$ 中的每个三元组( $h_i, r_i, t_i$ )都会被分配一个相关概率，通过比较物品 $v$ 和头部 $h_i$ 和关系 $r_i$ ：
在这里插入图片描述
其中 $Ri∈Rd×dR_i\in\ \mathbb{R}^{d\times{d}}$ 和 $hi∈Rdh_i\in\ \mathbb{R}^d$ 是头部 $h_i$ 和关系 $r_i$ 的Embedding！而 $p_i$ 可以被看做是物品v和两者的相似性！
在得到相关概率后，我们取 $S_u^1$ 关联概率的权重的和！然后这个向量 $o_u^1$ 被返回：

在这里插入图片描述
其中 $ti∈Rdt_i \in \mathbb{R}^{d}$ 是tail $t_i$ 的嵌入！向量 $o_u^1$ 可以被看做用户u的关于物品 $v$ 的点击历史 $V_u$ 的一阶反应！这类似于基于item的CF方法，但是，用户由他的相关项而不是独立的特征向量来表示，以减少参数的大小。
用户的兴趣是从它的历史记录 $V_u$ 中转移过来的！这就是preference propagation！

通过用 $o_u^1$ 代替公式4中的 $v$ 可以重复传播，最后可以得到 $o_u^2$ ；
最后item可以被计算通过融合所有的：
在这里插入图片描述
最后，结合用户嵌入和物品嵌入，预测点击概率：

其中是激活函数是

3.4学习算法

在这里插入图片描述

在RippleNet中，我们希望最大化模型参数的后验概率在这里插入图片描述
通过观察知识图谱和隐式反馈矩阵

其中在这里插入图片描述包括所有实体、关系和项目的嵌入。这等价于最大化

根据贝叶斯定理。在式(9)中，第一项p(Θ)度量模型参数Θ的先验概率。根据[43]，设p(Θ)为零均值高斯分布，对角协方差矩阵:

在式子9中的第二个item是被观察的知识图谱在这里插入图片描述
的似然函数。最近，研究员提出了许多知识图谱嵌入方法，包含translational distance models和semantic matching models！而在RippleNet中，我们使用三种方式的张量分解方法来定义KGE的似然函数：

其中会等于1在下，否则会等于0；基于（11）中的定义，在KGE中的实体-实体对和在preference propagation中的item-entity对可以在同一计算模型下被统一，Eq.(9)中的最后一项是已知Θ的隐式反馈与KG的似然函数，定义为伯努利分布的乘积
在这里插入图片描述
对Eq.(9)取负对数，则RippleNet的损失函数为:

其中V和E是所有items和实体的嵌入矩阵， $I_r$ 是在KG中的张量指标 $I$ 的切片在关系r中，和R是关系R的嵌入矩阵。Eq(13)中,第一个term是交叉熵矩阵，预测值和真实值Y之间的差异；第二项term测量KG $I_r$ 和重构指标矩阵在这里插入图片描述之间的平方误差！第三个term是防止过拟合！
解决上面的目标函数是很难的，因此我们采用了SGD来迭代的更新loss！为了更有效，我们会根据消极取样策略进行随机取样（从Y中取样的positive/negtive交互和从知识图谱G中取样的true/false三元组）

3.5 Discussion

3.5.1 Knowledge Graph Embedding.（KGE）

KGE方法主要有两种：https://blog.csdn.net/qq_27590277/article/details/106263407
原文： https://ieeexplore.ieee.org/document/8047276/metrics#metrics
平移距离模型和语义匹配模型。前者使用基于距离的评分函数，后者使用基于相似度的评分函数。
仔细看看上面的解释！
解释为什么用知识图谱，以及图谱怎么嵌入！

但是上面的方法更加适合图内应用，如链接预测或者三重分类！从这个角度来看，RippleNet可以看做专门设计的KGE方法！

3.5.2 Memory Network

记忆网络是一个recurrent attention模型，他们使用了一个外在记忆模块！这个在外在内存上进行迭代读入操作使得记忆网络能够提取长距离的依赖！
原来作品专注于入门级或者句子级别，但是我们的工作在KG中处理实体级别的连接，这在执行多跳迭代时更加精细和直观！

3.5.3 注意力机制

在RippleNet中，tails会根据相似性来平均权重！在他们联系的头、尾巴和某些item！

3.5.4 Ripple Superposition

我们会发现一个用户历史点击的不同items最终会经过不同的路径（关系）牵引到同一个entity！这种重叠实体就是用户最大的兴趣！

4. Experiment

三个数据集： Movies、Books、Bing-News
在这里插入图片描述
由于MovieLens-1M和Book-Crossing是显式反馈数据，我们将它们转换为隐式反馈，其中每个条目都被标记为1，表示用户已经对项目进行了评分(MovieLens-1M的评分阈值为4，而Book-Crossing由于其稀疏性没有设置阈值)，并对每个用户标记为0的未观看集进行采样，该集与被评级的集大小相同。

我们使用Microsoft Satori来为每个数据集创建知识图谱（从中选择知识图谱）。首先，对于MovieLens-1M和book - crossing，我们首先从整个KG中选择关系名称包含“movie”或“book”且置信度大于0.9的三元组子集。给定sub-KG，我们收集所有valid 电影/书籍的id，通过匹配它们的名字和三元组的尾部，为简单起见，没有匹配或多个匹配实体的item被排除！然后我们将id与所有KG三元组的头和尾进行匹配，从sub-KG中选择所有匹配良好的三元组，并迭代地将实体集扩展到four hops。

在这里插入图片描述
在总数据集中选择不同的hop后，多个数据集是不是有共同的raters（也就是实体交集）