一文说明推荐优秀的系统特征交叉方法

2026-01-26 17:09 tlnshuju 阅读(0) 评论(0) 收藏举报

推荐系统排序模型从开始的LR到现在的LLM，其中一个主要的效果提升脉络就是特征交叉，之前做了很多单篇论文的笔记，这里作下Summary：

通过不需要引进额外的权重矩阵，不需要专门训练，能够通过代码直接控制的特征交叉方法，由于推荐特征第一层一般都会经过一个embedding层，每个特征一般都会被编码成一个vector，故而这里的非参数关键聚焦在vector的交叉途径上。就是非参数的意思

cartesian product(笛卡尔积)
cartesain product 该是非vector上的交叉方法，在深度排序模型中使用很少，仅在 GBDT（XGBoost、LightGBM）或 LR + Crossing 中使用。
在 DeepFM/FM 模型出现后，Cartesian 特征交叉已经少用，基于 FM 自动捕获二阶交互。
内积/外积
内积又叫Dot Product，深度学习时代极其常用，占 60%~70% 模型都在用 dot 交叉

外积是outer product，得到的是一个矩阵，能捕捉高阶相关性（比 dot product 更细粒度），但高维矩阵风险大，不一定能收敛，于是从业界采用情况来看属于比较小众流派
hardamard积：element-wise-product, 得到的还是一个vector，要求两个向量维度必须相同。
$a = [a_1, a_2, ...., a_m]^T$
$b = [b_1, b_2, ...., b_m]^T$
交叉后的结果为:
$c = [a_1* b_1, a_2 * b_2 ..., a_m * b_m]^T$
比 outer product 轻量, 比 dot product 细粒度, 允许学到“局部维度的特征交互”, 在深度学习流行程度中等
对于非类别特征，或者数值特征，不经过处理的话，严格意义上就不是特征交叉了，是特征之间的数学运算( - / ) 等，这里暂时不考虑；在推荐系统里，数值特征大部分时候其实是做分箱处理，能更好的cover异常值等困难。

这类模型只对两个 field（如用户特征和商品特征）之间进行显式或隐式交互，是最经典、最基础的交互方式。

核心公式：
$\sum_{i<j} \langle v_i, v_j \rangle$
FM 依据 embedding 向量的内积实现“二阶交互”，避免了传统 Polynomial 的维度爆炸。

YouTube DNN 首次将 embedding concat → MLP 作为“深度交叉”。
DNN 的权重矩阵本质上在学习特征之间的复杂加权组合。

核心交互本质：
$crossed\_vec = w_1 \cdot a + w_2 \cdot b$
MLP 会自动学习到多阶交叉，因此 DNN 是当前使用最广的参数式交互方式。

PNN 是比 DeepFM、DCN 更早的参数式交叉模型，分两类：
PNN 是 最早将“乘积交互 + MLP”结合现在应该基本已经很少用了。就是的深度 CTR 结构，后续的 DeepFM、xDeepFM 等都受到其影响，但
(1) IPNN（Inner Product PNN）

显式进行 embedding 之间的内积。

(2) OPNN（Outer Product PNN）
对 embedding 做 outer-product（可参数化的）

核心思想：
利用卷积式权重，显式构造特征间多阶 outer product 再压缩。
$X^{k+1} = f(X^0, X^k, W)$

这类模型跳出“两个特征对两个特征交叉”，
基于整个样本的所有 embedding 构造一个全局交互向量。就是而

方法	交互方式	是否显式	是否真实落地
FM	二阶内积	显式二阶	⭐⭐⭐⭐⭐
DNN	隐式加权组合	隐式高阶	⭐⭐⭐⭐⭐
DCN	显式多阶 polynomial	显式高阶	⭐⭐⭐⭐
Bilinear Cross	双线性交互 + W 矩阵	显式	⭐⭐⭐
CAN	动态参数交互	显式+动态	⭐⭐
PNN	内积/外积 + MLP	显式	⭐⭐⭐
CIN	显式高阶 outer product 压缩	显式	⭐⭐⭐⭐
MaskNet	Mask × embedding 的 sample-level特征交叉	显式	⭐⭐