无需LLM评判，用几何方法检测AI幻觉

无需LLM评判：一种检测AI幻觉的几何方法

想象一群正在飞行的鸟。没有领队，没有中央指令。每只鸟都与邻近的鸟对齐——调整方向、匹配速度，通过纯粹的局部协调保持队形。结果是，全局秩序从局部一致性中涌现出来。

现在想象其中一只鸟，它与其他鸟有着同样的飞行姿态，翅膀扇动充满信心，速度也正确，但其飞行方向却不与邻居们匹配。这就是那只“红色的鸟”。

它并非迷失，也不是犹豫，它只是不属于这个鸟群。

大语言模型（LLM）产生的幻觉，正是这样的“红色鸟”。

我们真正要解决的问题

LLM能生成流畅、自信的文本，但其中可能包含捏造的信息。它们会编造不存在的法律案例，引用从未发表过的论文，并以相同的口吻陈述事实——无论这些事实是真是假。

检测此类幻觉的标准方法是让另一个语言模型来检查输出，即“LLM作为评判者”。你马上就能看出问题所在：我们用一个本身就会产生幻觉的系统去检测幻觉。这就像让一个无法分辨颜色的人去给颜料样本分类。他们会给你一个答案，有时甚至可能是对的，但他们实际上并未看到你需要他们看到的东西。

我们提出的问题则不同：能否仅从文本本身的几何结构中检测出幻觉，而不需要另一个语言模型的意见？

嵌入向量实际做了什么

在深入检测方法之前，我们先回顾一下我们正在处理的对象。

当你将文本输入句子编码器时，会得到一个向量——高维空间中的一个点。语义相似的文本会落在彼此附近，无关的文本则相距甚远。这就是对比训练所优化的目标。但除了“相似的事物距离近”之外，还有更微妙的结构。

考虑嵌入一个问题及其答案时会发生什么。问题落在嵌入空间的某个位置，答案落在另一个位置。连接它们的向量——我们称之为位移——指向一个特定的方向。我们有一个向量：它包含大小和角度。

我们还观察到，对于特定领域内基于事实的回答，这些位移向量指向一致的方向。我们发现了一个共同点：角度。

如果你提出五个类似的问题，并得到五个基于事实的回答，那么从问题到答案的位移向量大致是平行的。并非完全相同——大小会变，具体角度略有差异——但总体方向是一致的。

当模型产生幻觉时，情况就不同了。生成的回答仍然落在嵌入空间的某个位置，依然流畅，听起来也像是一个答案。但其位移不符合局部模式，指向了其他地方——一个角度完全不同的向量。

“红色的鸟”正充满信心地飞翔，但方向却与鸟群相反。

位移一致性

我们将此形式化为位移一致性。其思路很简单：

为你所在领域构建一个基于事实的问答对参考集。
对于一个新问答对，在参考集中找到其邻近问题。
计算这些邻居的平均位移方向。
测量新问答对的位移方向与该平均方向的对齐程度。

基于事实的回答对齐度高，产生幻觉的回答则不然。就这样，只需一个余弦相似度计算。推理时不需要参考源文档，不需要多次生成，也不需要查看模型内部结构。

此方法效果显著。在五个架构各异的嵌入模型上，在包括HaluEval和TruthfulQA在内的多个幻觉基准测试中，DC都实现了近乎完美的区分度。其分数分布几乎不重叠。

局限性：领域局部性

我们测试了DC在五种嵌入模型上的表现，这些模型的选择涵盖了架构的多样性：基于MPNet的对比微调模型、弱监督预训练模型、使用困难负例的指令调优模型、编码器-解码器适配模型以及高效长上下文架构模型。如果DC只在一种架构上有效，那可能是该特定模型的产物。在不同架构模型上的一致结果，则表明这种结构具有根本性。

结果是稳定的。在我们的合成基准测试中，DC在所有五个模型上都达到了1.0的AUROC。但合成基准可能具有误导性——或许领域混杂的响应本身就太容易检测了。

因此，我们在已建立的幻觉数据集上进行了验证：包含专门设计得难以察觉的LLM生成幻觉的HaluEval-QA、包含偏离对话上下文的回复的HaluEval-Dialogue，以及测试人类常误解之事的TruthfulQA。DC在所有这些数据集上都保持了完美的区分度。从合成基准到真实基准，性能零衰减。

作为比较，那些衡量回答相对于问题的位置（而非其移动方向）的比率方法，其AUROC大约在0.70–0.81之间。大约0.20的绝对AUROC差距是显著且在所有测试模型中一致的。

分数分布从视觉上说明了问题。基于事实的回答紧密聚集在高DC值周围（约0.9），而产生幻觉的回答则分布在较低值区域（约0.3）。这两个分布几乎不重叠。

DC在狭窄领域内实现了完美检测。但如果你尝试使用一个领域的参考集去检测另一个领域的幻觉，性能会降至随机水平——AUROC约为0.50。这揭示了嵌入向量编码“事实基础”方式的一个根本特性。这就像看天空中不同的鸟群：每个鸟群的飞行方向都不同。

对于LLMs，理解这一点最容易的方式是通过几何学中称为“纤维丛”的图像来类比。

图1 几何纤维丛示意图

图1中的曲面代表所有可能问题的“底流形”。在这个曲面的每一点上，都有一条纤维：一个指向“基于事实的回答”所移动方向的线。在曲面的任何一个局部区域（即一个特定领域）内，所有的纤维都大致指向相同的方向。这就是DC在局部如此有效的原因。

但在全局范围内，跨越不同的区域，纤维指向不同的方向。法律问题的“事实基础方向”与医学问题的不同。不存在单一的全局模式，只有局部的连贯性。

这个结构在微分几何中被称为“局部平凡而非全局平凡”。流形的每个局部块内部看起来简单且一致，但这些局部块无法缝合到一个全局坐标系中。

这带来了一个显著的启示：事实基础并非一种普适的几何属性。在嵌入空间中，没有单一的“真实性方向”。每个领域——每种任务类型，每个LLM——在训练过程中都会形成自己独特的位移模式。这些模式是真实且可检测的，但它们是领域特定的。