ACL 2023：大语言模型时代的计算语言学
会议背景
在今年的计算语言学协会（ACL）会议上，大语言模型成为主要讨论话题。ACL大会主席、某中心Alexa AI高级首席科学家指出：“我们设有多个大语言模型专题会场，这在过去会议上是从未有过的。两场主题演讲也都与此话题相关。”
关键技术挑战
幻觉问题
大语言模型的主要问题之一是“幻觉”倾向，即生成听起来合理但实际错误的断言。目前研究人员正通过多种方式解决这个问题：
后处理验证
在系统生成响应后执行知识检索，通过事实检查模型验证响应与来源之间的一致性。但目前错误率仍然较高，即使只是判断两个文本是否表达相同含义，在自然语言处理中仍是一个未完全解决的问题。
数据质量控制
通过精心筛选训练数据来提升模型质量。大语言模型使用数万亿个token进行训练，确保数据质量是控制模型信息输出的第一步。
激活编辑技术
通过改变概率分布来提高事实准确性。这些方法不改变已训练模型，而是使用不同策略改变推理或预测结果。例如：
- 识别与真实性高度相关的稀疏注意力头集合
- 沿真实相关方向执行“推理干预”来移动激活
- 使用各种方法改变模型参数以减少幻觉
显式知识 grounding
首先应用知识检索组件，然后让大语言模型基于相关文档生成响应。
训练优化挑战
代理训练困境
防止幻觉的困难与大语言模型的训练方式有关。大语言模型训练使用输入掩码，随机移除输入句子中的词语让模型补充。这种掩码是自动完成的，输出误差易于计算。但为事实准确性明确训练模型会使情况复杂化。
“人们发现预测token是许多下游用例的良好代理，”专家表示，“这建立了基础模型，然后在其之上可以尝试改进使其遵循指令并执行各种任务。但改变基础模型、添加额外的训练损失目标很困难，且计算成本高昂。”
持续改进路径
通过带有人类反馈的奖励模型在预训练后持续改进这些模型是合理的方法。在训练过程中，模型寻求人类反馈以区分其分配低概率的选择。
“如果关注事实错误，可以让模型沿着这些维度进行优化。模型在这些维度上的性能正在提高，只是接受标准非常高。从分类角度来看，95%的准确率似乎很高。但在搜索中，如果出现一个错误，人们就会说‘你在提供错误答案’，这就是问题。”
未来展望
随着研究人员找到逐步提高大语言模型事实准确性的方法，公众也在更好地学习如何使用它们。“用户态度可能会改变，公司也会改变。人们使用大语言模型时看到一些错误，会自己做事实核查。就像对待任何在线新闻来源一样。这关系到我们的伦理专题讨论：整个社会都在关注这个新工具。我们应该如何对待这些事物？是将其视为真理，还是将其视为提供某些内容的工具并需要二次检查？我认为人们正在努力理解这些事物并与之和谐共处。”
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
)
