NeurIPS2025公布最佳论文奖

news/2025/12/3 14:38:39/文章来源:https://www.cnblogs.com/lab4ai/p/19302353

NeurIPS2025公布最佳论文奖

2025 年 11 月 26 日，NeurIPS（神经信息处理系统大会） 正式公布了 2025 年度最佳论文奖获奖名单。此次奖项由最佳论文评选委员会从会议主赛道及数据集与基准赛道中遴选产生，委员会成员经程序主席、数据集与基准赛道主席提名，由大会主席、下一代与可及性主席批准，均为机器学习各领域顶尖研究者。最终共有7 篇突破性论文获奖， 包括 4 篇最佳论文 （含1 篇数据集与基准赛道专属获奖论文）和 3篇优秀论文（Runner-up），覆盖生成模型理论、强化学习、大语言模型机制、学习理论等多个核心研究方向。

最佳论文

1.《Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)》

核心贡献： 针对大语言模型（LLMs）生成内容缺乏多样性、可能导致人类思想同质化的问题，提出了大规模数据集 Infinity-Chat（含 2.6 万条真实开放域用户查询、3.125 万条人类标注），构建了首个开放域提示词综合分类体系（6 个顶级类别、17 个子类别）。通过对 70 余种模型的实证研究，揭示了"人工蜂群思维（Artificial Hivemind）" 效应 —— 模型内部存在重复生成倾向，且不同模型间输出高度同质化。同时发现现有 LLM、奖励模型及自动评判器难以匹配人类多样化偏好，为缓解 AI 安全风险提供了关键参考。

评审评价： 填补了AI 评估中创意生成、主观偏好对齐等维度的研究空白，为 AI 系统异质性保护奠定了基础，树立了 "以科学认知和社会挑战为导向" 的数据集构建新标准。

2.《Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free》

核心贡献： 系统探究了门控机制对softmax 注意力的影响，通过在 150 亿参数混合专家（MoE）模型和 17 亿参数稠密模型（基于 3.5 万亿 token 数据集训练）上的 30 余种变体实验，发现 "在缩放点积注意力（SDPA）后添加头专属 sigmoid 门控" 的简单修改，可显著提升模型性能、训练稳定性及长上下文外推能力，同时缓解注意力 sink 问题。该机制的有效性源于引入非线性和查询依赖的稀疏门控分数，相关代码与模型已开源，并应用于 Qwen3-Next 系列模型。

评审评价： 研究成果具备极强的可实施性，基于工业级计算资源完成的大规模验证为LLM 架构优化提供了可靠依据，开源行为对推动领域发展具有重要意义。

3.《1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities》

核心贡献： 挑战了强化学习（RL）难以训练深层网络的传统认知，提出了适用于自监督 RL 的深层网络构建方案。实验表明，将网络深度从传统的 2-5 层扩展至 1024 层，在无演示、无奖励的无监督目标条件设置下，可显著提升自监督对比 RL 算法在模拟移动和操作任务中的性能，不仅提高任务成功率，还能催生更复杂的学习行为。同时强调了批次大小缩放对深层网络对比 RL 的重要性。

评审评价： 突破了RL 与深层网络结合的技术瓶颈，提出的范式简单易实施，为 RL 的规模化发展提供了新路径。

4.《Why Diffusion Models Don’t Memorize: The Role of Implicit Dynamical Regularization in Training》

核心贡献： 揭示了扩散模型避免训练数据记忆、实现泛化的核心机制—— 隐式动态正则化。通过理论分析与实验验证，识别出两个关键训练时间尺度：早期为数据集无关的泛化阶段（模型生成高质量样本），后期为数据集大小依赖的记忆阶段（训练超过该阶段会出现记忆现象）。其中泛化阶段时长随训练集规模线性增长，记忆阶段时长保持恒定，这一特性使模型在过参数化场景下仍能有效泛化。

评审评价： 通过随机矩阵理论将实证观察与形式化理论统一，为生成式AI 的泛化机制研究树立了分析深度标杆，提供了可落地的训练指导。

入围论文

1.《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?》

核心发现： 对"带可验证奖励的强化学习（RLVR）能赋予 LLM 全新推理能力" 的主流假设提出质疑。通过在多模型家族、多算法、多基准（数学、编程、视觉推理）上的系统测试，发现 RLVR 仅提升小 k 值下的 pass@k 分数（抽样效率），但无法激发新的推理模式 ——RLVR 模型的推理路径均包含在基础模型的抽样分布中，且训练会缩小推理能力边界；而蒸馏技术反而能引入新推理模式。

评审评价： 该批判性发现具有重要学术价值，为推动RL 范式创新（如持续缩放、多轮智能体 - 环境交互）提供了明确方向。

👉一键Lab4AI阅读

2. 《Optimal Mistake Bounds for Transductive Online Learning》

核心贡献： 解决了持续30 年的在线学习领域开放问题，精准量化了转导式在线学习与标准在线学习的性能差距。证明了对于 Littlestone 维度为 d 的概念类，转导式错误边界至少为 Ω(√d)，且该边界是紧的（存在对应概念类达到此边界），较此前的对数级下界实现指数级提升。同时改进了上界结果，揭示了转导式学习利用未标记数据可实现二次级性能提升，这与 PAC 设置下两者样本复杂度相近的特性形成鲜明对比。

评审评价： 证明方法兼具创新性与严谨性，通过"路径树" 结构、稀疏编码、危险区域最小化等多种技术的融合，构建了最优学习算法，是学习理论领域的突破性成果。

3. 《Superposition Yields Robust Neural Scaling》

核心贡献： 提出表征叠加（LLM 表征的特征数超过维度）是神经缩放定律的核心驱动因素。基于 Anthropic 玩具模型的实验表明，弱叠加状态下，损失仅在数据特征频率呈幂律分布时遵循幂律缩放；而强叠加状态下，得益于表征向量的几何重叠，损失在广泛频率分布中均与模型维度呈逆幂律缩放。开源 LLM 的实证结果及 Chinchilla 缩放定律均验证了这一结论。

评审评价： 超越了对神经缩放定律的单纯观察，深入揭示其内在机制，为优化缩放效果、预测缩放极限提供了关键理论支撑。

NeurIPS 2025的最佳论文奖项不仅表彰了在各自领域做出突破性贡献的研究，也反映了当前机器学习社区对可解释性、安全性、多样性及理论根基的日益重视。这些工作既有扎实的理论突破，也有影响深远的实践指导，预计将对未来的研究方向和业界实践产生重要影响。

👉参考链接

本文系学术转载，如有侵权，请联系大模型实验室Lab4AI小助手删文