一支来自Meta FAIR实验室的研究团队，联合伦敦大学学院、Meta超级智能实验室和英属哥伦比亚大学的学者们，在2025年11月发表了一项开创性研究。这项研究深入探讨了什么让AI研究助手变得更加出色，论文发表在国际顶级学术期刊上，编号为arXiv:2511.15593v1。

当我们谈论AI研究助手时，你可以把它们想象成特别聪明的科研助理。就像人类研究者一样，它们需要提出研究思路、设计实验、编写代码、训练模型，然后分析结果。但是，什么因素决定了一个AI助手能够在科研工作中表现出色呢？Meta的研究团队发现了一个出人意料的答案：多样化的想法产生能力。

这就好比一个厨师在面对新菜谱时的思考过程。优秀的厨师不会只想到一种烹饪方法，而是会考虑多种不同的料理方式——蒸、煮、炒、烤、炖等等。同样，表现出色的AI研究助手也会在面对科研问题时产生各种不同的解决思路，而不是死磕一种方法。

研究团队分析了超过11000个AI研究助手的完整工作过程，这相当于观察了11000次完整的科研项目从开始到结束的全过程。他们使用了一个叫做MLE-bench的测试平台，这个平台包含了75个真实的机器学习任务，就像给AI助手出了75道不同的科研题目。

通过这项史无前例的大规模研究，团队发现了一个非常有趣的现象：那些能够产生更多不同想法的AI助手，最终的表现明显更好。这种"想法多样性"的重要性远超研究团队的预期。

**一、AI研究助手的日常工作**

要理解这项研究，我们首先需要了解AI研究助手是如何工作的。设想一下，你面前坐着一个永不疲倦的科研助理，它能够阅读研究资料，提出解决方案，编写实验代码，运行实验，分析结果，然后不断改进。

这些AI助手的工作流程非常类似于人类科研人员。当面对一个新的研究问题时，它们首先会进行"头脑风暴"，产生多个可能的解决方案。比如，如果任务是识别图片中的物体，它们可能会考虑使用卷积神经网络、Transformer模型、或者梯度提升决策树等不同的方法。

接下来，AI助手会选择其中的几个想法进行实际实现。就像建筑师会画出多个设计草图，然后选择最有前景的几个进行详细设计一样。AI助手会编写代码，搭建模型，进行训练和测试。

如果某个方案遇到问题，比如代码出现错误或者效果不理想，AI助手会进行调试和改进。这个过程可能需要多次迭代，就像厨师不断调整食谱直到做出满意的菜品。

最终，AI助手会提交它认为最好的解决方案。整个过程形成了一个类似树状的工作轨迹，每个分支代表一次尝试，每个节点代表一个具体的实现方案。

**二、想法多样性究竟意味着什么**

在这项研究中，"想法多样性"有着非常具体的含义。研究团队重点关注的是AI助手在项目初期提出的机器学习方法的多样程度。

为了量化这种多样性，研究团队采用了一种叫做香农熵的数学工具。这个概念来源于信息论，可以用来衡量一个系统的不确定性或者说信息量。在这里，它被用来衡量AI助手想法的丰富程度。

具体来说，如果一个AI助手总是倾向于使用同一种机器学习方法，比如90%的时候都选择深度学习，那么它的想法多样性就很低，香农熵值也会很小。相反，如果它会平衡地考虑深度学习、决策树、传统机器学习等多种方法，那么多样性就高，香农熵值也大。

研究团队发现，不同的AI系统在想法多样性上存在显著差异。有些AI助手就像专门研究某个领域的专家，总是偏爱特定的方法。比如AIDE系统特别喜欢使用梯度提升决策树和卷积神经网络，这两种方法占了它70%的初始想法。

而另一些AI助手则更像是博学的通才，会考虑更广泛的方法组合。AIRAGreedy系统就展现出了更高的多样性，它会平衡地考虑卷积神经网络、Transformer、梯度提升决策树和混合模型等多种方法。

这种差异的产生与AI助手的设计有关。不同的AI系统使用不同的"脚手架"（可以理解为工作框架），有着不同的提示词设计和记忆机制，这些因素都会影响它们产生想法的方式。

**三、大规模实验揭示的秘密**

研究团队进行的实验规模之大令人印象深刻。他们测试了6种不同的大语言模型作为AI助手的"大脑"，包括o3、GPT-OSS、Llama Maverick、Devstral和CWM等。这些模型在能力和设计上各有特色，有的擅长代码生成，有的在推理方面表现出色。

每个模型都被配备了不同的工作框架，主要包括AIDE、AIRAGreedy和AIRAMCTS三种。这些框架决定了AI助手如何搜索解决方案，如何管理记忆，以及如何在不同方案之间做出选择。

实验使用的测试平台MLE-bench包含了75个真实的机器学习任务，这些任务来自Kaggle竞赛平台，涵盖了计算机视觉、自然语言处理、时间序列预测、表格数据分析和多模态学习等多个领域。每个任务都有明确的评判标准和数据集，就像给AI助手出了75道不同难度和类型的考试题。

为了确保结果的可靠性，研究团队对每种配置都进行了10到20次重复实验。最终，他们收集了超过11000个完整的AI助手工作轨迹，这些轨迹包含了大约120万个单独的决策节点，整个实验消耗了26.4万个GPU小时的计算资源。

通过分析这些海量数据，研究团队发现了一个清晰的规律：想法多样性与AI助手的表现之间存在显著的正相关关系。那些能够产生更多不同类型想法的AI助手，在最终的任务完成度上表现得更好。

这种相关性在不同的评价指标下都得到了验证。无论是使用传统的奖牌系统（类似于奥运会的金银铜牌评价），还是使用标准化分数、百分位排名等其他评价方法，结果都指向同一个结论：多样性确实很重要。

**四、控制实验验证因果关系**

发现相关性只是第一步，更重要的是验证因果关系。也就是说，研究团队需要确认是想法多样性导致了更好的表现，而不是其他因素的巧合。

为了做到这一点，研究团队设计了一个巧妙的控制实验。他们通过修改AI助手的指令提示词，人为地降低了其想法多样性，然后观察这种变化对性能的影响。

这个过程就像给一个平时喜欢尝试各种烹饪方法的厨师下达指令："今天只能用炒的方法做菜，不要考虑其他烹饪方式。"然后观察这种限制会如何影响最终的菜品质量。

具体来说，研究团队移除了原本用于促进想法多样性的三个机制。第一个是"兄弟节点记忆"，这原本让AI助手能够记住之前尝试过的不同方案，避免重复。第二个是"自适应复杂度提示"，这原本引导AI助手在不同阶段考虑不同复杂程度的解决方案。第三个是提示词中明确要求多样性的部分。

在低多样性的设置下，AI助手的行为发生了明显变化。原本会考虑多种不同方法的系统，现在倾向于反复尝试相似的方案。数据显示，在低多样性条件下，70%的任务中AI助手只使用了不超过2种不同的方法，而在正常条件下这个比例只有40%。

性能测试的结果非常清楚：降低想法多样性确实会损害AI助手的表现。AIRAGreedy系统的奖牌获得率从45.5%下降到38.6%，降幅达到6.9个百分点。AIRAMCTS系统的下降更加明显，从47.0%下降到38.6%，降幅为8.4个百分点。

这种性能下降在其他评价指标上也得到了验证，包括有效提交率、标准化平均分数、百分位排名等。特别值得注意的是，在一些任务中，低多样性的AI助手甚至无法完成任何有效的解决方案提交。

**五、深层机制的探索**

为了更深入地理解想法多样性为什么如此重要，研究团队进行了详细的机制分析。他们发现，多样性的价值主要体现在两个方面：降低实现风险和提高探索效率。

首先是降低实现风险。即使AI助手有很好的想法，也不意味着它一定能够成功实现。就像一个建筑师画出了精美的设计图，但施工过程中可能遇到技术难题或材料问题。AI助手在编码和模型训练过程中也会遇到类似的困难。

研究团队发现，当AI助手只专注于少数几种方法时，如果这些方法恰好难以实现，整个项目就可能陷入困境。在某些文本标准化任务中，低多样性的AI助手反复尝试实现T5模型，但由于技术困难一直无法成功，最终导致项目超时失败。而高多样性的AI助手虽然也可能在T5模型上遇到同样的问题，但它们会转向其他更容易实现的方法，从而避免了完全失败。

其次是提高探索效率。机器学习问题的解决空间通常非常复杂，就像一个有着无数条小径的巨大迷宫。如果AI助手只沿着几条相似的路径探索，很可能会错过真正的最佳解决方案。而想法多样性就像是在迷宫中同时派出多支探索队伍，每队走不同的路线，这样找到出口的概率会大大增加。

研究还发现，想法多样性与AI助手的实现能力之间存在着有趣的相互作用。那些实现能力更强的AI助手（比如使用o3、GPT-OSS等先进模型的系统）往往也表现出更高的想法多样性。这可能是因为当AI助手有信心能够实现各种不同的方法时，它们更愿意尝试多样化的方案。

通过分析AI助手的工作轨迹，研究团队还发现了一个重要模式：表现更好的AI助手通常会在成功实现的解决方案上花费更多时间。这表明，仅仅有好的想法是不够的，能够将想法转化为实际可用的解决方案同样重要。

**六、意外发现和额外洞察**

在研究过程中，团队还发现了一些意想不到的现象。其中一个重要发现是，不同AI模型在想法多样性上的差异非常显著，这种差异甚至比它们在单纯智力水平上的差异更加明显。

通过对比分析，研究团队发现高性能的AI模型（如o3、GPT-OSS 120B等）在初始阶段平均会考虑3.5种不同的方法，而性能较低的模型平均只考虑2.8种方法。虽然这个差异看起来不大，但它在最终性能上产生的影响却相当显著。

另一个有趣的发现涉及实现质量与想法多样性之间的关系。研究团队发现，AI助手在成功实现的解决方案上花费的时间与其最终性能高度相关。这表明，在当前技术水平下，实现能力仍然是一个重要的瓶颈。

在图像分类任务的专门分析中，研究团队发现了明显的方法偏好差异。AIDE系统特别偏爱EfficientNet架构，这种方法占了它在图像分类任务中近40%的尝试。相比之下，AIRAGreedy系统表现出更均衡的方法选择，使用了包括EfficientNet、ConvNeXt、ViT等多种不同的架构。

研究团队还尝试通过调整AI模型的"温度"参数来控制想法多样性，但结果显示这种方法的效果有限。温度参数虽然会影响AI的输出随机性，但它同时也会影响其他方面的能力，因此不能作为独立控制想法多样性的有效手段。

**七、评价体系的思考**

在进行这项研究的过程中，团队也对现有的AI研究助手评价体系进行了深入思考。传统的MLE-bench评价主要依赖于Kaggle的奖牌系统，但研究团队发现这种评价方法存在一些局限性。

奖牌系统的问题在于，它的标准会根据参赛队伍数量发生变化。在参赛队伍较少的比赛中，获得铜牌只需要进入前40%，而在大型比赛中则需要进入前10%。这种变化使得不同任务之间的奖牌难以直接比较。

此外，在很多竞赛中，获得铜牌的分数与最高分之间的差距非常小，经常不到3%。考虑到AI助手使用的是与人类选手不同的测试数据集，这种微小的差距可能主要反映了数据分割带来的随机变动，而非真实的能力差异。

为了获得更全面的评价，研究团队引入了多种补充指标。包括有效提交率（衡量AI助手能否完成基本任务的能力）、标准化平均分数（消除人类表现分布影响的客观评分）、百分位排名（相对于人类表现的位置）和ELO评分系统（基于AI助手之间直接比较的排名系统）。

使用这些多样化的评价指标，想法多样性的重要性得到了更加稳固的验证。无论使用哪种评价方法，高想法多样性的AI助手都表现出更好的性能。

**八、对未来的启示**

这项研究的意义远超当前的AI研究助手领域。随着大语言模型和AI系统能力的快速提升，代码实现能力的瓶颈可能会逐渐消失，这时想法多样性的重要性可能会变得更加突出。

研究团队预测，在未来的AI研究助手中，思维的多样性和创造性可能会成为决定性的竞争优势。这就像在自动化生产线逐渐普及之后，产品设计的创新性成为了制造业竞争的关键一样。

这个发现也为AI研究助手的设计提供了重要指导。开发者应该更加重视培养AI系统的多样化思维能力，而不仅仅是提高其在单一方向上的专业水平。这可能需要在AI的训练过程中引入更多鼓励探索和创新的机制。

对于使用AI研究助手的科研人员来说，这项研究也提供了实用的建议。在设计AI助手的工作流程时，应该鼓励它们在项目初期考虑多种不同的解决方案，而不是过早地专注于某一种方法。

研究还揭示了一个重要的平衡问题：在追求想法多样性的同时，也需要确保AI助手有足够的实现能力。最理想的AI研究助手应该既能产生丰富多样的想法，又能有效地将这些想法转化为实际可用的解决方案。

**九、研究的局限性和展望**

研究团队也诚实地承认了这项研究的一些局限性。首先，研究主要基于MLE-bench这一个测试平台，虽然这个平台包含了多种类型的机器学习任务，但能否代表所有类型的科研工作仍有待验证。

其次，通过修改提示词来控制想法多样性的方法可能会产生一些意想不到的副作用。虽然研究团队尽力将影响限制在想法产生阶段，但完全排除其他影响是困难的。

另一个局限是，当前的研究主要关注了机器学习模型选择方面的多样性，而科研工作的多样性还体现在数据处理、特征工程、验证策略等多个方面。未来的研究需要更全面地考虑这些不同维度的多样性。

研究团队提出了几个值得进一步探索的方向。首先是开发更精确的多样性控制方法，比如通过分离负责想法产生和代码实现的AI模块，来更精确地研究多样性的影响。

其次是扩展到更广泛的科研领域，验证想法多样性的重要性是否在其他科学研究领域同样适用。第三是随着AI技术的进步，动态研究多样性重要性的变化趋势。

最后，研究团队建议未来的AI研究助手评价体系应该采用更多样化的指标，而不仅仅依赖单一的评价标准。这样可以更全面地了解AI系统的真实能力。

说到底，这项研究为我们理解AI研究助手的工作机制提供了重要洞察。它表明，在追求AI的智能化过程中，我们不应该忽视思维多样性这个看似简单却极其重要的因素。就像人类科研团队的成功往往来自不同背景研究者的协作一样，AI研究助手的成功也需要在内部培养这种多样化的思考能力。

随着AI技术的不断进步，我们有理由相信，未来的AI研究助手将不仅能够在单一方向上表现出色，更能够展现出类似人类科学家的创造性和多维度思考能力。这种进步不仅会加速科学发现的过程，也可能为我们带来前所未有的研究视角和方法。

Q&A

Q1：AI研究助手的想法多样性是如何测量的？

A：研究团队使用香农熵来测量想法多样性，这是一种来自信息论的数学工具。具体做法是分析AI助手在项目初期提出的不同机器学习方法，如果总是使用同一种方法，多样性就低；如果平衡地考虑多种不同方法，多样性就高。香农熵值越大，表明想法越多样化。

Q2：为什么想法多样性会让AI研究助手表现更好？

A：主要有两个原因。首先是降低实现风险，当AI助手只专注少数方法时，如果这些方法难以实现，整个项目可能失败；而多样性让它有更多备选方案。其次是提高探索效率，就像在迷宫中同时派出多支队伍走不同路线，找到最佳解决方案的概率会大大增加。

Q3：这项研究对普通人使用AI工具有什么意义？

A：这个发现提醒我们，在使用AI工具时，应该鼓励它们考虑多种不同的解决方案，而不是过早地限制在某一种方法上。比如让AI助手先提出几种不同的思路，然后再选择最适合的进行深入。这样可以获得更好的结果，避免因为方法单一而错过更优解。