这项由浙江大学张宁宇教授领导的研究团队与蚂蚁集团联合完成，发表于2025年的国际顶级会议，研究编号为arXiv:2512.01822v1。有兴趣深入了解的读者可以通过该编号查询完整论文。
过去几年，我们见证了AI在下棋、写代码、解数学题方面的惊人表现。但这些AI就像一个只会按照标准答案做题的优等生——它们能把题目做对，却从来不会想出新的解题方法。浙江大学的研究团队提出了一个有趣的问题：如果AI真的想要像人类科学家一样推动世界进步，它们需要的不仅仅是找到正确答案的能力，更需要找到全新方法的创造力。
想象一下，有两个学生都解出了同一道数学题，得到了相同的正确答案。但其中一个用的是教科书上的标准公式，另一个却发明了一种从未有人用过的巧妙解法。显然，第二个学生展现的能力远比第一个更有价值。这正是现有AI评测体系忽略的关键点——它们只关心答案对不对，却从不关心方法新不新。
为了填补这个空白，研究团队开发了名为InnoGym的创新评估框架。这个框架就像是为AI设计的"发明家考试"，不仅要检验它们能否解决问题，更要看它们能否想出前人未曾想到的解决方案。
**一、什么是真正的创新：不只是做对，更要做得不同**
在日常生活中，我们经常能区分出哪些是真正的创新，哪些只是照搬现成方案。比如，两个厨师都能做出美味的红烧肉，但一个完全按照传统菜谱操作，另一个却创造性地加入了意想不到的调料组合，后者显然更具创新价值。
研究团队将这种直觉转化为了科学的评估标准。他们认为，真正的创新必须同时满足两个条件：性能突破和方法新颖。性能突破意味着新方案要比现有最好的方案更优秀，就像一个新的烹饪方法不仅要做出好吃的菜，还要比传统方法做得更好。方法新颖则要求这个方案在实现方式上与已知方法有本质差异，就像用微波炉做红烧肉和用传统炒锅做红烧肉是完全不同的思路。
为了量化这两个维度，研究团队设计了两个关键指标。第一个叫做"性能增益"，它测量新方案相比于现有最佳方案的改进程度。如果一个AI找到的方法比人类目前最好的方法还要优秀，那它就获得了正的性能增益，这意味着它真正推动了技术前沿。第二个指标叫做"新颖度"，它衡量新方案与已知方案在方法论上的差异程度。一个方案越是采用了前人未曾尝试的思路，它的新颖度分数就越高。
这种评估方式的巧妙之处在于，它能够区分出三种不同类型的创新贡献。突破性创新指的是那些既有高性能又有高新颖度的方案，这类似于爱迪生发明灯泡——不仅比煤油灯更亮，而且用的是完全不同的发光原理。性能创新则是在现有方法框架内实现显著改进的方案，就像把汽车引擎的效率提升到新高度，虽然还是内燃机原理，但性能有了质的飞跃。概念创新指的是那些采用全新思路但性能与现有方法相当的方案，这类似于电动汽车刚出现时——虽然当时性能还比不上汽油车，但代表了全新的技术路线。
**二、构建AI发明家的考试题库：从现实世界寻找挑战**
建立一个能够真正测试AI创新能力的题库，绝非简单地收集一些编程题或数学问题那么简单。研究团队面临的挑战就像是为未来的爱因斯坦设计考试——既要确保题目有足够的挑战性，又要保证每道题都有明确的评判标准和改进空间。
研究团队从全球顶级学术和产业竞赛中精心挑选题目，涵盖了从2018年到2024年的各类挑战。这些题目来源广泛，包括神经信息处理系统大会的竞赛、KDD杯数据挖掘大赛、欧洲运筹学竞赛，以及中国研究生数学建模竞赛等。每一个题目都是现实世界中的真实难题，需要多学科知识和持续的协作努力才能解决，解题时间通常从一周到一年不等。
从最初收集的197个候选题目中，研究团队运用了严格的筛选标准。首先，他们检查每个题目的资源可获得性——包括数据集、评估工具、排行榜信息以及至少一个参考解决方案是否都能公开获取。同时，他们还要评估计算资源需求，确保题目在合理的GPU内存、磁盘空间和运行时间限制内可以完成。经过这轮筛选后，还剩72个题目。
接下来是更加严格的质量验证阶段。研究团队逐一验证每个评估工具的正确性和可执行性，淘汰那些无法修复的问题题目。为了保持题库的多样性，他们还在不同领域间进行平衡，优先选择更新、更具代表性的题目。最终，18个高质量的"可改进任务"脱颖而出，成为InnoGym基准测试的核心组成部分。
这18个题目覆盖了机器学习、系统优化、运筹学和数学等多个领域。每个题目都有一个共同特点：它们都存在明确的改进空间，既有已知的解决方案作为基线，又有进一步优化的可能性。这就像是为赛车手设计的赛道——既有现有的最快记录作为挑战目标，又确保通过创新技术和策略确实有可能跑出更好成绩。
为了确保评估的公平性和可重现性，研究团队对每个题目进行了标准化处理。他们重写了任务描述，明确了输入输出格式和提交要求，提供了清晰的例子和图表说明。更重要的是，他们构建了统一的验证器来检查AI提交的方案是否符合格式要求、可行性约束等基本条件。这就像是为考试建立了标准的答题卡格式和阅卷规则，确保每个参与者都在相同条件下接受评估。
**三、打造AI创新实验室：iGym统一测试环境**
如果说InnoGym的题库是考试内容，那么iGym就是考试的标准化考场。研究团队发现，现有的AI代理开发框架虽然能够简化工具调用和任务编排，但都缺乏支持长时间、复杂任务所需的关键功能。这就像是用普通的教室来举办需要特殊设备的实验考试——设施不够专业，结果自然不够准确。
iGym的设计哲学是为不同类型的AI系统提供一个完全公平的竞技场。传统的AI评测往往因为环境差异而产生偏见——比如某个AI系统特别擅长使用特定的编程库，而另一个系统更适应不同的操作环境，这样的比较就失去了意义。iGym通过提供统一的抽象层解决了这个问题，让所有AI系统都能在相同条件下发挥各自优势。
这个统一环境的核心是一个重新设计的异步工具调度器，支持线程池或进程池执行。简单来说，它允许AI同时启动多个长期运行的任务，实时监控进度并接收结果。这就像是给AI配备了一个智能助手，能够帮它同时处理多项复杂工作，而不是只能一件事接着一件事地慢慢做。
iGym特别注重恢复能力的设计。在处理需要数小时甚至数天才能完成的复杂任务时，系统崩溃或意外中断是不可避免的风险。iGym提供了两种恢复模式：工作流模式可以重放记录的LLM和工具调用，而代理模式则直接从保存的状态恢复。这就像是为长途旅行的探险家准备了详细的路线图和补给站，即使遇到意外情况也能快速回到正轨继续前进。
系统还原生支持并发操作，这对于复杂的科学计算任务至关重要。许多现实世界的问题需要同时运行多个实验、训练多个模型或并行处理不同数据集。iGym的依赖感知调度系统就像是一个经验丰富的项目经理，能够智能安排各项任务的执行顺序，确保需要前置条件的任务在依赖完成后自动启动。
**四、现有AI系统的创新体检报告：能力与局限的真实写照**
当研究团队将三个代表性的AI代理框架放入InnoGym进行测试时，结果既令人印象深刻，又暴露出了明显的不足。这就像是让三位有不同特长的学生参加一场综合性极强的竞赛，每个人都展现了自己的优势，但也都在某些方面暴露出明显短板。
第一个被测试的是MLab系统，它采用类似人类研究者的工作方式，先用自然语言制定计划，然后执行诸如阅读文件、编辑代码、运行训练脚本、检查日志等高级操作，在类似Kaggle竞赛的工作环境中逐步改进机器学习流水线。第二个是CodeAct系统，它将所有行动都统一为可执行的Python代码，通过生成短程序直接调用库函数、运行shell命令并进行自我调试。第三个是AIDE系统，它将任务视为代码优化问题，从初始解决方案开始反复提出代码修改、运行训练评估并在有希望的变体上分支，通过搜索树的方式用计算换取性能提升。
测试结果显示，没有任何一个AI系统能够超越人类在这些复杂任务上的表现水平。这个发现本身并不令人意外，但具体的表现模式却很有启发性。在那些需要处理复杂数据格式或有复杂需求的任务上，比如跨领域元学习挑战和感知测试时序动作定位挑战，所有测试的AI都无法生成有效可执行的解决方案。这暴露出当前AI代理在处理真实世界科学和工程问题时稳健性的重大缺陷。
不同框架之间的表现差异也很明显。MLab在性能增益和新颖度两个维度上都表现最好，展现出创新性和执行力的罕见结合。CodeAct和AIDE在两个维度上都落后，这可能是由于它们在处理复杂文件结构和工具使用方面能力较弱。有趣的是，CodeAct在圆形打包这类定义明确的数学优化问题上接近了最先进水平，暗示它在特定类型任务上有独特优势，但这种优势无法推广到更广泛的任务类型上。
最重要的发现是稳健性比新颖性更重要的现象。三个评估框架都展现出了可比较的创新水平，但它们的性能差异很大。这突出了解决方案正确性和稳健性在复杂任务中的主导地位。在递归细胞图像分类和木马检测等任务中，一些框架虽然达到了中高新颖度，但仍然获得了最低的性能分数。这种差异表明，当前AI代理在复杂任务上的主要瓶颈不是缺乏新颖想法，而是无法将这些想法转化为正确稳健的实现。
**五、深入分析：AI创新过程的显微镜观察**
为了更深入理解AI代理的创新行为，研究团队进行了一系列精细化分析实验，就像是用显微镜观察细胞分裂过程一样，试图捕捉创新思维的每个关键步骤。
他们选择了具有挑战性的圆形打包问题作为观察对象，这个问题要求在单位正方形内放置尽可能多的不重叠圆形。研究团队首先给AIDE系统提供了一个由Gemini-2.5-Pro生成的强基线解决方案，然后观察它如何逐步改进。结果显示，AIDE能够成功在解决方案空间中导航以发现更优结果，遵循了一个有效的轨迹模式。
在这个改进过程中，性能增益稳步上升，而新颖度最初达到峰值——反映与起始点的显著偏离——然后随着解决方案收敛到局部最优而逐渐下降。这种模式符合创新的自然规律：最初的大胆尝试带来了方法上的突破，随后的精细调整虽然提升了性能但降低了新颖性。
研究团队还发现了创新的时间动态特性。随着时间推移，性能增益趋向改善，而新颖度趋向下降，这反映了收益递减原理：随着解决方案改进，找到实质性进一步增益变得更困难，AI的方法论也自然收敛。重要的是，性能增益在整个过程中保持非负，表明这是一个稳定的单调改进搜索过程，验证了评估指标捕捉迭代改进典型动态的能力。
基础模型的强度对创新能力有决定性影响。研究团队测试了不同的大语言模型，发现性能很大程度上依赖于基础模型的能力。更强大的模型如Gemini-2.5-Pro和假想的GPT-5分别获得了2.49和2.44的高分，接近AlphaEvolve的2.65分水平。相比之下，DeepSeek-v3.1获得了2.40分。这符合社区对这些模型能力的普遍认知，突出了AI代理框架作为基础模型内在推理和编码能力的强大放大器的作用，而不是这些能力的替代品。
最有趣的发现是关于探索与利用权衡的分析。通过调节采样温度，研究团队观察到了经典的权衡现象：性能增益在低温度时最高，此时AI利用已知的好策略；而新颖度随温度增加而提高，因为AI被鼓励探索更多样、更不太可能的解决方案。他们在中等温度范围发现了一个"甜蜜点"，AI在保持接近最优性能的同时显著提升了方法论新颖度。
**六、关键发现：鼓励创新的双刃剑效应**
研究团队还进行了一个特别有启发性的实验——他们专门设计了鼓励创新的提示词，明确要求AI优先考虑创新性解决方案而不是标准基线方法。这个实验的结果揭示了一个重要的现象：创新与性能之间存在着微妙的平衡关系。
当研究团队在三个任务上对AIDE系统使用创新鼓励提示时，结果确实显著提高了新颖度分数，在圆形打包任务中这种提升尤为明显。但与此同时，性能增益却一致性地下降了。这个发现表明，探索性行为确实会对AI性能造成代价，因此追求方法论新颖度不能以解决方案正确性为代价。
这个结果对AI系统的设计有重要启示。它告诉我们，未来的AI代理必须学会在创造力和有效性之间保持平衡。就像人类科学家需要在大胆假设和严谨验证之间找到平衡一样，AI系统也需要发展出既能产生新颖想法，又能确保这些想法能够可靠实现的能力。
研究还发现，不同类型的任务对创新性和性能的要求不同。在一些理论性较强的数学优化问题上，创新性的代价相对较小，因为问题的边界条件相对明确。而在需要处理复杂现实数据的任务中，稳健性的重要性就大大超过了新颖性。这提醒我们，评估AI创新能力时必须考虑任务的具体特性。
**七、创新评估的技术挑战：如何量化"不同"**
衡量AI解决方案的新颖度是一个极具挑战性的技术问题。研究团队设计了一个基于AI代理的评估流程来解决这个难题，这个过程本身就体现了AI技术的巧妙应用。
整个评估过程分为两个阶段。第一阶段是特征提取，研究团队使用专门设计的提示词指导Codex模型读取每个解决方案的完整代码库，生成两个标准化产物：一个结构化的Markdown文件，用自然语言清晰描述解决方案的核心思想、数据处理流程和模型架构；一个LaTeX格式的伪代码文件，用算法格式概述解决方案的逻辑和关键步骤。这种抽象过程剥离了偶然细节，如文件布局或命名约定，专注于方法的本质。
第二阶段是相似性比较，系统使用另一个专门的比较提示词，让GPT-5扮演评审员角色，在六个固定的方法维度上评估两个解决方案的差异程度。这六个维度包括问题框架、方法论基础、模型架构、实验设计、算法选择和数据处理。对每个维度，AI分配一个0到4的离散分数，其中0表示"本质相同"，4表示"完全不同的范式"。
为了验证这个评估方法的可靠性，研究团队设计了两个验证实验。第一个实验使用了EquiBench数据集，该数据集包含功能等效但算法不同的代码对。结果显示，AI评估系统能够正确区分纯粹的表面变体和真正的算法差异，对表面变体给出接近零的距离分数，对算法变体给出显著更高的分数。
第二个验证实验收集了三个AI子领域的方法比较样本，每个样本包含一个参考方法、一个同范式内方法和一个跨范式方法。领域专家的人工评估结果与AI系统的评估结果展现出很高的一致性，相关系数接近完美水平。这表明AI评估系统不仅能够识别代码层面的变化，还能敏感地捕捉到研究者关心的范式转变。
**八、现实意义：从实验室到现实世界的桥梁**
InnoGym的意义远不止是一个学术评估工具。它为我们理解AI创新能力的本质提供了前所未有的深刻洞察，也为未来AI系统的发展指明了重要方向。
首先，这项研究揭示了当前AI系统在处理复杂现实问题时的根本局限性。虽然AI在标准化测试中表现出色，但面对需要长期迭代、多学科知识整合和创造性问题解决的真实科学工程挑战时，它们仍然显著落后于人类专家。这个发现提醒我们，通往通用人工智能的道路还很漫长，需要在系统稳健性和创新能力方面都取得突破。
更重要的是，研究揭示了创新的多维本质。真正的创新不仅仅是产生新奇的想法，更需要将这些想法可靠地转化为有效的解决方案。当前的AI系统虽然能够展现出相当的创造力，但往往缺乏将创新想法稳健实现的能力。这为AI研究指出了一个关键方向：如何在保持创造性的同时提升实现能力的可靠性。
从应用角度来看，InnoGym提供的评估框架有助于识别不同AI系统的优势领域。比如，某些系统可能更擅长数学优化类任务，而另一些可能在数据处理密集型任务上表现更好。这种细粒度的能力评估有助于在实际应用中选择最适合的AI助手。
研究还揭示了AI创新过程的时间特性。创新往往遵循一个从大胆探索到精细调优的自然轨迹，这与人类科学发现的过程很相似。理解这个过程有助于设计更好的AI训练策略和人机协作模式。
对于科学研究共同体而言，这项工作建立了评估AI创新能力的标准范式。随着AI系统在科学发现中扮演越来越重要的角色，需要有客观的方法来衡量它们的贡献价值。InnoGym提供的双维度评估框架——性能突破和方法新颖——为此提供了坚实基础。
说到底，这项研究向我们展示了AI创新能力评估的复杂性和重要性。就像培养一个真正的科学家需要的不仅是记忆课本知识，还需要培养独立思考和创造性解决问题的能力一样，开发真正智能的AI系统也需要我们超越简单的正确性测试，关注它们的创新潜力。当我们站在AI技术快速发展的十字路口时，InnoGym为我们提供了一个重要的路标，指向一个AI不仅能解决已知问题，更能发现和创造未知解决方案的未来。这种能力的实现，将真正开启AI助力人类探索未知、推动科学进步的新时代。
Q&A
Q1：InnoGym是什么？
A：InnoGym是由浙江大学团队开发的全球首个专门测试AI创新能力的评估框架。它不仅检查AI能否解决问题，更重要的是评估AI能否想出前人未曾想到的新方法，包含18个来自真实科学竞赛的挑战性任务。
Q2：为什么现有的AI评测不够用？
A：现有评测只关心答案对不对，就像只看考试分数而不关心解题方法。但真正的智能需要创造力——两个AI可能都答对了题目，但一个用标准方法，另一个用全新思路，后者显然更有价值。InnoGym同时评估性能突破和方法新颖度两个维度。
Q3：目前的AI在InnoGym上表现如何？
A：测试结果显示，没有任何AI系统能超越人类专家水平。虽然AI展现了一定创新能力，但主要瓶颈是稳健性不足——它们能产生新奇想法，却往往无法可靠地实现这些想法。这表明AI要成为真正的"发明家"还需要在可靠性方面取得重大突破。
