这项由浙江大学、腾讯混元、清华大学和香港大学联合团队开发的突破性研究于2025年11月发表于arXiv预印本平台（论文编号：arXiv:2511.13647v1），有兴趣深入了解的读者可以通过该编号查询完整论文。研究团队由来自四所知名院校的研究人员组成，其中浙江大学的王春实、腾讯混元的叶俊亮作为共同第一作者，清华大学的朱军教授、腾讯混元的郭春超博士担任通讯作者。

在当今数字化时代，三维世界的创建已经成为游戏开发、电影制作、建筑设计等众多行业的核心需求。然而，传统的3D建模就像用雕刻刀在石头上一点点凿出艺术品一样，既耗时又需要高度专业的技能。更令人头疼的是，即便创建出了3D模型，想要对其中某个特定部分进行精确修改，就如同在已经建好的房子里更换某一块砖头一样困难。

现在，腾讯混元团队带来了一个革命性的解决方案——Part-X-MLLM，这是一个能够像人类一样理解三维物体各个组成部分，并能根据自然语言指令进行精确创作和编辑的智能系统。就像一个拥有超能力的建筑师，它不仅能看懂三维物体的每个零件，还能按照你用普通话说出的要求，准确地添加、删除或修改任何部分。

这项研究的独特之处在于，它首次实现了真正意义上的"部件级"3D智能交互。传统的3D生成技术就像是只会制作整块蛋糕的烘焙师，虽然能做出漂亮的成品，但如果你想单独换掉上面的某个草莓装饰，就束手无策了。而Part-X-MLLM则像是一位经验丰富的糕点大师，不仅知道整个蛋糕的构造，还清楚每一层奶油、每一颗装饰果粒的位置和作用，能够根据你的要求精确地调整任何细节。

研究团队构建了一个包含85771个不同3D物体的庞大数据集，平均每个物体被细致地分解为23个独立部件。这些数据就像是为AI系统准备的超详细"解剖图谱"，让系统能够学会识别从汽车轮胎到人物头发等各种复杂物体的组成结构。通过这种训练，系统获得了前所未有的"空间理解能力"，能够像人类工程师一样准确定位每个部件的位置和功能。

一、双重感知系统：几何与外观的完美融合

传统的3D理解系统就像是一个只能看到物体轮廓的盲人，虽然能摸清楚形状，却无法分辨颜色和材质。Part-X-MLLM采用了一种全新的"双重感知"设计，就如同给系统装上了一对特殊的眼镜，左眼专门观察物体的几何结构（形状、大小、位置），右眼则专注于外观特征（颜色、纹理、材质）。

这种设计的巧妙之处在于避免了信息混淆。想象你在整理一个复杂的乐高积木套装，如果同时关注每块积木的形状和颜色，很容易搞混。但如果先按形状分类，再按颜色排序，就会清晰得多。Part-X-MLLM正是采用了这种"分工合作"的方式，让一个编码器专门处理点云的三维坐标和表面法向量信息，另一个编码器则负责处理RGB颜色信息。

研究团队发现，这种双编码器设计比传统的单编码器方法效果显著提升。在纯几何任务（如边界框检测）中，准确度提高了7.06%，在需要同时考虑几何和语义的复杂任务中，各项指标都有1-2%的稳定提升。这看似微小的改进，实际上代表了系统理解能力的质的飞跃。

二、程序化语言：让3D操作变成简单对话

Part-X-MLLM最令人惊艳的创新在于发明了一套专门的"程序化语言"。这就像是为3D世界创造了一套全新的"乐谱"，能够将复杂的三维操作转换成计算机能够精确理解和执行的指令序列。

这套语言使用特殊的标记符号来表示不同的操作。比如，用`<boxs>`和`<boxe>`包围的六个数字代表一个三维边界框的坐标，就像给每个物体部件画一个看不见的包装盒。当你说"把红色的杯子手柄换成蓝色"时，系统会生成类似于`<mods><box-45><box-73><box-48><box-81><box-117><box-78>蓝色的杯子手柄<mode>`的指令序列，其中边界框坐标精确定位了手柄的位置，而修改指令则告诉下游的3D生成系统该如何执行这个操作。

这种设计的天才之处在于将抽象的语言描述转换成了可执行的精确指令。就像音乐家将美妙的旋律记录成五线谱一样，Part-X-MLLM将你的3D创意想法转换成了机器能够理解和执行的"三维乐谱"。系统支持三种基本操作类型：添加新部件（`<adds>`）、删除现有部件（`<dels>`）、修改部件属性（`<mods>`），这三种操作组合起来就能实现几乎任何你想要的3D编辑效果。

更重要的是，这套程序化语言具有很强的通用性。由于输出的是标准化的指令格式，任何兼容的3D生成或编辑工具都能理解和执行这些指令。这就像是建立了一套3D创作的"通用语言"，让不同的软件和工具能够无缝协作。

三、智能部件聚合：从细节到整体的灵活控制

在实际应用中，用户对3D模型的详细程度需求千差万别。有时你只想看到"汽车的基本结构"，有时却需要精确到"左前轮的螺丝"。Part-X-MLLM通过一个巧妙的"语义聚合算法"解决了这个问题，就像是给3D模型装上了"变焦镜头"，能够在不同的细节层次之间自由切换。

这个算法的工作原理类似于整理家庭照片。首先，系统为每个部件的文字描述生成一个"语义指纹"（使用CLIP模型），就像给每张照片标上关键词标签。然后，它计算每个部件之间的相似度，将功能相近的部件归类到一起。比如，"左前门把手"和"右前门把手"会因为语义相似性被归为一类，而与"发动机"这样的部件区分开来。

系统还考虑了空间关系。即使两个部件功能相似，如果它们在空间上相距很远，系统也会智能地判断是否应该将它们合并。这种设计避免了不合理的聚合结果，比如不会把车头的大灯和车尾的尾灯错误地合并成一个部件。

通过调节算法的参数，用户可以控制聚合的程度。在演示案例中，一个包含22个精细部件的复杂3D模型可以逐步简化为18个、10个、6个，直到最后的2个主要组成部分。这种渐进式的简化过程保持了模型的结构合理性，就像是从显微镜下的细胞结构逐渐放大到器官，再到整个生物体的观察过程。

四、全方位任务处理：从理解到创作的完整链条

Part-X-MLLM的强大之处在于它能够处理3D交互中的各种不同任务，就像是一个全能的3D助手。在问答任务中，当你询问"这个篮子里有几根面包棒"时，系统不仅能给出准确答案，还会在回答中嵌入精确的边界框坐标，告诉你每根面包棒的具体位置。这种"带位置的回答"让对话变得更加精确和有用。

在生成任务中，系统能够根据文字描述创建全新的3D模型。比如，当你描述"一个有着红色车身和黑色轮胎的越野车"时，系统首先会规划出各个部件的边界框位置，然后将这些空间规划信息传递给专门的3D生成模块，最终创造出符合描述的三维模型。这个过程就像是先画出建筑蓝图，再按图施工一样有条不紊。

编辑任务展现了系统最令人印象深刻的能力。用户可以用最自然的语言描述想要的修改，比如"把这个角色的头发变成黑色，眼睛改成竖直的黑色眼睛"。系统会自动识别相关部件的位置，生成相应的编辑指令，然后调用下游的编辑工具完成实际的模型修改。整个过程对用户来说就像是与一个理解力超强的设计师对话。

研究团队还开发了一个特殊的应用——基于置信度的面片分割。系统在生成边界框时会为每个预测结果计算一个置信度分数，类似于医生诊断时的"确信程度"。通过分析这些置信度信息，系统能够将3D模型的表面智能分割成不同区域，为进一步的处理和分析提供基础。

五、训练策略：从几何理解到语义交互的进阶学习

Part-X-MLLM的训练过程采用了一个巧妙的"分阶段学习"策略，就像是教小孩学画画一样，先从基本的形状识别开始，再逐步增加颜色、细节和创意表达。

第一阶段专注于几何理解能力的建立。系统使用纯粹的几何数据（只有坐标和表面法向量，没有颜色信息）进行训练，学习如何准确定位和描述3D物体的各个部件。这个阶段就像是训练一个雕刻师的手感，让系统能够精确感知空间中的每个细节。训练数据包含360万个3D物体，系统需要学会为每个物体预测准确的部件边界框。

经过10轮训练后，系统建立了扎实的几何理解基础。此时，研究团队引入了第二个编码器来处理颜色和外观信息，并将整个系统与强大的Qwen 2.5 VL语言模型结合。这个阶段就像是给已经掌握了雕刻技艺的艺术家教授色彩理论和创意表达，让系统既能理解几何结构，又能进行自然语言交互。

训练过程中的一个关键创新是"冻结策略"。研究团队将第一阶段训练好的几何编码器权重冻结，只训练新加入的语义编码器和语言模型部分。这种做法保护了已经学会的几何理解能力，同时高效地增加新的语义理解功能，就像是在已有的扎实基础上添砖加瓦，而不是推倒重建。

第二阶段的训练数据更加丰富多样，涵盖了11种不同的任务类型，从简单的边界框检测到复杂的多部件定位，从文字描述生成到编辑指令创建。这种多样化的训练确保了系统能够处理实际应用中可能遇到的各种情况。

六、性能验证：在多个维度证明实力

为了全面评估Part-X-MLLM的性能，研究团队构建了一个名为UniPart-Bench的专门测试平台，就像是为这个AI系统设计的"综合能力考试"。这个测试平台包含400个精心挑选的3D物体，涵盖了11种不同的任务类型，从基础的几何理解到高级的语义交互，全方位检验系统的能力。

在边界框生成任务中，Part-X-MLLM展现出了显著优于现有方法的性能。与PartField和OmniPart等先进方法相比，系统在体素召回率、体素交并比和边界框交并比三个关键指标上都实现了4-8%的提升。这些数字看似不大，但在精密的3D定位任务中，每1%的提升都代表着定位精度的显著改善。

在语言理解和生成任务中，系统的表现更加出色。在部件级问答任务中，Part-X-MLLM在各项语言质量指标上都大幅超越了现有的最佳方法。特别是在SBERT和SimCSE两个衡量语义相似度的重要指标上，系统分别获得了18.7和25.5分的巨大优势，这表明它生成的回答不仅内容准确，而且更加自然流畅。

更令人印象深刻的是系统在整体物体理解任务中的表现。传统的3D理解系统往往专注于局部细节而忽视整体结构，就像是见树不见林。Part-X-MLLM则展现出了优秀的"全局视野"，在整体物体描述任务中同样取得了显著的性能提升，证明了其既能关注细节又不失大局观的均衡能力。

研究团队还进行了详细的消融实验，证实了双编码器设计的重要性。实验结果显示，相比于使用单一编码器处理所有信息的传统方法，双编码器设计在所有测试任务中都表现得更加出色，验证了"专业分工"策略的有效性。

七、实际应用展示：从概念到现实的转化

Part-X-MLLM的实际应用效果通过多个生动的案例得到了完美展示。在3D模型分解任务中，系统能够将复杂的物体智能地拆分成有意义的组成部分，就像是一个经验丰富的机械师在拆解精密设备。每个分解出的部件都有明确的边界和功能定义，为后续的编辑和处理奠定了坚实基础。

在编辑应用中，系统展现出了令人惊叹的精确控制能力。用户可以通过简单的自然语言指令实现复杂的3D编辑效果。比如，"把这个角色的裤子换成黑色牛仔裤"这样的指令，系统能够准确识别裤子部件的位置，生成相应的修改指令，并保持其他部分完全不变。这种精确的局部编辑能力在传统的3D编辑工具中往往需要大量的手工操作才能实现。

系统还展示了出色的语义粒度控制能力。在一个包含22个详细部件的复杂机械装置案例中，系统能够根据用户需求将这些部件逐步合并成更粗粒度的组件。这个过程就像是调节显微镜的倍数，从最细致的零件视图逐步放大到主要组件视图，每个层次都保持着合理的结构划分。

特别值得一提的是系统的置信度分割功能。通过分析自身预测的置信度分布，系统能够自动识别3D模型表面的不同区域，为每个区域分配不同的处理策略。这种"自我反思"的能力让系统不仅能够执行任务，还能评估自己执行的质量，为进一步的优化提供了可能。

八、技术创新的深层意义

Part-X-MLLM的成功不仅仅体现在性能指标的提升上，更重要的是它代表了3D智能交互领域的一次范式转变。传统的3D处理系统就像是只会按照固定程序工作的机器人，虽然能够完成特定任务，但缺乏灵活性和适应性。Part-X-MLLM则像是一个真正理解3D世界的智能助手，能够根据不同的需求和情境做出合适的响应。

系统的程序化语言设计具有深远的影响。这套语言不仅解决了当前的3D交互问题，还为未来更复杂的3D智能应用奠定了基础。就像HTML之于网页、SQL之于数据库一样，这套3D操作语言有望成为3D智能交互的通用标准，让不同的系统和工具能够无缝协作。

双编码器架构的成功也为其他多模态AI系统提供了宝贵的设计经验。这种"分而治之"的策略证明了在处理复杂多维信息时，专门化的编码器比通用编码器更加有效。这一发现可能会影响未来多模态AI系统的设计思路，推动更多专业化架构的发展。

系统的模块化设计理念同样具有重要意义。通过将规划和执行分离，Part-X-MLLM能够与各种不同的3D生成和编辑工具配合使用。这种设计哲学促进了AI系统的互操作性，避免了"重新发明轮子"的资源浪费，让研究者可以专注于自己最擅长的领域。

研究团队构建的大规模数据集也为整个3D AI研究社区做出了重要贡献。这个包含85771个物体和平均23个部件标注的数据集，为后续的研究提供了宝贵的基础资源。更重要的是，团队开发的自动化标注方法为大规模3D数据处理提供了可行的解决方案。

说到底，Part-X-MLLM代表了我们向真正智能的3D交互系统迈进的重要一步。它不仅仅是一个技术工具，更是一个能够理解人类意图、精确执行3D操作的智能伙伴。随着这类技术的不断发展和完善，我们有理由相信，未来的3D创作将变得像现在的文字处理一样简单直观。

从游戏开发到建筑设计，从电影制作到工业设计，Part-X-MLLM展现的能力预示着各个行业的工作方式都将发生深刻变化。设计师们将能够通过简单的语言描述快速实现复杂的3D创意，而不需要掌握复杂的专业软件操作技巧。这种技术民主化的趋势将释放出更多人的创造潜力，让3D创作真正成为人人可及的技能。

当然，这项技术目前还存在一些限制。长序列的生成会影响推理速度，基于边界框的分割还相对简单，针对3D任务的微调可能会削弱基础语言模型的通用能力。但这些问题都是技术发展过程中的正常现象，随着算法的不断优化和硬件性能的提升，这些限制很可能在不久的将来得到解决。

Part-X-MLLM的出现标志着我们正在进入一个全新的3D智能时代。在这个时代里，创造和编辑三维世界将变得像与朋友聊天一样自然，每个人都能成为3D世界的设计师和建造者。这项由腾讯混元团队主导的研究，不仅推动了学术界对3D智能交互的理解，更为整个行业的未来发展指明了方向。

Q&A

Q1：Part-X-MLLM是什么技术？

A：Part-X-MLLM是腾讯混元团队开发的一个智能3D创作系统，它能够像人类一样理解三维物体的各个组成部分，并根据自然语言指令进行精确的3D模型生成和编辑。就像一个拥有超能力的建筑师，能够准确识别和操作3D物体的每个细节部件。

Q2：Part-X-MLLM的双编码器设计有什么优势？

A：双编码器设计就像给系统装上了一对专业眼镜，一个编码器专门处理几何结构（形状、大小、位置），另一个专门处理外观特征（颜色、纹理、材质）。这种分工合作的方式避免了信息混淆，在各类任务中都比传统单编码器方法表现更优秀。

Q3：普通用户如何使用Part-X-MLLM进行3D创作？

A：用户只需要用自然语言描述想要的3D模型或修改要求，比如"创建一个红色车身黑色轮胎的越野车"或"把角色的头发改成黑色"，系统就会自动理解并生成相应的3D内容。整个过程就像与一个理解力超强的设计师对话一样简单直观。