13.2 基于基础模型的机器人控制：探索感知、规划与执行的智能融合

13.2.1 引言：基础模型带来的范式扩展

长期以来，机器人控制系统的设计遵循着模块化范式：感知模块（如目标检测、位姿估计）将原始传感器数据转化为结构化信息；规划模块（如路径规划、任务规划）根据信息和目标生成动作序列；执行模块（如运动控制器）驱动关节完成动作。这种架构虽然逻辑清晰，但各模块间的“语义鸿沟”与“误差累积”问题显著，且系统泛化能力严重依赖于各模块预定义的能力边界。

以ChatGPT、GPT-4为代表的大型语言模型（LLMs）和以CLIP、Flamingo为代表的视觉-语言模型（VLMs）的崛起，标志着“基础模型”时代的来临。这些模型在海量跨模态数据上预训练，形成了对世界知识、语义关系和上下文逻辑的强大编码能力。将此类基础模型的能力引入机器人领域，旨在利用其强大的语义理解、逻辑推理和生成能力，弥合任务指令与低层动作之间的巨大差距，从而构建能够理解开放指令、适应动态场景的通用型机器人系统。本节将系统探讨LLMs与视觉-语言-动作（VLA）模型如何分别从高层任务规划与端到端技能生成两个层面，重塑机器人控制架构。

13.2.2 大型语言模型在机器人任务规划中的应用

LLMs的核心优势在于其处理自然语言指令、进行多步推理和利用常识知识的能力。在机器人任务规划中，其角色并非直接输出关节力矩，而是作为一个高层任务分解与逻辑规划器，将模糊的用户指令转化为机器人可执行的、结构化的动作序列或代码。

13.2.2.1 应用范式：从指令分解到代码生成

LLMs在任务规划中的应用主要体现为两种技术路径：

高层动作序列生成：LLM将自然语言指令（如“给我拿一罐冰可乐”）分解为一系列原子操作。这些操作通常定义在一个预先设定的“技能库”中，例如：NavigateTo(kitchen),FindObject(cooler),OpenDoor(cooler),Grasp(coke_can),ReturnTo(user)。SayCan等研究将LLM对每个动作的语义似然度，与一个独立的价值函数（评估该动作在当前物理状态下是否可行）相结合，实现“语言指导下的可行性规划”，有效减少了LLM的“幻觉”问题。
基于代码的规划：LLM被用于生成可执行的控制代码（如Python脚本）或领域特定语言（DSL）程序。例如，用户指令“让机械臂将红色积木推到蓝色积木左边”可能被转化为一段包含视觉检测（检测红色/蓝色物体）、运动规划（计算推动路径）和控制循环的代码框架。这一范式将LLM定位为“机器人程序员”，其输出需在仿真或实际环境中解释执行。

13.2.2.2 关键技术与集成架构

有效利用LLM进行规划，需要解决其与机器人物理世界的“接地”问题。一个典型的集成架构包含以下组件：

场景描述器：将当前机器人的多模态感知状态（如物体检测列表、场景图、环境属性）转化为富含语义的自然语言描述，作为LLM的上下文输入。
技能库与API封装：将机器人的底层能力（如移动、抓取、视觉查询）封装为LLM可理解和调用的函数或API。LLM通过思维链（CoT）或函数调用（Function Calling）技术，学习在何种情境下调用何种技能。
可行性验证与重规划：LLM提出的计划必须通过一个基于物理模型或经验规则的验证模块进行筛选。不可行的子计划将被驳回，并反馈给LLM进行重新规划，形成闭环。

此架构的核心思想是“LLM作为推理大脑，传统控制与感知模块作为可靠的小脑与感官”。LLM负责高层的语义理解和序列逻辑，而低层的稳定性、安全性和精确性仍由经典控制方法保证。