基于大模型的具身智能系统综述

基于大模型的具身智能系统控制层级

#

🔼 该图展示了基于大模型的具身智能系统中，控制的四个主要层级：需求级、任务级、规划级和动作级。这四个层级构成了从用户高级指令到机器人具体动作的完整控制框架。需求级侧重于理解用户意图，将用户的模糊需求转化为可执行的任务目标，例如用户说“帮我整理房间”，系统需要理解用户真正想要的是哪些物品需要归位，并据此形成明确的任务清单。任务级负责执行具体的子任务，例如抓取物体、导航到指定位置等，它是对需求级的进一步细化，为规划级提供了明确的执行目标。规划级则在此基础上，根据环境状态和任务目标，生成详细的行动计划，例如，规划机器人如何从当前位置移动到目标位置，并且避开障碍物，以及如何抓取指定物体。动作级直接控制机器人的物理运动，例如控制机械臂的关节角度，执行抓取、放置等动作。从需求级到动作级，控制的粒度逐渐细化，抽象程度逐渐降低。大模型在这些层级中的参与方式也各有侧重，大模型更擅长高层级的需求理解和任务规划，而在低层级的动作控制中，更依赖传统的机器人控制技术。此外，该图还明确了基元级和伺服级，这两个层级主要由传统机器人技术负责，例如电机的驱动控制、传感器的数据采集。总而言之，该图清晰地展示了基于大模型的具身智能系统的分层控制结构，以及大模型和传统机器人技术在不同控制层级中的角色分工，强调了多层级协同控制对于实现智能机器人能力的重要性。

具身智能工作概览

#

🔼 该图为一篇关于基于大模型的具身智能综述文章中的图1，展示了当前基于大模型的具身智能研究工作的总体框架。该图以思维导图的形式呈现，将具身智能的研究领域划分为多个关键维度，并列举了每个维度下的代表性工作。

图的最左侧标明了核心概念“具身智能”，并从这个核心概念出发，延伸出四个主要的研究方向：感知与理解、控制层级、系统架构和数据来源。在“感知与理解”方面，图表进一步细分了多模态理解、可供性与约束、多模态环境建模以及人类反馈四个子方向，并列出了如3D-VLA、AffordanceLLM、C2F-ARM、OLAF等代表性的研究工作。这些工作分别探索了如何利用大模型处理多模态信息、理解物体可交互的特性、构建环境的语义模型以及利用人类反馈来优化机器人行为。

在“控制层级”方面，图表将控制分为需求级、任务级、规划级和动作级四个层级，并分别列出了如Text2Motion、VILA、VoxPoser和Prompt2Walk等代表性的研究工作。这些研究分别关注如何理解用户需求、执行具体任务、进行任务规划和控制机器人的具体动作。

“系统架构”维度则区分了基于Transformer的架构和冻结参数的大模型结合基础模型的架构，并列举了如RT-1、TidyBot等代表性工作。前者强调端到端的模型学习，后者则侧重于利用预训练模型进行特定任务的优化。

“数据来源”维度列出了模拟器、模仿学习和视频学习这三种主要的数据来源方式，并列举了如Robogen、Aloha、MineDojo等代表性工作。这些工作分别探索了如何利用模拟环境、人类演示和互联网视频来训练具身智能模型。

总体而言，该图清晰地展示了基于大模型的具身智能研究领域的整体结构，以及各个子方向的研究进展。通过此图，读者可以快速了解该领域的研究热点和主要挑战，以及不同研究工作的侧重点和创新点。该图不仅是对现有工作的总结，也为未来的研究提供了有价值的参考。

VoxPoser 方法示例

#

🔼 该图展示了 VoxPoser 方法中用于机器人操作的 3D 价值地图的可视化示例。图中显示了一个包含餐具、食物和人物的桌面场景，并覆盖了两个交叉的网格平面，网格平面上的颜色编码代表了不同位置的可操作性。蓝色箭头表示机器人末端执行器在操作过程中的可行路径。这个可视化示例突出了 VoxPoser 方法利用 3D 价值地图指导机器人运动规划的关键思想，通过 3D 价值地图，机器人可以理解不同位置的优先级，从而进行更有效的操作。该方法结合了大语言模型和视觉语言模型，提取环境的可供性，并合成机器人轨迹，实现了对日常操作任务的灵活、零样本执行。Affordance map（可供性地图）突显了机器人最容易执行对应动作的区域，吸引力较大的区域说明这里是执行特定动作的最佳位置，例如抓住物品或转动旋钮。Avoidance Map （回避地图）则用于指示机器人应尽量避免进入或接近的位置，高值区域提示机器人应当回避的障碍或其他不希望接触的对象。在运动规划阶段，VoxPoser 首先依据 Affordance map 与 Avoidance map 进行贪心搜索，寻找一系列无碰撞的末端执行器位置，并结合其他类型的地图（如旋转、速度和夹爪状态等）进一步细化每个位置上的参数设定。该方法的核心贡献在于利用大模型提取环境信息，并将其用于机器人的运动规划，使得机器人可以在复杂的环境中完成任务。

具身智能控制层级

#

🔼 该图清晰地展示了具身智能系统的控制层级结构，并突出了大模型在其中的作用。整个控制流程被划分为由上至下的多个层级，每个层级都有明确的功能和责任。从图中可以看出，控制过程由两个主要部分组成：大模型赋能部分和传统控制部分，这反映了当前具身智能系统融合了先进人工智能技术和传统控制方法的特点。

大模型赋能部分主要负责高层决策和规划，包括需求级、任务级、规划级和动作级。在需求级，大模型首先理解用户的需求，然后将其分解为机器人可以执行的具体任务。例如，图中给出的例子是“我渴了，需要喝水”，表明系统需要理解用户的意图。在任务级，系统将复杂任务分解为多个子任务，如“导航至水杯”、“抓取水杯”和“导航至用户”，这些子任务更接近于机器人可以执行的动作。规划级则负责运动规划和路径规划，以确保机器人能够以最优的方式完成任务，例如抓取运动规划和导航路径规划。最后，在动作级，大模型输出末端执行器的坐标和关节角度，指导机器人执行具体的动作。

传统控制部分则负责低层次的控制，包括基元级和伺服级。基元级主要负责控制率的调整，通过轨迹插值和调节增益来决定运动轨迹和控制策略。伺服级则生成控制信号，计算伺服误差，并驱动伺服电机以实现精确的运动控制。该图还列举了每个控制层级的代表性工作，如需求级的SayCan、任务级的ViLA、规划级的VoxPoser和动作级的RT-1，这些工作均为各自层级的代表。

总而言之，该图通过层次化的结构，清晰地阐述了具身智能系统的控制流程，以及大模型与传统控制方法如何协同工作，共同完成复杂的机器人任务。这种分层控制的思想，使得系统可以更好地利用大模型的推理能力和传统控制方法的精确性。

VoxPoser轨迹生成示意图

#

🔼 这张图片展示了VoxPoser方法在机器人操作中的应用，该方法利用大语言模型和视觉语言模型提取环境可供性，并合成机器人轨迹。图中，一个机械臂正准备执行某项操作，画面中央的花瓶和旁边的物体构成了操作的环境，而橙色的虚线则表示机械臂的运动轨迹。VoxPoser方法的关键在于使用3D价值地图来指导机器人的行动。Affordance map(可供性地图)突出了环境中机器人最容易执行特定动作的区域，而Avoidance map(规避地图)则标识了机器人应该避免接近的区域。图中橙色的轨迹线巧妙地避开了花瓶，这表明了规划过程考虑了障碍物，并生成了一条合理的、无碰撞的轨迹。该方法展示了如何通过结合大模型与3D环境信息来实现复杂操作任务的灵活执行，为机器人如何理解并操作物理世界提供了很好的示例。这张图强调了机器人在理解环境、规划路径以及进行操作时所涉及的认知和执行过程，体现了具身智能体在复杂任务中的自主性和适应性。此外，图中还显示出该方法可以有效地处理复杂场景并进行路径规划，突出了该方法在机器人操作领域的实用价值。

具身智能系统架构示例

#

🔼 该图展示了两种典型的具身智能系统架构：RT-1 和 TidyBot。图 (a) 展示了 RT-1 系统的架构。该系统接收自然语言指令和多张图像作为输入，通过 FiLM 模块对图像特征进行处理，并使用 EfficientNet 提取视觉特征。TokenLearner 模块将这些特征转换为 tokens，然后输入 Transformer 进行处理。最后，系统输出动作指令，包括模式选择、机械臂控制和底座运动，以控制机器人的实际操作。RT-1 系统的核心在于使用端到端的 Transformer 模型，直接从多模态输入映射到机器人控制指令，能够实现较快的控制频率（3Hz），使其适用于实时控制场景。图 (b) 展示了 TidyBot 系统的架构。该系统首先通过 ViLD 模型进行物体检测，并获取最近物体和以自我为中心的图像。随后，CLIP 模型用于物体分类，并将其输入到大语言模型（LLM）中，以确定物体的放置位置以及选择对应的操作基元，例如“回收箱”和“抛掷”。TidyBot 架构结合了视觉感知、物体分类和语言模型，以实现更高级别的决策，从而完成具体的任务，例如整理物品。 这两种架构代表了具身智能系统中两种不同的设计思路，RT-1 侧重于端到端的直接控制，而 TidyBot 则更关注结合多种模型进行逐步分析和决策。

具身智能数据集汇总

#

🔼 该图展示了一个关于具身智能研究的数据集汇总。图中呈现了多个由不同研究机构和实验室贡献的数据集，并以视觉化的方式展现了这些数据集所包含的多种具身智能任务和场景。整体来看，这张图主要通过图像拼接的方式展示了不同的具身智能任务，包括但不限于抓取、放置、堆叠、倒水、路径规划等。图像中的文字标注提供了每个任务的简要描述，有助于快速理解每个数据集的侧重点。例如，左侧的“Jaco play”和“ALOHA”数据集展示了机器人手臂在执行精细操作任务时的场景，而右侧的“Bridge”和“RT-1”数据集则展示了更复杂的环境交互任务。中间部分突出了一个包含100万集数据，由34个研究实验室和21个机构共同贡献的大型数据集，其中包含22种不同的机器人形态、527种技能和60个不同的数据集，数据规模庞大，覆盖了大量的具身智能任务，体现了该领域研究的活跃程度。图中的统计数据也表明，这些数据集涵盖了大量的属性、物体和空间关系，反映了具身智能研究的复杂性和多样性。从视觉要素上分析，该图的布局较为紧凑，不同数据集的图像紧密排列，使用不同的颜色和边框区分不同的数据集，便于浏览和查找。每个数据集的图像都选取了代表性的场景，可以直观地展示该数据集的特点。总的来说，此图旨在直观地呈现具身智能领域多样化的数据集和任务，为研究人员提供了一个快速了解该领域数据资源概貌的入口。图中强调了数据集的规模、多样性和复杂性，反映了当前具身智能研究的热点和发展趋势，同时也突出了该领域对大规模数据和多模态理解的迫切需求。这些数据集的构建和发布，对于推动具身智能的进一步发展起到了关键性的作用。

大模型赋能具身智能系统

#

🔼 本图为一篇关于基于大模型的具身智能系统综述的论文中，对全文工作进行总览的图示。图 1展示了该领域的主要研究方向和热点问题。图中包含多个圆形节点，每个节点代表一个或多个相关研究工作，节点之间通过带箭头的连线表示研究之间的逻辑关系或者发展脉络。这些节点围绕着“大模型赋能具身智能”这一核心主题展开，清晰地展示了该领域的研究脉络和主要研究分支。

具体来看，图中的节点涵盖了多种类型的大模型，如大语言模型（LLM）、大型视觉模型（LVM）以及多模态大模型（LMM）。这些模型被应用于具身智能系统的不同层面，包括感知、理解、决策和控制等方面。例如，部分节点可能代表了利用LLM进行任务规划的研究，另一部分则可能表示使用LVM进行环境感知或对象识别的工作。此外，图中还展示了一些具体的应用场景，如机器人操作、导航以及人机交互，这些场景都是具身智能技术的重要应用领域。

图中的箭头连接线则反映了不同研究方向之间的相互影响和递进关系。一些节点可能指向多个其他节点，表示该工作对多个领域都产生了影响；而另一些节点则可能由多个节点指向，表示该工作综合了多个研究方向的成果。整体而言，这张图清晰地呈现了该领域的研究生态，有助于读者理解大模型在具身智能系统中的作用及其发展现状。

通过该图，读者可以快速了解当前研究的热点和主要方向，例如多模态信息融合、基于大模型的控制策略以及复杂环境下的具身智能应用。该图也揭示了未来可能的研究方向，例如如何更好地利用大模型的推理能力、如何提高具身智能系统的泛化性和鲁棒性等。

具身智能系统架构图

#

🔼 该图（图1）为基于大模型的具身智能系统研究的综述性文章中的工作总览图，旨在概括目前该领域的主要研究方向和进展。图中将现有工作按照时间线大致排列，并用线条将不同的研究方向联系起来，形成了一张复杂的知识网络图，旨在向读者展示基于大模型的具身智能系统的发展脉络，并突出该领域内的关键研究成果。图中的每一个节点都代表一个特定的研究成果，节点之间的连线则代表这些研究成果之间的相互关联，例如方法上的借鉴或是概念上的延续。此图不仅对当前的研究进行了一个全面的概括，而且为未来的研究方向提供了参考，通过展示不同研究方向的联系和演变，能够帮助研究人员更好地理解该领域的研究现状，从而更有针对性地进行创新研究。这张图的呈现方式清晰地表明了从早期的大模型探索到目前结合具身智能应用的深入研究，也体现了该领域研究的不断发展和演化，为相关领域的研究人员提供了很好的参考价值，整体呈现效果对读者理解研究脉络有一定帮助。

具身智能系统控制层级

#

🔼 该图展示了基于大模型的具身智能系统的控制层级，将控制过程分为需求级、任务级、规划级、动作级、基元级和伺服级。需求级主要负责理解用户需求，将高级目标分解为可执行的任务；任务级则负责完成具体的子任务，如抓取、导航等；规划级负责根据环境观察动态地规划具身系统的动作；动作级则输出具体的动作序列，如关节角度或末端执行器的位姿；基元级和伺服级则属于更底层的控制，负责具体执行。大模型主要参与高层级的控制，如需求理解、任务分解和动作规划，而传统的机器人控制方法则更适用于底层的基元级和伺服级控制。该图有助于理解大模型在具身智能系统中的作用和不同控制层级之间的关系，说明了大模型主要在高层决策中发挥作用，与传统机器人控制方法相互补充，共同实现复杂的具身智能任务。这种分层控制的方法能够结合大模型的强大推理能力和传统控制方法的精确性，提高了具身智能系统的性能和可靠性。

具身智能系统控制层级图

#

🔼 该图展示了基于大模型的具身智能系统的控制层级结构。从图中可以看出，控制层级由高到低依次分为需求级、任务级、规划级、动作级、基元级以及伺服级。需求级是最高层，负责理解用户需求并将其转化为可执行的任务目标；任务级则负责将大的任务分解成一系列具体的子任务；规划级基于环境信息和任务目标生成详细的行动计划和轨迹；动作级则将规划转化为具体的机器人动作指令；基元级则负责执行基本的机器人运动单元；最底层的伺服级则负责精确控制机器人的运动。该图揭示了大模型在不同层级所扮演的角色，大模型主要参与较高层的控制，如需求理解、任务分解和动作规划，而底层则由传统的机器人控制方法处理。例如，大模型可以通过自然语言理解用户的需求，生成高层次的计划，然后由规划器转换为具体的路径和动作，最后再由底层的控制系统执行。这种分层控制结构使得具身智能系统能够更有效地处理复杂的任务，并且更好地整合了人工智能的感知和决策能力以及机器人控制的执行能力。该图清晰地展示了具身智能控制系统的层次性以及大模型与传统机器人控制技术的协同作用。

大模型在具身智能中的应用层级

#

🔼 该图展示了大模型在具身智能系统中应用的四个主要控制层级，分别为需求级、任务级、规划级和动作级。这些层级由高到低排列，体现了控制的抽象程度和具体程度的差异。需求级位于最高层，负责理解用户需求，将用户的模糊意图转化为具体的任务目标；任务级则将这些目标进一步细化为可执行的具体任务，如抓取、导航等；规划级根据当前环境和任务目标，生成具体的行动计划和轨迹；动作级则直接输出控制指令，驱动机器人执行动作。图中还提及了基元级和伺服级，这两者属于传统机器人学控制的范畴，通常不直接由大模型控制。图示的箭头方向表明信息和控制的传递流程，即从需求级开始，层层向下传递，最终由伺服级执行具体操作，这有助于理解大模型在具身智能系统中的角色和作用。整体而言，这张图简洁明了地呈现了大模型在具身智能系统中的分层控制架构，帮助读者快速理解不同层级的功能和相互关系，为深入理解该领域提供了清晰的框架。这四个层级的划分反映了当前大模型在具身智能应用中的主要方式，即大模型更多参与高层决策和规划，而具体的执行仍然依赖于传统的控制方法。这也暗示了未来研究的一个方向，即如何让大模型更深入地参与到低层控制中，实现更高效的端到端控制。