大型语言模型（LLM）在机器人领域的机遇、挑战与展望

admin

摘要—大型语言模型（LLMs）经历了显著的扩展，并且越来越多地被整合到各个领域中。特别是在机器人任务规划领域，LLMs利用其先进的推理和语言理解能力，根据自然语言指令制定精确高效的行动计划。然而，对于具体化的机器人任务，即机器人与复杂环境互动的任务，仅文本的LLMs常常因为缺乏与机器人视觉感知的兼容性而面临挑战。本研究提供了一个全面的概述，介绍了LLMs和多模态LLMs如何被整合到各种机器人任务中。此外，我们提出了一个框架，该框架利用多模态GPT-4V通过结合自然语言指令和机器人视觉感知来增强具体化任务规划。我们基于多样化数据集的结果显示，GPT-4V有效地提高了机器人在具体化任务中的性能。对LLMs和多模态LLMs在各种机器人任务中的广泛调查和评估丰富了对以LLM为中心的具体化智能的理解，并为弥合人-机器人-环境交互中的差距提供了前瞻性的见解。

I. 引言
随着预训练模型在模型规模和数据量上的扩展，一些大型预训练模型在一系列复杂任务上展现出了显著的能力[1]，[2]。大型语言模型（LLMs）因其卓越的上下文涌现能力[2]–[10]在各个领域引起了广泛关注。这种新兴能力以前所未有的方式赋能了人工智能算法，重塑了人们使用人工智能算法的方式，并促使人们重新评估人工通用智能（AGI）的可能性。

随着LLMs的快速发展，指令调整和对齐调整已成为适应特定目标的主要方法。在自然语言处理（NLP）领域，LLMs在一定程度上可以作为语言相关任务的通用解决方案[3]，[5]，[11]–[13]。这些基于变换器的大型模型在多个领域取得了非凡成就[14]–[17]，深刻改变了人工智能的最新状态[3]，[12]，[18]–[26]。研究范式也转向了解决子领域特定问题。在计算机视觉（CV）领域，研究人员也在开发类似于GPT-4和Gemini的大型模型[27]，[28]，这些模型融合了视觉和语言信息，从而支持多模态输入[29]。这种增强LLMs的策略不仅提高了它们在下游任务中的性能，而且通过确保与人类价值观和偏好的一致性，对机器人学的发展具有重要的指导意义。这种方法已在众多领域得到广泛采用[7]，[29]–[32]，甚至在卷积神经网络（CNNs）是主要技术[33]–[40]的领域也是如此。

LLMs处理和内化大量文本数据的能力为提高机器的理解和自然语言分析能力提供了前所未有的潜力[41]，[42]。这扩展到了理解手册和技术指南等文档，并将这些知识应用于进行连贯、准确和与人类一致的对话[43]–[45]。通过对话，自然语言指令从文本提示转化为机器可理解的代码，触发相应的动作，从而使机器人在适应各种用户命令方面更加灵活和适应性强[46]–[48]。将现实世界的传感器模态整合到语言模型中，有助于建立单词和感知之间的联系，使它们能够应用于各种特定任务。然而，仅文本的LLMs缺乏对物理世界的体验性暴露和观察的经验性结果，这使得它们在特定环境中的决策制定中难以应用。因此，将多模态性整合到LLMs对于有效执行机器人任务至关重要。此外，机器人学领域呈现出更为微妙的任务变化。与可以从互联网上获取大量数据集的NLP和CV不同，获取用于机器人交互的大型和多样化数据集是具有挑战性的[49]。这些数据集通常要么专注于单一环境和对象，要么强调特定任务领域，导致它们之间存在显著差异。[50]这种复杂性在将LLMs与机器人学整合时带来了更大的挑战。

如何克服机器人技术带来的挑战，并利用LLMs在其他领域的成就来造福机器人学领域，是本综述所要解决的核心问题。在本文中，工作的贡獻可以总结为四个主要点：

– 我们仔细调查并综合现有的LLM机器人文献，探索三个不同任务类别中的最新进展：规划、操作、推理。

– 我们总结了LLMs为机器人学领域提供的主要技术方法，检查了训练通用机器人策略的潜力，并为该领域的研究人员提供了基础调查。

– 我们评估了多模态GPT-4V在各种环境和场景中机器人任务规划的有效性。

– 我们总结了我们调查的主要发现，讨论了未来工作中需要解决的突出挑战，并提出了前瞻性的观点。



图1. 提出的GPT-4V赋能的具体化任务规划框架。我们使用视频数据的初始帧及其对应的文本指令作为输入。我们的框架利用GPT-4V将指令分解为一系列任务计划，并从预定义的动作池中选择相应的表示。同时，我们可以分析与指令相关的目标对象以及指令前后图像中的环境变化。最后，我们使用GPT-4V比较并评估我们生成的任务计划与真实计划的匹配程度。

II. 相关工作
A. 机器人领域的LLM
基于LLMs的机器人学研究领域已经取得了重大进展。这些模型展现出了卓越的自然语言理解和常识推理能力，显著提升了机器人理解上下文和执行命令的能力。当前的研究集中在利用LLMs解析复杂的上下文和指令，包括解决歧义、消除歧义和理解隐含信息。该领域的关键进展包括视觉-语言模型的发展[51]–[53]，这些模型显著提高了视觉问答[54]–[56]和图像描述[57]，[58]等任务的性能。这些进步极大地增强了机器人在物理世界中的推理能力，特别是在复杂命令导航等领域。[59]，[60] 通过视觉语言处理系统，机器人能够理解图像内容，并将其与相关语言信息（如图像描述和指令执行）整合。这种多模态信息处理同样应用于音频-视觉整合中。LLMs在人-机器人交互中的另一个重大进展是通过互动学习过程实现的，这些过程更好地符合人类的需求和偏好。例如，通过将强化学习与人类反馈相结合，机器人可以持续改进它们的任务执行，通过结合人类指导和大型语言模型，机器人可以更精确地细化指令，从而更好地实现自主学习和环境适应，以实现更准确和有针对性的控制。机器人还可以通过互动学习和适应用户的行为、偏好和需求，提供更个性化和定制化的交互体验。这些进步不仅增强了机器人技术的实用性，而且为未来的人与人之间的交互开辟了新的可能性。

B. 使用LLMs进行多模态任务规划
LLMs领域内的多模态任务规划构成了人工智能学科的一个复杂交叉点，涉及整合各种不同的数据模态——如文本、视觉和听觉输入——以促进更全面和细致的AI驱动分析[61]–[65]。

这种跨学科方法超越了LLMs的传统界限，后者主要关注文本理解和生成，迎来了一个新时代，在这个时代中，这些模型擅长于解释、关联和同时与多个数据流互动。在这个背景下，LLM的角色从单纯的语言处理演变为更整合性的功能，综合并响应复杂的数据交互。在LLMs的多模态任务规划领域，最近的进步如Inner Monologue和SayCan项目所示，展示了该领域的复杂性和成熟度的增长。Inner Monologue的方法[65]代表了该领域的重大飞跃，因为它整合了来自环境的多模态反馈源。这种整合使得生成更可靠、更具上下文意识的任务规划成为可能，协调不同的感官输入以创造对AI周围环境的更连贯理解。同样，SayCan的框架[61]为LLM应用引入了一个新维度。该系统将LLMs作为模型的“手和眼睛”的代理，生成最优的长期指令，并有效地评估当前场景中指令的可行性概率。这种方法不仅增强了AI理解和与其直接环境互动的能力，而且还利用LLMs的细致理解来规划和执行复杂动作序列的长期任务。

Inner Monologue和SayCan中这些先进技术的整合代表了在创建AI系统中迈出了重要的一步，这些系统不仅更加意识到多个数据流，而且还能够将这些流合成为可操作的智能。这一进展指向了一个未来，AI可以在一个更加动态、上下文意识和自主的方式中导航和与真实世界互动[61]，[65]–[67]，推动AI驱动创新和跨学科综合的边界。

III. 机器人任务的范围
A. 规划
1) 自然语言理解：在机器人规划中，大型语言模型因其先进的自然语言理解能力而表现出色。它们将自然语言指令翻译成机器人可执行的动作序列，这是机器人规划的一个关键方面[61]，[68]。本研究显示，LLMs能够仅基于语言指令生成准确的动作序列，即使没有视觉输入[69]。然而，当有少量视觉信息时，它们的性能会显著提高，使它们能够创建精确的视觉-语义计划。这些计划将高级自然语言指令转化为虚拟代理执行复杂任务的可操作指导。这种能力强调了LLMs整合多模态信息的潜力，从而提高了它们的理解能力。它还展示了它们解释和整合来自各种模态的信息的能力，从而更全面地理解任务[70]。此外，关于从大型语言模型生成动作序列以进行自然语言理解的研究进一步证实了LLMs在机器人规划中的有效性。LLMs在解释与物理环境同步的自然语言命令方面也显示出巨大的潜力。采用Grounded Decoding方法，它们可以产生与物理模型概率一致的行为序列，展示了该方法在机器人规划任务中的有效性[71]。

在复杂序列任务规划方面的研究突出了LLMs能力的重大进步。Text2Motion的研究显示，LLMs不仅擅长处理语言信息，而且能够解决技能序列中的依赖关系[72]。这是通过几何上可行的规划实现的，标志着在解释抽象指令和理解复杂任务结构方面的一个重要进步。此外，LLM-Planner研究通过将LLMs与传统规划器集成，增强了LLMs在机器人规划中的自然语言理解能力[73]。这种协同作用展示了如何利用LLMs的NLP能力来提高规划任务的效率和精确性。此外，LLM+P利用传统规划器的能力，使用规划领域定义语言（PDDL）和问题提示来为LLMs创建特定任务的问题文件[44]。这种整合显著提高了LLMs在处理长期规划任务方面的有效性。另外，SayPlan通过集成经典路径规划器来解决规划视野问题。通过这样做，SayPlan能够将从抽象和自然语言指令派生出的大规模、长期任务计划具体化，使移动操作机器人能够成功执行它们[74]。此外，LLMs在搜索算法中作为启发式策略以及作为常识知识的储备库方面显示出潜力。LLMs的这种双重角色不仅增强了这些算法内的推理能力，而且还有助于预测潜在结果。这种方法充分利用了LLMs的潜力，利用它们先进的推理能力有效地规划复杂任务[66]。这种双重应用强调了大型语言模型在任务规划和问题解决中的广泛和多功能潜力。

关于LLMs的研究展示了它们解析和理解自然语言的显著能力。这种能力超越了单纯的文本匹配，达到了深刻的语义理解，包括任务的目的和上下文。LLMs的一个关键方面是将它们理解的指令转化为机器人可执行的动作序列，这是机器人任务规划的一个必要特征。LLMs显著提高了指令生成的质量和适应性，使得能够创造出既具有上下文意识又特定于环境的复杂动作序列。这些模型在处理各种任务规划复杂性和类型方面表现出多样性，从简单的物理互动到复杂的长期序列规划。研究突出了LLMs作为独立决策者和其他模态及规划算法的协作者的潜力。这种协作在解释自然语言和推进机器人规划方面至关重要。随着研究的进展，预计LLMs在机器人学和自动化系统领域将发挥越来越重要的作用。

2) 复杂任务推理和决策：在复杂任务推理和决策领域，由LLMs赋能的机器人表现出显著的熟练度。这些基于LLM的机器人规划任务已经显著超越了单纯的文本生成和语言理解的范畴。最近的研究突出了语言模型在处理复杂任务、进行逻辑推理、做出明智的决策和参与互动学习方面的巨大能力[3]，[75]。这些突破不仅扩展了我们对基于LLM的机器人规划潜力的理解，而且为创新的实际应用打开了大门。

在探索预训练语言模型（PLMs）在交互式决策中的应用时，研究表明目标和观察被转化为嵌入序列，用PLMs初始化网络。这种策略的泛化能力在多变量环境和监督模态中特别有效[76]。在多模态领域的一个显著进步是LM-Nav系统的发展[59]。该系统基于PLMs，整合了语言、视觉和动作模型，通过高级自然语言命令指导机器人导航。值得注意的是，它通过合并预训练的视觉导航、图像-语言相关性和语言理解模型，减少了对昂贵轨迹注释监督的依赖。专注于特定环境中的LLMs，研究人员[65]已经检查了它们在自然语言反馈和复杂任务规划方面的推理能力。这种能力对于遵循高级任务指令和增强模型在现实世界场景中的应用性至关重要。解决自然语