• 作者：Xinshuai Song, Weixing Chen, Yang Liu, Weikai Chen, Guanbin Li, Liang Lin

• 单位：中山大学，Independent Researcher，鹏城实验室

• 项目主页：https://hcplab-sysu.github.io/LH-VLN

• 论文地址：https://arxiv.org/pdf/2412.09082

从“拿毛巾到厨房岛台，再取茶壶放到茶几”到“找到客厅的遥控器后去卧室关灯”，现实中的机器人需要完成的往往是包含多个步骤的长链条任务。然而，现有的视觉语言导航（Vision-Language Navigation, VLN）技术大多局限于单一目标、短路径的简单场景，难以应对复杂环境中的多阶段挑战。

近日，中山大学HCP-Lab团队提出复杂长程视觉语言导航（LH-VLN）任务，并配套开发了自动化数据生成平台NavGen、复杂长程导航基准测试LHPR-VLN，以及创新模型MGDM，为智能机器人在动态复杂环境中的自主导航开辟了新路径。目前该论文已被CVPR2025接收。

困境：单阶段导航的“玻璃天花板”

传统VLN任务通常要求机器人根据指令完成单一目标的导航，例如“走到客厅的沙发旁”。这类任务在实验室中表现优异，但面对现实场景时却捉襟见肘——真正的挑战往往需要连续决策和动态调整。例如，家政机器人可能需要先找到浴室中的毛巾，将其送至厨房岛台，再取出茶壶放置在茶几上。这类任务不仅涉及多个子目标，还需要在过程中保持上下文连贯性，避免因环境变化或路径阻塞导致任务中断。

现有研究的短板显而易见：

• 数据局限：主流数据集（如R2R、VLN-CE）任务步骤短（平均<10步），缺乏多阶段交互设计；

• 评估粗放：仅用整体成功率（SR）衡量性能，无法反映子任务执行质量；

• 模型僵化：依赖静态路径规划，缺乏长期记忆和动态调整能力。

“要让机器人真正走进家庭，必须突破单阶段任务的思维定式。” 论文作者在引言中直指问题核心。

图1. 框架总览以及与现有单阶段导航的对比

破局：NavGen——复杂任务数据的“全自动工厂”

为解决数据瓶颈，研究团队开发了NavGen平台，这是一个支持多阶段、多粒度任务生成的自动化系统。其核心创新在于双向生成机制：

• 前向生成：基于GPT-4构建复杂任务指令。例如，输入浴室和厨房的场景信息后，自动生成“将浴室毛巾送至厨房岛台，再取茶壶放到客厅茶几”的多步骤任务；

• 后向分解：通过轨迹分割算法，将长路径拆解为“左转绕过沙发”“直行至餐桌”等原子动作，并反向生成对应的分步指令。

图2. NavGen通过前向生成复杂任务，后向分解为原子动作，形成完整数据闭环

NavGen的三大优势使其成为VLN领域的“数据引擎”：

• 场景多样性：整合HM3D数据集中的216个3D室内场景，涵盖卧室、厨房、办公室等多种环境；

• 机器人适配：支持波士顿动力Spot（四足机器人）和Hello Robot Stretch（轮式机械臂）等不同形态的任务设置；

• 任务复杂度：单个任务可包含4-6个子步骤，平均指令长度达18.17词，远超传统数据集。

“这相当于为模型提供了‘任务炼狱’级别的训练场。” 研究者如此评价NavGen的生成能力。

试金石：LHPR-VLN基准——让模型“原形毕露”

基于NavGen，团队构建了复杂长程VLN基准LHPR-VLN，包含3260个任务，平均每个复杂任务需执行150个动作步骤。与传统基准相比，LHPR-VLN有两大革新：

1. 任务设计：从“线性执行”到“逻辑串联”

每个任务要求机器人按顺序完成对象定位-抓取-转移的链条操作。例如： “在卧室找到台灯，将其搬到书房书桌，再取出桌上的文件放到文件柜。” 这种设计迫使模型必须理解任务间的逻辑依赖——若未能正确放置台灯，后续寻找文件的子任务将直接失败。

表1. 与现有VLN基准的对比

2. 评估体系：从“笼统打分”到“显微镜式诊断”

传统指标如成功率（SR）已无法满足需求，LHPR-VLN引入三大新指标：

• 独立成功率（ISR）：衡量每个子任务的单独完成度；

• 条件成功率（CSR）：评估任务链条的整体连贯性；

• 基于真实路径加权的CGT：考虑实际路径难度，避免“取巧式”成功。

是任务的数量， 是子任务的数量。

是第个子任务的成功情况。

CSR通过加权计算任务链的连贯性，CGT进一步引入真实路径长度修正偏差

实验显示，传统模型在LHPR-VLN上表现惨淡：在2-3个子任务场景中，所有基线模型的整体成功率（SR）均为0%，凸显现有技术的局限性。

表2. 在LHPR-VLN基准上的性能对比

智慧大脑：MGDM模型——记忆与推理的“双螺旋”

为攻克复杂长程导航难题，团队提出多粒度动态记忆模型（MGDM），其核心架构如同“生物神经系统”：

• 记忆分层：短期模糊与长期强化

  • 短期记忆：通过滑动窗口池化动态“遗忘”次要信息；

  • 长期记忆：从数据集中检索历史成功案例，为当前决策提供参考。

• 链式思维（CoT）反馈：让AI“说出推理过程”

  • 模型在一定行动步，会通过GPT-4生成推理链条：“当前位于走廊，需先左转进入浴室；浴室门可能位于左侧视野，需向前移动2步确认...” 这种显式推理机制大幅降低了传统LLM模型的“幻觉”风险，使决策过程可解释、可调整。

图3. MGDM通过CoT模块生成推理链条，结合短/长期记忆动态调整决策

实验结果表2验证了MGDM的优越性：在4个子任务场景中，其CGT指标达到5.83，全部模型中最佳。

未来：从虚拟场景到现实世界的“惊险一跃”

尽管LH-VLN框架取得突破，研究者坦言现实落地仍面临三重挑战：

• 跨场景泛化：实验室训练的模型能否适应真实家庭的布局变异？

• 多模态融合：如何整合语音指令、触觉反馈等更丰富的信息源？

• 实时性瓶颈：150步任务的平均决策耗时需从分钟级压缩至秒级。

对此，论文提出两条演进路径：

• 仿真-现实迁移学习：利用Holodeck等工具生成高保真虚拟环境，缩小仿真与现实差距；

• 具身大模型：将VLM（视觉语言模型）与机器人运动控制模块深度耦合，实现端到端优化。

结语：推开智能机器人的“第二扇门”

当实验室的机器人能流畅完成“泡茶-清洁-整理”的连贯操作时，我们离真正的家庭服务机器人便不再遥远。这项研究的意义不仅在于技术指标的提升，更在于重构了VLN任务的范式——从孤立动作到连续决策，从静态环境到动态交互，从人工规则到自主推理。

正如论文结尾的展望：“LH-VLN是一把钥匙，它将打开智能体在复杂物理世界中长期生存的大门。”在这条通向未来的道路上，每一步导航的突破，都是对人类生活方式的重新定义。