π0.5 论文
通过异构数据协同训练与分层推理，用中等规模的目标数据（400小时）实现了大规模泛化能力，为现实世界机器人学习提供了新范式。
高层推理(high-level) 根据当前观测和任务指令预测子任务（如“打开抽屉”）。低层推理(low-level) 基于当前观测和子任务生成具体动作序列。低级推理动作能够受益于其他机器人收集的数据；高级推理能从网络上的语义示例，高级注释预测中受益。
- 输入：多摄像头图像、语言指令、机器人本体状态（关节位姿）。
- 输出：高层语义子任务（文本 token）和底层动作序列（连续向量）。
- 模态交互：图像通过视觉编码器嵌入，文本和动作通过独立编码器处理，通过双向注意力机制（不同于 LLM 的因果注意力）交互。
- 动作专家（Action Expert：专用于 flow matching 的小型 Transformer，生成高精度连续动作。
- 注意力掩码：限制动作 token 与文本/图像 token 的单向信息流，避免信息泄露。
模型的核心分布为
π
θ
(
a
t
:
t
+
H
,
ℓ
^
∣
o
t
,
ℓ
)
\pi_{\theta}(\mathbf{a}_{t:t+H},\hat{\ell}|\mathbf{o}_{t},\ell)
πθ(at:t+H,ℓ^∣ot,ℓ) 其中
ℓ
\ell
ℓ 是整体任务提示，
ℓ
^
\hat{\ell}
ℓ^ 是各个子任务的提示。
将联合分布拆解为高层次和低层次两个子任务：
π
θ
(
a
t
:
t
+
H
,
ℓ
^
∣
o
t
,
ℓ
)
=
π
θ
(
a
t
:
t
+
H
∣
o
t
,
ℓ
^
)
π
θ
(
ℓ
^
∣
o
t
,
ℓ
)
\pi_\theta(\mathbf{a}_{t:t+H},\hat{\ell}\left|\mathbf{o}_t,\ell\right)=\pi_\theta(\mathbf{a}_{t:t+H}\left|\mathbf{o}_t,\hat{\ell}\right.)\pi_\theta(\hat{\ell}\left|\mathbf{o}_t,\ell\right)
πθ(at:t+H,ℓ^∣ot,ℓ)=πθ(at:t+H
ot,ℓ^)πθ(ℓ^∣ot,ℓ)
动作的 token 采用
π
0
−
f
a
s
t
\pi_0-fast
π0−fast 的 token，但这种离散化表示不适合实时推理，因为需要昂贵的自回归解码推理，故而提出了一个结合 FAST 分词器和迭代整合流场来预测动作：
min
θ
E
D
,
τ
,
ω
[
H
(
x
1
:
M
,
f
θ
l
(
o
t
,
l
)
)
⏟
文本token交叉熵损失
+
α
∥
ω
−
a
t
:
t
+
H
−
f
θ
a
(
a
t
:
t
+
H
τ
,
ω
,
o
t
,
l
)
∥
2
⏟
流匹配MSE损失
]
\min_{\theta}\mathbb{E}_{D,\tau,\omega}\left[\underbrace{\mathcal{H}(x_{1:M},f_{\theta}^{l}(o_{t},l))}_{\text{文本token交叉熵损失}}+\alpha\underbrace{\|\omega-a_{t:t+H}-f_{\theta}^{a}(a_{t:t+H}^{\tau,\omega},o_{t},l)\|^{2}}_{\text{流匹配MSE损失}}\right]
θminED,τ,ω
文本token交叉熵损失
H(x1:M,fθl(ot,l))+α流匹配MSE损失
∥ω−at:t+H−fθa(at:t+Hτ,ω,ot,l)∥2
阶段一：预训练（VLM模式）
- 仅使用文本token损失（α=0）
- 将动作视为特殊文本 token（FAST编码），继承语言模型强语义能力
- 采用
<control mode> joint/end effector区分末端执行器和关节 - 各数据集动作维度单独归一化至 [-1,1]（采用1%与99%分位数）
| 数据类型 | 符号 | 数据量 | 关键特性 | 作用 |
|---|---|---|---|---|
| 移动机械臂家庭数据 | MM | 400小时 | 100+真实家庭环境，清洁/整理任务（图7） | 目标场景直接适配 |
| 多环境静态机械臂数据 | ME | 跨200+家庭 | 轻量化单/双机械臂，安装于固定平台 | 增强物体操作多样性 |
| 跨本体实验室数据 | CE | 含OXE数据集 | 桌面任务（叠衣/餐具收纳等）+移动/固定基座机器人 | 迁移无关场景技能（如咖啡研磨） |
| 高层子任务标注数据 | HL | 全数据集标注 | 人工标注原子子任务（如"拾取枕头"）+关联定位框 | 实现分层推理能力 |
| 多模态网络数据 | WD | 百万级样本 | 图像描述（COCO）、问答（VQAv2）、室内场景物体检测（扩展标注） | 注入语义先验知识 |
阶段二：微调（混合模式
- 引入动作专家分支，逐步提升α
- 流匹配分支从文本 token 条件生成动作，建立语言-动作关联
推理流程
- 自回归解码：生成语义子任务 ℓ ^ \hat{\ell} ℓ^（如“拿起盘子”）
- 条件去噪：基于 ℓ ^ \hat{\ell} ℓ^ 执行10步流匹配去噪，输出连续动作 a t : t + H a_{t:t+H} at:t+H
实验结果
Q1：
π
0.5
\pi_{0.5}
π0.5 能否有效泛化到全新环境中的复杂多阶段任务？
在三个未曾见过的真实环境中，使用两种类型的机器人，每个机器人被指示执行卧室和厨房的清洁任务。比较了大致对应于每个任务成功完成的步骤百分比。
A!： 能够在各种家庭任务中持续取得成功。泛化水平超过了以往的 VLA 模型。
Q2：
π
0.5
\pi_{0.5}
π0.5 泛化能力随训练数据中不同环境的数量如何变化？
A2：随着训练位置的增加，任务之间的平均表现通常会有所提高。随着训练数据中地点数量的增加，语言跟随表现和成功率都有所提高。
Q3：
π
0.5
\pi_{0.5}
π0.5 各个共同训练成分对最终性能的贡献如何？
A3：
π
0.5
\pi_{0.5}
π0.5 从跨刚体（ME和CE）转移中获得了相当大的好处。移除网络数据（WD）会导致模型在处理异常分布（OOD）对象时表现显著变差。
Q4：
π
0.5
\pi_{0.5}
π0.5 与
π
0
V
L
A
\pi_0 VLA
π0VLA 相比？
A4：
π
0.5
\pi_{0.5}
π0.5 显著优于
π
0
\pi_0
π0 以及增强版本
p
i
0
−
pi_0-
pi0−-FAST+FLOW。
π
0
\pi_0
π0-FAST+FLOW 是按照混合训练设置的，但仅用包含机器人动作的数据进行训练，因此无法执行高层次推理。
Q5：
π
0.5
\pi_{0.5}
π0.5 的高层推理组件有多重要？与单一的低层次推理以及显式的高层基线相比如何？
不足之处
- π 0.5 \pi_{0.5} π0.5 虽然展示了广泛的泛化能力，但在某些环境中仍存在挑战，如不熟悉的抽屉把手或机器人难以打开的橱柜。
- 一些行为在部分可观测性方面存在挑战，比如：机器人手臂遮挡了应该擦拭的溢出物。
- 在某些情况下，高层子任务推理容易分心，比如：在收拾物品时多次关闭和打开抽屉。
目前仅能处理的是相对简单的提示。
