π₀: A Vision-Language-Action Flow Model for General Robot Control

Physical Intelligence · Black, Brown, Driess, Finn, Levine et al. · 2024-10 · v4 2026-01

§1 为什么要做 π₀

1.1 三个现实难题

1.2 对应的三条技术选择

1.3 Fig 1 全景：这个系统长什么样

Fig 1 · p.1 Our generalist robot policy uses a pre-trained VLM backbone, as well as a diverse cross-embodiment dataset with a variety of dexterous manipulation tasks. The model is adapted to robot control by adding a separate action expert that produces continuous actions via flow matching. π₀ 的全景：左边是数据（π 自采 + OXE 公开），中间是模型（pre-trained VLM + action expert）， 右边是三种下游使用模式（零样本 / 针对难任务微调 / 针对新任务微调）。

§2 两阶段范式 · 大 pre-train + 小 post-train

2.1 两阶段在干什么

2.2 一张图看两阶段怎么拼

flowchart LR
    subgraph PRE["① Pre-training（大杂烩 · 10000h）"]
      OXE[Open X-Embodiment
公开数据]
      PI[π 自采数据
7 机器人 · 68 任务]
      DROID[DROID / Bridge v2]
    end
    PRE --> BASE[π₀ Base Model
3.3B 参数
泛化 · 听指令 · 基础操作]
    BASE --> POST1
    BASE --> POST2
    BASE --> POST3
    subgraph POST["② Post-training（小而精 · 1-10h/任务）"]
      POST1[叠衬衫 fine-tune]
      POST2[清空烘干机 fine-tune]
      POST3[收拾餐桌 fine-tune]
    end
    POST1 --> OUT1[叠衬衫 专家策略]
    POST2 --> OUT2[清空烘干机 专家策略]
    POST3 --> OUT3[收拾餐桌 专家策略]
        

§3 基础组件 · action chunking 与 flow matching

3.1 Action Chunking · 为什么一次要生成 50 步

3.2 Flow Matching · 从噪声到干净动作的直线路径

3.2.1 核心三公式

A_τ = τ · A + (1 − τ) · ε       其中 ε ~ N(0, I),  τ ∈ [0, 1]

u(A_τ | A) = ε − A

L(θ) = E[ ‖ v_θ(A_τ, o_t) − u(A_τ | A) ‖² ]
      = E[ ‖ v_θ(A_τ, o_t) − (ε − A) ‖² ]

3.2.2 flow matching 是怎么跑的（训练 vs 推理）

flowchart TB
    subgraph TRAIN["训练 · 一次前向"]
      T1["采真实动作 A (ground truth)"] --> T2["采 τ~β, ε~N(0,I)"]
      T2 --> T3["构造 A_τ = τA + (1-τ)ε"]
      T3 --> T4["网络输出 v_θ(A_τ, o_t)"]
      T4 --> T5["loss = ‖v_θ − (ε−A)‖²"]
    end
    subgraph INFER["推理 · 10 步 Euler 积分"]
      I1["初始化 Â_0 ~ N(0,I), τ=0"] --> I2
      I2["网络输出 v_θ(Â_k, τ_k)"] --> I3
      I3["Â_{k+1} = Â_k + δ · v_θ （δ=0.1）"] --> I4
      I4["τ_{k+1} = τ_k + 0.1"] --> I5{τ=1.0 ?}
      I5 -->|否| I2
      I5 -->|是| I6["输出 Â_10 = 干净动作 chunk"]
    end
        

§4 架构 · PaliGemma + Action Expert

4.0 Fig 3 总览

Fig 3 · p.3 Overview of our framework. We start with a pre-training mixture... The VLM backbone weights are initialized from PaliGemma, providing learned representations from large-scale Internet pre-training. 左：pre-training 数据（π 自采 + Internet + OXE）。中：π₀ 模型——PaliGemma VLM backbone （SigLIP 400M + Gemma 2.6B，蓝色部分）+ Action Expert（300M，橙色部分）。 右：输出连续动作给各种机器人。

4.1 Block-wise Causal Attention · 块因果注意力

flowchart LR
    B1["① 图像+文本 tokens
(PaliGemma 权重)
块内双向"]
    B2["② 状态 q_t · 1 token
(action expert 权重)
能看 ①"]
    B3["③ 噪声动作 A_τ · 50 tokens
(action expert 权重)
能看 ①②，块内双向"]
    B1 --> B2
    B2 --> B3
    B1 --> B3
        

4.2 为什么要独立的 Action Expert

§5 推理 · 一次完整的 10 步去噪

5.0 输入与输出

flowchart TB
    O[["Stage 1 · 观测编码（只 1 次，KV-cache）
图像 → SigLIP → image tokens
指令 → Gemma → language tokens
→ PaliGemma 跑完所有层 → 保存 KV"]]
    S[["Stage 2 · State token（只 1 次）
q_t → state_proj(Linear) → 1 个 state token
（走 action expert 权重）"]]
    INIT["Stage 3 初始化
A^τ_0 ~ N(0, I), shape [50, action_dim]
τ_0 = 0"]
    LOOP["Stage 3 去噪循环 · for k = 0..9
(a) 构造 action tokens
(b) action expert forward
(c) Euler 积分 A^τ_{k+1} = A^τ_k + 0.1 · v_θ
(d) τ_{k+1} = τ_k + 0.1"]
    DONE{"τ = 1.0 ?"}
    EXEC[["Stage 4 · 执行
全部 50 步 or receding horizon"]]
    O --> S --> INIT --> LOOP --> DONE
    DONE -->|否| LOOP
    DONE -->|是| EXEC
        

5.1 Stage 1 · 观测编码（只做 1 次，可缓存）

1. 图像编码：每张图过 SigLIP ViT → 一组 image tokens（每 token 768 维），3 路拼接成 [N_img, d]。
2. 语言编码：ℓ 经 Gemma tokenizer → text embedding → [N_text, d]。
3. VLM 前向：把 [image tokens | language tokens] 送进 PaliGemma backbone（2.6B），跑完所有层，保存每一层的 K、V 缓存。

5.2 Stage 2 · Robot State token 准备（只做 1 次）

注意：state token 走的是 action expert 的权重（和后面的 action token 共享）， 不走 VLM。它的 KV 也会被缓存，之后 10 步循环只读不写。

5.3 Stage 3 · Flow Matching 去噪循环（10 次迭代）

① 初始化

A^τ_0 相当于 flow matching 里的 x_0（纯噪声端）； 真实干净动作 A_clean（训练时的 ground truth）对应 x_1。 下面循环要做的事就是 "从 A^τ_0 逐渐走向 A_clean"，沿着 flow matching 的那条直线路径，每步走 δ = 0.1。

② for k = 0, 1, ..., 9

5.4 Stage 4 · 输出动作

循环结束后 A^τ_{10} = A^1.0 即为干净动作 chunk A_clean。

• 全部执行：把 50 步动作发给机器人控制器（50 Hz → 1 秒）
• 部分执行 + 重规划：执行前 k 步（如前 10 步）后，回到 Stage 1 用新观测重新推理——即 滚动时域控制。让策略对突发扰动（物体滑落、机械臂偏移）反应更快，同时保留 chunk 预测的平滑性。

§6 训练 · Flow Matching Loss 的完整四步

6.1 Step 1 · 取真实动作 chunk

从机器人 demonstration 数据集 D 里采一段真实动作序列：

这就是 flow matching 里的 x₁（目标分布的样本）。同一个样本还包含 o_t（当时的观测：图像 + 语言 + 状态）。

6.2 Step 2 · 采样 τ、ε，构造 noisy action

随机采两个东西：

• 噪声 ε ~ N(0, I)，shape 和 A 一样 [50, action_dim]
• 时间 τ ∈ [0, 1]（论文里用偏小的 shifted β 分布，让模型多学早期去噪）

然后线性插值得到 noisy action：

直观理解这条插值：

这里 τ 约定是 τ=1 干净、τ=0 噪声，和推理时方向一致—— 训练和推理 convention 对齐，模型学到的向量场直接拿来用。

6.3 Step 3 · 把 A^τ 当成 action tokens 输入 transformer

整个前向流程和推理时完全一样：

1. A^τ 过 action_in_proj → 拼上 τ 的 sinusoidal embedding → 过 action_time_mlp → 50 个 action tokens
2. 拼成完整序列 [image | lang | state | action]，过整个网络（VLM + action expert）
3. 取最后一层 50 个 action token 输出 → 过 action_out_proj → 得到向量场预测：
   v_θ(A^τ, o_t) # shape [50, action_dim]

6.4 Step 4 · Loss · 强制 v_θ 去预测目标向量场

① 目标向量场

这是 flow matching 的核心定义。怎么推出来的：

• 已知 A^τ = τ · A + (1 − τ) · ε
• 对 τ 求导：dA^τ / dτ = A − ε
• 论文把方向反过来写，定义 u = ε − A（去噪方向：从噪声"指向"干净动作的反方向，或等价地"从干净指向噪声"当作梯度方向）

② Loss

翻译成人话：

期望 E 来自三个随机性上取平均：

1. p(A_t | o_t)：从数据集里随机采一条 (观测, 动作) pair
2. q(A^τ_t | A_t)：随机采 τ 和 ε，构造 A^τ
3. （隐含）batch 内多个样本一起算，反传后更新 θ

6.5 为什么 τ 用偏小的 β 分布

6.6 训练伪代码（一次 batch update）

§7 数据与机器人

7.1 Fig 4 · 数据组成

Fig 4 · p.5 Overview of our dataset: pre-training mixture consists of a subset of OXE and π self-collected. π₀ 的 pre-training 数据组成：π 自采占最大比例，OXE/Bridge v2/DROID 补充广度。 单臂 797M + 双臂 106M 步，共 ~903M。

7.2 Fig 5 · 7 种机器人本体

Fig 5 · p.6 The robots used in our experiments. These include single and dual-arm manipulations with 6-DoF and 7-DoF arms, as well as holonomic and nonholonomic mobile manipulators. 7 种本体，动作维度从 7 到 18。π₀ 把所有动作统一 pad 到 18 维， 对应 "取最大公约数" 的多本体策略。

§8 实验 · 四套评估

A · 开箱即用对比（Fig 7）

B · 语言指令遵循（Fig 8）

C · 新任务微调效率

D · 复杂多阶段任务

§9 与 LeCun / VLA 的联系

9.1 对应 LeCun 六模块

9.2 和其他 VLA 的比较

9.3 给自己找实习时的 takeaway