论文笔记：CUWM — 桌面软件世界模型，让智能体在”想象”中先跑一步

arXiv: 2602.17365 Microsoft

一句话总结

CUWM（Computer-Using World Model）第一次为桌面办公软件（Word/Excel/PowerPoint）构建了可学的世界模型：通过两阶段分解（文本状态转移 + 视觉渲染），让 Agent 在真实执行前先模拟候选动作的后果，把”乱点试试”变成”想清楚再动”。

背景：桌面 Agent 为什么难

Web Agent 和 Mobile Agent 的研究已经相当成熟，但桌面软件 Agent有一个独特的困难：软件是确定性的，但执行不是免费的。

  • 点击一个按钮，可能触发复杂的宏或数据刷新
  • 撤销能力有限且上下文相关
  • 一个错误可能破坏整个文档或长工作流
  • 实时执行延迟高，Trial-and-error 的代价大

在游戏或机器人领域，可以用世界模型做模拟 rollout 来解决这个问题。但在桌面软件领域，世界模型几乎是空白。

方法：两阶段因子化世界模型

CUWM 的核心思想是将 UI 状态转移分解为两个阶段：

Stage 1：文本状态转移模型（Textual State Transition Model）

输入：当前 UI 截图 + 候选动作 输出：一段自然语言描述 Δ_t，描述”决策相关的状态变化”

例如：输入是”点击了格式刷图标”，输出是”Ribbon 的剪贴板区域显示格式刷已激活，剪贴板内容保持不变，焦点移至剪贴板工具组”。

这个阶段用的是 Qwen2.5-VL（视觉-语言模型），训练目标是标准的自回归交叉熵损失。

为什么用文本作为中间表示？因为 UI 变化通常是局部、组合、可因果归因的——大部分界面不变，变化集中在少数元素上。文本描述能把”什么变了”从”怎么渲染”中解耦出来。

Stage 2：视觉状态渲染模型（Visual State Realization Model）

输入：当前截图 + Stage 1 输出的文本变化描述 输出：预测的下一帧截图

这个阶段用的是 Qwen-Image-Edit-2509（基于扩散的图像编辑模型），训练目标是像素级 MSE 重构损失。

关键洞察：因子化使得两个阶段可以独立改进。Stage 1 错了就改语义理解，Stage 2 错了就改渲染质量，互相不干扰。

训练：SFT + RL 两阶段

SFT 初始化

数据来源是 GUI-360 数据集（Mu et al., 2025），包含 Agent 与真实 Office 应用交互的轨迹。

训练前，用 GPT-5 做自动标注：给定 (s_t, a_t, s_{t+1}) 三元组，让 GPT-5 生成自然语言状态变化描述 Δ_t^GT。

Stage 1 SFT：让 Qwen2.5-VL 学习从 (s_t, a_t) 预测 Δ_t^GT Stage 2 SFT：让 Qwen-Image-Edit 学习从 (s_t, Δ_t) 重构 s_{t+1}

RL 精调（GRPO）

SFT 提供了忠实的基础，但不一定捕获对下游决策最关键的 UI 结构。

CUWM 用 Group Relative Policy Optimization (GRPO) 精调 Stage 1：

  1. 对每个 (s_t, a_t)，从当前策略采样 K=5 个候选文本描述
  2. 用 GPT-5 当 Judge：评判每个候选描述与 Δ_t^GT 的一致性
  3. 加上长度惩罚项：避免描述过长（引入幻觉）或过短（遗漏关键变化）
  4. GRPO 在这组相对偏好样本上优化

这个 RL 阶段不需要额外的标注数据——ground truth 来自第一阶段的 SFT 模型自身。

测试时：世界模型引导的动作搜索

训练好的 CUWM 如何使用？论文提出了 World-Model-Guided Test-Time Action Search：

  1. Agent 从当前 UI 状态提出 N 个候选动作
  2. CUWM 对每个候选动作模拟下一状态
  3. Agent 基于模拟结果选择最终动作执行

注意：Agent 策略本身是冻结的，世界模型只提供模拟环境。这是 test-time scaling——不需要额外训练，就能提升现有 Agent 的决策质量。

实验结果

World Model 质量

模型 LLM-as-Judge 分数 Action Consistency (GPT-4.1-mini)
Base Qwen2.5-VL 0.603 0.499
SFT 0.683 0.545
SFT+RL (CUWM) 0.688 0.564

RL 精调带来的收益不大（0.683 → 0.688），但 Action Consistency 的提升更显著（0.545 → 0.564），说明 RL 确实让文本描述更好地对齐了”影响决策的 UI 结构”。

Test-Time Action Search 的效果

论文测试了 CUWM 引导下 Agent 的表现提升——这部分结果需要查看完整论文细节。

关键洞察：Render-Invariant State Token 的思想近亲

论文没有直接使用”render-invariant state token”这个术语，但其 Stage 1 的文本状态描述，本质上在做同一件事：

同一个按钮在不同分辨率、不同 DPI 下，像素级渲染不同，但”点击了格式刷 → Ribbon 激活格式刷”这个语义状态变化是一样的。

Stage 1 输出的文本描述，就是一种语义归一化的状态表示——它与渲染细节解耦，直接编码了决策所需的语义。

这与论文 2609.04187（用户原始链接指向的”GUI-World Models”）的思路一致，只是具体实现路径不同：CUWM 用 VLM + 文本描述，另一种可能的方向是用 discrete token。但核心目标相同——让 Agent 在像素之外理解 UI 状态。

局限与开放问题

  1. 单步预测：当前只预测下一步，没有做长 horizon 的模拟 rollout
  2. Office 独占：训练数据是 Office 应用，泛化到其他桌面软件（浏览器、IDE、设计工具）未知
  3. 两阶段误差累积：Stage 1 的小错误会被 Stage 2 放大
  4. 测试时计算成本：每个候选动作都要跑两阶段模型，action search 的 N 不能太大

关联论文

  • Code2World（Zheng et al., 2026）：用可渲染 HTML 代码作为 GUI 世界模型，在 Android 环境达到 SOTA
  • WebWorld（Xiao et al., 2026）：Web 环境的世界模型，支持多步 rollout
  • MobileWorldBench（Li et al., 2025）：Mobile GUI 评估基准

结论：CUWM 是桌面软件 Agent 领域第一个有实际意义的世界模型。两阶段分解的设计很实用——把”语义理解”和”视觉渲染”分开，让每个阶段都可以独立优化。最值得关注的开放问题：能不能把 test-time action search 扩展到多步 rollout，让 Agent 在”想象的路径”上搜索整条决策树？