TL;DR

本文核心观点：

  1. Strat-Reasoner 将「理解对手」变成可优化的目标 — 传统 RL 只看输赢，Strat-Reasoner 把揣摩他者心智的过程本身结构化，变成了可比较、可反馈的训练对象
  2. 四层推理框架让小模型超越大模型 — Qwen3-4B 在 Kuhn Poker 中得分超过 GPT-5-mini 和 Gemini 2.5 Flash，结构化推理弥补了模型规模的差距
  3. 跨环境迁移能力强 — 在未参与训练的游戏中仍保持较好表现，说明模型学到了通用战略推理模式，而非特定游戏的 trick
  4. 本质是心智理论（Theory of Mind）的工程化 — Agent 不再只优化自己的收益，而是同时优化对对手意图的预测准确度

传统 RL 的盲区

多智能体博弈中，强化学习（RL）的标准范式是：最大化自己的累计奖励。

这个范式有一个被长期忽视的盲区：对手的意图是隐变量。

在棋类游戏里，对手的策略是部分可见的（棋盘是公开信息）。但在不完全信息博弈里——德州扑克、商业谈判、动态定价——对手的意图需要被推断，而不是被观察。

传统 RL 的做法是：通过大量自我对弈，让模型隐式地学到对手策略的近似。但这有一个问题：模型学到的是「对手会怎么反应」，而不是「对手在想什么」。

这两个的区别在于：前者是模式识别，后者是因果推理。

Strat-Reasoner（ICML 2026）想做的是把「揣摩他者」这件事，从隐式学习变成显式训练。

四层结构化推理

Strat-Reasoner 的核心设计是一套四层推理框架，Agent 在采取行动前，必须依次回答这四个问题：

第一层：对方上一轮的意图是什么？

不是对方做了什么，而是对方做这个动作背后的目标是什么。在扑克里，「跟注」可能是平跟，也可能是设陷阱——同样的动作，不同的意图。

第二层：对方如何判断我？

对手有一个关于「我是什么类型的玩家」的模型。激进？保守？诈唬型？这个判断会影响对手的决策。

第三层：我当前希望实现的目标是什么？

自己的战略目标，不是战术目标。不是「我要下这步棋」，而是「这局我要达成什么局面」。

第四层：对方下一轮可能采取的行动是什么？

基于前三层的推断，预测对手的应对。

训练信号：从结果监督到过程监督

传统 RL 的训练信号只有一个：最终输赢。

Strat-Reasoner 的训练信号多了一层：对手的意图和行动预测误差。

具体来说：系统会记录模型对「对手上一轮意图」和「对手下一轮行动」的预测，在训练时把这些预测与对手实际表达出来的意图和实际采取的行动做比较，结合整场博弈结果，共同优化战略推理能力。

这相当于把「读心术」这个黑箱，变成了一个可观测、可比较、可反馈的工程目标。

小模型超越大模型的证据

Strat-Reasoner 最引人注目的结果，发生在模型规模的对比实验中：

以 Qwen3-4B 为基础模型，在三类多智能体游戏、超过 500 局评测中，实现平均 22.1% 的战略表现提升。

在 Kuhn Poker（一种经典的不完全信息博弈）中，Qwen3-4B 的得分超过了 GPT-5-mini 和 Gemini 2.5 Flash。

这是一个结构化推理框架弥补模型规模差距的典型案例。

传统观点认为：战略博弈能力主要由模型的知识容量和推理能力决定，这些都随模型规模指数增长。但 Strat-Reasoner 说明：战略推理有一个可学习的形式结构，掌握了这个结构，小模型也能在特定场景下超越大模型。

跨环境迁移：学到的是模式，不是 trick

比 Kuhn Poker 超越大模型更重要的证据是：在未参与训练的游戏环境中，模型仍保持较好表现。

这说明模型学到的是通用的战略推理模式，而不是特定游戏的 surface statistics。

这是一个被很多 game-playing AI 忽视的测试维度——超越训练分布的泛化能力。如果模型只是学会了 Kuhn Poker 的特定平衡策略，那超越 GPT-5-mini 只是一次过拟合；如果模型学到的是「如何从对手行为推断对手意图」的通用能力，这个能力会迁移到其他不完全信息博弈场景。

对多智能体协作的现实意义

Strat-Reasoner 的场景是多智能体博弈，但它的核心洞察对多智能体协作同样有意义。

多智能体协作里的一个核心问题：Agent 如何理解其他 Agent 的意图和限制？

在真实场景里，Agent A 不能假设 Agent B 知道所有 A 知道的信息。B 的行动计划受限于 B 的知识状态，而 A 需要推断 B 的知识状态才能设计有效的协作策略。

这就是 Theory of Mind（心智理论）的应用场景。Strat-Reasoner 把这个能力工程化了——不是「假装有心智理论」，而是「用预测误差训练心智理论推理链路」。

局限与开放问题

第一：四层推理的计算成本。在每轮决策前跑四层推理，推理 latency 会显著增加。Strat-Reasoner 在实验环境中验证了有效性，但工程部署的实时性需要进一步优化。

第二：意图的 ground truth 从哪来。训练时需要知道对手「真正的」意图是什么。在游戏里这可以有明确规则，但在开放域的多智能体交互里，谁来判断对手的意图是否真的是 X？

第三：过度推理的风险。四层推理是否在所有场景下都必要？对于简单的单轮决策场景，引入战略推理反而增加复杂度。Strat-Reasoner 可能最适合信息不完全、双方有利益冲突的多轮场景。

写在最后

Strat-Reasoner 最打动我的，不是「小模型超越大模型」这个结果，而是它提出的一个范式层面的问题：

传统 RL 优化的是「我怎么做能赢」，Strat-Reasoner 优化的是「我怎么理解对手才能赢得更多」。

这两种目标的长期差异是巨大的。前者的极限是自我博弈的纳什均衡，后者没有理论上限——因为你对对手的理解越深，你能 exploit 的弱点越多。

这是心智理论从哲学概念变成工程组件的一个里程碑。

AI-Native Engineering 系列 深度阅读时间：约 10 分钟