论文笔记：Failure-Grounded Test Synthesis — 测试从「规格」走向「失败」

大多数测试生成论文的核心逻辑是 Coverage 或 Spec Alignment。Failure-Grounded Test Synthesis 的思路则完全反直觉——让 LLM 先看到系统怎么挂的，再反推该写什么测试。

核心洞察：把「错误」当成一等公民

传统测试生成的逻辑是：规格是什么，就测什么。但规格本身可能不完整——人类工程师写的规格，是基于「预期行为」的，而真实系统里藏着的往往是「预期之外的故障路径」。

Failure-Grounded Test Synthesis 的核心思路：以历史 bug、崩溃栈、CI 红状态作为「锚点」，用这些真实的失败现场来引导测试生成。实验结果很直接——相比规格驱动测试，失败锚定式测试多抓出了 31% 的回归型缺陷，且测试可读性更高，因为每个测试本质上在讲一个「故障故事」，而不是填充覆盖率指标。

对三个场景的直接启发

Agent 写单测
现有 Agent 写单测经常是”猜规格”，失败锚定让 Agent 有根可循——先看到 bug 怎么复现，再反推测试该覆盖什么边界条件。

CI 自愈
CI 红状态本身就是信号源，可以驱动针对性测试补网——每次 CI 失败后，自动生成针对该失败模式的回归测试。

Bug 回归库建设
把每个 bug 的失败现场结构化，作为后续测试的种子——不是每个新测试都从零开始，而是站在历史故障的肩膀上。

核心洞察深化

错误不是”模型没学好”的副产物，而是系统知识的精华来源。当测试生成从「正向规格覆盖」转向「逆向故障追溯」，测试的意图变得更清晰——每个测试都在讲一个具体的故障故事，而不是在满足某个覆盖率数字。

关联论文

结论：把「错误」当成一等公民，而不是训练后的残留物——这个思路对测试生成和 Agent 调试都有深远影响。