怎么让 TLA+ 模型忠于真实代码:Specula 的模型-代码一致性闭环(三)
原创
Qsec
Qsec
Qsec
2026年11月13日 13:47
上海
去阅读
怎么让 TLA+ 模型忠于真实代码:Specula 的模型-代码一致性闭环(三)
Kudu 是 Apache 的列式存储,它的 Raft 共识模块里,四成的提交在修 bug。开源案例库存着 Specula 对它完整跑完的记录。一致性检查收敛后翻出 12 个发现,逐个对照代码,真 bug 是零,7 个误报,4 个模型问题,1 个要靠代码审计才能触发的潜在缺陷。
查出零 bug,是因为这套机制分得清代码有病和模型有病。分清这两种病,就是本篇要拆的东西。
上一篇讲到检查配置落地为止,收尾留过一句话,语言本身不保证模型忠于代码,纪律才保证。配置就位,TLC 随时能跑,但跑得通只说明模型自洽,不说明模型说的就是代码做的。纪律管住了生成时的每一步;生成之后的偏离靠什么管,是流水线下半段的事。
先看验证半程在哪里
第一篇画过五阶段流水线的全程地图,本篇走下半段,范围是第三阶段 Harness 生成加上第四阶段的前半程,到规约收敛为止,这一段统称验证半程。
五阶段流水线全程地图,代码分析、规约生成、Harness 生成、验证与猎虫、bug 确认
工序的次序是先用埋点把真实发生的行为采集成轨迹,再拿轨迹逐行核对着模型重放,然后用模型检查翻出反例,逐个对照代码,把规约修到与实现一致。反例是不是真 bug,要回到代码复现确认,那道工序不在本篇。
埋点产出真实轨迹
轨迹不是打印日志。Harness 生成给真实系统打埋点,跑测试,把真实发生的行为一条条记进轨迹文件。一个 Harness 产出六样东西:
- •
轨迹模块,语言专属的发射库,管初始化、打点、收尾;
* •
埋点补丁,套在目标源码上,可套可撤;
* •
测试场景,两到四个,优先复用系统既有的集成测试,覆盖不到才新写;
* •
一条 run.sh,套补丁、编译、跑测试、收轨迹,一条命令跑完;
* •
每个场景一份的 NDJSON 轨迹文件;
* •
埋点微调指南,记录每个埋点的文件与行号,供下一阶段按需调整。
每一行轨迹长这样。工程指南给所有轨迹定了同一个信封格式。
{\"tag\":\"trace\",\"ts\":\"<真实时间戳>\",\"event\":{\"name\":\"<动作名>\",\"nid\":\"<节点编号>\",\"state\":{\"…\":\"…\"}}}
动作名、节点编号、当时的完整状态快照,一行记一次真实发生。
打埋点前先判类。系统按并发模型分两类,判类在代码分析阶段定,写进建模简报。判据是四个问题:
- •
靠网络或 RPC 通信,归分布式一类;
* •
核心操作快过一微秒,原子操作、自旋这一档,归并发一类;
* •
热路径加锁会改变可观测行为,归并发一类;
* •
无锁或等待自由的数据结构,归并发一类。
拿不准的默认按分布式处理。
两类系统的轨迹采集与匹配对照,分布式单文件互斥锁写入并逐行重放,并发系统每线程独立文件记录区间并搜索交织
分类的依据是时间尺度。分布式系统的操作以毫秒计,加锁的开销以微秒计,混不进结果,所有线程经一把互斥锁写同一个文件,写入顺序就是真实顺序。
并发系统反过来,操作以纳秒计,锁的开销是操作时长的成百上千倍,一把锁既改写线程调度,又人为把线程排队,恰好把要观察的竞态压住。这类系统每个线程各写各的文件,时间戳取处理器计数器的纳秒精度,每个事件多记一对起止区间,哪些执行交织真实可能,留给 TLC 按区间去搜。
捕获的状态分三档。持锁线程读全量,异步线程只带任期和角色,特殊场合只捕提交位置。没捕全的必须写进微调指南并注明原因,下一阶段选哪种状态校验,全看这里的登记。
硬禁令不多。时间戳必须来自真实时钟,顺序整数是手写轨迹的特征;轨迹不许手写;验收时逐个埋点核对,每个埋点的事件至少出现在一条轨迹里,没出现过的要么补场景,要么注明无法触发。
至此,磁盘上是一组带真实时间戳的轨迹文件。第一篇交付清单里那句采集到的真实轨迹,就是它们。
TLC 逐行重放轨迹
轨迹在手,进入轨迹校验(trace validation)。论文把这一步写成三个动作。按模型产出埋点计划,每个动作列出代码出处、触发点和捕获变量;把发射调用插进源头位置;写一个重放外壳 Trace.tla,把模型的每个动作包一层,来了事件先匹配,再比对动作执行后的状态与轨迹里的快照。
TLC 推着游标逐行前进,直到轨迹耗尽。
轨迹校验管线,跑测试采出轨迹文件,Trace.tla 重放外壳比对状态快照,TLC 逐行判定,失败回到 Agent 修基础模型
埋点计划里的代码出处,用的是上一篇埋下的行号。参考模型每个逻辑块标注源码行号,当时看着是注释纪律,到这一步成了三方对照的凭证,轨迹事件、模型动作、源码行,各拿行号对齐。
Trace.tla 读入轨迹文件,按信封的 tag 字段过滤,只留 trace 行。漏了这个字段的行会被静默跳过,验证看到的是一条空轨迹,绿灯是假的。
游标走到头才算完,Trace.cfg 里要挂上这条性质。
TraceMatched == <> (l > Len(TraceLog))
少了它,TLC 报无错误可能只是游标寸步未动,没人查。同类的检查还有一处,比对后置状态的谓词不许写成恒真。字段捕了就要验,验不了就别捕,留一个永远为真的检查等于没验。
校验失败时,TLC 的输出只有一行生硬的统计,说生成了 N 个状态,停在轨迹第 K 行。N 是卡住的位置,不是走过的路程。真正的分叉还可能早于报告点,某个辅助变量在几个动作之前就漂了,到第 K 行才显形。
配套的轨迹调试器就为这个而来,在重放外壳的各分支设断点,先粗定位走岔的分支,再对分支里的每个条件逐个定位,最后读变量。断点条件统一用验证深度,游标只在重放外壳里可见。
轨迹对不上,先分两种。规约客观写错的,回系统代码取证,修基础模型;只是抽象层级差异的,按建模目标裁决,有利于找 bug 的补齐,纯性能细节最小桥接。铁律是修基础模型,不修比对逻辑。比对逻辑一改,验证照样绿,模型照样错,还堵死了发现模型错的通道。
到全部轨迹通过,代码做过的事,模型都放行了。
反例对照代码分三类
放行挡不住另一种跑偏。论文里记着一组修复对照,为了让一条 follower 追日志的轨迹重放通过,Agent 把日志更新写成无条件覆盖后缀。
\\* Overfitting repair: overwrite suffix unconditionally log' = [log EXCEPT ![i] = SubSeq(log[i], 1, prevLogIndex) \\o entries]
轨迹校验绿灯。紧接着,模型检查按一条协议级不变量逐条核查。状态机安全,要求所有节点已提交的前缀一致。
StateMachineSafety == \\A i, j \\in Server : \\A n \\in 1..Min(commitIndex[i], commitIndex[j]) : log[i][n] = log[j][n]
反例出来了,一条迟到的 AppendEntries 消息能把已提交的日志条目截掉。论文给出的正确修法,只在该截的地方截。
\\* Correct repair: truncate only where entries conflict log' = [log EXCEPT ![i] = IF EntriesMatch(i, m) THEN log[i] ELSE SubSeq(log[i], 1, prevLogIndex) \\o entries]
两种修法都能让那条轨迹通过,差别只有模型检查看得见。上一篇点名的 reward hacking 在这里被反向那道检查抓住。弱化守卫、放宽迁移、硬编码轨迹里的状态,这类修改细微到人工审查难发现,模型检查当场拦下。
反例的处置立了一条公理,实现是唯一对错依据。判定之前必须回实现代码对照,然后归入三类之一,三类标签来自工程指南。
- •
Case A,不变量错。反例描述的行为真实系统里合理且预期,不变量把实现不承诺的东西当成了义务,修不变量;
* •
Case B,模型错。行为真实系统里不可能发生,模型漏建了实现里就有的守卫,修模型,Kudu 那处截断就归这类;
* •
Case C,真 bug。序列真实可能,模型忠实,不变量正确,违例照样成立,停手上报。
TLC 反例三分诊,回实现代码对照后分三类,Case A 修不变量,Case B 修模型,Case C 停手上报
三类的难度不对称,最常出的误报是把 Case B 判成 Case C。模型漏建一个实现里明明有的守卫,反例看似惊悚,实为虚惊。
核查有固定动作,把反例的前置条件写到具体,逐条问真实系统里什么拦住了它,按六类守卫翻代码,收到即清除、按任期拒绝、互斥锁与租约、重入守卫、法定数证明、限流配额。指南里有句话值得抄录,开发者把守卫放在哪,本身就是信息,写了判断就说明他们认为这件事会发生,模型也该让它发生,再把守卫建出来。
弱化不变量只能是结果,不能是目的。Case A 修订之后必须仍是可证伪的判据,不许换成恒真,不许换成类型检查这种早已被隐含保证的谓词,不许用永远为假的前件。每个新反例都当独立证据重新判,不许因为上一轮放宽过就连坐放宽。
判错的情形论文也不回避,最难分的就是模型错和真 bug,两者都表现为一个违反不变量的模型状态,光看代码分不出运行时能不能到达。把真 bug 当模型错收紧,后来会被轨迹校验弹回;把模型错当真 bug,复现阶段会暴露。
Kudu 的完整记录在开源案例库里。收敛只跑了一轮,轨迹侧修 8 处,模型侧修 7 处,Case A 两条,Case B 五条。
12 个发现逐个对照,7 个误报,4 个模型问题,1 个要靠代码审计才触发的潜在缺陷,真 bug 零个。记录给这套共识实现的评语是防守严实,出问题的全在规约侧。模型检查翻出的反例都真实存在于模型里,但模型里的反例要映射回源码并复现确认才算数,这是第一篇立下的口径。
轨迹放行,反例拦截
轨迹校验和模型检查各管一个方向。轨迹校验保证模型覆盖全部观测到的真实行为;模型检查保证模型容纳不了非法状态。两个方向互相拉扯,修轨迹对不上,可能放松模型,顺手放进非法状态;修违例,可能收紧模型,弄破本来通过的轨迹。
单向都有盲区。只有轨迹校验,模型可以在真实行为之外放进任何状态,合法与否没人把关。
论文的说法是,轨迹校验只检查代码级动作能否在模型中发生,不探索模型是否也容纳非法动作,还补了一句,过去这不是问题,因为人类专家不会用过拟合的方式修模型。只有模型检查,不知道模型漏没漏真实行为,对照实验里基线的全部误报,都来自没有代码接地的建模。
编排层把两个方向接成一环。
轨迹校验与模型检查互锁到收敛,轨迹轮全过后进模型检查轮,改动过规约就回轨迹轮全量重验,同轮全过才算收敛
轮次的编排见图。只要改动了规约,就退回轨迹轮全量重跑,因为改模型可能弄破已经通过的轨迹。修复还要过一道闸,修复若排除了任何一条真实轨迹,判修复错误,回滚重来。
两道检查在同一轮全部通过、且不需要再改任何规约,才算收敛。工程指南给这个状态的原话很朴素,这份规约现在可以信任了。
效果有基准数字可查。SysMoBench 四项指标里的一致性一项,Specula 满分,裸编码 Agent 七成,官方 TLA+ 技能七成五,均为作者报告。论文把差距归成一句话,光有 TLA+ 知识不够,Agent 缺的是帮它修复模型的运行时反馈。
规约与代码一致性指标对比,Specula 满分基线七成上下;一致性环路修复的错误构成,模型错占六成
不对称也要说清。轨迹校验依赖系统跑得起来,跑不起来的目标退回 Lite 流程,只剩模型检查单道闸,反例只能是待核实的线索。
九成错误一轮修复
修复是常态。按作者报告,48 个被检系统每一个的模型都修过,36 个修过不变量,33 个修过埋点。一致性环路拦下的错误,模型错占 60.5%,埋点错占 22.2%,不变量错占 17.3%。
轮次分布同样陡。插桩错误最多三轮修完,不变量和模型的错误 91.3% 一轮修复,没有一个超过四轮。设计上 Specula 不要求任何一环天生正确,论文的理由是,一开始就要求正确的不变量,恰是 Agent 还不了解系统的时候,出错信息回流,成为下一轮的输入。
四轮的孤例出在 SONiC 的链路管理器。Specula 生成的不变量说,链路的两个网关绝不会同时处于 standby。修了四轮才对,每一轮反例都合法,一次 failover 交接,一种两个网关都接管的降级模式。
四份反例,四种真实瞬态,把不变量的边界一步步修准。区分 bug 与合法瞬态,是这个环节里最难的一步。
修复回路本身有界。确认阶段打回的修复请求带全局轮数上限,默认十轮,触顶统一标记 DEFERRED。DEFERRED 只有一个意思,轮次用完了,它不是任何一种裁决。
仓库的消融报告直接量过机制的价值。去掉轨迹校验,12 个已知 bug 只找到 7 个。论文的结论同向,只有迭代的轨迹校验,能把规约的粒度对齐到实现的真实粒度。
收敛之后,规约拿到的是全部采集轨迹通过、有界检查内无违例、一份完整台账。没拿到的是等价性证明。轨迹校验不完备,罕见情形可能漏;模型仍可能以未被发现的方式偏离实现,靠这道缝隙藏着的 bug 依旧藏得住。一致性满格的确切含义是采集到的轨迹全部通过,模型未必等于实现。
到这里,模型与代码的偏离有了成套的核对机制。反例是不是真 bug,要回代码复现。进入复现的违例,按作者报告,47.5% 坐实为真 bug,48.8% 用系统自身的证据排除并回喂修复,1.0% 无法复现。复现与裁决,是下一篇的工序。
参考
- •
Q. Cheng 等:Specula 论文(arXiv:2607.25333v2)
* •
Specula 开源仓库:skills 工程指南与工作流(commit 830f4c0)
* •
specula-case-studies 案例库(commit 6266eb05)
* •
Specula 仓库消融实验报告(commit 830f4c0)
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论