本地化大模型跑长任务注定是一场万里长征

admin 2026-11-19 01:07:08 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

本地化大模型跑长任务注定是一场万里长征

马甲九五二七
马甲九五二七

马甲三号

2026年11月18日 02:26
江苏

去阅读

我一直有个判断,token 迟早会变成水电煤一样的必需消费品。

在那之前,AI 已经实实在在改变了不少行业。网络安全算一个,只是红利大头在进攻方。防御方被 SaaS 模式困住,数据出不了内网,敏感内容不敢上云,于是纷纷转向本地部署加小模型。

可惜绝大多数产品,停在问答机的水平。

问答机释放不了生产力,于是开始有人怀疑 AI 的投入产出比。矛头其实偏了。卡住的不是 AI,是问答。

本地 To B 场景真正的生产力变革,判据只有一条,模型能在本地自主解决长任务。自己接活,自己干几个小时,自己交付结果。

也有人觉得,攒点算力、把模型 run 起来,问题就解决了。

这只是万里长征第一步。

01

run 起来,为什么还不算完

不妨反过来想,SaaS 模型为什么跑得动长任务?

多数人以为差距在模型本身。我们在自家网关上跑了几个月长任务之后,看法变了。云端厂商在服务端做了大量配套机制。

▪  KV cache,上一轮说过的话,下一轮不必重算

▪  上下文超长,自动压缩、分区

▪  输出复读,自动检测、纠偏

▪  工具调用格式错了,自动矫正

▪  失败,自动重试

一个能力,要么做在服务端,要么做在客户端。SaaS 选的是重服务端、轻客户端。客户端只管发请求,服务端容错极强,还向下兼容。

麻烦在于,这套机制不会跟着模型权重一起开源下来。

水面上的那一小块,才是开源能拿到的

本地化从来不是 run 一个模型就完事,而是要在自家网关和客户端里,把整套协作配套机制重建一遍。

这就是标题里「万里长征」四个字的分量。

02

三层坎,每层都付过学费

坎不是一个,是一串。先挑最硬的三层说,每一层都有生产日志里的真实案例。

模型这层,犯浑的根源不是知识不够,是不知道在正确的时机调用知识。

一个 125B 级的 Flash 模型,会反复去读一个不存在的文件,会干着干着忘了目标,会对不同的问题输出一模一样的回答。知识里明明有算法,执行起来却不知道用。

最典型的一次,是排序网络最小化。它自主选择的解法,是逐个枚举 2 的 17 次方种输入,变量数膨胀到五千万,Python 直接卡死。四个会话,前后四天,零进展。

可你直接问它,这道题有什么数学性质可以压缩搜索空间,它答得头头是道。0-1 原理、等价类、权重类压缩,全都懂。

差的,只是没人问它这一句。

后来我们在网关加了「认知脚手架」。检测到模型在硬枚举,就自动注入这个问题。同一个模型,6 分 43 秒写出等价类编码,变量数从五千万压到五万。

同一个模型,差的只是有没有人问对问题

所以这一关的解法,不是等更大的模型,而是在正确的时刻,问出正确的问题。

客户端这层,harness 缺的是兜底。

驱动模型的任务工具,默认假设模型行为可靠。长任务里,这个假设站不住。模型有三种病,每一种我们都付过学费。

它会停。

一次威胁研判任务里,模型输出了一千多字的状态固化总结,就结束了回合。任务停在那里 40 分钟,等人点「继续」。更糟的是,点了之后,它一字不差又输出了同一块。

它会撞死。

同一个不存在的文件,模型连续读了 28 次。每轮带着 8 万 token 的上下文从头重算,85 秒一轮,纯预填充就烧了半小时 GPU,才被人工发现。

它会复读。

逐字复读,是不可恢复的上下文污染。日志里有实录,两条纠偏指令同时送达,模型照样逐字重复。这时候继续催,只会污染得更深。唯一正确的动作,是把状态落盘、开新会话。

所以兜底就是三种保险。停了,自动续推,不卡死等人点继续。失败设上限,同一命令连败几次就强制换路径。发现复读,立即落盘交接、换会话。

开源客户端可以自己改,DSH 哪里不行改哪里。商业客户端只能提改进需求,慢慢等。

服务端这层,配套机制自己也会犯错。

本地网关要重造缓存、压缩、故障判定这一整套,而建设期的机制,自身就带着 bug。我们的断路器,曾用「文本包含 error」判定工具失败,把「3 warnings, no errors」这样的健康输出记成连败。累计 234 次假失败,喂给断路升级链反复注入建议,把模型越劝越糊涂。

防线拿错了输入,比没有防线更糟。

没展开的坑还有一串,也全是真事。后台任务死了没人通知,worker 对着早已死掉的求解进程静默等了 86 分钟,界面还显示「深度求索中」。客户端压缩触发时,把任务描述整段剪掉,模型从此忘了自己要干什么,无限循环「摸清现场状态」。工具调用格式,偶发回退成纯文本。

这篇只挑我们觉得最痛的一处展开。

记忆。

03

最痛的一处,记忆

大模型记忆的核心问题,不是存不下,而是注错。检索回来一段不相关的旧上下文,注入进去,比不注入更糟。

实战下来,有三条经验。

第一,目标锚永不离开上下文。Claude Code 的 todo list,我们用 system 加首条 user 消息做的锚,是同一个思路。与其事后从库里「找回」目标,不如让目标根本不出去。检索式的目标恢复,只能当兜底,不能当主路径。

前面「压缩剪掉任务卡」那个事故,修法就是这一条。锚区内的消息,任何压缩、清除操作不得触碰。

第二,压缩质量,高于压缩之外的记忆系统。Claude Code 的 auto-compact,约在 92% 时触发,摘要加保留近期。Anthropic 的长任务指南,讲子代理分区、给上下文留呼吸空间。两家隐含的判断是一致的。上下文够大时,失败模式从「装不下」,变成注意力稀释和目标漂移。对策是分区和锚,不是外挂记忆库。

第三,文件是记忆的第一载体。CLAUDE.md、scratchpad、我们的 notes.md 和 HANDOFF.md。agent 自己写的文件,胜过系统自动提取注入的记忆。执行类任务要的是精确,检索噪声是净伤害。

有个细节值得一提。上面那块被拦下的千字状态固化,按指令写进文件之后,恰好成了新会话的完美交接材料。新会话读完直接续跑,零次「接不上」。

落到工程上,记忆系统分三层建。

三层各解决一类失败,互为兜底

L0,工作记忆稳定化。在上下文内做,价值最大。技术本质是「稳定」,不是「检索」。注入位置审计,把历史是被谁改坏的,逐处定位修掉。纪元制,上下文修改从每轮增量改成按纪元批量,纪元内字节冻结。再加上显式目标锚头、尾部只追加。

最有说服力的,是同一个会话的修复前后对照。那个 8 小时 46 分、上下文峰值 160K token 的任务,修复上线前每轮 85 秒,缓存反复全量失效。上线后,同一个会话,缓存命中 93%,每轮 8 秒。

没换模型,只是把上下文伺候稳定了

L1,任务记忆文件化。跨会话、任务域。把交接文件升级成一等公民。网关注入指令,要求 agent 按固定模板写 HANDOFF。新会话检测到交接特征,提示 agent 先读磁盘状态,再动手。上线首日就有实录,注入之后,下一个响应就恢复了工具调用。

L2,长期记忆。跨会话、语义域。诚实判定,few-shots 类新问题任务的召回收益趋近于零,已经按任务类型门控。高价值路径,是「事故到规则」的进化环路,每天自动跑。向量检索升级暂不投入。我们实测过,精确标识符主导的语料上,向量那条腿是负收益。

04

走到哪了,往哪走

几周前,我们做过一次 72 小时长任务实测。10 个会话,9 个死于上下文退化。唯一一个从头活到尾的,靠的是架构级的上下文分区。常规 harness 的 4 个会话,累计烧掉 92.7 小时,八成轮次的首字延迟超过 60 秒。

现在的进度,按三段交代。

服务端基本走完。缓存、断路判定、认知脚手架、记忆三层、自愈机制,都在生产上跑了。真实长任务里,全天 25 次行为退化,自愈了 16 次。

客户端,能自己改的 DSH 已经改了,商业客户端在等厂商。模型,在等下一代开源旗舰。

最直观的对比,是同一个客户端、同一个模型。长任务从跑两步就停,到跑出了 8 小时 46 分、270 个请求、带着合法验证证书收尾的完整交付。

长期目标只有一句话,把 SaaS 模型的完整能力搬到本地。

不是 run 一个模型,是 run 一整套服务这个模型的配套机制。

走完这一小段,我们反而更确定了。路很长,但每一站的收益,都实测可见。

下一篇,展开服务端这段具体怎么走。一天的完整实测记录,包括一个会话,怎么从死亡螺旋里复活。

下一篇:本地模型跑长任务(下)

瓶颈不是存不下,是注错

新型注入手法-WhisperHijack 网络安全文章

新型注入手法-WhisperHijack

介绍了新型注入手法WhisperHijack,一种隐秘进程注入技术,无需跨进程写入,通过线程命名调用和执行时的等待线程劫持注入x64shellcode,并执行它。提供了GitHub地址,但强调不要用于非法入侵。
评论:0   参与:  0