一些正在失效的经验和需要刷新的认知
原创
Purpleroc
Purpleroc
Purpleroc的札记
2026年11月12日 21:31
广东
去阅读
最近使用 AI、折腾 Agent 的过程中,有一些挺有意思的感受,也有一些困惑。随便记录一下。
1、关于和 AI 的交流
在和 AI 交互时,我一直会很理性地告诉自己,这不过是一个基于概率预测下一个 Token 的模型。
但最近发现,自己越来越习惯在提问时加上一些“你觉得呢?”“你怎么看?”之类的表述。
明明知道,这些口语化、带有主观性的措辞,可能会对模型的理解和最终回答产生一些影响。但还是会不自觉地带上。
偶尔反应过来,自己都会有些诧异。
我为什么会这么去表述?
以前和 AI 交互时,总是尽可能客观、准确地描述问题,减少歧义,避免一些不必要的引导。甚至会反复斟酌 Prompt,担心一个词、一个表达方式的不同,就会影响最终的结果。
但现在,似乎没那么在意了。
仔细想想,可能并不是自己变得不够严谨了,而是现在的模型、Agent 能力可能已经足够强,强到可以在很大程度上理解这些不那么精确、甚至带有一些主观性的自然语言表达。
我们似乎不再需要像过去那样,小心翼翼地去适应模型。
反而开始让模型来适应我们的表达习惯。
是不是随着模型能力的提升,我们也在不知不觉中,开始更加自然、更加开放地使用 AI 了?
这种变化似乎不是刻意发生的,而是在一次次交互中,慢慢形成的一种习惯。
2、关于 Agent 的工程化
从上半年的安全运营 Agent,到后来手搓 TSEC 的 CTF Agent,再到最近的代码审计 Agent。
这一路下来,我一直比较强调几个东西:稳定、可控、可观测。
原因也很简单。
只有过程足够可控、结果足够可观测,才能知道问题出在哪里,才能有针对性地优化和加强。
所以,在设计 Agent 时,会不自觉地去拆解任务、规划大层级上的流程、约束一些执行路径,尽可能让大方向在预期之中。
一开始,我觉得这套思路没什么问题。
直到看到同事直接用 Grok Bot,在 TSECBench 上 AK,而自己手搓的 CTF Agent,优化了两三轮,仍然有几道题做不出来。
我开始有些怀疑。
这个可控性,真的有那么必要吗?
类似的情况,也出现在最近的代码审计 Agent 上。
花了不少精力去设计流程、工具、上下文管理,试图让 Agent 更稳定、更可控。
但最终消耗的 Token 远超通用 Agent + Prompt,漏洞召回效果却没有拉开明显差距。
这就有点尴尬了。
投入了更多的工程复杂度,付出了更高的 Token 成本,结果却不一定更好。
而且,这些额外的设计和约束,会不会恰恰限制了 Agent 原本具备的自主决策和探索能力?
我们总想着通过 Workflow 去告诉 Agent 应该怎么做,什么时候做,做到什么程度。
但有没有可能,随着模型能力的提升,这些我们精心设计的流程、skill,已经不如模型自己决定怎么做来得有效?
是不是我们为了追求可控性,反而牺牲了 Agent 的自主性?
甚至进一步想,是不是从一开始,我们的出发点就有问题?
3、关于控制与自由
最近一直在琢磨,是不是自己把 Agent 的流程设计得太死了?
表面上是在构建 Agent,实际上却是在把 Workflow 一步步写成代码。
什么阶段做什么、调用哪些工具、满足什么条件才能进入下一步……看起来很合理,也很符合传统的软件工程思路。
但这些规则,终究是基于我们自己对任务的理解。
我们凭什么认为,自己预先设计好的执行路径,就一定比模型自主探索出来的更好?
一直以来,我都认为,应该让 LLM 更多地承担语义理解、推理和决策,而把确定性的部分交给传统程序。
但真正落地时,却还是会不自觉地追求掌控感,通过越来越多的规则和流程,去约束 Agent 的行为。
问题是,模型的推理、规划、工具使用能力一直在进化。过去为了弥补模型能力不足、减少非预期行为而设计的 Harness,如今是否还有同样的必要?
回头看第一部分提到的变化:
我们在使用 AI 时,已经开始适应模型越来越强的能力;但在开发 Agent 时,却可能还在用过去的思维方式约束它。
当然,并不是说不需要工程化。权限、安全、成本、任务边界,依然需要控制。
但对于具体怎么完成任务,是不是应该给 Agent 更多的自主权,接受每次执行可能走不同的路径,而不是执着于过程必须符合预期?
毕竟,我们构建 Agent,是为了让它把事情做好,而不是让它按照我们预设的方式把事情做完。
或许需要改变的,不是 Harness 本身,而是设计 Harness 的出发点。
过去,我们总想着如何让模型适应程序。现在,是不是应该反过来,让程序去适应模型的能力?
是不是,其实不需要那么多的限制,现在模型能力已经足够强大到能完成目标任务了?
是不是,其实不需要那么洁癖,大力出奇迹的效果可能会更好?
上面的感受,其实一直都有,只是最近感觉越来越强烈了…
不要用两年前的认知和方法,驾驭越来越强大的智能!
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。









评论