专题解读 | 过程性知识图谱近期发展概览

翟新龙
翟新龙

北邮 GAMMA Lab

2026年11月5日 14:19
北京

去阅读

Agent 要完成一项多步任务，要持续回答几个问题：接下来该做什么？条件满足了吗？需要哪些工具？刚才的动作改变了什么？

这些问题背后，是一件事应该怎样完成的知识。它既包括动作，也包括动作之间的顺序、分支、并行关系，以及所需的对象和工具。把这些内容组织成图，即是一个过程性知识图谱。

本文按“构建—推理—增强 Agent”的顺序，串读近期的相关工作PAGED、PKR-QA 和 AriGraph。三篇论文各自解决不同任务，但可以连起来思考：如何把描述流程的知识，逐步变成支持行动的结构？

图：三篇论文的研究问题与本文的串联视角

一、PAGED：从文档里抽出来的，不能只有步骤

ACL 2024 的 PAGED 研究一个直接的问题：给定一份描述业务流程的文档，能否抽取出对应的 procedural graph（过程图）？

这里最关键的区别是，步骤列表不等于流程。 例如，顾客可以只点菜、只点饮料，也可以两者都点；餐厅准备饭菜和准备餐具，则可以同时进行。即使抽出了所有动作，漏掉“可同时选择”和“可以并行”，得到的仍可能是另一套流程。

因此，PAGED 的图不仅包含动作和执行者，还用不同的网关表达控制关系：排他网关表示只激活一个条件分支，包容网关允许一个或多个条件分支被激活，并行网关则表示多条路径并行执行。再结合顺序、条件和约束，文档中的操作逻辑才有了明确的结构。

围绕这个任务，论文还尝试了“生成—检查—修正”的方法：先让语言模型生成图，再由专门的验证器检查部分逻辑。条件验证器用自然语言推断模型检测分支条件是否冲突，并据此给出排他或包容网关的修正反馈；并行验证器则根据动作的谓词和对象等信息，为并行关系提供启发式反馈。它体现了一种值得关注的思路：自然语言负责表达流程，结构化检查帮助发现流程中的逻辑问题。

对 Agent 而言，PAGED 提供的启发是：从手册中获得行动知识，目标应是还原动作之间的关系，而不只是摘出动词。 不过，论文解决的是图抽取，尚未把这些图用于 Agent 执行；其基准配对数据也主要由已有流程图生成文档，再用于评测反向抽取。

二、PKR-QA：让图里的关系变成推理操作

流程抽出来之后，下一个问题是：当系统只看到当前的一小段操作，它能否借助过程知识，推出尚未出现的信息？

AAAI 2026 的 PKR-QA 把这个问题放在教学视频问答中。问题不只问“画面里正在做什么”，还会问“下一步可能是什么”“下一步需要什么工具”，以及“有没有用途相近的替代工具”。这些答案往往需要把当前观察与已有知识接起来。

为此，论文构建了包含领域、任务、步骤、动作、对象、工具和用途的过程性知识图谱。任务与步骤等信息来自教学视频标注，再结合语言模型与常识知识补充动作、工具和用途。这样，步骤既能沿时间关系连接，也能通向完成它所需的工具，以及工具所服务的目的。

更核心的方法是 KML（Knowledge Module Learning，知识模块学习）：为图中的关系学习可训练的神经模块，再由 LLM 根据问题组合这些模块。例如，回答“下一步需要什么工具”，可以拆成：

“

当前步骤 → 找到下一步骤 → 找到该步骤所需工具

视觉模型先提供当前步骤或任务的候选；LLM 生成模块调用程序；各模块依次在嵌入空间中执行关系映射，最后与答案选项匹配。因此，它并不是逐条精确查询显式图，而是把图中的关系学习成可以组合的推理操作。

这带来一个重要变化：图不仅提供被检索的知识，也能规定推理如何分解。 系统给出答案时，还能呈现调用了哪些模块、经过了哪些候选结果。PKR-QA 的终点仍是问答，但它已经把“知道流程”推进到了“沿着过程知识推到下一步”。

三、AriGraph：让图随 Agent 的行动一起更新

回答出“下一步需要扳手”，距离真正完成操作还有一段距离。Agent 还得知道扳手在哪里、自己是否已经拿到，以及操作之后环境发生了什么变化。

IJCAI 2025 的 AriGraph 将图结构放进了这样的交互闭环。需要先明确：它构建的是融合语义记忆与情景记忆的知识图谱世界模型，并非显式的过程性知识图谱。 它的意义在于展示，图如何持续参与 Agent 的规划与行动。

每次收到环境的文本观察，AriGraph 用 LLM 抽取三元组，记录物体位置、状态与空间关系；新观察出现后，系统比较新旧信息，移除过时关系，再写入新事实。例如，柜子从关闭变成打开，记忆里的状态也需要随之更新。

但三元组会压缩信息。因此，AriGraph 还把每次原始观察保存为情景记忆，并与其中抽取的事实关联。检索时，系统先找相关事实、沿实体关系扩展，再取回关联的过去观察。这样既能利用图定位信息，也能保留菜谱说明等未被三元组完整表达的细节。

这些信息与目标、当前观察和近期行动一起进入工作记忆：规划模块据此生成或调整子目标，决策模块选择动作，环境反馈再触发下一轮更新。

“

观察 → 更新世界图 → 检索事实与经历 → 调整计划 → 选择动作 → 新观察

图在这里成为持续更新的决策依据。 对长期任务来说，“通常应该怎样做”固然重要，“现在处于什么状态、此前发生了什么”同样决定下一步是否合适。

四、小结

PAGED 让流程显形，PKR-QA 让关系参与推理，AriGraph 则展示了图记忆进入行动闭环的方式。沿着这三层递进，过程知识有机会从一段普通的说明，变成 Agent 可以更好利用的结构化知识。

如果你也在考虑过程知识如何更好增强Agent，欢迎来信[email protected]，让我们一起推动agent在更多工业场景中的有效落地。