如何让 35B 模型做好复杂办公？小红书 AllSpark 团队提出 Navalia

原创

REDtech
REDtech

小红书技术REDtech

2026年11月4日 20:04
湖北

去阅读

Cowork Agent 需要在文件与工具构成的工作环境中自主规划、获取信息，并通过连续执行来完成任务。如何规模化构建有充分证据支撑、能够可靠评判的训练任务，再将长程交互中的经验转化为模型能力，是训练这类 Agent 的关键挑战。

小红书 AllSpark 团队提出 Navalia，以跨文档任务为切入点，自动构建文档环境，合成证据可追溯、答案可验证、具有真实多步依赖的任务，并结合轨迹采集与后训练，形成从数据到训练的完整配方。

Navalia 在五项基准上均优于基座模型，各项得分提升 13.07–23.06 个百分点，展现了在文档检索、专业研究与长程任务执行等场景中的能力。

论文题目：

Navalia: Advancing Cowork Agents through Verifiable Task Synthesis and Long-Horizon Post-Training

论文链接：

https://arxiv.org/abs/2610.26887

图 1：Navalia 与基座模型在五项基准上的表现。各基准采用各自的评分指标，数值均为百分数。

///

写在前面

训练Cowork Agent，首先要给它一个能够开展工作的环境：有文件可查，有工具可用，也有需要连续操作才能完成的任务。随着训练规模扩大，这些环境还要持续覆盖不同的材料、业务约束和工作流程。

难点也随之出现。一个环境可以精心搭建，成千上万个训练实例如何持续产生？生成出来的任务，是否有充分的材料支撑，又能否提供可靠的训练反馈？

环境如何扩展。真实办公资料往往不公开，不同岗位的文件组织和工作流程也差异很大。人工逐个搭建环境，难以满足规模化训练对环境数量与多样性的需求，因此需要自动构建可供Agent反复交互、可靠执行任务的工作环境。

任务如何验证。在构建的环境中，合成任务需要有充分的证据支撑，参考答案需要经过核验，评分机制也需准确判断模型回答的正确性，从而为轨迹筛选和强化学习提供可靠反馈。

交互如何用于训练。Agent在环境中积累的经验，需要转化为有效的模型更新。高质量示范要经过筛选，长轨迹要适配有限的上下文窗口，最终结果也要反馈到前面的检索、分析和工具选择。环境、任务与训练因此需要一起设计。

Navalia 以跨文档检索与分析为切入点，将公开报告作为可规模化构建的数据来源，自动组织文档环境、生成可验证的任务，并结合轨迹采集与长程后训练，提供一套从数据到模型的完整配方。

01

把文件组织成可扩展的训练环境

Navalia 为同一份文件建立文档与事实两种视图。文档视图保留正文、标题和表格，供 Agent 通过工具检索；事实视图则将文档中的数据整理为结构化记录，明确每个数值对应的指标定义、单位、时间范围、统计口径及原文出处。系统利用事实视图选择证据、构造任务并核验答案，Agent 则通过文档视图自主查找资料、完成分析。

基于同一批材料，Navalia 可以构造不同的任务。系统先选择跨期聚合、趋势比较、统计分析或回归等分析方法，再确定分析对象、时间范围和目标指标，并检查相关文档是否满足任务的数据需求。跨期分析要求材料覆盖指定的时间范围，跨对象比较则要求数据在时间和口径上具有可比性；不满足要求时，系统会重新采样任务配置。

通过检查后，支撑任务的文档会与其他时期、其他对象的相关文档共同组成任务环境。每项任务平均包含 5.85 份支撑文档和 208.69 份干扰文档，模型需要从中辨别并找齐有效证据。通过改变分析对象、时间范围、文档组合和分析方法，系统可以持续构造新的任务环境。

02

先把证据和计算理清楚，再生成问题

环境确定后，下一步是选出这道题真正需要的证据。证据选择不能只看名称。同一个概念，在不同文档里可能有不同叫法；名称相近的指标，其定义、单位和统计口径也未必一致。能否用于同一次计算，需要结合上下文判断。

Navalia 从候选文档的完整事实集合出发，让 LLM 结合语义与上下文判断哪些记录满足计算要求，不使用关键词或固定指标规则预筛。事实较多时，先在每份文档内部做语义预选，再跨文档联合判断，减少遗漏。多步任务还需要真实的计算依赖。例如，先根据多个时期的数据拟合趋势，再用拟合结果预测下一期数值，最后与最近一期实际值比较。后面的计算必须使用前面的结果。Navalia 将这些关系写进可执行计算链，并由预先实现的数值程序完成回归、预测等复杂运算，保存中间结果与证据来源。

有了证据和参考答案，系统才生成题面。分析对象、时间范围、指标口径和计算要求等条件都会保留在问题中。独立复核模型随后重新求解，检查问题、证据与答案能否对应；程序化检查再核对时间覆盖、单位和步骤依赖等条件。只有同时通过复核与检查的任务，才进入后续训练。

这一流程让任务生成建立在可追溯的证据和可执行的计算之上，也为后续训练提供了能够核验的反馈依据。

图2：Navalia的环境构建、任务合成与后训练流程。

03

长程后训练：SFT与RL

Navalia 首先利用强教师模型，在任务对应的文档环境中自主检索、分析和作答，采集完整交互轨迹。轨迹经过答案正确性、工具调用有效性和最低交互轮数筛选后，再按分析算子或组合模板分组，均衡采样，用于冷启动监督微调（SFT）。各轮回复还会接受质量评估：低质量回复保留在后续交互的上下文中，但不计算对应的监督损失。

长程交互中，模型回复与工具返回不断累积，需要通过上下文管理控制可见历史。Navalia 在教师轨迹采集与 RL 在线采样中采用轻量化 ReAct Harness，并统一使用 FIFO 上下文管理：窗口最多保留 30 轮交互，以 10 轮为步长更新，较早的交互依次退出窗口。

在对照实验中，相较于逐轮滑动窗口，FIFO 将每条轨迹产生的平均样本数从 40.52 降至 3.90，减少 90.4%；OfficeQA Pro 准确率由 49.96% 提升至 51.56%。这一结果表明，在该设置下，FIFO 在减少训练样本数量的同时，保持了下游任务表现。

完成 SFT 后，Navalia 进入强化学习（RL）阶段。训练前，根据冷启动模型的采样成功率筛选任务，重点训练那些“确实可解、但当前模型还不能稳定完成”的任务，再通过在线交互继续优化策略。

长轨迹被划分为多个片段后，早期行动如何获得反馈？Navalia 根据完整轨迹的最终任务奖励计算组相对优势，并在同一轨迹的所有片段间共享。这样，前面的证据检索、工具选择和分析行为，也能获得基于最终任务结果的训练信号。对于因单次回复达到生成长度上限而终止的轨迹，Navalia 仍将其最终奖励纳入优势计算与动态采样统计，但屏蔽整条轨迹的策略损失，减少截断失败对前期有效探索的不当惩罚。

04

五项基准，检验能力能否迁移

这套训练配方的目标，是让 Agent 学会在复杂工作环境中查找材料、整合证据、调用工具，并持续推进多步任务。团队通过五项基准，检验这些能力能否迁移到不同场景。这些基准覆盖了从文档问答、专业研究到跨应用操作的不同任务形态，用于评估模型能否将训练中形成的检索、推理和工具使用能力，应用到新的材料与工作流程中。

图3：Navalia在五大基准上的主结果。

与同配置评测的较大模型相比，Navalia 在五项基准上的得分均超过 Qwen3.5-397B-A17B；在Finance Agent Benchmark和Workspace-Bench-Lite上超过Kimi-K2.6和DeepSeek-V4-Flash模型2.61%和1.19%。这些结果表明，针对性的任务构造与后训练，能够有效增强 35B 模型在复杂专业与办公任务中的竞争力。

进一步分析 OfficeQA Pro 的交互轨迹，可以看到性能提升背后的行为变化：训练后，找齐全部支撑文档的任务比例从 45.4% 升至 69.8%，支撑文档召回率从 50.8% 升至 74.7%。模型能够更完整地获取任务所需的关键证据，为后续分析与作答提供更充分的依据。

图4：Navalia与基座模型在OfficeQA Pro上的工具使用、证据检索与任务准确率对比。

在不同的执行框架中，Navalia 也保持了性能优势。在采用与训练阶段不同 Harness 的 APEX-Agents-AA 和 Workspace-Bench-Lite 上，Navalia 较基座模型分别提升 13.20 和 13.07 个百分点。跨任务、跨 Harness 的评测结果进一步表明，这套训练配方形成的能力可以迁移到新的任务与交互环境中。

///

作者简介

• 刘恒齐，AllSpark Pevek组算法实习生，北京邮电大学人工智能学院在读硕士生，主要研究方向为Agentic后训练与Search/Cowork Agents。
• 沐川，AllSpark Pevek组负责人。