2026-10-20 13:24:26 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

cover_image

论文解读 | LMNet：让语言模型在稠密空间里组网通信

褚祺峙
褚祺峙

北邮 GAMMA Lab

2026年6月25日 15:42
北京

在小说阅读器读本章

去阅读

大语言模型正在从单一预测器，逐渐变成复杂推理系统中的可复用组件。一次测试时扩展可能需要同一模型反复推理，多智能体系统则会让 Planner、Critic、Solver 或不同领域专家相互协作。无论具体结构如何，这些系统大多依赖自然语言传递中间信息。

文本接口方便人类阅读，也适合调用黑盒 API，但对模型之间的通信并不理想：发送方需要把连续隐藏状态投影成离散 Token，接收方再把 Token 重新编码为向量；中间采样会损失信息、切断梯度，而且通信协议往往依赖人工设计。

本文提出 LMNet，将预训练语言模型组织成一张可训练的计算网络。网络内部不再反复生成文字，而是让“去掉内部输入输出层的语言模型”充当节点，让轻量 Seq2Seq 模块充当边，直接交换稠密向量；只有整张网络的入口和出口仍使用自然语言。

论文题目： Language Model Networks: Supervision-Efficient Learning through Dense Communication
论文链接： https://arxiv.org/abs/2505.12741
代码链接： https://github.com/LARS-research/LMNet

1. 引言

1.1 从单个模型到“语言模型网络”

传统研究通常把 LLM 视为一个完整函数：输入文本，输出文本。近年来，模型越来越多地被放进更大的计算结构中。例如，Chain-of-Thought 可以看作模型与自身连续通信；Self-Refine 让模型根据上一轮结果继续修正；多智能体系统则显式连接多个模型，让不同角色分工完成任务。

本文将这些系统统一概括为 Language Model Networks。在这一视角下，系统能力不只取决于单个模型参数，还取决于三个要素：

节点（vertex）： 每个节点承担什么计算；
边（edge）： 节点之间用什么方式传递信息；
拓扑（topology）： 信息以何种路径经过整张网络。

因此，研究问题也从“怎样提示或微调一个模型”扩展为：

如何在有限监督下，组织并优化一张由预训练语言模型组成的计算网络？

1.2 自然语言为什么会成为内部通信瓶颈

标准 LLM 可以写成：

其中是 Token Embedding，是 Transformer 主体，是将隐藏状态映射回词表并解码的输出层。

若两个模型通过文本串联，计算过程近似为：

这里的对人与模型的交互是必要的，但对模型与模型的内部通信却可能是冗余的。发送方先把高维连续表示压缩成离散 Token，接收方再尝试从 Token 恢复语义；若中间包含 argmax 或采样，梯度还会在这里中断。

LMNet 的核心判断是：系统边界需要语言，系统内部不一定需要语言。 对用户仍然保持文本输入和文本输出，但模型节点之间改用机器原生的连续表示通信。

2. 动机分析

2.1 文本通信不仅慢，而且难以从最终任务学习

现有多模型系统通常需要人工规定每个角色说什么、输出什么格式、下一节点如何读取。即使最终答案有监督信号，中间消息本身仍是离散字符串，难以通过普通梯度下降直接优化。

这会带来三类问题：

信息损失： 隐藏状态中的细粒度信息必须压缩成有限词表中的 Token；
优化困难： 最终任务损失无法平滑地穿过中间采样过程；
协议受限： 节点被迫使用人类可读语言，而不是学习最适合机器协作的内部协议。

为此，LMNet 将通信边改造成可训练的连续模块，使系统只依赖最终答案监督，就能反向学习“某个节点应该向下游传递什么”。中间消息、角色和推理轨迹都不需要单独标注。

2.2 为什么不能简单地把一个模型的 hidden state 塞给另一个模型

直接删除文本接口仍然不够。预训练模型的输入通常来自词嵌入矩阵，而前一个模型输出的是深层 Transformer 表示，两者分布并不一致。即使发送方和接收方使用同一模型，后者也没有在预训练阶段见过这种输入。

此外，一条发送状态可能同时流向多个下游节点。不同接收方需要的信息和表示空间可能不同，因此不能只做一次固定复制。

因此，LMNet 为每条通信边配置独立的 Seq2Seq 模块：它既负责输入输出空间对齐，也允许同一个发送节点针对不同接收节点生成不同的稠密消息。

2.3 论文真正实现的是什么

从概念上看，LMNet 面向“语言模型之间的机器原生通信”；但当前实现更接近一张由多个 Transformer 主体组成的深层前馈网络，而不是传统意义上每个 Agent 先完整思考、再发送一段可变长消息的对话系统。

论文也主动指出：当前采用端到端自回归方式，中间节点不会独立生成完整句子。性能增益应理解为“额外计算被组织成可学习的网络结构”，而不是已经完全替代了逐句式多智能体交流。作者将让中间节点自回归生成潜在序列的 inner-autoregressive LMNet 留作后续工作。

3. 方法

3.1 总体框架

LMNet 由三部分组成：

去掉内部 Embedding 与 De-embedding 的语言模型节点；
连接节点的可训练 Seq2Seq 边模块；
预先定义的多层通信拓扑。

入口节点保留 Embedding 层，把用户文本转成连续向量；出口节点保留 De-embedding/LM Head，把最终表示转回自然语言。所有中间节点仅保留 Transformer 主体，这类节点被称为 stripped transformer。这里的“stripped”不是剪枝或删除 Transformer 层，而只是移除网络内部不再需要的文本接口。

3.2 节点：复用预训练 Transformer 主体

设一个完整语言模型由、、三部分组成。LMNet 保留首个和最后一个，中间计算则变为：

其中表示通信边。

这种设计有两个直接效果。第一，中间节点无需反复执行词表投影和 Token 采样；第二，最终损失可以沿连续计算图反向传播到前面的节点和边。

节点并不要求全部来自同一模型家族，理论上可以组合不同规模或不同专长的预训练模型。不过，为了控制参数量，主实验大量使用 节点参数共享：网络中多个位置复用同一套预训练 LLM 参数，但由于每条入边不同，各节点接收到的消息不同，仍可能形成不同功能。

3.3 边：用 Seq2Seq 模块学习通信协议

从节点到节点的通信写为：

其中是参数为的可训练 Seq2Seq 模块。

论文实现中，每条边使用一个与主干模型单层 Transformer 类似的 Attention Block。不同边独立初始化、独立训练，因此同一发送状态流向不同节点时，可以被翻译成不同的接收方表示。

边模块承担两项职责：

将发送节点的深层隐藏状态对齐到接收节点可利用的输入空间；
根据整张网络的最终任务损失，学习信息筛选、变换和分发方式。

因此，LMNet 的通信不是一个固定投影，也不是人工定义的 soft prompt，而是网络级优化中的可学习算子。

3.4 拓扑：把 LLM 节点连接成类 MLP 结构

论文默认采用逐层全连接的有向无环图。设第层节点集合为，则下一层节点接收上一层所有节点经过各自边模块处理后的消息：

实验中聚合函数采用逐元素求和。求和实现简单，并能保持序列长度和因果 Mask 不变；本文也讨论了拼接、跳连、树结构、稀疏图和动态路由等替代方案，但没有在主实验中系统验证。

通用能力实验使用五层 1/4/4/4/1 结构：入口一节点，中间三层各四节点，出口一节点。以 Qwen2.5-0.5B 作为共享节点后，整张 LMNet 约有 1.1B 参数。

3.5 训练：只用最终输出监督整张网络

LMNet 的中间稠密消息没有单独标签。训练时，网络像普通自回归语言模型一样对最终输出计算损失，并让梯度穿过所有节点与通信边。

训练时需要区分两类参数：预训练节点参数已经具备语言能力，而随机初始化的边参数一开始没有任何通信能力。因此通用能力实验先冻结节点，只训练边模块，使网络学会基本信息传递；随后再联合更新节点和边。

在有限数据适配中，为降低过拟合风险，可以反过来冻结所有节点，只训练边模块。这样，LMNet 不必改写预训练模型的大量知识，而是学习一组任务相关的通信路径。

3.6 参数共享如何控制成本

若网络深度为、平均宽度为，逐层全连接结构大约包含条边。若每个节点都复制完整 LLM，参数成本会非常高。

论文让所有节点共享一套预训练参数，于是总参数规模近似为：

其中边模块规模远小于主干模型。处在同一层的节点还可以并行执行，因此实际顺序深度主要由网络层数决定，而不是节点总数。

4. 实验

4.1 通用能力：用较小训练成本重组已有模型

作者首先研究 LMNet 能否提升预训练模型的综合能力。节点模型为 Qwen2.5-0.5B，拓扑为 1/4/4/4/1，每条边使用一层 Attention Block，最终网络约 1.1B 参数。训练使用公开数据，总量低于 0.1T Token，作者表示额外训练成本低于节点模型预训练成本的 1%。

对比方法包括直接 Prompt、使用相同数据做全参数 SFT，以及计算预算约为 16 次生成的 Self-Refine 和 Self-Consistency。

LMNet 在所有列出的任务上都高于 Prompt：MMLU 从 44.3 提升到 53.9，BBH 从 20.3 提升到 47.3，MATH 从 19.5 提升到 38.8，HumanEval 从 30.5 提升到 39.0，MBPP 从 39.3 提升到 45.8。论文汇总的相对提升为 30.5% 。

相同数据直接 SFT 的汇总结果反而下降 5.7%，Self-Refine 与 Self-Consistency 分别只提升 0.5% 和 3.4%。这说明收益不只是来自额外数据或更多推理次数，而与可学习的通信结构有关。

不过，LMNet 的一次前向包含多个共享节点调用，其计算量高于单个 Qwen2.5-0.5B。这里展示的是“如何更有效地组织新增计算”，并不意味着它在绝对推理成本上必然低于单模型。

4.2 有限监督推理适配：对比 SFT、COCONUT 与 CODI

第二组实验使用较小的 1/2/1 网络，在 MMLU 和 GSM8K 上适配 GPT2-XL、Llama3.2 与 Qwen2.5 等不同主干，并与 Prompt、SFT、COCONUT 和 CODI 对比。

在 MMLU 上，LMNet 对五种主干都取得最高结果。例如 GPT2-XL 的 Acc 从 SFT 的 7.40 提升到 13.10，Llama3.2-1B 从 24.65 提升到 27.19，Qwen2.5-1.5B 达到 37.28。

在 GSM8K 上，LMNet 对 Llama3.2-1B、Llama3.2-1B-Instruct、Qwen2.5-0.5B 和 Qwen2.5-1.5B 分别达到 44.02、56.15、50.82 和 72.67。需要注意的是，GSM8K 原始训练集较小，论文为所有需要训练的基线额外加入约 9.37 万条 OpenR1-Math 数据；因此这些数字不应理解为只使用 GSM8K 7.47k 样本的结果。

与 COCONUT、CODI 相比，LMNet 的主要区别不是“是否使用连续空间”，而是把潜在计算从单模型链式迭代推广到多节点、可分支、可聚合的网络拓扑，并从最终输出端到端训练通信边。

4.3 低数据生成任务：学习边也可以替代部分参数微调

作者还按照 LoRA 论文的设置，在 E2E 数据集上用 GPT2-M 进行低数据适配。LMNet 使用 1/2/1 结构，冻结预训练节点，只训练每条约 5.25M 参数的边模块。

LMNet 的 BLEU 为 70.5、NIST 为 8.85、METEOR 为 46.5、ROUGE-L 为 71.5，五项指标平均排名为 1.6，在对比方法中最好。它并非每个单项都独占第一，例如 CIDEr 低于 LoRA，但总体表现说明：在监督有限时，学习“模型如何协作”可以成为学习“模型哪些参数需要改动”的另一种适配路径。

4.4 模型规模与拓扑消融

在 Qwen2.5-3B 和 7B 上，LMNet 仍带来稳定但更温和的提升：MMLU 分别从 Prompt 的 65.6、74.2 提升到 67.2、76.0；GSM8K 分别从 79.1、85.4 提升到 81.9、87.1。

不同拓扑之间则没有出现清晰的单调规律。1/2/1 在 E2E 上整体较好，但继续增加宽度或深度并未稳定提升。现有消融范围还不足以建立可靠的“语言模型网络规模律”。这也说明逐层全连接只是当前默认假设，并不能据此认为它一定最优。

4.5 与相近参数规模预训练模型对比

LMNet-1B 相比其节点模型 Qwen2.5-0.5B 有全面提升，并在 BBH、TruthfulQA、MATH、GPQA、HumanEval 等任务上达到或超过部分相近规模模型。但它并非在所有任务都胜过 Qwen2.5-1.5B、Gemma2-2B 或 Llama3.2-3B，例如 Qwen2.5-1.5B 在 MMLU、GSM8K 和 MBPP 上仍更强。

因此，更准确的结论是：LMNet 提供了一条复用现有小模型、以较少新增训练重组能力的扩展路线，而不是已经证明网络化模型在所有场景都优于同规模单体模型。

4.6 学到的稠密消息是否真的有结构

从宏观和微观两个层面分析通信。宏观上，各条边训练后的参数明显不同于随机初始化，也彼此不同；但没有发现少数关键边或明显链式子结构，说明逐层全连接网络没有简单塌缩成树或单链。

微观案例中，作者把中间表示重新通过词表层解码。边模块输出、也就是中间节点的输入，通常无法还原成可读英文；而部分节点输出仍能解码出短语、计算步骤或完整答案。

这个结果同时支持了两种判断。一方面，LMNet 确实没有简单地在内部偷偷复现文本消息，通信空间已经偏离词嵌入分布；另一方面，这种机器原生表示难以直接解释，系统调试和安全审计会比文本工作流更困难。

5. 结论

LMNet 的核心贡献，是把“模型之间如何通信”从一个人工编写的工作流问题，转化为一个可以通过最终任务监督学习的网络组件问题。它保留系统边界上的自然语言接口，在内部用共享或异构的 Transformer 节点进行计算，并通过独立 Seq2Seq 边交换稠密向量。

从方法上看，这项工作有三个值得关注的点：

节点与边解耦。 预训练 LLM 提供已有知识和非线性计算，边模块专门学习表示对齐与信息路由；
通信端到端可微。 不需要为每个中间角色标注消息或推理轨迹，最终答案即可为整张网络分配梯度；
适配方式发生变化。 在数据有限时，可以冻结模型知识，仅训练节点之间的通信关系。

实验表明，LMNet 能提升小模型的综合能力，也能在有限监督下优于多种 SFT、潜在推理和 PEFT 基线。不过，这篇论文仍有明确边界：网络增加了参数和每 Token 延迟；需要访问模型内部状态与梯度，不能直接用于纯 API 系统；稠密消息不可读；主实验主要依赖参数共享；当前实现也尚未完成真正的句子级潜在多智能体通信。

总体而言，LMNet 给出了一个清晰的研究方向：未来的多模型系统不一定只是“多个 LLM 互相发消息”，也可以是一张由预训练模型作为计算节点、由可学习通信边连接起来的新型神经网络。