Edge0-145B单卡就能跑:改的真是账本,不只是模型

admin 2026-11-20 19:31:10 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

Edge0-145B单卡就能跑:改的真是账本,不只是模型

原创

黑曜石科技工坊
黑曜石科技工坊

黑曜石科技工坊

2026年11月19日 08:30
山东

去阅读

一块大显存的高端显卡,已经能把超大参数模型拉进本地推理,持续解码速度也到了可用水准。这个数字比“145B”本身更值得盯着看——因为本地跑大模型的账,从来就不是参数越大越难,而是激活多少、占多少显存、专家切换卡不卡这三件事的合计。

Edge0-145B这次让人侧目,靠的正是把这笔账重写了。但账本改写不等于能力跃迁,折扣该打还得打。

先读速度表哪个数字才决定能不能用

发布材料里有两个速度:prefill 3554.9 tok/s,decode 121.2 tok/s。很多人第一眼被三千多的数字吸引,这是看反了。Prefill是把一长段prompt一次性吃进模型的过程,拼的是并行算力;decode是模型一个字一个字往外吐的过程,拼的是单步延迟和内存带宽。

本地跑编程agent,痛点全在后者——多轮工具调用、长上下文往返、每次回复都等着模型逐token生成。Prefill快,只说明你喂资料快;decode慢,agent就呆在那里,一次函数调用等十几秒,人先崩溃了。121.2 tok/s roughly相当于每秒输出八九十个英文单词或四五十个汉字,接近可读速度的下限。

拿去跑一个需要连续几十轮交互的agent,是能凑合干活的门槛,不是流畅。硬件分档更能说明问题。新旗舰与上代旗舰报出的速度都在可用线上,这两档算“可用”。显存吃紧加内存受限档直接掉到44.9 tok/s——这个速度下agent每说一句话要两三秒,只能算“能亮”。

点亮和能用之间,隔着一倍的吞吐。所以第一条读数纪律:看持续解码,看长会话掉不掉速,不看单次prefill峰值。后者是给跑分准备的。

三件套怎么把145B塞进一张卡

总参数只是仓库,激活参数才是账单。这是理解整个方案的一把钥匙。超大模型参数一旦全部激活,普通显存连零头都不够。Edge0-145B的架构是48层、每层配有众多专家,但每个token只被路由到10个专家,外加1个共享专家——实际激活约10.12B参数。

显存要结算的不再是“装下全部权重”,而是“这一小段对话大概需要谁”。但“只激活10个”并不能自动解决问题。传统MoE在GPU上跑,全部专家权重还是得待在显存里等着被挑,省的是算力,不是显存。这才是大多数人的误区。Edge0的三件套各自堵一个漏洞。

第一是原生4bit训练加Q3\_K、NVFP4量化,把每个专家的体积直接压下去。第二是预测式专家加载:不等路由结果出来再去硬盘捞,而是根据上文猜下一步要哪个专家,提前往显存里搬。第三是SSD流式权重重算:猜错了也不慌,从SSD现读现算,把冷专家从显存墙里暂时请出去。

短板一目了然。预测命中率决定额外延迟,SSD和PCIe带宽决定兜底速度,长会话里路由来回跳、缓存反复失效时,掉速是物理必然,不是调参能消掉的。这也让“稳定吞吐能否复现”成了唯一有意义的争议点——此前量化加CPU卸载的方案早就能点亮超大模型,但常被专家切换的空窗卡死在玩具演示阶段。捆成系统方案和堆出一次启动,是两回事。

出身、许可与自测三个折扣

工程账算完,还得算两笔信誉账。第一笔是出身。edge0-strata推理引擎fork自Strata,模型底座源自Qwen3.8-Flash-Next,对比用的DeepSeek-V4-Flash与其共享衍生关系。省显存的底盘、跑速度的引擎都有继承,这意味着 benchmark 上的优势有多少来自模型本身、多少来自这套继承的推理栈,自报数字分不开。

第二笔是许可,也是最容易踩坑的地方。框架代码是Apache 2.0,随便用;模型权重走的是Edge0 Community Model License 1.0,另一份文件,另一套条款。商用、再分发、微调后发布,每一动作都要对着权重许可逐条核对,仓库star数和“开源”两个字都不构成授权依据。

第三笔是自测基准。DeepSWE 64.6、Terminal-Bench 86.5、GPQA-Diamond 90.4、HLE 35.4,全部出自厂商自己的测试,prompt怎么构造、评测怎么判分、失败样本怎么算,外部都看不到。

这些数字能证明的是“发布方跑出了漂亮读数”,不能证明能力排序。同卡、同量化、同prompt长度的第三方复现出来之前,可信的部分只有一条:145B级别的模型在单张消费显卡上本地推理,已经从不可能变成可行。至于它是不是比云端小模型更聪明——那是另一笔还没结账的单。

手里有卡的读者,复现时先盯三件事:长会话后半段的tok/s曲线、SSD占用时的调度抖动、权重许可里商用那条的原文。其余的,让子弹再飞一会儿。

    评论:0   参与:  0