文章总结: 上海交大IPADS论文被NeurIPS2025接收,提出ASDSV方案加速基于Transformer的扩散模型。该方案利用时间相关性进行投机验证,并采用分阶段投机策略动态调整推测步数,以平衡速度与质量。实验表明,该方案在主流文生图及文生视频模型上实现1.77至3.01倍加速,质量仅微小下降,为首项针对多模态生成模型的投机推理工作。 综合评分: 90 文章分类: AI安全
上海交大并行与分布式系统研究所论文被机器学习顶会NeurIPS 2025接收
信息网络安全杂志
2026年1月22日 17:03 上海
第39届“神经信息处理系统大会”(NeurIPS: Annual Conference on Neural Information Processing Systems)于2025年12月2日至7日召开。NeurIPS是机器学习领域的顶级会议,与ICML,ICLR并称为机器学习领域三大会。IPADS一篇论文被接收。
基于Transformer的扩散模型已成为高质量多模态生成领域的核心技术,但其迭代式的生成方式导致了高昂的推理延迟。受投机解码在加速大语言模型方面成功的启发,我们提出“带有投机验证的投机采样”的多模态生成加速方案(Approximate Speculative Diffusion with Speculative Verification, ASDSV) ,旨在提升扩散模型的推理效率。然而,将投机执执行的理念应用于扩散过程面临着独特的挑战。首先,扩散模型推理在单batch下已经占满计算资源,因此对大量的草稿模型“预测步骤”进行逐一验证,其计算成本极为高昂,令传统的完全验证方法不切实际。其次,如何确定最优的推测步数 K ,需要在潜在的加速收益和验证成功率之间进行权衡。为了解决这些挑战,ASDSV引入了两项关键创新:投机验证技术:其核心思想是利用我们观察到的草稿模型与目标模型输出之间的“时间相关性”,通过仅仅校验K步序列内的初始和最终状态的一致性,便能高效地完成对整个序列的验证,从而显著降低了验证开销;分阶段投机策略,该策略根据去噪所处的不同阶段来动态调整步 K:在变化剧烈的早期阶段采用较小的 K 值,而在更稳定的后期阶段则采用较大的 K 值,以此来优化速度与质量的平衡。我们将ASDSV应用于当前主流的文生图、文生视频模型,包括Flux.1-dev和Wan2.1。ASDSV在模型推理上实现了高达1.77倍-3.01倍的加速,而VBench分数仅有0.3%-0.4%的微小下降。该工作首次提出针对多模态生成模型的投机推理方法。
论文信息:
- Kaijun Zhou, Xingyu Yan, Xingda Wei, Xijun Li, Jinyu Gu. ASDSV: Multimodal Generation Made Efficient with Approximate Speculative Diffusion and Speculative Verification. Advances in Neural Information Processing Systems, 2025.
来源:上海交大并行与分布式系统研究所
信息网络安全
《信息网络安全》创刊于2001年,是由公安部主管,公安部第三研究所、中国计算机学会主办,面向国内外公开发行的国内首批信息安全类期刊之一,于2015年成为中国科技核心期刊,2017年成为中国科学引文数据库来源期刊,2018年成为中文核心期刊,2022年入选CCF计算领域高质量科技期刊分级目录。
中文核心期刊
中国科技核心期刊
中国科学引文数据库来源期刊
CCF计算领域高质量科技期刊
我们在不断努力和完善中,期待您的关注和支持!
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:信息网络安全杂志 《上海交大并行与分布式系统研究所论文被机器学习顶会NeurIPS 2025接收》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论