HyperAIHyperAI

Command Palette

Search for a command to run...

协同扩散-自回归范式 SDAR

Date

1 个月前

Organization

上海人工智能实验室

Paper URL

2510.06303

Synergistic Diffusion-AutoRegression(SDAR)是由上海人工智能实验室于 2025 年 10 月提出的,相关研究成果发表于论文「SDAR: A Synergistic Diffusion-AutoRegression Paradigm for Scalable Sequence Generation」。

SDAR 是一种协同扩散-自回归范式,建立了一个新的语言建模框架,结合了自回归的训练效率和扩散的并行推理能力,旨在协调自回归训练的效率与基于扩散的推理的并行性,其关键原则是解耦两个阶段:利用全规模的 AR 预训练来确保稳定性和效率,然后引入一个轻量级的适应阶段,使模型具备块状扩散解码能力。这种设计保留了 AR 的实际优势——如 KV 缓存、可变长度生成和强大的优化行为,同时释放了扩散独特的块内并行生成优势。

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供