1 引言

本文为论文《Wan 2.1:开放先进的视频生成基座模型》「中文全文翻译」板块的对应章节,与「论文原文」板块同一章节一一对应,层级保持一致。

自 OpenAI 推出 Sora(OpenAI, 2024)以来,视频生成技术引起了工业界与学术界的广泛关注,推动了该领域的快速发展。能够生成与专业制作内容相媲美视频的模型的出现,显著提升了内容创作效率,同时降低了视频制作成本。视频生成技术的这些快速进展,在很大程度上也得益于开源社区的发展。HunyuanVideo(Kong et al., 2024)、Mochi(GenmoTeam, 2024)、CogVideoX(Yang et al., 2025b)等知名项目已公开其视频基础模型的代码与权重,逐步缩小了开源模型与商业模型之间的差距。然而,必须承认的是,这些出色的开源模型与最新的闭源模型之间仍存在持续差距。这一差距主要体现在三个方面: 性能欠佳:性能差距依然显著,因为商业模型的发展速度远超当前开源模型,从而具备明显更强的性能。 能力有限:大多数基础模型仅局限于通用的文本到视频(T2V)任务,而视频创作的需求是多维度的。因此,基础的 T2V 模型不足以应对这些多样化需求。 效率不足:尽管这些模型在性能与规模上令人瞩目,但对于计算资源有限的创作团队而言往往不切实际,限制了它们的可访问性与可用性。这些挑战共同制约了开源社区的持续成长与创新。

为应对上述挑战,本报告提出并公开发布了一款新型高性能基础视频生成模型系列,称为 Wan,为行业树立了新的标杆。Wan 的核心设计受扩散 Transformer(DiT)(Peebles & Xie, 2023)结合 Flow Matching(Lipman et al., 2022)成功经验的启发,该框架已在文本到图像(T2I)(Esser et al., 2024)与文本到视频(T2V)(Kong et al., 2024)任务中被证明可通过规模化获得显著的性能提升。在这一架构范式下,交叉注意力(cross-attention)被用于嵌入文本条件,同时模型设计经过精心优化,以确保计算效率与精确的文本可控性。为进一步增强模型捕捉复杂动态的能力,我们引入了完整的时空注意力机制。通过大量实验,该模型在规模上得到验证,参数量达到 140 亿。随后,Wan 在包含数十亿图像与视频的大规模数据上进行训练,总计约 $\mathcal{O}(1)$ 万亿 token。这一广泛的训练促使模型能力涌现,使其在运动幅度与质量、视觉文本生成、相机控制、指令遵循以及风格多样性等多个维度上展现出稳健的性能。在强大基础模型之上,我们将其能力拓展至众多下游任务,包括图像到视频生成(I2V)、指令引导的视频编辑(V2V)、零样本个性化定制、实时视频生成以及音频生成等关键应用。为最小化推理成本,我们同时引入了 1.3B 模型与 14B 模型用于 T2V 与 I2V,两者均支持 480p 分辨率,大幅提升了推理效率。值得注意的是,1.3B 模型仅需 8.19G 显存,即可在许多消费级 GPU 上运行,而其性能却超越了许多更大的开源模型。

此外,我们还将公开完整的训练流程,包括大规模数据构建流水线、视频变分自编码器(VAE)、训练策略、加速技术以及自动化评测算法,以赋能社区开发专用的基础视频模型。我们还将提供详尽的设计细节与实验结果,分享在资源密集的大型生成模型训练过程中观察到的现象,以及我们的关键发现与结论。我们确信这些贡献将在加速视频生成技术发展中发挥关键作用。

图

Figure 2: Samples generated by Wan. Wan can produce videos with large motions, high fidelity, and realistic details. It is also the first model to generate both Chinese and English text within videos. Additionally, Wan offers a range of features, including text-to-video, image-to-video, and video editing capabilities.