2 相关工作

本文为论文《Wan 2.1：开放先进的视频生成基座模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在生成式建模进展的驱动下，大规模视频模型的格局已显著演进，尤其在基于扩散的框架中。我们的综述聚焦于两大类：闭源模型，以及来自开源社区的贡献。

闭源模型。闭源模型主要由大型科技公司开发，凭借投入的大量资源，意在实现高质量、专业化的视频生成。我们按时间顺序梳理了过去一年中发布的知名模型。2024 年 2 月，OpenAI 推出 Sora（OpenAI, 2024），标志着 AI 生成内容的重大飞跃。2024 年 6 月，快手的 Kling（Kuaishou, 2024.06）与 LUMA AI 的 Luma 1.0（LumaLabs, 2024.06）向公众开放测试，提供强大的视频生成能力。与此同时，Runway 在 Gen-2（Runway, 2023）基础上发布了 Gen-3（Runway, 2024.06），进一步提升了视频创作的标准。2024 年 7 月，生数科技发布了搭载自研 U-ViT（Bao et al., 2023）架构的 Vidu（Bao et al., 2024）。2024 年 9 月，Kling 与 Luma 均更新至 1.5 版本。同一时期，MiniMax 推出 Hailuo Video（MiniMax, 2024.09），向公众呈现了令人印象深刻的视觉效果。2024 年 10 月，Pika Labs 推出 Pika 1.5（PikaLabs, 2024.10），允许用户自定义视频中的视觉与物理属性。此外，Meta 推出了 Movie Gen（Polyak et al.,），一系列详述其训练流程与应用场景的视频基础模型。2024 年 12 月，Kling 进阶至 1.6 版本，同时 Google 发布了 Veo 2（DeepMind, 2024.12），提升了对真实世界物理规律与人类运动细节的理解。

这些进展凸显了视频生成领域激烈的全球竞争。在此背景下，我们的开源 Wan 在内部与外部基准测试中均展现出与这些商业模型相当甚至更优的性能，在多项属性上处于领先。

来自开源社区的贡献。另一方面，开源社区不仅对整个视频生成模型，也对关键模型组件的探索做出了实质性贡献。基于扩散的视频生成模型通常构建于 Stable Diffusion（Rombach et al., 2022）架构之上，主要涉及三个关键模块：将原始视频映射至紧凑潜空间的自编码器、提取文本嵌入的文本编码器，以及通过扩散模型优化的神经网络，用于学习这些视频潜变量的分布。在网络结构方面，最初用于图像生成的 U-Net（Ronneberger et al., 2015）（Ho et al., 2020; Song et al., 2020）通过引入时间维度被适配用于视频生成。VDM（Ho et al., 2022）将 2D U-Net 扩展为 3D 版本，而另一种范式（Zhou et al., 2022; Wang et al., 2023a; Guo et al., 2024b）则引入 1D 时间注意力与 2D 空间注意力块的组合以降低计算成本。值得注意的是，仅依赖 Transformer 块的扩散 Transformer（DiT（Peebles & Xie, 2023））在视觉生成任务上优于 U-Net（Chen et al., 2023a）。该结构也被迁移至视频模型（Ma et al., 2024），衍生出两种常见变体：使用交叉注意力处理文本嵌入的原始 DiT（Peebles & Xie, 2023; HaCohen et al., 2024），以及将文本嵌入与视觉嵌入拼接后进行全注意力处理的 MM-DiT（GenmoTeam, 2024; Kong et al., 2024）。关于自编码器，早期方法（Rombach et al., 2022）采用标准 VAE（Kingma, 2013），而近期的自编码器如 VQ-VAE（Van Den Oord et al., 2017）与 VQGAN（Esser et al., 2021）改进了模型设计以获得更好的重建与压缩效果。LTX-Video（HaCohen et al., 2024）修改 VAE 解码器来执行最终的去噪步骤并将潜变量转换为像素，缺失的高频细节在解码过程中生成。文本编码器同样对基于文本的 video 生成至关重要。当前强大的视频生成模型主要使用 T5 系列（Raffel et al., 2020）作为主文本编码器，常与 CLIP（Radford et al., 2021）结合使用。在 HunyuanVideo（Kong et al., 2024）中，T5 被多模态大语言模型（Liu et al., 2023c; Li et al., 2023）所取代，以实现文本嵌入与视觉特征之间更稳健的对齐。

通过将这些关键模块与有效的基于扩散的优化技术（Ho et al., 2020; Song & Ermon, 2019; Lipman et al., 2022）相结合，众多前景广阔的开源视频生成模型应运而生（GenmoTeam, 2024; Kong et al., 2024; HaCohen et al., 2024; Zheng et al., 2024; Lin et al., 2024; Jin et al., 2024; Yang et al., 2025b）。在 Wan 中，我们精心设计并选取了每个关键组件，以确保高质量的视频合成。我们提供了详尽的设计信息与消融研究，可助力未来视频生成模型的设计。

此外，大量研究探索了视频生成中的下游任务，包括重绘（AI, 2022; Zhou et al., 2023）、编辑（Meng et al., 2021; Brooks et al., 2023; Zhang et al., 2023a; Wang et al., 2023b; Wei et al., 2024b）、可控生成（Zhang et al., 2023b; Jiang et al., 2024; Wang et al., 2024c）以及帧参考生成（Yang et al., 2025b; Guo et al., 2024a），通常借助类适配器（adapter）与类 ControlNet 的架构（Zhang et al., 2023b; Chu et al., 2023）来融入用户指定的条件。我们也基于 Wan 开发了多种下游应用，并展现出卓越的性能。