论文信息与摘要(译文)
原文标题:Wan: Open and Advanced Large-Scale Video Generative Models 中文译名:Wan 2.1:开放先进的视频生成基座模型 arXiv:2503.20314(v1)
本板块为论文全文的中文翻译,章节结构与「论文原文」板块一一对应。
Wan Team
Alibaba Group
Abstract
本报告介绍了 Wan,一套全面且开放的大规模视频基础模型套件,旨在突破视频生成的边界。Wan 基于主流的扩散 Transformer 范式构建,通过一系列创新在生成能力上取得了显著进展,包括我们新颖的时空变分自编码器(VAE)、可扩展的预训练策略、大规模数据整理,以及自动化的评测指标。这些贡献共同提升了模型的性能与通用性。具体而言,Wan 具有四个关键特征: 领先的性性能:Wan 的 14B 模型在包含数十亿图像与视频的庞大数据集上训练,展示了视频生成在数据与模型规模上的缩放定律。在多项内部与外部基准测试中,它持续优于现有的开源模型以及最先进的商业解决方案,展现出明确且显著的性能优势。 全面性:Wan 提供两种能力出众的模型,即 1.3B 与 14B 参数规模,分别面向效率与效果。它还覆盖了多个下游应用,包括图像到视频、指令引导的视频编辑,以及个性化视频生成,共计多达八项任务。同时,Wan 是首个能够同时生成中英文视觉文本(visual text)的模型,显著提升了其实用价值。 消费级效率:1.3B 模型展现了卓越的资源效率,仅需 8.19 GB 显存,即可兼容广泛的消费级 GPU。与更大的开源模型相比,它在文本到视频任务上同样表现出更优的性能,展现出惊人的效率。 开放性:我们开源了整个 Wan 系列,包括源代码与全部模型,旨在推动视频生成社区的发展。这种开放性有望大幅拓展行业视频创作的创意可能性,并为学术界提供高质量的视频基础模型。此外,我们还围绕所提出的 Wan 开展了大量实验分析,给出了详尽的结果与洞见。我们相信这些发现与结论将显著推进视频生成技术。所有代码与模型均可在 https://github.com/Wan-Video/Wan2.1 获取。
| |

Figure 1: Comparison of Wan with state-of-the-art open-source and closed-source models. Following both benchmark and human evaluations, Wan consistently demonstrated superior results. Note that HunyuanVideo Kong et al. (2024) is tested using the open-source model.
Contents
