4 模型设计与加速

4 模型设计与加速

本文为论文《Wan 2.1：开放先进的视频生成基座模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

4.1 时空变分自编码器

Figure 5: Our Wan-VAE Framework. Wan-VAE can compress the spatio-temporal dimension of a video by $4\times 8\times 8$ times. The orange rectangles represent $2\times$ spatio-temporal compression, and the green rectangles represent $2\times$ spatial compression.

变分自编码器（VAEs）（Wu et al., 2024; Blattmann et al., 2023; OpenAI, 2024）在学习高维视觉数据（尤其是视频）的紧凑潜表示方面发挥着关键作用，促进了生成模型（如扩散模型）的可扩展且高效的训练。然而，为视频生成任务设计有效的 VAE 面临若干挑战。首先，视频固有地具备空间与时间两个维度，要求 VAE 捕捉复杂的时空依赖关系。其次，视频固有的高维特性（如多帧高分辨率像素）增加了内存消耗与计算成本，使得 VAE 难以扩展至长视频序列。第三，确保时间因果性（即未来帧不影响过去帧）对于生成真实且连贯的视频内容至关重要，然而这一约束引入了额外的架构复杂性。

为应对这些挑战，我们提出了一种专为视频生成设计的新型 3D 因果 VAE 架构（Wan-VAE）。我们结合多种策略（Wu et al., 2024）来改进时空压缩、降低内存占用并确保时间因果性。这些增强使 Wan-VAE 更高效、更可扩展，也更适合与 DiT 等基于扩散的生成模型集成。接下来，我们将介绍 Wan-VAE 的网络设计、训练细节、高效推理与实验对比。

4.1.1 模型设计

为实现高维像素空间与低维潜空间之间的双向映射，我们设计了如图 5 所示的 3D 因果 VAE。给定输入视频 $V\in\mathbb{R}^{(1+T)\times H\times W\times 3}$，Wan-VAE 将其时空维度压缩至 $[1+T/4,H/8,W/8]$，同时将通道数 $C$ 扩展至 16。具体而言，遵循 MagViT-v2（Yu et al., 2023），第一帧仅进行空间压缩，以更好地处理图像数据。在架构方面，我们将所有 GroupNorm 层（Wu & He, 2018）替换为 RMSNorm 层（Zhang & Sennrich, 2019）以保持时间因果性。这一修改使得特征缓存机制（参见 4.1.3 节）得以使用，显著提升了推理效率。此外，我们将空间上采样层的输入特征通道数减半，使推理期间的内存消耗降低了 33%。

通过进一步精心调整基础通道数量，Wan-VAE 实现了仅 127M 参数的紧凑模型规模。该优化降低了编码时间与内存占用，从而有益于后续扩散 Transformer 模型的训练。

4.1.2 训练

我们采用三阶段方法来训练 Wan-VAE。首先，我们构建具有相同结构的 2D 图像 VAE，并在图像数据上训练。随后，我们将训练良好的 2D 图像 VAE 膨胀为 3D 因果 Wan-VAE，以提供初始的空间压缩先验，与从零开始训练视频 VAE 相比大幅加快了训练速度。在此阶段，Wan-VAE 在低分辨率（128$\times$128）与小帧数（5 帧）视频上训练，以加速收敛。训练损失包含 $L1$ 重建损失、KL 损失与 LPIPS 感知损失，权重系数分别为 3、3e-6 与 3。最后，我们在不同分辨率与帧数的高质量视频上对模型进行微调，并整合来自 3D 判别器的 GAN 损失（Esser et al., 2021）。

Figure 6: Our feature cache mechanism. (a) and (b) show how we use this mechanism in regular causal convolution and temporal downsampling, respectively.

4.1.3 高效推理

为高效支持任意长视频（Yang et al., 2025a; Yao et al., 2021）的编码与解码，我们在 Wan-VAE 的因果卷积模块中实现了特征缓存机制。

具体而言，视频序列帧数遵循 $1+T$ 的输入格式，因此我们将视频划分为 $1+T/4$ 个块（chunk），这与潜特征的数量一致。在处理输入视频序列时，模型采用分块策略，每次编码与解码操作仅处理对应单个潜表示的视频块。基于时间压缩比，每个处理块中的帧数被限制为最多 4 帧，有效防止了内存溢出。

为保障上下文块之间的时间连续性，我们的模型策略性地保留了来自前序块的帧级特征缓存。这些缓存特征被系统性地整合到后续块的因果卷积计算中。具体过程如图 6 所示，展示了我们特征缓存机制的两种典型场景。在图 6 (a) 的默认设置中，因果卷积不改变帧数，我们需要维护来自历史帧的两个缓存特征（卷积核大小为 3）。对于初始块，我们应用两个虚拟帧的零填充来初始化缓存缓冲区。后续块系统性地复用前一块的最后两帧作为缓存特征，同时丢弃过时的历史数据。图 6 (b) 展示了涉及 2$\times$ 时间下采样（步长为 2）的场景。此处，场景需要不同的缓存管理：我们仅对非初始块实施单帧缓存填充，以确保维度一致性。该配置保证了输出序列长度严格遵循下采样比，同时在块的边界处保持因果关系。

该特征缓存机制不仅优化了内存利用，还保持了块边界间的特征连贯性，从而支持无限长视频的稳定推理。

4.1.4 评估

Figure 7: Comparison of video reconstruction performance at $720\times 720$ resolution and 25 frames.

定量结果。本研究通过分析各类最先进（SOTA）视频 VAE 模型（Kong et al., 2024; Yang et al., 2025b）的峰值信噪比（PSNR）与处理效率（每单位延迟（秒）处理的帧数），对其性能进行了全面评估。值得注意的是，为公平比较，大多数模型（Kong et al., 2024; Yang et al., 2025b）采用了与我们相同的压缩率与潜特征维度，即 $4\times 8\times 8$ 的压缩率与 16 的潜维度。Open Sora Plan（Lab & etc., 2024）与我们压缩比相同，但潜维度为 4。SVD（Blattmann et al., 2023）采用 $1\times 8\times 8$ 的压缩率与 4 的潜维度，Step Video（Ma et al., 2025）采用 $8\times 16\times 16$ 的压缩率与 64 的潜维度，Mochi（GenmoTeam, 2024）采用 $6\times 8\times 8$ 的压缩率与 12 的潜维度。评估在 200 段视频上进行。这些视频包含 25 帧，分辨率设为 $720\times 720$。在图 7 中，圆点大小与模型参数量正相关。

实验结果表明，Wan-VAE 在两项指标上均展现出极具竞争力的性能，呈现出视频质量优越与处理效率高的双重优势。值得指出的是，在相同硬件环境下，我们的 VAE 重建速度比现有 SOTA 方法（即 HunYuan Video）快 2.5 倍。由于我们的 VAE 模型采用小尺寸设计且具备特征缓存机制，这一速度优势在更高分辨率下将进一步显现。

这一进展为视频重建任务与视频生成训练提供了高效的解决方案。这些发现不仅验证了所提出模型设计的有效性，也为 VAE 技术的未来发展提供了宝贵洞见。

Figure 8: Visualization results of video reconstruction across different scenarios, including texture (first row), face (second row), text (third row), and high-motion (fourth row). The above videos have rich details but are not used in training.

定性结果。为验证我们的方法在多样化场景下的视频重建性能，图 8 展示了纹理、人脸、文本与高运动场景的视觉结果。与现有 VAE 模型相比，Wan-VAE 在这些场景下均展现出更优性能。在首行展示的纹理场景中，我们的方法能够更准确地捕捉细节，如头发的纹理与走向。在第二行的人脸场景中，Wan-VAE 在保留面部特征的同时，减少了嘴唇周边的模糊与畸变。在第三行的文本场景中，我们的方法成功以清晰方式还原文本内容，缓解了字符畸变与丢失问题。在第四行的高运动场景中，Wan-VAE 保持了视频帧的运动锐度。这些结果表明，我们的方法在处理各类复杂场景时具有显著优势。

Figure 9: Architecture of the Wan.

4.2 模型训练

本节将详细介绍面向文本到视频任务的基础视频模型的架构设计，以及预训练与后训练阶段的细节。

在图 9 中，我们展示了 Wan 的架构，其基于当前主流的 DiT（Peebles & Xie, 2023）架构设计，通常包含三个主要组件：Wan-VAE、扩散 Transformer 与文本编码器。对于给定的视频 $V\in\mathbb{R}^{(1+T)\times H\times W\times 3}$，Wan-VAE 的编码器将其从像素空间编码至潜空间 $x\in\mathbb{R}^{1+T/4\times H/8\times W/8}$，随后送入后续的扩散 Transformer 结构。

4.2.1 视频扩散 Transformer

Figure 10: Transformer block of Wan.

扩散 Transformer。扩散 Transformer 主要由三个组件构成：分块（patchify）模块、Transformer 块与反分块（unpatchify）模块。在每个块内部，我们专注于有效地建模时空上下文关系，并嵌入文本条件与时间步。在分块模块中，我们使用核大小为 $(1,2,2)$ 的 3D 卷积，并应用展平操作将 $x$ 转换为形状为 $(B,L,D)$ 的特征序列，其中 $B$ 表示批次大小，$L=(1+T/4)\times H/16\times W/16$ 表示序列长度，$D$ 表示潜维度。具体而言，如图 10 所示，我们采用交叉注意力机制来嵌入输入文本条件，这能确保模型在长上下文建模下仍具备指令遵循能力。此外，我们使用由 Linear 层与 SiLU（Elfwing et al., 2018）层构成的 MLP 来处理输入的时间嵌入，并分别预测六个调制参数。该 MLP 在所有 Transformer 块间共享，每个块学习一组不同的偏置。通过大量实验，我们证明这种设计可在相同参数量级下减少约 $25\%$ 的参数，并带来显著的性能提升。

文本编码器。Wan 的架构使用 umT5（Chung et al., 2023）来编码输入文本。通过大量实验我们发现，umT5 在我们的框架中具有若干优势： 1) 它具备强大的多语言编码能力，能够有效理解中英文以及输入的视觉文本； 2) 在相同条件下，我们发现 umT5 在组合性上优于其他单向注意力机制的 LLM； 3) 它展现出更优的收敛性，umT5 能在相同参数量级下实现更快收敛。基于这些发现，我们最终选择 umT5 作为文本嵌入器。

4.2.2 预训练

我们借助 flow matching 框架（Lipman et al., 2022; Esser et al., 2024）来建模跨越图像与视频域的统一去噪扩散过程。我们首先在低分辨率图像上进行预训练，随后进行图像与视频的多阶段联合优化。

图像-视频联合训练在多个阶段中，通过逐步提升的数据分辨率与延长的时长来演进。

训练目标。Flow matching 为在扩散模型中学习连续时间的生成过程提供了一个理论上有据可依的框架。它规避了迭代式的速度预测，通过常微分方程（ODEs）实现稳定训练，同时保持与最大似然目标的等价性。在训练期间，给定图像或视频潜变量 $x_{1}$、随机噪声 $x_{0}\sim\mathcal{N}(0,I)$，以及从 logit-normal 分布中采样的时间步 $t\in[0,1]$，得到中间潜变量 $x_{t}$ 作为训练输入。遵循 Rectified Flows（RFs）（Esser et al., 2024），$x_{t}$ 定义为 $x_{0}$ 与 $x_{1}$ 之间的线性插值，即：

| | $x_{t}=tx_{1}+(1-t)x_{0}.$ | | (1) |

真实速度（ground truth velocity）$v_{t}$ 为：

| | $v_{t}=\frac{dx_{t}}{dt}=x_{1}-x_{0}.$ | | (2) |

模型被训练以预测速度，因此损失函数可表述为模型输出与 $v_{t}$ 之间的均方误差（MSE）：

| | $\mathcal{L}=\mathbb{E}{x{0},x_{1},c_{txt},t}||u(x_{t},c_{txt},t;\theta)-v_{t}||^{2},$ | | (3) |

其中 $c_{txt}$ 为长度 512 token 的 umT5 文本嵌入序列，$\theta$ 为模型权重，$u(x_{t},c_{txt},t;\theta)$ 表示模型预测的输出速度。

图像预训练。我们的实验分析揭示了在直接以高分辨率图像与长时长视频序列进行联合训练时的两个关键挑战：（1）过长的序列长度（对于 $1280\times 720$ 视频通常为 $81$ 帧）大幅降低了训练吞吐。在固定 GPU 时预算下，这导致数据吞吐不足，从而阻碍模型收敛速度。（2）过高的 GPU 内存消耗迫使采用次优的批次大小，引发由梯度方差峰值导致的训练不稳定。为缓解这些问题，我们通过低分辨率（$256\penalty\ px$）的文本到图像预训练来初始化 14B 模型的训练，在逐步引入高分辨率视频模态之前，强制实现跨模态的语义-文本对齐与几何结构保真。

图像-视频联合训练。在大规模 $256\penalty\ px$ 文本到图像预训练之后，我们通过分辨率渐进式课程（curriculum）实施图像与视频数据的分阶段联合训练。训练方案包含三个由空间分辨率面积区分的不同阶段：（1）在第一阶段，我们使用 $256\penalty\ px$ 分辨率图像与 5 秒视频片段（$192\penalty\ px$ 分辨率，$16$ fps）进行联合训练。（2）在第二阶段，我们将图像与视频分辨率均提升至 $480px$，同时保持固定的 5 秒视频时长。（3）在最终阶段，我们将图像与 5 秒视频片段的空间分辨率提升至 $720px$。

预训练配置。我们采用 bf16 混合精度结合 AdamW（Loshchilov & Hutter, 2017; Kingma & Ba, 2014）优化器进行高效训练，权重衰减系数为 $1e^{-3}$。初始学习率设为 $1e^{-4}$，并在 FID 与 CLIP Score 指标出现平台期时动态降低。

4.2.3 后训练

在后训练阶段，我们保持与预训练阶段相同的模型架构与优化器配置，使用预训练检查点初始化网络。我们使用 3.2 节详述的后训练视频数据集，在 $480px$ 与 $720px$ 分辨率上进行联合训练。

4.3 模型扩展与训练效率

4.3.1 工作负载分析

在 Wan 中，文本编码器与 VAE 编码器的计算成本低于 DiT 模型，后者在训练中占据了超过 85% 的总计算量。对于 DiT 模型，主要计算成本由表达式 $L(\alpha bsh^{2}+\beta bs^{2}h)$ 给出，其中 $L$ 表示 DiT 层数，$b$ 为微批次大小，$s$ 表示序列长度，$h$ 表示隐藏维度大小。此处，$\alpha$ 对应线性层的成本，$\beta$ 对应注意力层的成本；对于 Wan 中采用的非因果注意力，$\beta$ 在前向传播中为 4，在反向传播中为 8。与通用 LLM 模型不同，Wan 处理的序列长度 $s$ 常常达到数十万甚至更多。由于注意力的计算成本随 token 数量呈二次方增长，而线性层的成本仅线性增长，注意力机制逐渐成为了训练瓶颈。在序列长度达到 100 万的场景下，注意力的计算时间可占到端到端训练时间的 95%。

在训练过程中，仅对 DiT 模型进行优化，文本编码器与 VAE 编码器保持冻结。因此，GPU 内存使用集中于 DiT 的训练。DiT 的 GPU 内存使用可表示为 $\gamma Lbsh$，其中 $\gamma$ 取决于 DiT 层的实现方式，$L$ 表示 DiT 层数。由于视频 token、输入提示词与时间步均作为模型输入，$\gamma$ 的值通常大于普通 LLM 模型。例如，标准 LLM 的 $\gamma$ 可能为 34（Korthikanti et al.,），而 DiT 模型的 $\gamma$ 可超过 60。因此，当序列长度达到 100 万 token 且微批次大小为 1 时，14B DiT 模型中激活值的总 GPU 内存占用可超过 8 TB。

综上，Wan 中的主要计算成本源自注意力机制。尽管计算成本随序列长度 $s$ 呈二次方增长，GPU 内存占用仅随 $s$ 线性增长。这为指导后续的优化工作提供了有价值的参考。

4.3.2 并行策略

Wan 模型主要由 VAE、文本编码器与 DiT 三个模块构成。遵循 4.1.3 节所述的缓存机制优化，VAE 模块展现出极低的 GPU 内存占用，并可无缝采用数据并行（DP）。相比之下，文本编码器需要超过 20 GB 的 GPU 内存，因此需要采用模型权重分片以节省后续 DiT 模块的内存。为此，我们采用数据并行（DP）结合完全分片数据并行（FSDP）（Zhao et al., 2023）的策略。DiT 的模型参数、梯度与优化器状态将超出单张 GPU 的容量，在 1M token、批次大小为 1 的场景下激活值存储可达约 8 TB。此外，DiT 部分占据了整体计算工作量的很大比例。因此，我们专注于为 DiT 模块开发高效的分布式策略。

DiT 并行策略。鉴于 DiT 模型规模适中，并考虑到计算与通信的重叠优化以及最大化数据并行（DP）规模，我们选择了 FSDP 作为我们的参数分片策略。

关于激活值，DiT 块的输出形状为 $[b,s,h]$，其中 $b$ 维度对应数据并行，$s$ 表示序列长度，$h$ 表示隐藏维度。因此，我们需要考察 $s$ 与 $h$ 维度的分片策略。沿 $s$ 维度的分片通过上下文并行（CP）实现，常见方法包括 Ulysses（Jacobs et al., 2023）与 Ring Attention（Liu et al., 2023a）。沿 $h$ 维度的分片主要涉及 Megatron 的张量并行（TP）（Shoeybi et al., 2019）结合序列并行（SP）（Korthikanti et al.,），通过对权重进行切分来分片激活值的隐藏维度。由于 CP 的通信开销小于（TP $+$ SP），我们提出使用 CP 来加速批次级计算，同时降低每张 GPU 上的激活值内存占用。我们设计了一种结合 Ulysses 与 Ring Attention 特点、类似 USP（Fang & Zhao, 2024）的二维（2D）CP。在该设计中，外层采用 Ring Attention，内层利用 Ulysses。这种组合缓解了 Ulysses 中跨机器通信缓慢的问题，并解决了 Ring Attention 分片后对大块尺寸的需求，从而最大化外层通信与内层计算的重叠。在序列长度为 256K、跨 2 台机器的 16 张 GPU 场景下，二维上下文并行的通信开销从 Ulysses 的超过 $10\%$ 降低至 $1\%$ 以下。

Figure 11: Illustration of DiT parallelism. Assuming a total of 128 GPUs, the innermost layer consists of a combination of Ulysses=8 and Ring=2. The outer layer employs FSDP=32, while the outermost layer utilizes DP=4. The global batch size is 8 times that of the micro-batch size.

FSDP 组与 CP 组在 FSDP 组内相交，DP 大小等于 FSDP 大小除以 CP 大小。在满足内存与单批次延迟要求后，我们使用 DP 进行扩展。图 11 展示了 DiT 模块的分布式方案。例如，在 128 张 GPU 的配置中，CP 大小为 16，Ulysses 设为 8，Ring Attention 设为 2；FSDP 设为 32，对应批次大小 2b；DP 设为 4，得到全局批次大小 8b。

不同模块的分布式策略切换。在训练过程中，不同模块使用相同资源。具体而言，我们对 VAE 与文本编码器应用 DP，而 DiT 模块采用 DP 与 CP 的组合。因此，当 VAE 与文本编码器的输出在训练中送入 DiT 模块时，需要切换分布式策略以避免资源浪费。具体而言，CP 要求 CP 组内的设备读取相同批次的数据。然而，若 VAE 与文本编码器部分的设备也读取相同数据，则会导致冗余计算。为消除该冗余，CP 组内的设备最初读取不同的数据。随后，在 CP 之前，我们执行一次大小等于 CP 大小的循环遍历，依次将 CP 组内不同设备读取的数据广播出去，以确保 CP 内的输入相同。通过这种方式，VAE 与文本编码器在单次模型迭代中的时间占比被降低至 $1/CP$，从而提升了整体性能。

4.3.3 内存优化

如前所述，Wan 中的计算成本随序列长度 $s$ 呈二次方增长，而 GPU 内存占用随 $s$ 线性增长。这意味着在长序列场景下，计算时间最终会超过卸载激活值所需的 PCIe 传输时间。具体而言，卸载一个 DiT 层激活值的 PCIe 传输时间，可与仅 1 至 3 个 DiT 层的计算相重叠。与梯度检查点（GC）策略（Chen et al., 2016）相比，允许计算重叠的激活值卸载（Rhu et al., 2016）提供了一种在不牺牲端到端性能的前提下降低 GPU 内存占用的有效途径。因此，我们优先采用激活值卸载来减少 GPU 内存。由于 CPU 内存在长序列场景下也容易出现耗尽，我们将卸载与 GC 策略相结合，优先对 GPU 内存-计算比高的层使用梯度检查点。

4.3.4 集群可靠性

依托阿里云在训练集群中先进的智能调度、慢机检测与健壮自愈能力，我们确保了高稳定性。在任务启动阶段即识别出硬件问题，确保仅将健康节点分配给训练任务。在整个训练过程中，任何故障节点都会被及时隔离与修复，任务自动重启并无缝恢复训练。这种高效的编排将可靠性与高性能有效结合，保障了系统的整体稳定性。

4.4 推理

推理优化的主要目标是最小化视频生成的延迟。与训练不同，推理过程涉及多步采样，通常约 50 步。因此，我们采用量化与分布式计算等技术来降低单步所需时间。此外，我们利用步与步之间注意力的相似性来降低整体计算负载。进一步地，对于无分类器引导（CFG）（Ho & Salimans, 2022），我们利用其内在的相似性来进一步减少计算需求。

4.4.1 并行策略

Figure 12: Scaling inference via multiple GPUs.

如 4.3.2 节所述，我们利用上下文并行（Context Parallel）在扩展至多张 GPU 时降低生成单段视频的延迟。此外，对于 Wan 14B 等大型模型，我们采用模型分片来缓解 GPU 内存约束。 模型分片策略：鉴于推理期间序列长度较长，FSDP 相比 TP 产生的通信开销更小，且允许计算重叠。因此，我们采用与训练方式一致的 FSDP 方法进行模型分片。 上下文并行策略：我们采用与训练阶段相同的二维上下文并行，以 RingAttention 作为外循环、Ulysses 作为内循环。借助二维上下文并行与 FSDP 并行策略，DiT 在 Wan 14B 模型上实现了近乎线性的加速，如图 12 所示。

4.4.2 扩散缓存

我们对 Wan 模型进行了深入分析，识别出其推理过程中的以下特征：

注意力相似性：在同一 DiT 块内，不同采样步之间的注意力输出表现出显著的相似性。

CFG 相似性：在采样的后期阶段，条件与非条件 DiT 输出之间存在显著的相似性。

这些发现在 DiTFastAttn（Yuan et al., 2024b）与 FasterCache（Lv et al., 2024）等近期工作中同样被强调。我们利用这些特征来实现扩散缓存，以降低计算负载。在实践中，我们针对 Wan 模型量身定制了扩散缓存，以确保无损性能。具体而言，我们使用验证集来选取若干步骤进行缓存：

注意力缓存：对于注意力组件，我们每隔几步执行一次注意力前向传播并缓存结果，在其他步骤中复用缓存结果。

CFG 缓存：对于非条件部分，我们每隔几步执行一次 DiT 前向传播，并在其他步骤复用条件结果。此外，我们应用类似 FasterCache 的残差补偿方法，以防止细节退化。

在将扩散缓存应用于 Wan 14B 文本到视频模型后，我们将推理性能提升了 1.62×。

4.4.3 量化

FP8 GEMM。我们发现，对 GEMM 运算使用 FP8 精度，并对采样步骤中的权重采用逐张量（per-tensor）量化、对激活值采用逐 token（per-token）量化，带来的性能损失极小。因此，我们将 FP8 量化应用于 DiT 块中的所有 GEMM 运算。FP8 GEMM 的性能是 BF16 GEMM 的两倍，并在 DiT 模块中实现了 1.13× 的加速。

8 位 FlashAttention。尽管 FlashAttention3（Shah et al., 2025）实现了高性能，但其原生的 FP8 实现在我们的实验观察中，在视频生成上出现了显著的质量退化。相反，SageAttention（Zhang et al., 2024）采用 int8 与 fp16 的混合精度以降低精度损失，但并未针对 Hopper GPU 做特定适配。截至本报告发布，SageAttention 的后续优化已展现出更好的 Hopper 兼容性。未来的工作将探索整合这些性能增强。

我们展示了应用于 FA3-FP8 实现的优化，重点关注数值稳定性与计算效率。

精度。为缓解 Wan 在 FA3-FP8 量化下注意力中观察到的数值误差，我们应用了两项主要技术：

混合 8 位优化。FA3 的原生实现对所有输入张量（$Q$、$K$、$V$）使用 FP8（E4M3）。基于我们对数据分布的分析以及来自 SageAttention 的经验证据，我们采用混合量化策略：对 $S=QK^{T}$ 使用 Int8，对 $O=PV$ 使用 FP8。

跨块归约的 FP32 累加。原生 FP8 WGMMA 实现采用 14 位累加器，在长序列处理时容易溢出。为应对这一限制，我们的方法对块内 $PV$ 归约利用 FP8 WGMMA，同时通过 CUDA 核心采用 Float32 寄存器实现跨块累加，该策略受 DeepSeek-V3（Liu et al., 2024a）的 FP8 GEMM 方法启发。

性能。为了在混合 INT8-FP8 量化下保持内核性能，同时增强 $O=PV$ 的累加精度，我们采用两项技术：

将 Float32 累加与 warp 组（warpgroup）内流水线融合。FlashAttention3 采用了在 WGMMA 与 softmax 及缩放之间重叠的 warp 组内流水线。为缓解 Float32 $PV$ 跨块累加引入的性能损耗，我们将 Float32 累加与 $rescale_o$ 操作融合。

块大小调优。由于 Float32 $PV$ 跨块累加寄存器带来了额外的寄存器压力，我们调整块大小以减少寄存器溢出。优化后，我们的 8 位 FlashAttention 在 NVIDIA H20 GPU 上达到了 95% 的 MFU。

因此，借助 8 位 FlashAttention，我们将推理效率提升了超过 1.27×。

Table 1: Examples of user prompts and their rewritten results. These examples are in Chinese originally and have been translated into English for the purpose of presentation.

4.5 提示词对齐

提示词对齐旨在通过使用户的输入提示词与训练期间所用描述（caption）的格式和风格对齐，来提升模型推理的效果。在此过程中，我们采用两项主要策略。首先，我们为每段视频增加多种描述，从而提升多样性。其次，我们对用户提示词进行重写，使其与训练阶段视频描述的分布对齐。下文我们将详述这些策略。

为适配多样化的用户输入，每段图像或视频都配有反映不同风格与长度的多种描述。例如，我们使用不同长度（如长、中、短）与风格（如正式、非正式、诗意）的描述，为训练数据创建多样化的样本-描述对。这些描述建立了文本与视频之间不同的映射关系，有效覆盖了用户可能提供的提示词范围。

尽管描述具有多样性，数据集描述与用户输入提示词之间往往存在分布不匹配。通常，用户偏好由几个简单词汇构成的简练提示词，其长度远短于训练描述。这种差异会对生成视频的质量产生不利影响。为解决该问题，我们利用大语言模型（LLM）对用户输入提示词进行重写优化。我们的主要目标是使这些精修后提示词的分布与训练描述的分布对齐，从而获得更佳的推理性能。LLM 在重写用户提示词时遵循以下原则：

我们指示 LLM 在不改变原意的前提下为提示词添加细节，增强所生成场景的完整性与视觉吸引力。

重写后的提示词应融入自然的动作属性，我们基于主体类别为其添加恰当的动作，以确保生成视频中更流畅、自然的动作。

我们建议将重写提示词的结构组织得类似于后训练描述，以视频风格开头，随后是内容摘要，最后为详细描述。该方法有助于使提示词与高质量视频描述的分布对齐。

我们在基准上评估了 LLM 辅助提示词重写的有效性，若干结果呈现在表 1 中。我们的发现表明，具备强指令遵循能力的 LLM 能够生成合适的提示词，从而提升视频生成效果。为平衡速度与性能，我们使用 Qwen2.5-Plus 作为重写模型。

Figure 13: The dimensions covered in Wan-Bench.

Figure 14: Distribution of the number of prompts across various dimensions of Wan-Bench.

4.6 评测基准

现有的视频生成评估方法，如 Fréchet Video Distance（FVD）（Unterthiner et al., 2018）与 Fréchet Inception Distance（FID）（Heusel et al., 2017），与人类感知存在偏差。我们提出了一种自动化的、全面的、与人类对齐的 Wan-Bench，用于评估视频生成模型。

Wan-Bench 由三个核心维度构成：动态质量、图像质量与指令遵循，包含 14 项细粒度指标。我们为每个维度设计了特定的评分算法，对简单任务（如目标检测）使用传统检测器，对复杂任务使用多模态大语言模型（MLLMs）。

动态质量。动态质量旨在评估模型在非静态场景下的质量与稳定性。

大幅度运动生成。为衡量运动生成的上限，我们设计提示词以鼓励显著的运动。我们使用 RAFT（Teed & Deng, 2021）计算生成视频的光流，并通过归一化光流的幅度来评估运动分数。

人体伪影。现有评估方法缺乏检测 AI 生成伪影的能力。因此，我们在 20,000 张人工标注的 AI 生成图像上训练了一个基于 YOLOv3 的模型（Redmon & Farhadi, 2018），以识别伪影位置。伪影分数综合考虑了预测概率、边界框以及对应时长。

物理合理性与流畅性。为评估物理合理性，我们设计提示词以生成与物理相关的运动（如球弹跳、物体交互、水流），并借助具备丰富真实世界物理知识的 Qwen2-VL（Bai et al., 2023）。通过视频问答模型，我们检测违反物理定律的现象，如物体穿插、不真实碰撞或反重力运动。为评估流畅性，我们设计包含复杂运动的提示词，由 Qwen2-VL 识别伪影以评估运动的流畅度。

像素级稳定性。像素级稳定性用于判断视频中是否频繁出现噪声。我们利用光流识别静态区域，并计算这些区域内的逐帧差异。对于稳定视频，静态区域内的这些差异相对较小。

ID 一致性。我们考虑三种子维度：人体一致性、动物一致性与物体一致性，覆盖不同集合的提示词。提取帧级 DINO（Caron et al., 2021）特征，以帧间相似度作为一致性分数进行比较。

图像质量。图像质量维度旨在评估视觉质量与美学感知。

综合图像质量。衡量视觉质量需要评估保真度与美感。对于保真度，我们使用 MANIQA（Yang et al., 2022），它能有效检测模糊与伪影，确保精确的清晰度评估。对于美感，我们使用两种成熟的模型：基于 LAION 的美学预测器（LAION-AI, 2022）与 MUSIQ（Ke et al., 2021）。我们通过平均这三个评估器来计算最终的图像质量分数。

场景生成质量。我们评估两个关键方面：逐帧场景一致性与场景-文本对齐。对于一致性，我们测量连续帧之间的 CLIP 相似度（Radford et al., 2021）以确保时间连贯性。对于对齐，我们计算帧与其对应文本之间的 CLIP 相似度以验证语义准确性。我们通过加权平均这些指标来计算质量分数。

风格化。我们使用 Qwen2-VL 通过帧级问答来评估艺术化视频生成能力。

指令遵循。指令遵循评估模型理解并执行文本指令的能力。

单物体 & 多物体 & 空间位置。我们使用 Qwen2-VL 预测视频中的物体类别、数量与空间关系。评估分数表示准确对应给定提示词的帧的平均数量。

相机控制。我们通过 130 条定制提示词评估五种相机运动风格：平移、升降、推拉（zooming in/out）、航拍与跟拍。对于平移、升降与推拉，我们通过 RAFT 分析光流以评估运动风格。对于复杂的航拍与跟拍，我们使用 Qwen2-VL 通过视频问答推断相机运动。

动作指令遵循。我们将动作归类为人（如奔跑）、动物（如爬行）与物体运动（如飞行）。由于评估这些运动需要先验知识其执行方式，我们通过提供关键帧来使用 Qwen2-VL。我们向模型查询动作的对齐度、动作的完成度以及伪影的存在情况，以全面评估文本与视频之间的对齐。

人类反馈引导的加权策略。考虑到每个维度对用户偏好的影响各不相同，而非简单平均，我们利用人类反馈来赋予综合视频质量分数。我们收集了超过 5,000 组由包括 Wan 在内的不同模型生成的视频的两两比较。用户根据给定的文本对视频对进行评估，表明其偏好并给出近似分数。维度偏好加权源自模型生成分数与人类评分之间的皮尔逊（Pearson）相关性，作为最终分数计算中的加权因子。

Table 2: Performance comparison of commercial and open-source models using Wan-Bench.

4.7 评估

4.7.1 指标与结果

基线模型与指标。截至本文撰写时，市场上已有众多可比较的竞争对手，包括商业模型如 Kling（Kuaishou, 2024.06）、Hailuo（MiniMax, 2024.09）、Sora（OpenAI, 2024）、Runway（Runway, 2024.06）与 Vidu（ShengShu-AI, 2024.07），以及开源模型如 Mochi（GenmoTeam, 2024）、CogVideoX（Yang et al., 2025b）与 Hunyuan（Kong et al., 2024）。在本节中，我们将我们的模型与已通过基准评估且获得相对积极用户反馈的商业与开源模型进行比较。

定量结果。我们使用 Wan-Bench 提示词为每个候选模型收集了 1,035 个样本，并通过 Wan-Bench 对模型打分进行公平评估。评估聚焦于三个关键指标：动态质量、图像质量与指令遵循准确率。我们通过计算依据人类偏好加权（4.6 节）的总分，对不同生成模型的性能进行排序。表 2 中的结果表明，Wan 优于现有的商业与开源模型。

定性结果。如图 15 所示，Wan 能够直接从文本描述中有效生成多样化、高质量的视频。Wan 擅长合成涉及大规模、复杂运动的动态场景，以及反映物理交互的场景。此外，它还能熟练处理各种艺术风格，并持续产出电影级的视觉效果。同时，Wan 展现了强大的多语言文本生成能力，将中英文文本融入动画，产生电影级别的文本效果。

Figure 15: Results of the Wan-T2V. Our model excels at generating complex motions, creative transitions, cinematic-quality videos, and accurately produces both Chinese and English text.

人类评估。我们设计了超过 700 项评估任务，由 20 余名标注人员完成，并从四个关键维度评估：对齐度、图像质量、动态质量与整体质量。表 3 中的结果表明，在 T2V 任务中，Wan 14B 模型在所有视觉质量维度上均持续领先，展现出卓越性能。

Table 3: Win rate gap of T2V.

Wan 在公开榜单上的表现。Wan 在 VBench 榜单（Huang et al., 2023）上展现了最先进的性能，该榜单是广泛使用的视频生成任务评估方法。VBench 采用多维评估架构，将视频质量评估分解为 16 个独立的、与人类对齐的维度，涵盖美学质量、运动流畅度与语义连贯性。

我们的分析聚焦于两种模型变体：14B 参数的 Wan 14B 与 Wan 1.3B 变体（见表 4）。Wan 14B 模型以 86.22% 的综合得分取得基准领先性能，其中视觉质量 86.67%、语义一致性 84.44%，显著优于 OpenAI 的 Sora 与 MiniMax 的 Hailuo 等竞争对手。高效的 Wan 1.3B 变体同样保持竞争力，取得 83.96% 的得分，超越 HunyuanVideo（Kong et al., 2024）与 Kling 1.0（Kuaishou, 2024.06）等商业模型，以及开源的 CogVideoX1.5-5B（Yang et al., 2025b）。

Table 4: Model performance scores on Vbench.

4.7.2 消融实验

我们针对模型设计中的关键模块提供了消融研究，以揭示整体架构的贡献。实验在 1.3B 版本上进行，以便快速评估。

自适应归一化层消融。鉴于自适应归一化层（Perez et al., 2018）（adaLN）在 DiT（Peebles & Xie, 2023）中的参数负载较大，我们探究专注 adaLN 的参数规模还是增加网络层深度更为有效。为调整参数规模，我们遵循 PixArt（Chen et al., 2023a）的设置，研究是否共享 adaLN。在非共享配置中，每个块的缩放与偏移参数由特定于该块的 MLP 预测，该 MLP 以时间嵌入作为输入。相反，共享的 AdaLN 配置（在 PixArt 中称为 AdaLN-single）仅在第一块中计算一组全局参数（即预测缩放与偏移值），随后在所有块间共享。这种共享显著减少了参数数量。

我们评估了四种配置：（i）Full-shared-adaLN-1.3B：这是我们的原始模型，adaLN 在全部 30 个注意力块间完全共享。（ii）Half-shared-adaLN-1.5B：adaLN 在前 15 个注意力块中共享，其余块不共享。这得到一个 1.5B 模型，参数增加 0.2B。（iii）Full-shared-adaLN-1.5B（扩展）：adaLN 在所有注意力块间共享，但模型深度增至 35 层，保持 1.5B 参数量。（iv）Non-shared-AdaLN-1.7B：adaLN 不在任何块间共享，模型深度保持 30 层，得到 1.7B 模型。我们保持其他参数不变，从头训练这些模型以执行文本到图像任务 200,000 步（即我们文本到视频训练的第一阶段），全局批次大小为 1536。为进行比较，我们测量训练阶段生成图像与真实图像在潜空间中的 L2 损失，训练损失越小表明收敛越好。

Figure 16: Training loss curve with different configurations.

如图 16 所示，参数更少的 Full-shared-AdaLN-1.3B 模型，其训练损失略高于其他模型。在参数规模相同的 Half-shared-adaLN-1.5B 与 Full-shared-AdaLN-1.5B 比较中，Full-shared-AdaLN-1.5B 始终取得最低的训练损失。这表明，相较于关注 AdaLN 中的参数，关注模型深度能带来更优性能。此外，参数更多的 Non-shared-AdaLN-1.7B 模型也未能超越 Full-shared-AdaLN-1.5B，进一步佐证了这一观点。因此，我们采用完全共享的 AdaLN 设计，以在保持性能的同时有效减少参数量。

文本编码器消融。我们选取了三种可处理双语输入的文本编码器：umT5（Chung et al., 2023）（5.3B）、Qwen2.5-7B-Instruct（QwenTeam, 2024）与 GLM-4-9B（TeamGLM et al., 2024）。T5 系列一直是视频生成模型中的热门选择（GenmoTeam, 2024; Yang et al., 2025b），而后两者在语言理解上表现出色，尤其是在 10B 参数以下的所有 LLM 模型中。在此消融中，我们保持其他设置不变，以全局大小 1536 训练文本到图像任务。文本嵌入取自 Qwen2.5-7B-Instruct 与 GLM-4-9B 的倒数第二层。我们测量了如图 17 所示的训练损失。

Table 5: FID scores ($\downarrow$) of VAE and VAE-D.

与其他强大的基于 LLM 的编码器相比，umT5 展现出更优的文本嵌入性能。值得注意的是，HunyuanVideo（Kong et al., 2024）指出，仅解码器的 LLM 使用因果注意力，而 umT5 采用双向注意力，使其适合扩散模型。遵循 HunyuanVideo 的策略，我们引入了一个双向 token 精炼器作为适配器层。我们将此设置应用于 Qwen2.5-7B-Instruct 与 GLM-4-9B，但训练损失与可视化结果仍显示 umT5 表现最为有利。进一步地，我们将 umT5 与预训练的多模态大语言模型，即 Qwen-VL-7B-Instruct（Bai et al., 2023）进行比较。如表 6 所示，使用 Qwen-VL 倒数第二层的特征可取得与 umT5 相当的生成性能，但模型规模更大。

Figure 17: Training loss curve with different text encoders.

Table 6: FID scores for different text encoders. The “last layer” and “second last layer” refer to the text features extracted from the last and second last layers of the encoder, respectively.

自编码器消融。除我们的 VAE 外，我们还设计了一个变体 VAE-D，其中重建损失被替换为扩散损失。我们将预训练的 VAE 与 VAE-D 均应用于文本到图像生成任务，训练 150,000 步直至收敛。我们在 100,000 步与 150,000 步时测量 FID 分数。如表 5 所示，VAE 模型始终取得比 VAE-D 更低的 FID。