5 扩展应用

本文为论文《Wan 2.1：开放先进的视频生成基座模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

5.1 图像到视频生成

图像到视频（I2V）生成任务聚焦于以静态输入图像为引导、结合文本提示词合成动态视频序列。该方法通过将输出锚定到特定的初始帧，显著增强了视频生成的可控性，因此在研究界引起了广泛关注。现有方法如 I2VGen-XL（Zhang et al., 2023c）、SVD（Blattmann et al., 2023）与 CogVideo（Yang et al., 2025b），通过将条件潜表示与噪声潜表示在通道维度上拼接，将 T2V 框架扩展至 I2V。基于这一范式，我们的 Wan-I2V 模型采用了类似策略，充分利用基础 T2V 模型中嵌入的强大先验知识，实现高质量的 I2V 生成。

5.1.1 模型设计

我们引入一张额外的条件图像作为首帧来控制视频合成。具体而言，我们将条件图像 $I\in{R^{C\times 1\times H\times W}}$ 与零填充帧沿时间轴拼接，这些引导帧 $I_{c}\in{R^{C\times T\times H\times W}}$ 经 Wan-VAE 压缩为条件潜变量 $z_{c}\in{R^{c\times t\times h\times w}}$（$c=16$ 表示潜通道数，$t=1+(T-1)/4$，$h=H/8$，$w=W/8$）。此外，我们引入一个二值掩码 $M\in{0,1}^{1\times T\times h\times w}$，其中 $1$ 表示保留的帧，$0$ 表示待生成的帧。$M$ 的空间尺寸与条件潜变量 $z_{c}$ 保持一致，但 $M$ 与目标视频具有相同的时长，随后被重排为形状 ${s\times t\times h\times w}$，其中 $s$ 为 Wan-VAE 的时间步长。噪声潜变量 $z_{t}$、条件潜变量 $z_{c}$ 与重排后的掩码 $m$ 沿通道轴拼接，随后送入 Wan 的 DiT 模型。由于 I2V DiT 模型的输入通道数比 T2V 更多（即 $2\times c+s$ 对比 $c$），我们采用了一个额外的投影层，其以零值初始化。此外，我们利用 CLIP（Radford et al., 2021）的图像编码器从条件图像中提取特征表示，提取的特征经一个三层多层感知机（MLP）投影，充当全局上下文。生成的全局上下文随后通过解耦交叉注意力注入 DiT 模型。

在实践中，如图 18 所示的上述方法可扩展至其他可控生成任务，如首-尾帧变换与视频续写。所提出的掩码机制明确划分了输入条件与待生成帧。为优化掩码策略的有效性，我们将多项任务（即图像到视频生成、视频续写、首-尾帧变换与随机帧插值）整合进我们的统一框架。具体而言，我们对 I2V 模型采用以下训练范式。在联合训练阶段，我们在这些多样化任务上对掩码引导模型进行统一预训练。该阶段使模型能够辨别哪些位置应被保留、哪些应被生成，取决于输入内容。随后，在微调阶段，我们专注于精炼模型在各项单独任务上的性能。

5.1.2 数据集

在联合训练阶段，我们使用与 T2V 预训练相同的训练数据集。该阶段赋予模型基于参考图像生成运动的基础能力。在微调阶段，我们针对每项单独任务的独特性整理专门的任务数据集。

图像到视频数据集。在早期实验中，我们发现当训练数据中首帧与视频内容差异显著时，模型难以学习稳定的图像驱动视频生成。从这个角度看，训练数据中首帧与视频内容差异较小有利于模型训练。我们基于 SigLIP（Zhai et al., 2023）特征计算首帧与视频内容之间的差异。具体而言，我们计算首帧特征与剩余各帧特征均值的余弦相似度，然后仅保留相似度大于预设阈值的视频。

Figure 18: Wan-I2V model framework. The mask mechanism enables the model to selectively focus on input frames such that the proposed framework demonstrates compatibility with video continuation and first-last frame transformation tasks.

视频续写数据集。类似地，我们的发现同样表明，在时序一致的视频上训练能显著提升视频续写任务的性能。为量化视频初始段与结尾段（即前 1.5 秒与后 3.5 秒）之间的一致性，我们计算它们各自 SigLIP 特征的余弦相似度，随后利用计算出的相似度分数过滤并筛选所需的训练数据集。

首-尾帧变换数据集。与 I2V 任务不同，社区更关注图像变换任务中初始帧与结尾帧之间的平滑过渡。为此，我们在训练数据集中提高了首帧与尾帧之间具有显著过渡的数据样本所占的比例。

Figure 19: Videos generated by Wan-I2V model. The results demonstrate that our I2V model effectively captures and replicates the dynamics of real-world scenes.

Figure 20: Videos generated by Wan-I2V model. The results indicate that our I2V model can effectively animate diverse types of images into highly realistic and dynamic videos.

5.1.3 评估

I2V 模型，连同首-尾帧变换与视频续写，的训练被构建为两个阶段。在初始预训练阶段，我们采用与 T2V 任务相同的数据集。鉴于此阶段涉及帧数略多，我们排除了图像编码器分支，其动机在于保持文本输入与视觉输出之间的强对齐，确保模型对细微文本语义保持敏感。预训练阶段稳定后，模型已展现出多种能力，包括 I2V 生成、视频续写等。这证明了预训练过程在建立稳健的空间与时间理解基础方面的有效性。

我们的经验观察揭示，仅依赖帧级信息不足以在特定任务（如图像到视频生成、视频续写与首-尾帧变换）中取得最优性能。

这一洞见表明，尽管预训练模型为基于帧的视频生成提供了基础框架，但它缺乏捕捉动态视频序列时间一致性所需的上下文与语义深度，尤其是在条件帧数量极为有限时。

为应对这一局限，在 SFT 阶段，我们引入了一个图像编码器，通过解耦交叉注意力（Ye et al., 2023）类似（Guo et al., 2024a）提取图像特征，提供全局上下文信息以增强模型能力。我们基于 480p 与 720p 分辨率的两个预训练检查点开展了实验，涵盖图像到视频生成、视频续写与首-尾帧变换任务的训练。

与我们对 T2V 模型的人类评估类似，我们将 I2V 模型与最先进的技术进行基准比较，聚焦于视觉质量、运动质量与匹配度等关键方面，以提供全面对比。表 7 所示的结果表明，我们的模型在所有评估维度上均表现良好。图 19 与图 20 展示了我们 I2V 模型的额外可视化结果，清晰说明了其在将图像动画化为高质量视频方面的优越性能。

Table 7: Win rate gap of I2V models. The values in the table represent the proportion of instances in which the Wan-I2V model was preferred in pairwise comparisons against other models, relative to the total number of comparisons conducted.

5.2 统一视频编辑

面向文本到图像与文本到视频生成的基础预训练模型，推动了各类下游任务与应用的拓展，包括重绘（AI, 2022; Zhou et al., 2023）、编辑（Meng et al., 2021; Brooks et al., 2023; Zhang et al., 2023a; Wang et al., 2023b; Wei et al., 2024b）、可控生成（Zhang et al., 2023b; Jiang et al., 2024; Wang et al., 2024c）、定制生成（Chen et al., 2023b; Wei et al., 2025）、帧参考生成（Yang et al., 2025b; Guo et al., 2024a）、高效生成（Wang et al., 2023c; Yuan et al., 2024a; Liu et al., 2024b），以及 ID 参考视频合成（Pan et al., 2024; Yuan et al., 2025; Liu et al., 2025a）。为提升任务灵活性并最小化部署多个模型所带来的开销，研究者日益关注开发统一模型架构（Tan et al., 2024; Chen et al., 2024），如 ACE（Han et al., 2025; Mao et al., 2025）与 OmniGen（Xiao et al., 2024）。这些统一架构旨在将多样化任务整合进单一图像模型中，从而在保持易用性的同时促进各类应用工作流的创建。在视频领域，时空维度的协同变换表明，利用统一模型能够释放视频创作的无限可能。

在我们先前的工作 VACE（Jiang et al., 2025）中，我们提出了一种用于可控视频生成与编辑的统一框架，应对参考到视频生成、视频到视频编辑以及掩码视频到视频编辑等任务。基于 Wan 的预训练模型，我们将用于编辑、参考与掩码的图像与视频等多种模态整合进视频条件单元（VCU），以支持多样化的输入格式。VACE 采用了概念解耦策略，使模型能够识别哪些部分应保留、哪些应修改，从而在编辑与参考任务中明确分离视觉模态信息。我们提供两种训练模式。第一种模式以 VCU 作为输入训练，对整个 Wan 模型进行全量微调。第二种模式以可插拔的 Context Adapter 结构，以 Res-Tuning（Jiang et al., 2023）的方式，在不修改基础模型权重的前提下支持可控与编辑任务，但会增加整体模型规模。借助 Wan 强大的视频生成能力，这一创新框架在定量与定性评估中均展现出显著的竞争力。它促进了基础任务的组合式扩展，实现了长视频重渲染等场景。因此，该框架为视频合成提供了一种多功能且高效的解决方案，为用户驱动的视频内容创作与编辑开辟了新途径。

Figure 21: Unified controllable generation and editing framework. Frames and masks are tokenized through Concept Decoupling, Context Latent Encode, and Context Embedder. We propose two training strategies for Wan: Fully Fine-tuning and Context Adapter Tuning.

5.2.1 模型设计

VACE 提出的视频条件单元（VCU）是一种将多样化输入条件统一为文本输入、帧序列与掩码序列的输入范式。其形式化表示如下：

| | $V=[T;F;M],$ | | (4) |

其中 $T$ 为文本提示词，$F$ 与 $M$ 分别为上下文视频帧序列 ${u_{1},u_{2},...,u_{n}}$ 与掩码序列 ${m_{1},m_{2},...,m_{n}}$。此处，$u$ 位于 RGB 空间，归一化至 $[-1,1]$，而 $m$ 为二值，其中"1"与"0"分别表示编辑与保留的位置。$F$ 与 $M$ 在空间尺寸 $h\times w$ 与时间尺寸 $n$ 上均对齐。在此范式下，我们采用前述 Wan-VAE 将输入视频帧与掩码信息token化为上下文 token。如图 21 (a) 所示，这些上下文 token 随后与噪声视频 token 结合，用于微调 Wan 模型。此外，我们提出了 Context Adapter Tuning 策略，使上下文 token 经由 Context Blocks 并通过重新整合回原始 DiT 块。该方法促进了上下文信息的无缝整合，增强了模型在不修改基础模型权重的前提下处理多样化编辑与生成任务的能力。

Figure 22: The visualization results of the proposed VACE.

Figure 23: The visualization results of the proposed VACE.

在 token 化之前，像素级上下文帧与掩码经概念解耦策略预处理，随后编码至潜空间。如图 21 (b) 所示，概念解耦策略基于掩码将不同模态与分布的数据显式分离为两个形状相同的帧序列：$F_{c}=F\times M$ 与 $F_{k}=F\times(1-M)$，其中 $F_{c}$ 指包含全部待修改像素的反应帧（reactive frames），$F_{k}$ 指保留全部待保留像素的非激活帧，称为非激活帧（inactive frames）。该机制确保了清晰的任务定义，并保障模型在不同任务上的收敛性。$F_{c}$、$F_{k}$ 经 Wan-VAE 处理并映射至与 $X$ 相同的潜空间，保持其时空一致性。为避免图像与视频混杂，参考图像由 Wan-VAE 编码器单独编码，并沿时间维度拼接回去，而对应部分在解码时需被移除。$M$ 直接进行形状重塑与插值。此后，$F_{c}$、$F_{k}$ 与 $M$ 被映射至潜空间，并与 $X$ 在形状 $n^{\prime}\times h^{\prime}\times w^{\prime}$ 上实现时空对齐。

Figure 24: The visualization results of advanced video/image editing.

5.2.2 数据集与实现

数据构建。为开发一体化模型，数据构建的多样性与复杂性必须提升。对于可控视频生成与编辑任务，输入模态扩展至包含目标视频、源视频、局部掩码、参考图等。各类任务高效快速的数据获取，需要在保持视频质量的同时进行实例级的分析与理解。我们首先对视频数据执行镜头切片（shot slicing），并基于分辨率、美学分数与运动幅度进行初步过滤。随后使用 RAM（Zhang et al., 2023d）对首帧进行标注，并通过 Grounding DINO（Liu et al., 2023d）进行检测，对目标区域过大或过小的视频进行二次过滤。此外，我们利用 SAM2（Ravi et al., 2025）的传播操作进行视频分割，以获取整个视频的实例级信息。基于分割结果，我们进一步通过依据掩码面积阈值计算有效帧比例，在时间上过滤实例。不同任务的构建必须针对各自任务特性量身定制。详细信息请参阅该工作（Jiang et al., 2025）。

实现细节。我们训练在 Wan-T2V-14B 上预训练的可控与编辑模型，通过多阶段训练过程支持最高 720p 分辨率。最初，我们聚焦于基础任务，如修复（inpainting）与扩展（extension），以补充预训练的文本到视频模型。该阶段引入掩码，并在空间与时间维度上发展上下文生成能力。随后，我们通过从单输入过渡到多输入参考帧、从单一任务过渡到组合任务来拓展任务。最后，我们通过更高质量数据与更长序列的微调来提升模型质量。

5.2.3 评估

在图 22 与图 23 中，我们展示了 Wan 单一模型在各任务上的结果。显然，该模型在视频质量与时间一致性上均达到了高水平。此外，我们展示了由不同生成能力组合产生的新应用，如图 24 (a) 所示。我们的模型在这些任务上表现有效，展现出显著的能力扩展潜力。VACE 提出的统一可控生成与编辑框架同样适用于图像生成与编辑，如图 24 (b) 所示。

5.3 文本到图像生成

Wan 在图像与视频数据集上联合训练，使其不仅具备先进的视频生成能力，也拥有卓越的图像合成性能。这种双重训练策略促进了跨模态知识迁移，构建了一个在两个领域均能取得强劲成果的高度通用框架。在实践中，我们的模型所训练的图像数据集规模近乎其视频对应数据的十倍，从而实现了图像与视频生成任务之间的协同增益。这一广泛的训练机制带来了图像合成各方面的出色表现。如图 25 所示，Wan 在多样化类别上生成高保真图像，涵盖基于艺术文本的画面、写实肖像、富有想象力的创意设计以及专业级产品摄影。

Figure 25: Image samples generated from Wan model.

5.4 视频个性化

视频个性化旨在生成与用户提供参考（Wei et al., 2024a; Li et al., 2024; Yuan et al., 2025）保持身份一致的视频。在本节中，我们将先进的个性化技术整合进视频生成流水线，取得了最先进的性能。后续讨论将围绕我们的方法——涵盖模型架构、个性化数据与实验验证——进行全面阐述。

5.4.1 模型设计

视频个性化背后的核心技术应对两个主要挑战：（1）获取高保真的个性化身份；（2）将这些身份特征无缝整合进视频生成流水线。

我们从 Wan-T2V 基础模型出发，首先获取个性化身份信息。现有视频个性化方法通常依赖 ID 提取器（如 ArcFace（Deng et al., 2019））或通用视觉提取器（如 CLIP（Radford et al., 2021））来获取身份信息。尽管它们取得了可喜进展，但其性能受限于特征提取器的局限。例如，ID 提取器主要关注人脸识别的特征，却可能无法捕捉其他关键视觉线索，如伤疤或贴纸。此外，它们易受低分辨率人脸、光照变化与部分遮挡（如眼镜、口罩或头发）的影响。另一方面，通用视觉提取器并非专门针对人脸领域，往往聚焦于粗粒度的语义信息。因此，我们选择不依赖任何特征提取器以避免信息损失，我们的生成过程直接在 Wan-VAE 潜空间中以输入人脸图像为条件。

将个性化身份信息注入视频生成过程有多种方式。在我们的实验中，我们发现交叉注意力操作适合与来自身份提取器的稠密表示交互，而自注意力更适合于建模同一潜空间中的数据。图 26 展示了我们视频个性化方法的设计，其遵循自注意力范式。具体而言，在潜空间中，我们首先使用分割出的人脸图像，将 $K$ 个额外帧扩展拼接至给定视频之前。这些人脸图像从配对视频中经人脸检测与分割提取，并将人脸关键点进一步对齐至与视频帧尺寸相同的黑色画布上。随后，沿该扩展视频的通道维度，我们将人脸图像与全 1 掩码（对应前 $K$ 帧）拼接，并将空白图像与全 0 掩码（对应剩余帧）拼接。这些拼接后的信号作为条件。最后，在该时间扩展的视频上执行扩散过程，以通道级条件信号为条件，采用修复（inpainting）方式。注意，我们的 Wan-T2V 模型未做其他任何修改。

在训练期间，我们随机丢弃 $K$ 个扩展帧中的部分人脸图像，以支持 0 至 $K$ 张参考人脸的视频生成。在推理阶段，从扩展视频的纯噪声出发，我们将用户提供的人脸图像（不超过 $K$ 张）沿通道维度拼接至扩展帧，并将对应掩码设为全 1。目标是重建前 $K$ 帧中的人脸图像，并在后续帧中合成一段保留所提供身份的新个性化视频。

Figure 26: The core design of the video personalization approach in the latent space of Wan-VAE.

5.4.2 数据集

我们通过精心过滤与自动数据合成，从 T2V 基础模型的训练数据集中整理出一套个性化数据。我们首先使用内部人体分类器过滤约 $\mathcal{O}(100)$M 视频，并以 1 FPS 在这些视频上执行人脸检测。若任意帧中检测到超过一张人脸，或超 10% 的帧未检测到人脸，则该视频被丢弃。随后我们计算连续帧之间的 ArcFace 相似度，并丢弃相似度低的视频。之后，我们执行人脸分割以去除干扰背景，并进行人脸关键点检测以便于训练期间的画布对齐。注意，我们并未过滤面积较小的人脸，因为我们发现此类视频通常包含全身人像。最终，我们构建了约 $\mathcal{O}(10)$M 的个性化视频，每个视频平均附带 5 张分割后的人脸。

我们还借助自动数据合成来提升人脸多样性。具体而言，我们从上述视频中随机选取 $\mathcal{O}(1)$M 个性化视频，并采用 Instant-ID（Wang et al., 2024b）为每个视频合成多样化人脸。值得注意的是，我们构建了一个包含 100 余条提示词的文本模板，涵盖动漫、线稿、电影感、Minecraft 等。每次我们从该模板中随机取一条提示词，以及从其余视频中估计出的人体随机姿态，作为 Instant-ID 的输入。我们进一步测量生成人脸的 ArcFace 相似度，并过滤掉相似度较低的样本。总计，我们收集了约 $\mathcal{O}(1)$M 含合成人脸的视频，极大地提升了个性化数据集在风格、姿态、光照与遮挡上的多样性。

Table 8: Comparison of other leading video personalization methods.

5.4.3 评估

我们在图 27 中展示了视频个性化结果，左侧为输入身份，右侧为合成的个性化视频。所有测试图像均从 Pexels 随机选取 1

www.pexels.com。我们还在未见过（unseen）的评估集上评估了我们的模型，并通过以 1 FPS 从视频中采样人脸，测量输入人脸与输出个性化视频之间的 ArcFace 相似度。最终相似度分数由这些采样人脸平均得到。相应结果如表 8 所示，我们的方法与其他领先的商业及闭源中国竞品相比展现出有竞争力的视频个性化性能。

Figure 27: Visualization of our video personalization approach.

Figure 28: Framework of video generation guided by camera motion.

5.5 相机运动可控性

相机运动控制模块旨在通过利用相机轨迹精确匹配视频的运动与视角。具体而言，我们对每一帧使用外参 $[R,t]\in\mathbb{R}^{3\times 4}$ 与内参 $K_{f}\in\mathbb{R}^{3\times 3}$。我们的方法包含两个主要组件以有效注入相机运动条件：相机位姿编码器与相机位姿适配器，如图 28 所示。

Figure 29: Generated video results guided by camera motion.

相机位姿编码器。首先，对于每帧中的每个像素，我们使用 Plücker 坐标将给定外参与内参转换为细粒度位置序列 $P\in\mathbb{R}^{6\times F\times H\times W}$。为调整视频潜特征压缩后的分辨率，我们应用 Pytorch（Paszke et al., 2019）中的 PixelUnshuffle 操作，在降低 $P$ 空间分辨率的同时增加通道数。最后，我们使用一系列与 DiT 块数量对齐的卷积模块对输出进行编码，以提取多级相机运动特征。

相机位姿适配器。为将相机运动特征整合进视频潜特征，我们采用自适应归一化层。具体而言，我们使用两个零初始化的卷积层将输入的相机运动特征序列转换为缩放因子 $\gamma_{i}$ 与偏移参数 $\beta_{i}$。随后，$\gamma_{i}$ 与 $\beta_{i}$ 通过由公式 $f_{i}=(\gamma_{i}+1)*f_{i-1}+\beta_{i}$ 定义的简单线性投影融入每个 DiT 块，其中 $f_{i}$ 表示第 $i$ 层的视频潜特征。

关于训练数据，我们利用一种名为 VGG-SfM（Wang et al., 2024a）的先进相机位姿估计算法，从展现显著相机运动的训练视频中提取相机轨迹。该过程产生了约 $\mathcal{O}(1)$ 千段视频片段。我们在文本到视频生成框架内，使用 Adam 优化器训练我们的模块。图 29 展示了在相机运动引导下生成的各种示例视频结果。

5.6 实时视频生成

当前的视频生成方法即便生成短短数秒的视频片段，往往需要大量计算资源与相当长的时间。依赖高端硬件的系统依然缓慢，常需数分钟才能生成几秒的视频。尽管近年来这些生成视频的视觉质量已取得显著提升，但过长的处理时间在实际应用中与迭代设计工作流中构成了主要瓶颈。在快速原型与实时调整至关重要的领域——如互动娱乐、虚拟现实与视频制作——这些漫长的生成时间限制了创作灵活性，并拖慢了视觉内容精修的进程。

此外，当前方法的缓慢速度限制了它们在需要实时反馈的动态环境中的应用。在直播或游戏等场景中，对能即时响应用户操作或变化输入、渲染合成场景与角色的系统需求日益增长。任何高质量视频片段生成的延迟都可能导致欠佳的用户体验，降低沉浸感与交互性。通过聚焦实时生成，Wan 力图提升视频生成技术的性能与适用性，拓展其在快节奏、交互式环境中的潜力。图 30 与 31 提供了此类实时长视频流生成的案例。接下来我们介绍如何利用 Wan 模型实现这一点。

Figure 30: Generated 15 minutes video with 8 A100 GPUs in real-time 8 FPS.

Figure 31: Generated videos with a single RTX 4090 GPU, int8 and TensorRT quantization in real-time 20 FPS.

5.6.1 方法

为构建实时生成流水线，我们基于先前预训练版本的 Wan 模型进行构建。这一设计选择带来两个主要好处。首先，从训练良好的模型出发可显著加速收敛并提升训练稳定性，因为模型已具备强大的初始化。其次，预训练模型已捕获关于运动模式与连续时间动态的宝贵知识，可被新流水线直接继承，以增强生成内容的流畅度与连贯性。因此，我们采用预训练的 Wan 模型作为实时流水线 2 的基础 2

本节部分内容已在先前发布的技术报告 The Matrix（Feng et al., 2024）中介绍。

预训练的 Wan 模型被设计为生成固定长度的视频片段，通常为 5 至 10 秒长。要将其转变为能够生成无预定义长度（可能无限长）连续视频流的实时流式模型，需要进行两项关键修改：

• •

流式流水线适配。我们将一次性生成固定长度视频 token 序列的静态生成过程，替换为逐步（incrementally）生成视频 token 的流式机制。在该流式设置中，视频 token 通过去噪队列处理——每当最旧的 token 被生成并出队，一个新的 token 就被添加至队列底部，从而实现无长度约束的连续生成。

• •

实时加速。除启用流式外，我们还优化生成速度，以确保系统满足实时性能要求，即流水线必须足够快地生成新帧以跟上实时播放。

在后续章节中，我们将详述这些修改，包括其设计原理、技术实现与经验性能。

5.6.2 流式视频生成

传统的扩散 Transformer（DiT）（Peebles & Xie, 2023）模型在生成超过数秒的视频能力上受到限制，即便借助变分自编码器（VAEs）（Kingma, 2013）进行了显著的空间与时间压缩。这一限制主要源于在超长时序序列上注意力机制的计算与内存密集特性。为克服这一挑战，我们引入了 Streamer——一种利用滑动时间窗口高效管理时间依赖关系的新方法，以流式方式实现长乃至无限长视频的生成。

滑动窗口去噪过程模型。

Streamer 的核心创新在于其假设时间依赖关系被限制在有限的时间窗口内。通过在该窗口内聚焦注意力计算，Streamer 在保持视频连续性的同时显著降低了计算开销。具体而言，Streamer 以队列方式处理视频 token，在窗口内跨多个噪声层级对其进行去噪。在固定数量的去噪步之后，最左侧的 token（具有最低噪声层级）被出队并缓存，而一个带有高斯噪声的新 token 被追加至最右侧位置。这一滑动机制确保窗口维持恒定长度，同时促进连续视频帧的生成。

训练与推理。

Streamer 由预训练的 DiT 模型微调而来。在训练时，采样一段长度为 $2w$ 的视频 token，其中 $w$ 为滑动窗口大小（通常设为 $w=T$，即扩散求解器步数）。前 $w$ 个 token 仅用于"预热"模型，不参与损失计算。损失仅计算在最后 $w$ 个 token 上，确保模型学习在窗口内生成连贯视频帧。在推理时，采用相同的预热策略：前 $w$ 个 token 被丢弃，生成的视频从第 $(w+1)$ 个 token 开始。

确保训练与推理期间的连续性。

为保持连续窗口间的平滑过渡，缓存的 token 以 0 噪声层级被重新引入 token 队列。这使得先前生成的 token 能够参与后续窗口的去噪过程，确保生成视频的时间一致性与连续性。

Streamer 通过使 DiT 模型适配流式应用，代表了视频生成的重大进步。其滑动时间窗口方法解决了传统 DiT 模型的局限，在实现无限长视频高效生成的同时保持了高质量与时间连贯性。该方法为实时视频生成与长内容创作开辟了新可能。我们将其优势总结如下：

• •

无限长视频生成：借助滑动窗口机制，Streamer 能够生成任意长度的视频，而不会产生高昂的计算成本；

• •

高效注意力计算：将注意力计算限制在有限的时间窗口内，降低了内存与处理需求；

• •

无缝连续性：token 的缓存与重新引入确保了窗口间的平滑过渡，在长时间跨度上保持视频质量。

5.6.3 一致性模型蒸馏

在成功将 DiT 模型扩展为用于无限长视频生成的 Streamer 之后，下一个关键步骤是解决实现模拟世界实时渲染的挑战。尽管 Streamer 通过高效管理滑动窗口内的时间依赖，能够生成长乃至无限的视频，但扩散过程的计算需求仍是实时应用中的瓶颈。为克服这一点，我们提出了一种将 Streamer 与一致性模型（Consistency Models）这一加速基于扩散的生成过程的前沿方法相融合的新方案。具体而言，我们利用隐空间一致性模型（LCM（Luo et al., 2023））及其视频版本（VideoLCM（Wang et al., 2023c）），将原始扩散过程与无分类器引导蒸馏为一个高效的四步一致性模型。这一蒸馏过程在保持 Streamer 固有的时间连贯性与流式能力的同时，大幅减少了高质量生成所需的采样步数。

LCM 与 Streamer 的融合旨在保留去噪窗口机制，确保滑动时间窗口继续有效管理依赖关系。在训练期间，我们优化这一组合框架以平衡效率与质量。结果是推理速度获得 10 至 20 $\times$ 的加速，使模型达到 8 至 16 FPS 的渲染速率。这一性能的大幅提升使系统能够应用于实时场景，如交互式仿真、实时视频合成以及虚拟环境中的动态内容生成。通过结合 Streamer 的优势（生成具备时间连贯性的无限长视频）与 LCM 的优势（加速扩散过程），我们弥合了高质量视频生成与实时响应式之间的鸿沟。这一进展不仅增强了扩散模型在流式应用中的实用性，也为沉浸式、交互式与实时媒体创作开辟了新可能。

面向消费级设备运行的量化。

尽管生成速度已加速至实时水平，但即便对于 NVIDIA 4090 等高端 GPU，由于高计算与内存需求，在消费级设备上部署模型仍具挑战。为此，我们引入量化技术以优化模型实现高效部署。具体而言，我们采用两种差异化量化策略：用于注意力层与线性头的 int8 量化（torchao maintainers & contributors, 2024），以及用于整体模型的 TensorRT 量化（NVIDIA, 2023）。int8 量化方法通过将权重与激活值转换为 8 位整数，显著降低了内存消耗，同时保持了整体生成质量。然而，该方法在生成速度上加速极小，因其主要聚焦于内存效率而非计算优化。另一方面，TensorRT 量化提供了更全面的解决方案，实现了生成速度上的大幅加速。该技术使模型即便在单张 4090 GPU 上也能达到 8 FPS 的实时性能，使其在消费级设备上可行。然而，TensorRT 量化会带来轻微的网络误差增长，即便其内置的错误检查机制开启时也可观察到。该误差表现为输出质量的轻微偏差，如生成视频中细微的伪影或不一致。在某些情况下，它还可能导致可测量的不稳定性，如闪烁或时间不连贯。尽管存在这些权衡，int8 与 TensorRT 量化的结合为面向实时、消费级部署优化模型提供了平衡之道，在保持可接受生成质量的同时兼顾效率与实用性。通过仔细调优量化参数并利用 TensorRT 的错误检查特性，我们尽可能缓解这些问题，使模型……

5.7 音频生成

本工作中音频生成的主要目标是为视频片段生成同步的音轨，被构建为视频到音频（V2A）生成框架。生成的音轨由环境音与背景音乐构成，明确排除语音或人声元素。与文本到音频模型（Liu et al., 2023b; Liu et al., 2024c）不同，视频到音频模型生成的环境音必须与视频的视觉内容在时间上对齐，而伴奏音乐应准确反映视频的情感基调与情境设定，正如自然预期那样。此外，为增强用户对声音设计的控制，我们的框架同时整合了视频与文本提示词，使用户能够指定屏内或屏外声音，并定义背景音乐的风格与存在感。

5.7.1 模型设计

与我们视频生成框架一致，我们的视频到音频模型同样采用了基于 flow-matching（Lipman et al., 2022）的扩散 Transformer（DiT）（Peebles & Xie, 2023），以建模音频域中的去噪扩散过程。我们 V2A 模型的详细流水线如图 32 所示。

Figure 32: Framework of video-to-audio generation. Our model processes both a video chunk and its associated textual description as dual inputs to synthesize high-quality, semantically coherent audio.

Figure 33: Audio generation samples of MMAudio and ours.

音频自编码器。一种广泛采用的音频压缩方法是将原始波形转换为 mel 频谱图，随后使用基于图像的变分自编码器编码为 $H^{a}\times W^{a}\times C^{a}$ 潜特征，如（Liu et al., 2023b; Liu et al., 2024c）所示。然而，在扩散 Transformer 主干下，这些潜特征必须被切分为图块并重塑为尺寸 $(H^{a}\cdot W^{a})\times C^{a}$ 的张量。这一切块与重塑过程会破坏与对应视频内容的时间对齐，对同步构成重大挑战。考虑到这一局限，我们训练了一个直接在原始波形上运行的压缩模型。我们的 1D-VAE 生成尺寸为 $T^{a}\times C^{a}$ 的潜特征，其中 $T^{a}$ 表示沿时间轴的序列长度，保留了精确同步所需显式的时间信息。

视频与文本编码器。为实现合成音频与视觉序列间的帧级精确同步，我们通过多模态特征融合建立时间连贯性。我们的架构首先使用 CLIP（Radford et al., 2021）模型提取逐帧视觉嵌入，随后通过特征复制执行时间速率适配以匹配音频特征的采样率，遵循（Polyak et al.,）。同步后的视觉与声学特征经由线性投影层进行维度变换，以与 DiT 的潜空间对齐，随后通过逐元素求和实现多模态融合。为实现跨语言的语言理解，我们利用预训练的 umT5 模型（Chung et al., 2023）作为文本编码器，借助其冻结参数发挥跨语言表示能力。

数据。我们 V2A 模型的训练数据源自视频生成数据集，经过严格的过滤流程。我们系统性地移除缺少音轨或包含语音/人声音乐的视频，得到精炼的约 $\mathcal{O}(1)$ 千小时子集。为增强多模态表示，我们采用全面的字幕策略：密集视频描述辅以由 Qwen2-audio（Chu et al., 2024）生成的音频专属描述。这些音频描述被归类为环境音与音乐作品，后者以风格、节奏、旋律与配器为特征。最终的结构化描述整合三部分：（1）密集视频描述，（2）环境音刻画，（3）背景音乐分析，为训练提供统一的多模态表示。

实现细节。我们的 V2A 架构以 44.1 kHz 采样率生成最长 12 秒的高保真立体声音频。模型通过专用编码器处理多模态输入：umT5-XXL 产生 4096 维文本嵌入，而 CLIP 每帧提取 1024 维视觉嵌入。音频与视频特征在 DiT 主干内被投影至统一的 1536 维潜空间。为时间对齐，我们对输入视频降采样，为 12 秒片段精确产出 48 帧，确保视觉与音频模态间的帧级精确同步。系统以批次处理长度为 256 的潜序列。为增强模型仅从视觉线索生成音频的能力，我们在训练中实施了随机掩码策略，以预设概率选择性地省略环境音与音乐描述。该条件机制迫使模型在视觉内容与对应音频模式间建立稳健的跨模态关联，同时在可用时仍保有利用文本描述的灵活性。

5.7.2 评估

我们在图 33 中提供了音频生成的定性评估，将我们的方法与近期发布的开源方法 MMAudio（Cheng et al., 2024）进行比较。这一比较分析尤为有意义，因为 MMAudio 是与我们的方法最相似且最具竞争力的基线，在音频生成任务上展现出令人印象深刻的性能。视频由我们的文本到视频模型生成，时长 5 秒。

我们的 V2A 模型在音频生成的若干关键方面展现出更优性能，比较结果即为佐证。具体而言，该模型展现出增强的长时一致性，在"倒咖啡"场景（图 33 首例）中尤为明显。在第二个"打字"案例中，与 MMAudio 生成的较嘈杂结果相比，我们的方法生成了明显更干净的音频输出。此外，我们的方法在合成节奏性声音模式上表现出色，如"走路""拳击"与"马蹄声"（图 33 最后三例）所示，实现了更自然、连贯的音频生成。

局限性。我们的方法在生成人声（包括但不限于笑声、哭声与语音）方面存在局限。这一局限主要归因于我们的数据准备过程——语音相关的人声数据被有意排除在训练数据集之外。MMAudio 模型能够生成随机类人声，源于其训练语料中保留了语音相关数据。在我们的未来工作中，我们计划纳入语音生成能力以解决这一局限。