3 数据处理流程

本文为论文《Wan 2.1：开放先进的视频生成基座模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

高质量数据对于训练大型生成模型至关重要，而自动化的数据构建流水线能显著提升训练过程的效率。在开发数据集时，我们优先遵循三项核心原则：高质量、高多样性与大规模。遵循这些原则，我们整理出包含数十亿视频与图像的数据集。本节详细介绍为 Wan 所采用的数据构建流水线。

3.1 预训练数据

我们从内部有版权来源与公开可获取数据中筛选并去重得到候选数据集。在预训练阶段，我们的目标是从这一庞大而含噪的数据集中挑选出高质量且多样化的数据，以促进有效训练。在数据挖掘过程中，我们设计了一套四步数据清洗流程，聚焦于基础维度、视觉质量与运动质量。随后，我们还将重点介绍用于构建视觉文本数据的处理工作流。

基础维度。我们的数据过滤框架的基础维度聚焦于源视频与图像数据的固有属性，从而能够高效地初步筛除所有不合适的数据。具体而言，我们的多维过滤方法涵盖以下关键方面： 文本检测。实现轻量级 OCR 检测器以量化文本覆盖率，有效排除文本元素过多的视频与图像，以保持视觉清晰度。 美学评估：我们使用广泛采用的 LAION-5B（Schuhmann et al., 2021）美学分类器对图像进行初步质量评估，快速过滤低质量数据。 NSFW 评分。通过我们的内部安全评估模型，基于计算出的 NSFW 评分对所有训练数据进行系统性评估与过滤，筛除不当内容。 水印与 logo 检测。我们检测视频或图像是否含有水印与 logo，并在训练过程中裁剪掉这些元素。 黑边检测。利用基于启发式的检测方法，自动裁剪多余的黑边，以聚焦于内容丰富的区域。 过曝检测。我们训练的专家分类器评估并过滤掉色调分布异常的数据，确保训练数据集最佳的视觉质量。 合成图像检测。实证表明，即便极少量的污染（$

视觉质量。这主要涉及从候选数据集中挑选质量较高且符合预训练标准的数据。该数据子集须具备良好的视觉质量，且整体分布应与自然数据分布保持一致。在此过程中，我们将任务分为两部分：聚类与评分。聚类用于将所有数据拆分为更小的子集，以便我们逐子集进行处理。这种做法的好处在于，可避免由于长尾分布导致小而重要的数据片段丢失，从而保持原始数据分布。具体而言，我们将数据划分为 100 个簇，再从每个簇中选取一定数量的数据进入下一阶段的数据处理。评分用于为每段视频或图像赋予质量分数，便于在不同阶段对数据进行筛选与处理。具体而言，我们从每个簇中选取样本进行人工评分（1 至 5 分，1 为最差，5 为最佳）。随后，我们利用所有标注数据训练一个专家评估模型，对整个数据集进行打分。

运动质量。运动质量评估的目标是挑选出自然、完整且运动明显的视频，同时避免静止或抖动的动作。我们将视频数据划分为六个不同的运动质量层级。 最优运动：该层级代表具备最优属性的视频，如显著的运动布局、视角与幅度，以及干净、流畅的动作。 中等质量运动：此类视频表现出明显动作，但可能存在多主体或局部遮挡等小问题。该数据确保了运动多样性，可在预训练阶段帮助模型更好地理解时空关系。 静态视频：此类主要关注以聊天、访谈类为主的视频。尽管这些视频包含的运动信息极少，但其质量较高。因此，我们需要将其单独识别并降低其采样比例。 相机驱动运动：以相机运动为主（如航拍镜头）、主体运动极少的素材。鉴于其与静态图像相似，这类素材的采样优先级被大幅降低。 低质量运动：包含过多主体、严重遮挡或主体不清晰的视频（如拥挤的街道场景）。此类内容因对训练效率与运动生成质量有负面影响而被排除。 抖动相机素材：带有明显相机抖动的业余录制，常导致运动模糊与前景-背景区分不明。此类素材被系统性地排除在训练之外。

视觉文本数据。此外，我们还引入了一种新颖的数据处理方法，以增强 Wan 的视觉文本生成能力。该方法包含两条不同的处理分支，旨在同时提升文本渲染的准确性与和谐性。一方面，我们在纯白背景上渲染中文字符，合成了数亿张含文本图像。另一方面，我们从海量真实世界数据中收集大量含文本图像。我们采用多个 OCR 模型准确识别图像与视频中的中英文文本，随后将这些提取出的文本内容输入多模态语言模型 Qwen2-VL。该过程生成对图像的自然描述，确保描述尽可能多地融入精确的文本内容。借助这一处理流水线，我们收集到大量真实世界的图像-文本对。通过在预训练阶段整合合成数据与真实数据，我们的方法能够有效地泛化至生成视频中罕见词汇，并具备准确的字形与高真实感，在视觉文本生成上展现出显著优势。

Figure 3: Data provisioning across different training phases. For each stage, we dynamically adjust the proportions of data related to motion, quality, and category based on data throughput.

3.2 后训练数据

后训练的核心目标是通过高质量数据提升生成视频的视觉保真度与运动动态。我们在此阶段的处理流水线针对静态与动态数据采用差异化策略：图像数据经过优化以提升视觉质量，而视频数据则被专门处理以精炼运动质量。

图像处理。从高评分图像数据池中，我们执行额外的精筛过程，以挑选出在质量、构图与细节等方面表现卓越的顶级样本。具体而言，我们通过两种方法构建精选数据集：基于专家的收集与人工收集。前者依据专家模型预测的分数选取前 20% 的图像。对于该子集，我们还会综合考虑风格与类别等因素，以确保数据分布的多样性。后者则通过人工从各类别与数据源中收集顶级图像，同时补全数据集中缺失的概念，以增强模型的泛化能力。通过这一过程，我们共计收集了数百万张精选图像。

视频处理。在此阶段，我们采用与图像类似的策略来收集顶级视频。首先，我们利用视觉质量分类器从候选数据集中筛选出部分排名靠前的视频。随后，基于运动质量分类器，我们挑选出包含简单运动的视频数百万段，以及包含复杂运动的视频数百万段。所有视频的选取均遵循强调类别均衡与高多样性的策略。同时，我们从 12 个主要类别（包括科技、动物、艺术、人物、车辆等）中选取数据，以增强模型对常用类别的生成能力。

3.3 密集视频描述

尽管我们的数据集包含许多图像与视频原始网页提供的文本描述，但这些描述往往过于简略，难以传达详细的视觉内容。DALL-E 3（Betker et al., 2023）已证明，通过在高度描述性的生成式视觉描述上训练，视觉生成模型遵循提示词的能力可得到显著增强。因此，我们开发了一个内部描述（caption）模型，为数据集中的每段图像与视频生成密集描述。为训练该模型，我们整合了开源视觉-语言数据集以及内部额外收集的数据。

3.3.1 开源数据集

我们收集了图像与视频领域广泛使用的视觉-语言数据集。我们的收集不仅包含描述数据集，也包含专注于视觉内容（如动作、计数、OCR）的视觉问答数据集。在某些场景下，我们需要描述模型根据用户指令生成特定风格或内容的描述。因此，我们也收集了纯文本指令数据，以增强模型的指令遵循能力。

3.3.2 内部数据集

我们针对各类任务收集内部数据集，以增强模型在特定领域的能力。

名人、地标与电影角色。为训练模型识别名人、地标与角色，我们收集了包含数千个身份的数据集。首先，我们使用大语言模型（LLMs）收集名称，然后通过类 CLIP 模型从我们的图像-文本数据库中检索对应图像。我们测试了多种类 CLIP 模型，发现 TEAM（Xie et al., 2022）在识别个体（尤其是中国名人）方面表现出色。为进一步降低数据集中的噪声，我们对图像-文本对的描述执行了关键词匹配。仅当图像被 TEAM 模型检索到且匹配指定关键词时，才予以保留。

物体计数。为增强模型的视觉计数能力，我们通过检索文本描述中包含"one""two""three"等词汇的图像，整理出计数数据集。这些数字为图像提供了粗略标注。随后，我们使用 LLM 从对应文本中提取（类别，数量）对。最后，我们使用 Grounding DINO（Liu et al., 2023d）统计这些类别中的物体数量。仅当图像文本描述与 Grounding DINO（Liu et al., 2023d）的结果一致时，该图像才被保留。

OCR。为提升模型生成文本描述的能力，我们收集了 OCR 增强的图像描述数据集。最初，我们使用现成的 OCR 检测器从图像中提取文本。随后，我们提示描述模型基于这些 OCR 结果生成描述。该方法以提取的 OCR 文本作为先验知识，确保文本描述的准确性。目前，我们仅包含英文与中文文本。

相机角度与运动。我们观察到当前多模态语言模型（MLLMs）在预测相机角度与运动（包括最先进的商业模型 GPT-4o 与 Google Gemini Pro）上存在困难。为增强此类预测，我们首先标注了一组视频的相机角度与运动。该数据集可通过两种方式使用：直接训练我们在最终训练阶段使用的描述模型，或训练一个专家模型以标注更多视频数据，在训练早期阶段辅助我们的模型。该数据集提升了我们运动与角度描述的准确性，从而改善了视频生成模型的相机运动可控性。

细粒度类别。为增强模型识别动物、植物、车辆等细粒度类别的能力，我们创建了一个包含这几类共计数百万张图像的数据集。

关系理解。我们通过整合现有目标检测数据集，收集聚焦于空间关系（如左、右、上、下）的数据集，从而增强模型的关系理解能力。

重新描述（Re-caption）。描述模型的一项重要能力是利用现有标签或简短描述生成密集描述。为此，我们整理了一个重新描述数据集，基于图像内容将简短的文本标签或描述扩展为详细描述。

编辑指令描述。我们收集了描述两幅图像之间差异或变换的数据集。此类描述对于图像编辑任务颇具价值。

组图描述。我们收集了为一组图像提供描述的数据集。每段描述以图像共有的共同特征开头，随后使用相似措辞对每张图像分别描述。

人工标注的图像与视频描述。我们收集了人工标注的图像与视频密集描述。这些代表了我们最高质量的描述数据，并用于模型训练的最终阶段。

Figure 4: Our caption model achieves overall performance comparable to Google Gemini 1.5 Pro. In particular, it excels in areas such as events, camera angle, camera motion, style, and color.

3.3.3 模型设计

架构。我们的描述模型采用 LLaVA 风格架构（Liu et al., 2023c）。我们使用 ViT 编码器提取图像与视频帧的视觉嵌入。这些嵌入经两层感知机投影后，送入 Qwen LLM（QwenTeam, 2024）。

对于图像输入，我们采用与 LLaVA 相同的动态高分辨率策略。一幅图像最多可划分为七个图块（patch）。对于每个图块，我们将视觉嵌入自适应池化为 12$\times$12 的网格表示，以降低计算量。

对于视频，我们每秒采样 3 帧，上限为 129 帧。为进一步降低计算量，我们采用慢-快（slow-fast）编码策略：每第四帧保持原始分辨率，对其余帧的嵌入执行全局平均池化。在长视频基准上的实验表明，慢-快机制在有限的视觉 token 数量下增强了对内容的理解（例如，在 VideoMME（Fu et al., 2024）上无字幕时性能从 67.6% 提升至 69.1%）。

训练。遵循近期最先进的方法，我们的训练过程分为三个阶段。在第一阶段，我们冻结 ViT 与 LLM，仅训练多层感知机以将视觉嵌入与 LLM 输入空间对齐，学习率为 1e-3。在第二阶段，所有参数均可训练。在最终阶段，我们在少量高质量数据上执行端到端训练。对于最后两个阶段，LLM 与 MLP 的学习率设为 1e-5，ViT 的学习率设为 1e-6。

3.3.4 评估

自动评测对于我们描述模型的发展至关重要，使我们能够识别各模型版本的优势与不足。遵循 CAPability（Liu et al., 2025b），我们开发了自动化的描述评估流水线。我们聚焦于视频生成中的十个关键视觉维度：动作、相机角度、相机运动、物体类别、物体颜色、物体计数、OCR、场景、风格与事件。对于每个维度，我们随机采样 1,000 段视频及其由我们的模型生成的对应描述。我们还使用 Google Gemini 1.5 Pro 为该数据集生成密集视频描述。我们按照 CAPability（Liu et al., 2025b）的方法，通过计算各维度的 F1 指标来评估我们的描述与 Gemini 生成的描述。结果如图 4 所示。我们的描述在视频事件、相机角度、相机运动、风格与物体颜色方面表现更优，而 Gemini 在动作、OCR、场景、物体类别与物体计数方面更胜一筹。