方法

方法

本文为论文《Qwen2.5-VL：面向细粒度感知与智能体的视觉语言模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在本节中，我们首先概述 Qwen2.5-VL 系列模型的架构更新，并对数据与训练细节进行总体介绍。

图 1：Qwen2.5-VL 框架展示了视觉编码器与语言模型解码器的集成，用于处理包括图像和视频在内的多模态输入。视觉编码器设计用于处理原生分辨率输入，并支持动态 FPS 采样。不同尺寸的图像和不同 FPS 率的视频帧被动态映射为不同长度的 token 序列。值得注意的是，MRoPE 在时间维度上将时间 ID 与绝对时间对齐，使模型能够更好地理解时间动态，例如事件节奏和精确时刻定位。处理后的视觉数据随后被输入 Qwen2.5 LM 解码器。我们重新设计了视觉 Transformer（ViT）架构，引入了包括带 SwiGLU 激活的 FFN、用于归一化的 RMSNorm 以及基于窗口的注意力机制等先进组件，以提升性能和效率。

2.1 模型架构

Qwen2.5-VL 的整体模型架构由三个组件组成：

大语言模型：Qwen2.5-VL 系列采用大语言模型作为其基础组件。模型使用 Qwen2.5 LLM 的预训练权重进行初始化。为了更好地满足多模态理解的需求，我们将一维 RoPE（旋转位置编码）修改为与绝对时间对齐的多模态旋转位置编码。

视觉编码器：Qwen2.5-VL 的视觉编码器采用重新设计的视觉 Transformer（ViT）架构。在结构上，我们引入了 2D-RoPE 和窗口注意力机制，以支持原生输入分辨率，同时加速整个视觉编码器的计算。在训练和推理过程中，输入图像的高度和宽度在送入 ViT 前会被调整为 28 的倍数。视觉编码器通过以步长 14 将图像切分为 patch 来处理图像，从而生成一组图像特征。我们将在 2.1.1 节中对视觉编码器进行更详细的介绍。

基于 MLP 的视觉-语言融合器：为解决长序列图像特征带来的效率挑战，我们采用一种简单而有效的方法，在将特征序列输入大语言模型（LLM）之前对其进行压缩。具体而言，我们不直接使用视觉 Transformer（ViT）提取的原始 patch 特征，而是先将空间上相邻的四个 patch 特征分组。随后将这些分组特征拼接，并通过一个两层多层感知机（MLP）将其投影到与 LLM 中使用的文本嵌入对齐的维度。该方法不仅降低了计算成本，还提供了一种灵活的方式来动态压缩不同长度的图像特征序列。

表 1 详细列出了 Qwen2.5-VL 的架构和配置。

表 1：Qwen2.5-VL 的配置。

2.1.1 快速高效的视觉编码器

视觉编码器在多模态大语言模型（MLLMs）中起着关键作用。为了解决由于原生分辨率输入在训练和推理过程中造成的计算负载不均衡问题，我们重新设计了视觉 Transformer（ViT）架构。一个关键问题来自处理不同尺寸图像时的二次计算复杂度。为缓解这一问题，我们在大多数层中引入了窗口注意力机制，使计算成本随 patch 数量线性增长而非二次增长。在我们的架构中，仅有四层采用全自注意力，其余层则使用最大窗口大小为 112×112（对应 8×8 个 patch）的窗口注意力。小于 112×112 的区域在处理时不进行填充，从而保留其原始分辨率。该设计使模型能够在输入分辨率下原生运行，避免不必要的缩放或失真。

对于位置编码，我们采用 2D 旋转位置编码（RoPE）以有效捕获二维空间中的空间关系。此外，为更好地处理视频输入，我们将方法扩展到 3D patch 划分。具体而言，我们使用 14×14 的图像 patch 作为基本单元，这与传统用于静态图像的 ViT 保持一致。对于视频数据，我们将连续两帧分为一组，从而显著减少输入语言模型的 token 数量。该设计不仅保持了与现有架构的兼容性，还提升了处理序列视频数据时的效率。

为简化整体网络结构，我们使 ViT 架构更贴近大语言模型（LLMs）的设计原则。具体来说，我们采用 RMSNorm (Zhang & Sennrich, 2019) 进行归一化，并使用 SwiGLU (Dauphin et al., 2017) 作为激活函数。这些选择提升了计算效率，并增强了模型视觉与语言组件之间的兼容性。

在训练方面，我们从头训练重新设计的 ViT。训练过程包含多个阶段，包括 CLIP 预训练、视觉-语言对齐以及端到端微调。为确保模型在不同输入分辨率下的鲁棒性，我们在训练过程中采用原生分辨率的动态采样。图像根据其原始宽高比进行随机采样，使模型能够有效泛化到不同分辨率的输入。这种方法不仅提高了模型的适应性，还确保了在不同尺寸视觉数据上的稳定高效训练。

2.1.2 原生动态分辨率与帧率

Qwen2.5-VL 在空间和时间两个维度上引入了改进，以有效处理多样的多模态输入。

在空间维度上，Qwen2.5-VL 动态地将不同尺寸的图像转换为具有相应长度的 token 序列。与传统的坐标归一化方法不同，我们的模型直接使用输入图像的实际尺寸来表示边界框、点及其他空间特征。这使模型能够内在地学习尺度信息，从而提升其处理不同分辨率图像的能力。

对于视频输入，Qwen2.5-VL 引入了动态帧率（FPS）训练和绝对时间编码。通过适应可变帧率，模型能够更好地捕获视频内容的时间动态。与其他通过引入文本时间戳或使用额外头来实现时间定位的方法不同，我们提出了一种新颖且高效的策略，将 MRoPE 的 ID 直接与时间戳对齐。该方法使模型能够通过时间维度 ID 之间的间隔理解时间节奏，而无需任何额外的计算开销。

2.1.3 与绝对时间对齐的多模态旋转位置编码

位置嵌入对于在视觉和语言模态中建模序列数据至关重要。在 Qwen2-VL 引入的多模态旋转位置编码（MRoPE）基础上，我们扩展了其能力，以更好地处理视频中的时间信息。

Qwen2-VL 中的 MRoPE 将位置嵌入分解为三个不同组件：时间、高度和宽度，以有效建模多模态输入。对于文本输入，这三个组件使用相同的位置 ID，使 MRoPE 在功能上等同于传统的一维 RoPE (Su et al., 2024)。对于图像，时间 ID 在所有视觉 token 上保持不变，而高度和宽度组件则根据每个 token 在图像中的空间位置分配唯一 ID。在处理被视为帧序列的视频时，时间 ID 会随着每一帧递增，而高度和宽度组件的分配方式与静态图像相同。

然而，在 Qwen2-VL 中，MRoPE 中的时间位置 ID 与输入帧数绑定，未能考虑内容变化速度或视频中事件的绝对时间。为解决这一局限，Qwen2.5-VL 引入了一项关键改进：将 MRoPE 的时间组件与绝对时间对齐。如图 1 所示，通过利用时间 ID 之间的间隔，模型能够在具有不同 FPS 采样率的视频之间学习一致的时间对齐。

2.2 预训练

在本节中，我们首先描述预训练数据集的构建，然后概述整体训练流程和配置。

2.2.1 预训练数据

与 Qwen2-VL 相比，我们显著扩展了预训练数据的规模，将其从 1.2 万亿 token 增加到约 4 万亿 token。我们的预训练数据集通过多种方法构建而成，包括清洗原始网页数据、合成数据等。该数据集涵盖了丰富的多模态数据类型，如图像描述、图文交错数据、光学字符识别（OCR）数据、视觉知识（例如名人、地标、动植物识别）、多模态学术问题、定位数据、文档解析数据、视频描述、视频定位以及基于智能体的交互数据。在整个训练过程中，我们在不同阶段仔细调整了这些数据类型的组成和比例，以优化学习效果。

图文交错数据

图文交错数据对于多模态学习至关重要，具有三大关键优势：（1）支持同时利用视觉和文本线索的上下文学习 (Alayrac et al., 2022)；（2）在缺少图像时保持较强的纯文本能力 (Lin et al., 2024)；（3）包含广泛的通用信息。然而，现有的大量图文交错数据缺乏有意义的图文关联，且往往噪声较大，限制了其在复杂推理和创造性生成中的实用性。

为应对这些挑战，我们开发了一套数据评分和清洗流程，确保仅使用高质量、相关的图文交错数据。我们的流程包括两个步骤：标准数据清洗 (Li et al., 2024e)，随后使用内部评估模型进行四阶段评分。评分标准包括：（1）纯文本质量，（2）图文相关性，（3）图文互补性，以及（4）信息密度平衡。这一细致的方法提升了模型执行复杂推理和生成连贯多模态内容的能力。

以下是这些图文评分标准的说明：

图文相关性：分数越高表示图像与文本之间的联系越紧密，图像能够有意义地补充、解释或扩展文本，而不仅仅是起装饰作用。

信息互补性：分数越高反映图像与文本之间的互补信息越多。两者都应提供独特的细节，共同构成完整的叙述。

信息密度平衡：分数越高表示图像与文本之间的信息分布越均衡，避免文本或图像信息过多，并确保两者之间保持适当的平衡。

基于绝对位置坐标的定位数据

我们采用原生分辨率训练，旨在实现对世界更准确的感知。相比之下，相对坐标无法有效表示图像中物体的原始大小和位置。为解决这一局限，Qwen2.5-VL 在训练过程中使用基于输入图像实际尺寸的坐标值来表示边界框和点。该方法确保模型能够更好地捕获物体在现实世界中的尺度和空间关系，从而在目标检测和定位等任务中取得更好的性能。

为提升定位能力的泛化性，我们利用公开可用数据集和专有数据构建了一个包含带指代表达的边界框和点的综合数据集。我们的方法包括将数据合成为多种格式（如 XML、JSON 和自定义格式），并采用复制-粘贴增强 (Ghiasi et al., 2021) 以及使用现成模型（如 Grounding DINO (Liu et al., 2023c) 和 SAM (Kirillov et al., 2023)）进行合成等技术。该方法有助于更稳健地评估和提升定位能力。

为增强模型在开放词汇检测方面的性能，我们将训练数据集扩展到包含超过 10,000 个目标类别。此外，为提升模型在极端目标检测场景下的有效性，我们在查询中合成了不存在的目标类别，并构建了每个目标包含多个实例的图像数据。

为确保卓越的基于点的目标定位能力，我们构建了一个包含公开可用数据和合成数据的综合指向数据集。具体而言，数据来源包括 PixMo (Deitke et al., 2024) 中的公开指向和计数数据、公开可用的目标定位数据（来自目标检测和实例分割任务），以及通过自动化流程生成的针对图像特定细节的精确指向数据。

文档全能解析数据

为训练 Qwen2.5-VL，我们合成了大量文档数据。传统的文档内容解析方法通常依赖独立模型分别处理版面分析、文本提取、图表解释和插图处理。相比之下，Qwen2.5-VL 旨在赋予通用模型全面的文档解析、理解和格式转换能力。具体而言，我们在文档中融入了多种多样的元素，如表格、图表、公式、自然或合成图像、乐谱和化学公式。这些元素被统一格式化为 HTML，将版面框信息和插图描述整合到 HTML 标签结构中。我们还根据典型阅读顺序丰富了文档版面，并在基于 HTML 的标注真值中包含了与每个模块（如段落和图表）对应的坐标。这一创新方法使得任何文档的完整信息（包括其版面、文本、图表和插图）都能够以标准化和统一的方式表示。因此，Qwen2.5-VL 实现了多模态文档元素的无缝集成，从而促进更高效、更准确的文档理解与转换。

以下是 QwenVL HTML 格式：

QwenVL HTML 格式

¡html¿¡body¿

paragraph

¡p data-bbox=”x1 y1 x2 y2”¿ content ¡/p¿

table

¡style¿table{id} style¡/style¿¡table data-bbox=”x1 y1 x2 y2” class=”table{id}”¿ table content ¡/table¿

chart

¡div class=”chart” data-bbox=”x1 y1 x2 y2”¿ ¡img data-bbox=”x1 y1 x2 y2” /¿¡table¿ chart content ¡/table¿¡/div¿

formula

¡div class=”formula” data-bbox=”x1 y1 x2 y2”¿ ¡img data-bbox=”x1 y1 x2 y2” /¿ ¡div¿ formula content ¡/div¿¡/div¿

image caption

¡div class=”image caption” data-bbox=”x1 y1 x2 y2”¿ ¡img data-bbox=”x1 y1 x2 y2” /¿¡p¿ image caption ¡/p¿¡/div¿

image ocr

¡div class=”image ocr” data-bbox=”x1 y1 x2 y2”¿ ¡img data-bbox=”x1 y1 x2 y2” /¿¡p¿ image ocr ¡/p¿¡/div¿

music sheet

¡div class=”music sheet” format=”abc notation” data-bbox=”x1 y1 x2 y2”¿ ¡img data-bbox=”x1 y1 x2 y2” /¿ ¡div¿ music sheet content ¡/div¿¡/div¿

chemical formula content

¡div class=”chemical formula” format=”smile” data-bbox=”x1 y1 x2 y2”¿ ¡img data-bbox=”x1 y1 x2 y2” /¿ ¡div¿ chemical formula content ¡/div¿¡/div¿ ¡/html¿¡/body¿

该格式确保所有文档元素都以结构化且可访问的方式表示，从而使 Qwen2.5-VL 能够高效地进行处理和理解。

OCR 数据

我们收集并整理了来自不同来源的数据以提升 OCR 性能，包括合成数据、开源数据和内部收集的数据。合成数据通过视觉文本生成引擎生成，用于产生高质量的自然场景文本图像。为支持更广泛的语言并增强多语言能力，我们引入了大规模多语言 OCR 数据集。该数据集支持多种语言，如法语、德语、意大利语、西班牙语、葡萄牙语、阿拉伯语、俄语、日语、韩语和越南语。该数据集经过精心整理以确保多样性和质量，同时利用高质量合成图像和真实自然场景图像。这种结合确保了在各种语言环境下的稳健性能，并提高了模型对不同文本外观和环境条件的适应能力。对于图表类数据，我们使用包括 matplotlib、seaborn 和 plotly 在内的可视化库合成了 100 万个样本，涵盖柱状图、关系图和热力图等图表类别。对于表格数据，我们通过离线端到端表格识别模型处理了 600 万个真实世界样本，随后过滤掉低置信度表格、重叠表格以及单元格密度不足的表格。

视频数据

为增强模型在理解不同帧率（FPS）视频数据时的鲁棒性，我们在训练过程中动态采样 FPS，以在训练数据集中实现更均匀的 FPS 分布。此外，对于时长超过半小时的视频，我们通过目标合成流程将多帧描述合成为长视频描述，从而构建了一组专门的长视频描述数据。关于视频定位数据，我们将时间戳格式化为基于秒的格式以及时-分-秒-帧（hmsf）格式，确保模型能够准确理解并输出多种格式的时间。

智能体数据

我们增强了感知和决策能力，以构建 Qwen2.5-VL 的智能体能力。在感知方面，我们收集了移动端、网页端和桌面端的截图。我们使用合成数据引擎生成截图描述和 UI 元素定位标注。描述任务帮助 Qwen2.5-VL 理解图形界面，而定位任务帮助其对齐元素的外观和功能。在决策方面，我们首先将移动端、网页端和桌面端的操作统一为具有共享动作空间的函数调用格式。从开源数据中收集并由智能体框架 (Wang et al., 2025; Wang et al., 2024b; Wang et al., 2024c) 在虚拟环境中合成的一组带标注的多步轨迹被重新格式化为函数格式。我们进一步通过人工和模型标注者为每一步生成推理过程 (Xu et al., 2024)。具体而言，给定一个真实操作，我们在截图上将其高亮显示。然后，我们将全局查询以及该操作前后的截图提供给标注者，并要求他们编写推理内容以解释该操作背后的意图。我们使用基于模型的过滤器筛除低质量的推理内容。此类推理内容可防止 Qwen2.5-VL 过拟合于真实操作，并使其在现实场景中更加稳健。

表 2：不同阶段的训练数据量和组成。

2.2.2 训练方案

我们使用 DataComp (Gadre et al., 2023) 和一些内部数据集从头训练了一个视觉 Transformer（ViT），作为视觉编码器的初始化，同时利用预训练的 Qwen2.5 大语言模型（LLM）(Yang et al., 2024a) 作为 LLM 组件的初始化。如表 2 所示，预训练过程分为三个不同阶段，每个阶段采用不同的数据配置和训练策略，以逐步增强模型的能力。

在第一阶段，仅训练视觉 Transformer（ViT），以提升其与语言模型的对齐程度，为多模态理解奠定坚实基础。该阶段的主要数据来源包括图像描述、视觉知识和 OCR 数据。这些数据集经过精心挑选，以培养 ViT 提取有意义视觉表示的能力，使其能够与文本信息有效融合。

在第二阶段，解冻所有模型参数，并在多样化的多模态图像数据上训练模型，以增强其处理复杂视觉信息的能力。该阶段引入了更复杂、推理强度更高的数据集，如图文交错数据、多任务学习数据集、视觉问答（VQA）、多模态数学、基于智能体的任务、视频理解以及纯文本数据集。这些数据集增强了模型在视觉和语言模态之间建立更深层联系的能力，使其能够处理日益复杂的任务。

在第三阶段，为进一步增强模型在更长序列上的推理能力，我们引入了视频和基于智能体的数据，并增加了序列长度。这使模型能够以更高的精度处理更高级、更复杂的多模态任务。通过扩展序列长度，模型获得了处理更长上下文的能力，这对于需要长程依赖和复杂推理的任务尤为有益。

为应对不同图像尺寸和文本长度带来的挑战（这些因素可能导致训练过程中计算负载不均衡），我们采用了一种优化训练效率的策略。主要计算成本来自 LLM 和视觉编码器。鉴于视觉编码器参数量相对较少，且我们引入了窗口注意力机制以进一步降低其计算需求，我们将重点放在平衡不同 GPU 上 LLM 的计算负载。具体而言，我们根据样本对应的 LLM 输入序列长度动态打包数据样本，以确保一致的计算负载。在第一和第二阶段，数据被统一打包到 8,192 的序列长度，而在第三阶段，序列长度增加到 32,768，以适应模型处理更长序列的增强能力。

2.3 后训练

Qwen2.5-VL 的后训练对齐框架采用由监督微调（SFT）和直接偏好优化（DPO）(Rafailov et al., 2023) 组成的双阶段优化范式。这种分层对齐策略将参数高效的领域适应与人类偏好蒸馏相结合，通过不同的优化目标同时解决表征落地和行为优化问题。

监督微调（SFT）旨在通过有针对性的指令优化，弥合预训练表征与下游任务需求之间的差距。在此阶段，我们采用 ChatML 格式 (Openai, 2024) 来组织指令跟随数据，在保持与 Qwen2-VL (Wang et al., 2024e) 架构一致性的同时，有意偏离预训练数据模式。这种格式转换实现了三项关键适配：1）为多模态轮次交互提供显式的对话角色标记；2）在文本指令旁结构化注入视觉嵌入；3）通过格式感知打包保持跨模态位置关系。通过在这种增强模式下让模型接触精心策划的多模态指令-响应对，SFT 能够在保持预训练特征完整性的同时实现高效的知识迁移。

2.3.1 指令数据

监督微调（SFT）阶段采用了精心策划的数据集，旨在增强模型在不同模态下的指令跟随能力。该数据集包含约 200 万条数据，纯文本数据（50%）和多模态数据（50%）均衡分布，其中多模态数据包括图文和视频-文本组合。多模态数据的引入使模型能够有效处理复杂输入。值得注意的是，尽管纯文本和多模态条目数量相当，但由于嵌入了视觉和时间信息，多模态条目在训练过程中消耗的 token 和计算资源显著更多。该数据集主要由中文和英文数据组成，并辅以补充性的多语言条目，以支持更广泛的语言多样性。

该数据集的结构旨在反映不同层次的对话复杂度，包括单轮和多轮交互。这些交互还通过从单图输入到多图序列的不同场景进行情境化，从而模拟真实的对话动态。查询来源主要来自开源仓库，并辅以精心挑选的采购数据集和在线查询数据。这种组合确保了广泛的覆盖面，并增强了数据集的代表性。

为适应广泛的应用场景，该数据集包含针对通用视觉问答（VQA）、图像描述、数学问题求解、编程任务和安全相关查询的专门子集。此外，还构建了用于文档和光学字符识别（Doc 和 OCR）、定位、视频分析以及智能体交互的专用数据集，以增强特定领域的能力。有关数据的详细信息可参见论文的相关章节。这种结构化且多样化的组成确保了 SFT 阶段能够有效地将预训练表征与下游多模态任务的细微需求对齐，从而促进稳健且具备上下文感知能力的模型性能。

2.3.2 数据过滤流程

训练数据的质量是影响视觉-语言模型性能的关键因素。开源和合成数据集通常表现出显著的差异性，往往包含噪声、冗余或低质量样本。因此，严格的数据清洗和过滤流程对于解决这些问题至关重要。低质量数据可能导致预训练表征与下游任务需求之间的次优对齐，从而削弱模型有效处理复杂多模态任务的能力。因此，确保高质量数据对于实现稳健可靠的模型性能至关重要。

为应对这些挑战，我们实施了一个两阶段的数据过滤流程，旨在系统性地提升监督微调（SFT）数据集的质量。该流程包括以下阶段：

第一阶段：领域特定分类

在初始阶段，我们使用 Qwen2-VL-Instag（一个从 Qwen2-VL-72B 派生的专用分类模型）对问答（QA）对进行分层分类。该模型将 QA 对组织为八个主要领域（如编程和规划），并进一步划分为 30 个细粒度子类别。例如，主要领域“编程”被细分为代码调试、代码生成、代码翻译和代码理解等子类别。这种分层结构有助于实施领域感知和子领域感知的过滤策略，使流程能够针对每个类别的特定特征优化数据清洗过程，从而提升监督微调（SFT）数据集的质量和相关性。

第二阶段：领域定制过滤

第二阶段涉及领域定制过滤，它结合了基于规则和基于模型的方法，以全面提升数据质量。鉴于文档处理、光学字符识别（OCR）和视觉定位等领域的多样性，每个领域可能需要独特的过滤策略。下面，我们概述在这些领域中应用的通用过滤策略。

基于规则的过滤采用预定义启发式方法来剔除低质量或有问题的条目。具体而言，对于与文档处理、OCR 和视觉定位任务相关的数据集，会识别并移除重复模式，以防止扭曲模型的学习过程并确保最佳性能。此外，还会排除包含不完整、截断或格式不正确响应的条目——这在合成数据集和多模态场景中很常见。为保持相关性并维护伦理标准，还会丢弃无关或可能导致有害输出的查询和答案。这种结构化方法确保数据集符合伦理准则并满足特定任务要求。

基于模型的过滤通过利用在 Qwen2.5-VL 系列上训练的奖励模型进一步优化数据集。这些模型从多个维度评估多模态 QA 对。查询会根据复杂度和相关性进行评估，仅保留那些具有适当挑战性且与上下文相关的示例。答案则根据正确性、完整性、清晰度、与查询的相关性以及有用性进行评估。在视觉定位任务中，会特别关注验证对视觉信息的准确解释和利用。这种多维评分机制确保只有高质量数据能够进入 SFT 阶段。

2.3.3 用于增强推理的拒绝采样

为补充我们结构化的数据过滤流程，我们采用拒绝采样作为一种策略来优化数据集并增强视觉-语言模型（VLM）的推理能力。该方法对于需要复杂推理的任务尤为关键，例如数学问题求解、代码生成和特定领域的视觉问答（VQA）。先前研究表明，引入思维链（CoT）Wei et al. (2022) 推理可显著提升模型的推理性能。(DeepSeek-AI et al., 2024) 我们的后训练实验证实了这一点，强调了结构化推理过程对于获得高质量结果的重要性。

拒绝采样过程始于富含真实标注的数据集。这些数据集经过精心策划，包含需要多步推理的任务，如数学问题求解、代码生成和特定领域的 VQA。我们使用 Qwen2.5-VL 模型的中间版本，将生成的响应与真实答案进行对比评估。仅保留模型输出与预期答案匹配的样本，从而确保数据集仅由高质量、准确的示例组成。

为进一步提升数据质量，我们应用额外约束来过滤掉不理想的输出。具体而言，我们排除了出现代码混用、过长或重复模式的响应。这些标准确保了 CoT 推理过程的清晰性和连贯性，这对下游应用至关重要。

将 CoT 推理应用于视觉-语言模型的一个关键挑战在于其对文本和视觉两种模态的依赖。中间推理步骤可能无法充分整合视觉信息，要么忽略相关视觉线索，要么对其产生误解。为解决这一问题，我们开发了基于规则和基于模型的过滤策略，以验证中间推理步骤的准确性。这些机制确保 CoT 过程中的每一步都能有效整合视觉和文本模态。尽管做出了这些努力，实现最佳的模态对齐仍然是一个持续的挑战，需要进一步的改进。

通过拒绝采样生成的数据显著提升了模型的推理能力。通过迭代优化数据集并移除低质量或错误样本，我们使模型能够从强调准确和连贯推理的高保真示例中学习。该方法不仅增强了模型处理复杂任务的能力，也为视觉-语言建模的未来改进奠定了基础。

2.3.4 训练方案

Qwen2.5-VL 的后训练过程包括两个阶段：监督微调（SFT）和直接偏好优化（DPO），两个阶段均冻结视觉 Transformer（ViT）参数。在 SFT 阶段，模型在多样化的多模态数据上进行微调，包括图文对、视频和纯文本，数据来源于通用 VQA、拒绝采样以及文档和 OCR、定位、视频和智能体相关任务等专门数据集。DPO 阶段仅专注于图文和纯文本数据，利用偏好数据使模型与人类偏好对齐，每个样本仅处理一次以确保高效优化。这一精简流程在保持与用户意图一致的同时，增强了模型的跨模态推理和特定任务性能。