实验

本文为论文《Qwen2.5-VL：面向细粒度感知与智能体的视觉语言模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

在本节中，我们首先介绍整体模型，并将其与当前最先进（SoTA）模型进行比较。然后，我们评估模型在各项子能力上的表现。

3.1 与 SOTA 模型的比较

表 3：Qwen2.5-VL 与最先进模型的性能对比。

实验部分评估了 Qwen2.5-VL 在多种数据集上的性能，并将其与 Claude-3.5-Sonnet-0620 (Anthropic, 2024a)、GPT-4o-0513 (OpenAI, 2024)、InternVL2.5 (Chen et al., 2024d) 以及不同规模的 Qwen2-VL (Wang et al., 2024e) 等最先进模型进行比较。在大学水平问题上，Qwen2.5-VL-72B 在 MMMU (Yue et al., 2023) 上取得了 70.2 的分数。在 MMMU-Pro (Yue et al., 2024) 上，Qwen2.5-VL-72B 得分为 51.1，超越了此前的开源最先进模型，并达到了与 GPT-4o 相当的性能。

在数学相关任务中，Qwen2.5-VL-72B 展现出强大的能力。在 MathVista (Lu et al., 2024) 上，其得分为 74.8，超过了此前开源最先进的 72.3 分。在 MATH-Vision (Wang et al., 2024d) 上，Qwen2.5-VL-72B 得分为 38.1，而在 MathVerse (Zhang et al., 2024c) 上取得 57.6 分，均与其他领先模型相比表现出竞争力。

在通用视觉问答方面，Qwen2.5-VL-72B 在多个基准测试中表现优异。在 MMbench-EN (Liu et al., 2023d) 上，其得分为 88.6，略高于此前的最佳分数 88.3。该模型在 MuirBench (Wang et al., 2024a) 上也取得了 70.7 的良好成绩，在 BLINK (Fu et al., 2024c) 上取得 64.4 分。在 MTVQA (Tang et al., 2024) 的多语言能力评估中，Qwen2.5-VL-72B 取得了 31.7 分，展示了其强大的多语言文本识别能力。在 MMVet (Yu et al., 2024) 和 MM-MT-Bench (Agrawal et al., 2024) 等主观评估中，Qwen2.5-VL-72B 分别获得 76.2 和 7.6 分，展现出出色的自然对话体验和用户满意度。

3.2 在纯文本任务上的性能

为了严格评估指令微调模型在纯文本任务上的性能，如表 4 所示，我们选择了多个具有代表性的基准来评估模型在各个领域的能力，包括通用任务 (Wang et al., 2024j; Gema et al., 2024; White et al., 2024)、数学与科学任务 (Rein et al., 2023; Hendrycks et al., 2021; Cobbe et al., 2021)、编程任务 (Chen et al., 2021; Cassano et al., 2023) 以及对齐任务 (Zhou et al., 2023)。我们将 Qwen2.5-VL 与多个规模相近的大语言模型（LLMs）进行了比较。结果表明，Qwen2.5-VL 不仅在多模态任务上达到了最先进（SoTA）性能，在纯文本任务上也表现领先，展示了其在多样化评估标准下的通用性和稳健性。

表 4：70B+ 指令模型与 Qwen2.5-VL 在纯文本任务上的性能。

3.3 定量结果

3.3.1 通用视觉问答

为了全面评估模型在通用视觉问答（VQA）和对话方面的能力，我们在多种多样的数据集上进行了广泛实验。如表 3 所示，Qwen2.5-VL 在各种 VQA 任务、主观评估、多语言场景和多图像问答中展现出最先进的性能。具体而言，它在 MMBench 系列 (Liu et al., 2023d)、MMStar (Chen et al., 2024c)、MME (Fu et al., 2023)、MuirBench (Wang et al., 2024a)、BLINK (Fu et al., 2024c)、CRPE (Wang et al., 2024h)、HallBench (Guan et al., 2023)、MTVQA (Tang et al., 2024)、MME-RealWorld (Zhang et al., 2024f)、MMVet (Yu et al., 2024) 和 MM-MT-Bench (Agrawal et al., 2024) 等基准数据集上表现出色。

在视觉细节理解和推理领域，Qwen2.5-VL-72B 在 MMBench-EN-V1.1 数据集上达到了 88.4% 的准确率，超越了 InternVL2.5（78B）和 Claude-3.5 Sonnet-0620 等此前的最先进模型。同样，在 MMStar 数据集上，Qwen2.5-VL 取得了 70.8% 的分数，在该基准上优于其他领先模型。这些结果凸显了模型在不同语言环境下的稳健性和适应性。

此外，在高分辨率真实场景中，特别是在 MME-RealWorld 基准上，Qwen2.5-VL 以 63.2 的分数展现出最先进的性能，展示了其对现实环境的广泛适应能力。另外，在 MuirBench 数据集评估的多图像理解任务中，Qwen2.5-VL 取得了 70.7 的领先分数，进一步突显了其卓越的泛化能力。综合来看，这些结果说明了 Qwen2.5-VL 在解决各种场景下通用视觉问答（VQA）任务方面具有强大的通用性和有效性。

值得注意的是，即使是较小规模版本的 Qwen2.5-VL，特别是 Qwen2.5-VL-7B 和 Qwen2.5-VL-3B，也表现出极具竞争力的性能。例如，在 MMStar 数据集上，Qwen2.5-VL-7B 达到 63.9%，而 Qwen2.5-VL-3B 得分为 55.9%。这表明 Qwen2.5-VL 的架构不仅强大，而且具有良好的可扩展性，即使在参数较少的情况下也能保持强劲性能。

3.3.2 文档理解与 OCR

我们在多种 OCR、图表和文档理解基准上对模型进行了评估。表 5 展示了 Qwen2.5-VL 模型与顶级模型在以下 OCR 相关基准上的性能比较：AI2D (Kembhavi et al., 2016)、TextVQA (Singh et al., 2019)、DocVQA (Mathew et al., 2021b)、InfoVQA (Mathew et al., 2021a)、ChartQA (Masry et al., 2022)、CharXiv (Wang et al., 2024k)、SEED-Bench-2-Plus (Li et al., 2024b)、OCRBench (Liu et al., 2023e)、OCRBench_v2 (Fu et al., 2024b)、CC-OCR (Yang et al., 2024b)、OmniDocBench (Ouyang et al., 2024)、VCR (Zhang et al., 2024e)。

对于针对多场景、多语言以及包含多种内置元素（手写体、表格、图表、化学公式和数学表达式）文档的元素解析 OCR 相关解析基准（如 CC-OCR 和 OmniDocBench），Qwen2.5-VL-72B 模型凭借精心整理的训练数据和 LLM 模型的卓越能力创造了新的最先进水平。

对于针对场景文本、图表、示意图和文档的 OCR 相关理解基准，Qwen2.5-VL 模型凭借良好的理解能力取得了令人印象深刻的性能。值得注意的是，在 OCRBench、专注于信息图表的 InfoVQA，以及涵盖图表、地图和网页等富文本场景的 SEED-Bench-2-Plus 等综合 OCR 相关理解基准上，Qwen2.5-VL-72B 取得了显著成果，大幅超越 InternVL2.5-78B 等强劲竞争对手。

此外，对于包含广泛 OCR 相关解析和理解任务的综合基准 OCRBench_v2，Qwen2.5-VL 模型同样取得了最佳性能，在英文和中文赛道上分别大幅超越最佳模型 Gemini 1.5-Pro 9.6% 和 20.6%。

表 5：Qwen2.5-VL 与其他模型在 OCR、图表和文档理解基准上的性能。

3.3.3 空间理解

理解空间关系对于开发能够像人类一样解释和交互世界的 AI 模型至关重要。在大型视觉-语言模型中，视觉定位能够根据自然语言查询或描述，对图像中的特定对象、区域或元素进行精确定位和识别。这一能力超越了传统的目标检测，通过在视觉内容和语言上下文之间建立语义关系，促进了更细致且具备上下文感知能力的视觉推理。 我们在指代表达理解基准 (Kazemzadeh et al., 2014; Mao et al., 2016)、开放世界目标检测 (Li et al., 2022b)、自建点定位基准以及 CountBench (Paiss et al., 2023) 上评估了 Qwen2.5-VL 的定位能力。

我们将 Qwen2.5-VL 的视觉定位能力与其他领先的 LVLMs 进行了比较，包括 Gemini、Grounding-DINO (Liu et al., 2023c)、Molmo (Deitke et al., 2024) 和 InternVL2.5。

Qwen2.5-VL 在从框定位、点定位到计数的不同基准测试中均取得了领先性能。 通过同时具备框定位和点定位能力，Qwen2.5-VL 能够理解、定位并推理图像中特定部分的细节。对于开放词汇目标检测，Qwen2.5-VL 在 ODinW-13 上取得了 43.1 mAP 的良好性能，超越了大多数 LVLMs，并迅速缩小了通用模型与专用模型之间的差距。此外，Qwen2.5-VL 解锁了基于点的定位能力，使其能够精确定位某个对象的细节，而这在过去很难用边界框表示。Qwen2.5-VL 的计数能力也取得了巨大进步，在 CountBench 上使用“先检测后计数”式提示时，Qwen2.5-VL-72B 达到了 93.6 的领先准确率。

表 6：Qwen2.5-VL 与其他模型在定位任务上的性能。

表 7：Qwen2.5-VL 与其他模型在计数任务上的性能。

3.3.4 视频理解与定位

我们在多种视频理解和定位任务上评估了我们的模型，所使用的基准包含时长从几秒到数小时不等的视频。 表 8 展示了 Qwen2.5-VL 模型与顶级专有模型在以下视频基准上的性能比较：Video-MME (Fu et al., 2024a)、Video-MMMU (Hu et al., 2025)、MMVU (Zhao et al., 2025)、MVBench (Li et al., 2024d)、MMBench-Video (Fang et al., 2024)、LongVideoBench (Wu et al., 2024a)、EgoSchema (Mangalam et al., 2023)、PerceptionTest (Patraucean et al., 2024)、MLVU (Zhou et al., 2024)、LVBench (Wang et al., 2024g)、TempCompass (Liu et al., 2024c) 和 Charades-STA (Gao et al., 2017)。 值得注意的是，在通过问答任务评估长视频理解能力的 LVBench 和 MLVU 上，Qwen2.5-VL-72B 取得了显著成果，大幅超越 GPT-4o 等强劲竞争对手。

通过利用所提出的同步 MRoPE，Qwen2.5-VL 增强了其在时间敏感的视频理解方面的能力，包括改进的时间戳引用、时间定位、密集描述等功能。在评估以精确时间戳准确定位事件或活动能力的 Charades-STA 数据集上，Qwen2.5-VL-72B 取得了令人印象深刻的 50.9 mIoU 分数，从而超越了 GPT-4o 的性能。 对于所有评估的基准，我们将每个视频分析的最大帧数限制为 768 帧，且视频 token 总数不超过 24,576。

表 8：Qwen2.5-VL 与其他模型在视频基准上的性能。

3.3.5 智能体

多模态模型中的智能体能力对于使这些模型能够有效地与现实世界设备交互至关重要。我们从多个方面评估了 Qwen2.5-VL 的智能体能力。UI 元素定位通过 ScreenSpot (Cheng et al., 2024) 和 ScreenSpot Pro (Li et al., 2025a) 进行评估。离线评估在 Android Control (Li et al., 2024f) 上进行，而在线评估则在包括 AndroidWorld (Rawles et al., 2024)、MobileMiniWob++ (Rawles et al., 2024) 和 OSWorld (Xie et al., 2025) 在内的平台上进行。我们将 Qwen2.5-VL-72B 的性能与其他知名模型进行了比较，如 GPT-4o (OpenAI, 2024)、Gemini 2.0 (Deepmind, 2024)、Claude (Anthropic, 2024b)、Aguvis-72B (Xu et al., 2024) 和 Qwen2-VL-72B (Wang et al., 2024e)。结果如表 9 所示。

表 9：Qwen2.5-VL 与其他模型在 GUI 智能体基准上的性能。

Qwen2.5-VL-72B 的性能展示了其在 GUI 定位基准上的卓越进步。它在 ScreenSpot 上达到了 87.1% 的准确率，与 Gemini 2.0（84.0%）和 Claude（83.0%）具有很强的竞争力，同时在 ScreenSpot Pro 上以 43.6% 的准确率树立了新标准——远超 Aguvis-72B（23.6%）及其基础模型 Qwen2-VL-72B（1.6%）。凭借这些卓越的定位能力，Qwen2.5-VL-72B 在所有离线评估基准上均以较大优势显著超越基线模型。在在线评估中，一些基线模型由于定位能力有限而难以完成任务。因此，我们对这些模型的输入应用了 Set-of-Mark（SoM）。结果表明，Qwen2.5-VL-72B 在 AndroidWorld 和 MobileMiniWob++ 上能够超越基线模型，并在 OSWorld 上无需辅助标记即可取得相当的性能。这一观察结果表明，Qwen2.5-VL-72B 能够在真实且动态的环境中作为智能体发挥作用。