引言

引言

本文为论文《Qwen2.5-VL：面向细粒度感知与智能体的视觉语言模型》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

大型视觉-语言模型（LVLMs）(OpenAI, 2024; Anthropic, 2024a; Team et al., 2023; Wang et al., 2024f) 代表了人工智能领域的关键突破，标志着一种面向多模态理解与交互的变革性方法。通过将视觉感知与自然语言处理无缝融合，这些先进模型正在从根本上重塑机器在不同领域解释和分析复杂信息的方式。尽管多模态大语言模型取得了显著进展，但当前这些模型的能力仍可类比为夹心饼干的中间层——在各类任务上表现尚可，却难以达到卓越水平。细粒度视觉任务构成了这一类比的基础层。在本次 Qwen2.5-VL 的迭代中，我们致力于探索细粒度感知能力，旨在为 LVLMs 奠定坚实基础，并为现实世界应用打造智能体放大器。该框架的顶层是多模态推理，其通过利用最新的 Qwen2.5 LLM 并采用多模态问答数据构建得到增强。

一系列工作推动了多模态大模型的发展，其特征体现在架构设计、视觉输入处理和数据整理等方面。LVLMs 进步的主要驱动力之一是架构的持续创新。(Alayrac et al., 2022; Li et al., 2022a; Li et al., 2023b; Liu et al., 2023b; Liu et al., 2023a; Wang et al., 2024i; Zhang et al., 2024b; Wang et al., 2023) 中的研究逐步塑造了当前范式，该范式通常由视觉编码器、跨模态投影器和 LLM 组成。细粒度感知模型已成为另一个关键领域。(Xiao et al., 2023; Liu et al., 2023c; Ren et al., 2024; Zhang et al., 2024a; Zhang et al., 2024d; Peng et al., 2023; Deitke et al., 2024) 等模型不断拓展细致视觉理解的可能边界。全模态（Omni）(Li et al., 2024g; Li et al., 2025b; Ye et al., 2024) 和混合专家（MoE）(Riquelme et al., 2021; Lee et al., 2024; Li et al., 2024h; Li et al., 2024c; Wu et al., 2024b) 的架构也为 LVLMs 的未来演进提供了启发。视觉编码器的增强 (Chen et al., 2023; Liu et al., 2024b; Liang et al., 2025) 和分辨率扩展 (Li et al., 2023c; Ye et al., 2023; Li et al., 2023a) 在提升实用视觉理解质量方面发挥了关键作用。整理覆盖更多样场景且质量更高的数据，是训练先进 LVLMs 的重要步骤。(Guo et al., 2024; Chen et al., 2024d; Liu et al., 2024a; Chen et al., 2024a; Tong et al., 2024; Li et al., 2024a) 中提出的工作为这一努力做出了极具价值的贡献。

然而，尽管取得了显著进展，视觉-语言模型目前仍面临发展瓶颈，包括计算复杂度高、上下文理解有限、细粒度视觉感知不足，以及在不同序列长度下性能不一致等问题。

在本报告中，我们介绍最新工作 Qwen2.5-VL，它延续了 Qwen 系列的开源理念，在多个基准测试上达到甚至超越了顶级闭源模型。从技术上看，我们的贡献主要体现在四个方面：（1）我们在视觉编码器中实现了窗口注意力机制，以优化推理效率；（2）我们引入了动态 FPS 采样，将动态分辨率扩展到时间维度，从而在不同采样率下实现全面的视频理解；（3）我们在时间域升级了 MRoPE，使其与绝对时间对齐，从而促进更复杂的时间序列学习；（4）我们在预训练和监督微调阶段都投入了大量精力整理高质量数据，并将预训练语料从 1.2 万亿 token 扩展到 4.1 万亿 token。

Qwen2.5-VL 的亮点特性如下：

强大的文档解析能力：Qwen2.5-VL 将文本识别升级为全能文档解析，擅长处理多场景、多语言以及包含多种内置元素（手写体、表格、图表、化学公式和乐谱）的文档。

跨格式的精确目标定位：Qwen2.5-VL 在检测、指向和计数目标方面实现了更高的准确性，并支持绝对坐标和 JSON 格式，以进行高级空间推理。

超长视频理解与细粒度视频定位：我们的模型将原生动态分辨率扩展到时间维度，增强了对长达数小时视频的理解能力，同时能够以秒为单位提取事件片段。