1 引言

本文为论文《Janus-Pro：统一多模态理解与生成》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

(a) 四个多模态理解基准上的平均性能。

(b) 文生图生成指令跟随基准上的性能。

图 1：我们 Janus-Pro 的多模态理解与视觉生成结果。 对于多模态理解，我们对 POPE、MME-Perception、GQA 与 MMMU 的准确率取平均。MME-Perception 的分数除以 20 以缩放到 $[0,100]$。对于视觉生成，我们在两个指令跟随基准 GenEval 和 DPG-Bench 上评估性能。总体而言，Janus-Pro 优于此前最先进的统一多模态模型以及一些任务专用模型。建议在屏幕上查看最佳效果。

图 2：Janus-Pro 与其前身 Janus 在文生图生成上的对比。Janus-Pro 在短提示词下输出更加稳定，视觉质量更高、细节更丰富，并具备生成简单文字的能力。图像分辨率为 $384\times 384$。建议在屏幕上查看最佳效果。

统一多模态理解与生成模型的最新进展已展现出显著进步 [40, 48, 50, 55, 46, 30, 45, 54]。这些方法已被证明能够在提升视觉生成任务中指令跟随能力的同时，降低模型冗余。 这些方法大多使用同一视觉编码器来处理多模态理解与生成两类任务的输入。由于这两类任务所需的表征不同，这往往导致多模态理解性能欠佳。为解决这一问题，Janus [46] 提出解耦视觉编码，缓解了多模态理解与生成任务之间的冲突，在两类任务上都取得了优异性能。

作为一款开创性模型，Janus 在 1B 参数规模上得到了验证。然而，由于训练数据量有限且模型容量相对较小，它存在某些不足，例如在短提示词图像生成上性能欠佳，以及文生图生成质量不稳定。在本文中，我们提出 Janus-Pro，它是 Janus 的增强版本，在训练策略、数据和模型规模三个维度上进行了改进。Janus-Pro 系列包含两种模型规模：1B 和 7B，展现了视觉编码解码方法的可扩展性。

我们在多个基准上评估了 Janus-Pro，结果显示其具备卓越的多模态理解能力以及显著提升的文生图指令跟随性能。具体而言，Janus-Pro-7B 在多模态理解基准 MMBench [29] 上取得了 79.2 的分数，超越了 Janus [46]（69.4）、TokenFlow [34]（68.9）和 MetaMorph [42]（75.2）等最先进的统一多模态模型。此外，在文生图指令跟随排行榜 GenEval [14] 上，Janus-Pro-7B 得分 0.80，优于 Janus [46]（0.61）、DALL-E 3（0.67）和 Stable Diffusion 3 Medium [11]（0.74）。

图 3：我们 Janus-Pro 的架构。我们对多模态理解和视觉生成采用解耦的视觉编码。“Und. Encoder” 与 “Gen. Encoder” 分别是 “Understanding Encoder（理解编码器）” 与 “Generation Encoder（生成编码器）” 的缩写。建议在屏幕上查看最佳效果。