3 实验

3 实验

本文为论文《Janus-Pro：统一多模态理解与生成》「中文全文翻译」板块的对应章节，与「论文原文」板块同一章节一一对应，层级保持一致。

3.1 实现细节

在实验中，我们使用 DeepSeek-LLM（$1.5$B 和 $7$B）[3] 作为基础语言模型，其支持的最大序列长度为 $4096$。对于理解任务中使用的视觉编码器，我们选择 SigLIP-Large-Patch$16$-$384$ [53]。生成编码器具有大小为 $16,384$ 的码本，并对图像进行 $16$ 倍下采样。理解适配器和生成适配器均为两层 MLP。各阶段的详细超参数见表 2。请注意，对于阶段 II，我们采用早停策略，在 270K 步时停止。所有图像都被缩放到 $384\times 384$ 像素。对于多模态理解数据，我们缩放图像的长边，并用背景色（RGB：$127$、$127$、$127$）填充短边，以达到 $384$。对于视觉生成数据，短边被缩放到 $384$，长边被裁剪到 $384$。我们在训练中使用序列打包（sequence packing）以提升训练效率。我们在单个训练步中按指定比例混合所有数据类型。我们的 Janus-Pro 使用 HAI-LLM [15] 进行训练和评估，这是一个构建于 PyTorch 之上的轻量级高效分布式训练框架。对于 $1.5$B/$7$B 模型，整个训练过程分别耗时约 $9$/$14$ 天，使用由 $16$/$32$ 个节点组成的集群，每个节点配备 $8$ 张 Nvidia A$100$（$40$GB）GPU。

表 3：在多模态理解基准上与最先进方法的对比。“Und.” 和 “Gen.” 分别表示 “understanding（理解）” 和 “generation（生成）”。使用外部预训练扩散模型的方法标记为 †。

3.2 评估设置

多模态理解。为评估多模态理解能力，我们在广泛认可的基于图像的视觉-语言基准上评估模型，包括 GQA [17]、POPE [23]、MME [12]、SEED [21]、MMB [29]、MM-Vet [51] 和 MMMU [52]。

视觉生成。为评估视觉生成能力，我们使用 GenEval [14] 和 DPG-Bench [16]。GenEval 是一个具有挑战性的文生图生成基准，通过对视觉生成模型组合能力的细粒度实例级分析，旨在反映其全面的生成能力。DPG-Bench（Dense Prompt Graph Benchmark）是一个综合数据集，由 1065 条冗长、稠密的提示词组成，旨在评估文生图模型复杂的语义对齐能力。

3.3 与最先进方法的对比

多模态理解性能。我们在表 3 中将所提方法与最先进的统一模型和仅理解模型进行对比。 Janus-Pro 取得了总体最佳的结果。这可归因于对多模态理解与生成采用解耦的视觉编码，缓解了这两类任务之间的冲突。与规模显著更大的模型相比，Janus-Pro 依然极具竞争力。例如，Janus-Pro-7B 在除 GQA 之外的所有基准上都优于 TokenFlow-XL（$13$B）。

表 4：在 GenEval 基准上对文生图生成能力的评估。“Und.” 和 “Gen.” 分别表示 “understanding（理解）” 和 “generation（生成）”。使用外部预训练扩散模型的方法标记为 †。

表 5：在 DPG-Bench 上的性能。除 Janus 和 Janus-Pro 外，本表中的方法均为生成专用模型。

视觉生成性能。我们报告在 GenEval 和 DPG-Bench 上的视觉生成性能。如表 4 所示，我们的 Janus-Pro-7B 在 GenEval 上取得 $80$% 的总体准确率，优于所有其他统一或仅生成方法，例如 Transfusion [55]（$63$%）、SD3-Medium（$74$%）和 DALL-E $3$（$67$%）。这表明我们的方法具备更好的指令跟随能力。如表 5 所示，Janus-Pro 在 DPG-Bench 上取得 $84.19$ 的分数，超越所有其他方法。这表明 Janus-Pro 在遵循稠密指令进行文生图生成方面表现卓越。

3.4 定性结果

我们在图 4 中展示多模态理解的结果。Janus-Pro 在处理来自各种场景的输入时展现出令人印象深刻的理解能力，彰显其强大能力。我们还在图 4 的下半部分展示了一些文生图生成结果。 Janus-Pro-7B 生成的图像高度逼真，尽管分辨率仅为 $384\times 384$，但仍包含大量细节。对于富有想象力和创造力的场景，Janus-Pro-7B 能够准确捕捉提示词中的语义信息，生成推理合理、连贯一致的图像。

图 4：多模态理解与视觉生成能力的定性结果。模型为 Janus-Pro-7B，视觉生成的图像输出分辨率为 $384\times 384$。建议在屏幕上查看最佳效果。