6 局限性与结论

本文为论文《Wan 2.1:开放先进的视频生成基座模型》「中文全文翻译」板块的对应章节,与「论文原文」板块同一章节一一对应,层级保持一致。

局限性。本研究提出了 Wan,一种在多个基准上取得显著进展的基础视频生成模型。具体而言,在运动幅度(如体育、舞蹈)与指令遵循能力方面观察到了显著改进。然而,若干局限性依然存在,应予解决以释放 Wan 的更多潜力。首先,在包含大幅度运动的场景中保留细粒度细节,对我们的方法仍具挑战性,这也是视频生成领域更普遍的问题。需要付出大量努力以提升大幅运动动态视频的保真度。其次,大规模模型相关的计算成本依然高昂。在单张高端 GPU 上,14B 模型的推理目前约需 30 分钟(无额外优化)。为使视频生成成为人人可用的 AI 工具,有必要进一步研究效率与可扩展性。最后,仍缺乏领域专业知识。作为基础视频模型,我们致力于增强 Wan 的通用能力,但在教育、医疗等特定本地化场景下的性能可能不足。我们旨在通过开源最新模型并推动跨多样化专业领域的社区驱动开发,来解决这一局限。

结论。在本报告中,我们公开发布了 Wan——我们最新的视频模型,它为视频生成树立了新的标杆。我们全面概述了 Wan-VAE 与 DiT 模型的架构设计,包括对其训练方法、数据整理流程、评估方法与实证结果的深入洞见。此外,我们细致分析了数据预处理流水线,以及为优化模型训练而实施的有策略性调整。这一整体方法旨在推动视频生成领域的进步。我们还广泛探索了下游应用,如图像到视频生成、视频编辑与个性化视频生成,以展示 Wan 在多样化场景下的通用性与实用价值。除开源 14B 模型外,我们还探索了利用更小规模模型实现高效视频生成的可行性。值得注意的是,我们的 1.3B 模型不仅取得了与更大模型相竞争的优异性能,还能在消费级 GPU 上无缝推理,显著提升了创作者的可访问性与实用性。展望未来,我们计划聚焦于扩展数据与模型架构,以应对视频生成中最紧迫的挑战。我们持续的努力旨在为研究社区提供更稳健、更通用的视频创作工具,推动这一快速发展领域的创新与更广泛的应用。