论文信息与摘要1 引言2 架构3 基础设施4 预训练5 后训练6 结论、局限性与未来方向参考文献附录附录 A 贡献与致谢附录 B 低精度训练消融实验附录 C 16B 基于辅助损失与无辅助损失模型的专家专门化模式