华为昇腾完成Kimi K3.1 Pro模型适配，LoRA微调训练跑通

月之暗面正式开源Kimi K3.1 Pro旗舰模型权重，兑现了此前发布会上的承诺。昇腾随即完成模型适配，并在Atlas 950 SuperPoD上实现了LoRA微调训练，从权重放出到训练跑通，前后只用了很短的时间。

Kimi K3.1 Pro是月之暗面推出的新一代3万亿级开放权重原生多模态模型，总参数规模达到2.8万亿，采用Stable Latent MoE稀疏专家架构，拥有896个路由专家，每个Token激活16个专家。模型采用KDA与Gated DSA混合注意力架构，支持最高100万Token上下文以及原生图像理解，在长程自主编程、复杂Agent任务、3D创作和金融研究等方向的能力都有明显提升。

围绕超大规模MoE模型的训练挑战，昇腾从混合并行架构、核心算子、通信加速、显存管理以及训练框架等多个维度做了专项优化。计算侧，KDA的状态递推和DSA的稀疏索引交织在一起，算子融合和调度难度都不小；通信侧，896个专家的稀疏路由容易出现Token分布不均、单专家计算批量偏小的问题；显存侧，2.8万亿参数仅BF16权重就占约5.6TB，压力同样不小。针对这些问题，昇腾基于FSDP2加EP混合并行架构实现专家参数的分布式部署，目前已在一百二十八卡Atlas 950 SuperPoD上完成基于FSDP2加EP64的LoRA微调训练验证。

从博主晒出的Loss曲线看，随机初始化训练的初始Loss约为13.5，经过四百多步后收敛至1.7左右；加载开源权重进行LoRA微调，初始Loss约1.85，五百多步后收敛至0.27左右。加载权重后的曲线明显更平滑，收敛速度也更快，两条曲线放在一起对比，适配质量一目了然。

整体来看，这次适配的意义在于验证了国产算力平台承接万亿级开源旗舰模型的能力。借助Agent驱动的自动化开发流程，昇腾已经实现新模型的天级接入与快速迭代，为后续超大规模多模态模型在国产平台上的高效训练打下了基础。