过去几年，大模型的发展逻辑很简单：参数越大、数据越多，能力就越强。但随着模型规模迈向万亿级别，这条路径正面临现实挑战。训练成本与工程复杂度急剧上升，单纯依靠堆砌加速卡已经不够。真正的瓶颈，不再只是算力总量，而是算力利用效率。

在超大规模训练集群中，计算、通信与任务调度紧密耦合。即便拥有大量加速芯片，如果大量时间消耗在数据交换、同步等待和低效算子执行上，整体训练效率依然会大打折扣。这一问题在混合专家模型（MoE）上尤为突出。MoE架构通过多个专家网络扩展模型容量，但token路由与跨设备数据交换，会显著增加通信压力。当模型进入万亿参数阶段，如何让硬件资源更多用于有效计算，成为大模型研发的核心工程难题。

近日，深圳河套学院AI训练平台（SLAI²）发布技术报告，展示了在昇腾SuperPOD集群上，针对DeepSeek-V4系列万亿参数MoE模型开展全参数后训练的系统优化实践。这项工作证明，国产超节点集群不仅能够承载前沿大模型的训练任务，还可以通过全栈优化大幅提升算力利用效率。

通信等待吞噬过半算力，万亿MoE卡在哪里？

为了定位超大规模模型后训练的性能瓶颈，研究团队以DeepSeek-V4-Pro（1.6万亿参数MoE模型）为目标，在昇腾SuperPOD集群上进行工程验证。

分析发现，通信开销是最大瓶颈：在原始训练流程中，通信操作占据了设备执行时间的52.2%。也就是说，超过一半的硬件时间并没有用于模型计算，而是在等待数据交换和同步。

这与MoE的架构特性直接相关。不同于传统稠密模型，MoE需要根据输入token的特点，将计算任务动态分配给不同专家网络。训练过程中，专家路由会产生频繁的跨设备数据交换；张量并行、数据并行需要梯度同步；流水线并行也可能因任务衔接不充分而产生空闲等待。与此同时，大量碎片化小算子的频繁调用，进一步拖累了整体性能。

这说明，万亿参数模型训练的问题，早已不是“加更多卡”就能解决，而是要通过系统级优化，让已有硬件尽可能投入有效计算。

分层优化：不同模块，不再套用同一种并行方案

过去的大模型训练，往往倾向于为所有模块套用统一的并行策略。但MoE架构中，注意力模块与专家模块在计算模式、通信需求和并行效率上存在显著差异。

SLAI²团队采取了分层优化思路：注意力层采用较低的张量并行度，以提升矩阵运算效率；MoE层采用专家张量并行，避免专家网络被过度拆分；同时引入虚拟流水线并行，缓解显存压力。简而言之，就是根据模型不同模块的计算特点，分别设计优化路径，而非用“一套方案解决所有问题”。

在分布式训练中，通信效率直接决定硬件利用率。如果计算必须等待通信完成，芯片就只能空转。针对MoE token分发过程中的同步等待问题，团队优化了计算与通信的重叠机制，让共享专家的计算过程与通信过程并行执行，将原本串行的环节转化为并行，有效减少了等待时间。

AI参与算子调优，让底层执行更适配硬件

除了并行策略与通信优化，底层算子的执行效率同样关键。

传统模式下，算子调优高度依赖工程师人工经验。在这项实践中，团队引入了面向AscendC的AuraKernel方法：通过运筹优化建模与真实硬件反馈，自动搜索内核分块策略，形成硬件感知的算子优化闭环。这种方式不再完全依赖人工调参，而是结合算法搜索与硬件实测数据，寻找更适合当前计算环境的算子执行方案。其中，稀疏注意力机制因涉及复杂的数据访问与调度逻辑，成为重点优化对象。

通过这一系列优化，系统整体性能得到显著提升：模型浮点计算利用率（MFU）从开源基线的11.67%提升至34.22%，达到基线方案的2.93倍。这意味着，更多计算资源真正投入了模型运算，而非消耗在通信和等待中。

从“会回答”到“会解题”：后训练释放领域专业能力

提升训练效率之外，后训练本身也正在成为释放大模型能力的重要路径。对于万亿参数级模型而言，从头预训练的成本和工程复杂度极高，如何通过后训练实现低成本的领域适配与能力增强，是行业共同关注的课题。

研究团队以DeepSeek-V4-Flash为基础模型，开展了面向运筹优化领域的专项后训练。运筹优化任务要求模型不仅理解自然语言描述，还要能识别变量、约束条件和目标函数，并生成可被求解器执行的代码，同时验证数学结构是否等价。

为此，团队构建了持续预训练（CPT）与监督微调（SFT）相结合的数据流程。该流程将种子样本、中间结构表示、问题生成与求解器校验整合为统一闭环，最终产出覆盖4类任务、3种问题形态的1万条高质量训练样本。每条数据都经过求解器验证，确保模型学习的是可执行的数学建模能力，而不只是生成形式合理的文本。

评测结果显示，经过专项后训练，模型在四项运筹优化基准测试中的平均零样本Pass@1得分达到71.81%，高于GPT-5.4-Mini的67.83%，以及基础版DeepSeek-V4-Flash的60.54%。这表明，通过后训练进行领域适配，可以在特定专业任务上实现显著的能力跃升。

结语：万亿参数时代，训练效率才是真正的门槛

当模型规模从千亿迈向万亿，大模型竞争的核心正在发生变化。比拼的不只是“谁拥有更多算力”，更是“谁能更高效地利用算力”。训练框架、通信优化、算子能力与后训练流程的协同进化，将越来越决定模型迭代的速度与成本。

SLAI²团队的这项工作，展示了在昇腾超节点上完成万亿参数MoE全参数后训练的全栈路径。据透露，团队下一步计划将后训练流程推进至智能体强化学习阶段，并逐步开放训练配置、监控回调以及优化后的AscendC内核代码。对于整个行业而言，这类基础设施层面的探索，或许比单一模型的能力突破更具长远价值。

参考资料

论文：https://arxiv.org/abs/2607.20145

代码：https://github.com/SLAI-AITP/SLAI-T-Rex

模型：https://www.modelscope.cn/profile/SLAIAITP