DeepSeek推出新训练架构mHC
作者: CBISMB
责任编辑: 邹大斌
来源: CBISMB
时间: 2026-01-06 14:10
浏览: 14664
点赞: 812
收藏: 79
中国人工智能公司深度求索(Deepseek)近日公布了一种名为“流形约束超连接”(Manifold-Constrained Hyper-Connections,简称 mHC)的新型训练方法,该方法有望更高效、更低成本地训练大语言模型。
这一方法是在字节跳于2024年提出的“超连接”(Hyper-Connections)技术基础上进一步发展而来的。而“超连接”技术本身则源自微软亚洲研究院的经典 ResNet 架构。
深度求索表示,得益于基础设施层面的特定优化,mHC 能在不增加计算成本的前提下,实现更稳定、更具可扩展性的模型训练。研究人员已在参数规模高达270亿的模型上对该技术进行了测试,并取得了积极成果。
业内人士称,这项新方法可能是深度求索即将发布下一代重磅大模型的前兆。该公司曾在2025年农历新年之际推出了备受瞩目的 R1 模型。






京公网安备:11010502051901号