微软正式发布Maia 300，这是其最新一代自研人工智能加速器。该芯片针对推理场景做了专门优化——所谓推理，即生成AI查询响应结果的过程。微软估算，Maia 300每兆瓦可处理的Token数量比主流GPU方案高出40%，这一说法大概率是在对标Nvidia的产品。微软表示，随着时间推移，Maia系列芯片将成为其推理算力的主要来源。

四颗2纳米计算芯粒，内存带宽略逊Rubin

Maia 300由四颗计算芯粒构成，均采用台积电最新的2纳米制程。这些芯粒两侧排布着八个HBM4模块，合计容量288GB，与Nvidia旗舰级的Rubin加速器相当。不过在内存带宽上，Maia 300比Rubin低约20%。内存带宽衡量的是有多少数据能够在内存与计算单元之间高速往返。

数据流架构：把数据搬运降到最低

AI芯片做推理，通常要反复在计算电路与内存电路之间搬运数据。这种持续不断的搬运会拖慢处理速度。微软称，Maia 300采用了数据流架构，目的就是把数据移动降到最低。在条件允许时，计算芯粒会把信息留在内部SRAM缓存里，而不是送往HBM堆栈。

当不得不动用HBM时，Maia 300的计算芯粒会把数据发往物理位置更近的内存堆栈，这比把信息传到芯片另一端的HBM堆栈要快。此外，Maia 300还会把数据压缩成MXFP4这类轻量格式。格式变小之后，数据在芯片内部流转的速度也随之提升。

微软高管拉尼·博尔卡和索拉布·迪格在一篇博文中写道：“更窄的数据表示能够减少内存占用和数据移动，让系统在同样的功耗预算内支持更大的模型、更长的上下文，以及更多的并发会话。”

从设备控制芯粒到液冷机架

Maia 300的计算与内存模块由一个“设备控制芯粒”提供支撑。它负责管理处理器核心部件的供电、采集遥测数据，并承担其他辅助任务。此外还有两颗辅助芯粒，用于管理数据进出加速器。

微软计划把Maia 300以托盘形式部署，每个托盘容纳四颗加速器。这些托盘再装进液冷机架，单个机架合计96颗加速器。微软预计，这种机架的Token吞吐量约为上一代Maia 200系统的七倍。Maia 200于今年1月亮相，目前已经在生产环境中使用。

统一通信语义，把机架拼成超级集群

微软打算把Maia 300机架组合成所谓的超级集群，总计12,288颗加速器。各芯片之间通过一套自研的以太网网络栈互联。这张网络可以调节分配给机架内流量的带宽，以及留给机架间通信的带宽，从而针对不同工作负载裁剪配置，最终带来性能提升。

通常情况下，芯片在机架内和跨机架交换数据的方式并不一样，在两种网络模式之间切换时，需要借助宿主服务器的CPU或一颗独立网络芯片。Maia 300则对两类任务使用“相同的通信语义”，这就省掉了额外的硬件，让集群效率更高。

博尔卡和迪格解释说：“作业可以跨机架边界使用算力，当工作负载规模与物理机架配置不匹配时，能够减少闲置的加速器。”

微软计划明年开始将Maia 300投入生产部署。公司预计，其自研芯片将支撑起数吉瓦规模的AI算力。