Ai2开放万亿参数MoE训练栈

Ai2于10月1日发布Olmo-core 3，一个重新设计的开放混合专家模型训练系统。其基准把专家数量从8扩到128、每个词元仍只激活4个专家，总参数从46亿增至470亿时吞吐下降不到5%；在8张NVIDIA B300上，新栈对470亿参数MoE达到每GPU每秒5.2万词元，约为旧实现的2.7倍。团队还展示了1.2万亿总参数、512张GPU的系统基准，但强调这些是系统性能测试，不等于已经训练出同规模高质量模型。代码、技术报告和交互演示已开放，价值在于让研究者检查训练决策并适配不同硬件。