2026 年 10 月 1 日，艾伦人工智能研究所（AI2）正式发布了 Olmo-core 3，这是其开源语言模型开发框架的第三代升级产品。作为 AI2 开放模型路线图的核心基础设施，Olmo-core 3 专门针对大规模稀疏混合专家（Mixture-of-Experts，MoE）模型的训练而重新设计，旨在将 MoE 训练扩展至万亿参数级别，同时保持计算效率。
为什么 MoE 训练如此困难
训练大型 AI 模型需要庞大的算力支撑，这直接推高了成本和能源消耗，让许多学术研究者和小型实验室难以负担。MoE 模型提供了一种更高效的路径——它们可以包含大量可学习的组件（即参数），而无需让每个输入都激活全部参数。然而，完整模型仍需分布在 GPU 显存中，并在训练过程中持续更新。将输入导向正确的专家（MoE 内部的专门组件）在集群中会产生巨大的通信和协调开销。随着 MoE 规模扩大，这些成本会逐渐侵蚀”仅激活部分模型”所带来的计算优势。
AI2 在其官方博客中指出，构建 Olmo-core 3 的核心目标就是弥合这一效率缺口。
专家池扩展：从 8 个到 128 个，效率几乎不减
根据 AI2 公布的基准测试数据，Olmo-core 3 将专家池从 8 个扩展至 128 个，同时保持每个 token 仅选取 4 位专家，使得每个 token 的活跃参数保持在约 32 亿个不变。在此配置下：
- 总参数容量从 46 亿增长至 470 亿；
- 训练吞吐量下降不超过 5%。
同一套基础设施已在超过 万亿参数总量下通过基准测试，验证了其扩展能力。
在 8 块 NVIDIA B300 GPU 上的实测更为直观：一个 470 亿参数的 MoE 模型在 Olmo-core 3 上达到 每 GPU 每秒 52,000 token的吞吐量，而此前基于 FSDP 的旧实现仅为 19,400 token——性能提升约 2.7 倍。
技术架构：三大并行策略支撑万亿参数训练
Olmo-core 3 实现了多项针对 MoE 分布式训练的核心优化，其技术栈围绕三大并行策略展开：
专家并行（Expert Parallelism）
将专家分布在多块 GPU 上，每块 GPU 仅存储完整专家池的一部分，避免了全部参数集中在单卡的显存瓶颈。
流水线并行（Pipeline Parallelism）
将模型的各层（对输入进行连续变换的阶段）分配到不同的 GPU 组，降低了单卡需要保留的模型规模。
分布式优化器（Distributed Optimizer）
将优化器状态（训练过程中用于计算和施加更新的额外数据）分散到多块 GPU 上，而非在每块 GPU 上保存完整副本。
AI2 特别强调，Olmo-core 3 还引入了行式专家并行（Rowwise Expert Parallelism）、GPU 驻留路由（GPU-resident Routing）和分组 GEMM等优化技术。前者将路由数据直接放入专家输入缓冲区，减少了数据重排的开销；GPU 驻留路由则将路由元数据保留在 GPU 上，使 CPU 无需等待信息回传即可排队任务；分组 GEMM 则将多个小型专家计算合并执行。
从 FSDP 到 DDP：训练框架的根本性转变
AI2 解释称，Olmo-core 前代版本采用完全分片数据并行（FSDP），每次处理小批次训练数据时都需要聚集和分片模型权重。Olmo-core 3 切换至基于分布式数据并行（DDP）的系统，让专家常驻 GPU，路由相关数据直接送达专家节点，避免了反复进行权重聚集的开销。
结合 NVIDIA 的 Megatron-Core，Olmo-core 3 在开放框架内提供了一套经过整合的 MoE 训练技术栈，在保持开放性的同时实现了企业级的训练效率。
开放路线：持续推进开源 AI 基础设施
Olmo-core 3 是 AI2 推进开源模型工具链的最新动作。此前 AI2 已发布 OlmoE（使用 64 个路由专家的 MoE 架构）和 Olmo 3（稠密架构），而 Olmo-core 3 则将框架扩展至面向超大规模 MoE 模型的设计。
AI2 在博客中表示，Olmo-core 3 是下一代 Olmo 的核心支撑系统之一，也是其持续将模型训练工具和基础设施向社区开源承诺的一部分。该项目提供了技术报告、代码库和交互式演示。
AI 会员开通推荐
免 KYC 虚拟卡，可开通各类 AI 会员：立即注册