IBM发布Granite 4.2推理模型:3B/8B/30B三规格,512K上下文+Agent强化学习

8月25日,IBM正式发布了Granite 4.2推理模型家族。这是Granite系列首次加入显式推理能力,包含3B、8B、30B三种参数规格,全部从头预训练,代号”dense、decoder-only”架构。值得关注的是,8B和30B模型在后训练阶段加入了Agent强化学习(Agentic RL),可直接在真实沙箱环境中调用工具、编辑并运行代码、驱动终端搜索互联网。

从头训练:五阶段15T tokens

Granite 4.2并非在旧版模型上微调,而是从零开始训练。IBM官方披露,模型经历了五个阶段的预训练,总计消耗约15万亿tokens(15T tokens)。

前两个阶段侧重基础预训练,第三、四阶段引入数据退火(annealing),逐步将训练数据从广泛的网络语料转向更高质量、更专业的内容。第五阶段专攻长上下文,将上下文窗口一口气扩展至512K tokens,使模型能够处理极长的文档、代码库或对话历史。

三种规格,能力各有侧重

规格 参数量 注意力头 上下文长度 特点
3B ~3B 40 heads / 8 KV 131072 轻量推理
8B ~8B 32 heads / 8 KV 131072 Agent RL+工具调用
30B ~30B 32 heads / 8 KV 131072 Agent RL+工具调用

三种规格共享同一套架构设计:Grouped Query Attention(GQA)、RoPE旋转位置编码(θ=10,000,000)、SwiGLU前馈网络、RMSNorm归一化,嵌入层输入/输出不共享权重,全部使用bfloat16精度训练。

推理模式三档:Thinking / Non-Thinking / Low-Effort

Granite 4.2最具特色的设计是推理模式开关。用户可以根据任务难度选择三种模式:

  • Thinking模式:模型生成思维链(Chain-of-Thought),在回答前进行显式推理,适用于复杂问题、数学证明、代码调试等场景。
  • Non-Thinking模式:跳过推理步骤,直接给出答案,适用于简单问答、模板化回复等低延迟场景。
  • Low-Effort模式:介于两者之间,用较少的推理预算处理中等问题,在质量和速度之间取得平衡。

这一设计借鉴了业界对”推理成本可控”的诉求,让开发者不再需要为简单问题支付高昂的推理费用。

Agent强化学习:8B和30B学会使用工具

Granite 4.2在后训练阶段引入了多阶段强化学习pipeline,其中最引人注目的是Agentic RL(Agent强化学习)。8B和30B模型在包含工具调用轨迹的数据上进行训练,学习在真实沙箱环境中操作。

具体来说,模型被训练来:

  • 调用外部API和工具
  • 编辑并执行代码
  • 驱动终端命令
  • 在互联网环境中搜索信息

这些能力通过Agent RL实现,而非简单的函数调用模板匹配。IBM在官方博客中强调,模型以OpenAI兼容格式输出工具调用,可直接接入SGLang、vLLM等推理框架,无需额外适配层。

微调数据:31.6% Agent轨迹

Granite 4.2的监督微调(SFT)基于约720万样本、约1000亿tokens,其中约650亿tokens为可训练数据。数据配比如下:

  • Agent轨迹数据:31.6%
  • 非Agent数据:68.4%

Agent轨迹数据覆盖了真实环境中工具调用的完整路径,包括错误恢复、多步规划等场景,让模型学会”做事情”而不只是”回答问题”。

Apache 2.0许可:开源可商用

Granite 4.2全系列采用Apache 2.0许可证发布,意味着企业可免费商用、可修改、可分发,无需向IBM支付授权费用。模型已上线HuggingFace模型库,附带GitHub仓库和文档。

IBM还提供了针对SGLang的 cookbook 食谱,开发者可快速完成部署和服务。

与同类模型的关键差异

Granite 4.2的竞争对手包括Google Gemini Thinking、OpenAI o系列以及Anthropic的Claude推理模型。相比这些闭源方案,Granite 4.2的核心优势在于:

  1. 完全开源:Apache 2.0许可,无使用限制
  2. 本地部署:支持私有化部署,数据不出企业网络
  3. 三档推理模式:灵活控制推理成本
  4. 工具调用原生支持:Agent RL让模型真正能”做事”

在官方披露的基准测试中,Granite 4.2 8B和30B在多个推理和工具调用任务上展现了与闭源大模型竞争的能力,但具体数字IBM尚未完全公开。

总结

IBM Granite 4.2的发布标志着企业级开源推理模型进入新阶段。三个规格覆盖从轻量助手到复杂Agent的完整场景,512K上下文和工具调用能力让模型足以应对企业知识库问答、代码助手、数据分析等实际业务需求。结合Apache 2.0的开源许可,企业开发者可以在自有基础设施上构建完全可控的AI应用,而无需依赖第三方API。

对于需要本地部署、低成本、可定制的企业AI方案,Granite 4.2值得关注。

上一篇 Stability AI 再获 7600 万美元融资:音乐影视巨头联手入股
下一篇 Google AI Mode 全面升级:AI 旅行助手时代来临

站点性能

运行正常
实时心跳0 ms
页面加载
0 秒
SQL 查询
0 次
服务端响应
0 ms
峰值内存
0 MB

探索站点内容

搜索文章、标签、分类

热搜 教程 主题