在 AI 模型推理速度成为行业瓶颈的当下，一家法国创业公司 Kog 正在尝试一条截然不同的路径——不依赖定制芯片，而是通过极深层的软件优化，挖掘现有 GPU 的隐藏性能。
从 403 到 3000 tokens/秒
今年 5 月，Kog 在 Hacker News 上发布了一个技术预览，展示了在标准数据中心 GPU 上实现「极快单请求解码」的能力。演示使用的硬件是 AMD MI300X 和 Nvidia H200，最终跑出了 3000 tokens/秒（3000 TPS） 的惊人成绩——不过当时测试的是一个参数量仅约 20 亿的小模型 Laneformer 2B（已开源）。
这个数字迅速引发热议。支持者看到了在已有硬件上突破性能天花板的潜力；质疑者则指出，小模型的高吞吐量并不能直接等同于大模型也能达到相同加速比。
30 倍速的承诺与现实
Kog CEO Gaël Delalleau 在接受 TechCrunch采访时明确表示，公司有信心将同样的优化思路扩展到大型语言模型（LLM）上，目标是实现 「30 倍速 LLM 推理」。
这并非一个微不足道的承诺。当前，企业级 AI 应用中最让人头疼的问题之一就是推理延迟——尤其是处理复杂代码生成、长文本分析这类需要长时间运行的任务时。Anthropic 的 Claude Code 用户有时需要等待数小时才能得到结果，而 Anthropic 自己也为 Fast Mode（快速模式）设置了额外收费。
GPU 的内存带宽近年来持续增长，Delalleau 认为现有 GPU 实际上有大量未被解锁的算力潜能。「GPU 未来一片光明，」他说，「认为 GPU 不适合解码的想法已经是一种误解。」
竞争对手：ZML 与 Hazy Research
Kog 并非唯一一家试图用软件打破硬件瓶颈的团队。同样来自法国的 ZML 发布了与硬件无关的软件层，绕过 Nvidia 的 CUDA 框架，以支持在不同芯片上的快速推理。
Delalleau 则认为 Kog 更接近斯坦福大学实验室 Hazy Research，但优化层级更深——深入到 GPU 指令调度和内存访问模式的层面。
目标市场：软件工程先行
Kog 预计软件工程将是第一个落地的商业场景。拥有丰富 Claude Code 使用经验的工程师们对长等待时间并不陌生——当 AI 辅助编程工具运行几小时后，开发者的工作流实际上会被迫中断。
此外，Kog 还有一些设计合作伙伴，这些用户通过 prompt 直接生成游戏和应用。对他们而言，更快的推理速度意味着更高的收入——每一秒的等待都在消耗潜在收益。
值得注意的是，Kog 从发布前的反馈中发现，潜在客户普遍不愿意自行微调小模型。因此公司自发布以来已将全部精力投入到加速大模型的研发中，以匹配市场需求。
种子轮融资与创始人背景
Kog 已获得种子轮融资，由 Varsity VC 领投。创始人 Gaël Delalleau 的背景颇为独特：他在法国巴黎高等理工学院（École Polytechnique）学习固体物理学，后转型为白帽黑客（进攻性网络安全），曾四次入围 DEFCON CTF 竞赛决赛。
Delalleau 将这种背景形容为一种「底层思维」：「在科学上，你需要理解物理定律和 GPU 的运作规律才能最大化利用它；在黑客领域，你学会逆向工程——一直深入到汇编语言和二进制代码层面，去理解它如何工作，然后用它实现它本来并非设计用来实现的目标。」
这种思维方式正在被移植到 Kog 的 GPU 推理优化工作中。
开源路线：Laneformer 2B 已发布
Kog 已将演示中使用的模型 Laneformer 2B 开源，供社区研究和复现。这一动作既是技术透明度的体现，也是在邀请开发者社区验证其技术路径的可行性。
开放模型生态的宏观背景
值得注意的是，Kog 的突围发生在更宏观的 AI 开源生态剧变之中。根据 Hugging Face 发布的《2026 年夏季开放模型状态报告》，2026 年以来，公共模型仓库从 243 万增长至 296 万，数据集从 71.1 万突破至 100 万，Spaces 从 100 万增长至 144 万。
但下载量的分布极度不均：约 85.6% 的模型累计下载量不足 200 次，而前 1.5% 的仓库占据了全部下载量的 99.2%。在这个极端长尾的市场中，推理速度正在成为新的竞争维度——谁能更快、更便宜地跑模型，谁就更有机会打破这一分布格局。
与此同时，美国硬件厂商（AMD、NVIDIA）已成为开源模型生态的重要推动者——两家公司今年各自发布了超过 200 个新模型仓库，以证明自家硬件在 AI 推理场景下的实力。
总结
Kog 的路径代表了一种有别于「造芯」的技术乐观主义：在芯片制程提升放缓、定制 ASIC 成本高企的背景下，软件层的深度优化或许是解锁 GPU 剩余潜力的最务实路线。其「30 倍速」承诺是否能在真实大模型上兑现，将是接下来行业观察的重点。如果成功，它意味着全球数十万块已有的数据中心 GPU 可以在零硬件更换的情况下获得显著推理加速——这将是 AI 基础设施层面一次真正意义上的效率革命。
来源：TechCrunch（2026-08-14）、Hugging Face 开放模型状态报告（2026-08-14）