Multiverse Computing 团队提出一种基于约束二进制优化的 LLM 剪枝方法,将 Transformer 区块选择问题映射为统计物理中的伊辛玻璃模型,在 Llama-3.3-70B-Instruct 上以 50% 压缩率实现 MMLU 超越竞品 23 个百分点。
法国创业公司 Kog 通过深度软件优化,在标准数据中心 GPU(AMD MI300X、Nvidia H200)上实现单请求解码速度达 3000 tokens/秒,并宣称可将 LLM 推理速度提升 30 倍,引发行业关注。