大语言模型越来越庞大，推理成本水涨船高。如何在保持性能的前提下裁剪模型，是当前 AI 工程领域的核心难题之一。传统剪枝方法往往把每个 Transformer 区块独立打分，挑”最不重要”的删掉——这种方法简单粗暴，却忽略了区块之间的相互作用。近日，Multiverse Computing 团队发表论文，提出一种将区块选择问题映射为物理学伊辛模型的新思路，有望在深度压缩场景下显著优于现有方法。
从”独立打分”到”多体问题”
现有的区块移除（又称深度剪枝）方法，通常基于幅值、敏感性或”区块影响力”等启发式指标，对每个区块单独评分，然后去掉得分最低的若干区块。这种思路在物理学上相当于平均场近似——把每个自旋与其邻居的复杂耦合替换成单一的平均场。
问题在于，Transformer 区块之间并非独立工作。一个区块被移除后模型会受到多大影响，取决于你是否同时移除了邻近的其他区块——这是一种典型的”相互作用”或者说”耦合”关系。随着模型层数加深、架构异质化加剧，这种区块间的耦合效应越来越不可忽视。尤其当你需要一次性移除大量区块时，忽略耦合效应会显著损失模型质量。
真正想要的是：在考虑区块间相互作用的条件下，搜索最优的区块组合——但区块组合的数量随模型深度指数增长，暴力枚举并不可行。这正是统计物理工具擅长的领域。
伊辛玻璃：把区块选择变成能量最小化
Multiverse Computing 团队提出的方法核心思想非常巧妙：给每个 Transformer 区块分配一个二元变量——0 代表保留，1 代表移除，这就类似于一个自旋向上或向下的伊辛系统。
在此基础上，团队对模型损失函数做二阶泰勒展开，得到一个（近似）海森矩阵。矩阵对角线元素代表每个区块的”独立重要性”，而非对角线元素则精确描述了区块两两之间的耦合——这正是平均场方法所丢弃的多体物理。
由此，”应该移除哪些区块”这个问题，被严格转化为一个约束二进制优化问题：在恰好移除 M 个区块的约束下，找到使能量函数 xᵀH⁰x 最小的区块集合。
从物理角度看，这正是一个伊辛玻璃——一种具有固定”磁化强度”（对应固定移除数量）的全连接自旋系统，矩阵 H⁰ 中的耦合项对应自旋之间的相互作用。
关键发现是：这个自旋系统的能量，是模型在基准测试中表现的良好代理——低能量态对应高性能的剪枝模型。这意味着团队可以在完全不运行基准测试的情况下，对海量候选配置进行排序，然后把困难实例交给他们已有的经典和量子启发式求解器处理。
实验结果：Llama-3.3-70B 上 50% 压缩超越竞品 23 分
在最具实际价值的深度压缩场景下，新方法的优势最为明显。在 Llama-3.3-70B-Instruct 上以 50% 区块压缩率进行测试时，该方法在 MMLU 基准上的得分比最好的竞品区块移除方法高出近 23 个百分点——这是一个相当可观的差距。
相比之下，传统的平均场式剪枝方法在此类深度压缩场景下表现平平，因为它们在打分时完全忽略了区块之间的耦合，等同于假设每个区块的影响是独立的。
该方法另一个优势在于可扩展性：团队可以直接利用量子计算或量子启发式求解器来处理伊辛模型，这些求解器本身就是为了应对指数级搜索空间而设计的，比传统优化方法更适合这类问题。
与现有方法的关系：不是替代，是互补
需要指出的是，这种基于伊辛模型的区块剪枝方法，并不是要取代量化、低秩压缩等已有的模型加速技术——相反，它可以与这些技术叠加使用。区块移除直接缩短了模型层数，从而带来可预测的推理速度提升和内存节省；配合量化等其他压缩手段，整体加速效果可以进一步放大。
对 AI 工程团队的启示
这项研究对实际部署的启示在于：区块剪枝不应被简单视为”找最不重要的部分删掉”，而应被理解为在高度互联系统中寻找全局最优配置的问题。随着模型规模持续增长、部署场景从云端扩展到边缘设备，这种系统性的优化视角将变得越来越重要。
对于需要在自己模型上做深度压缩的团队，如果当前方法在特定压缩率下表现已趋瓶颈，或许可以从统计物理的视角重新审视区块选择问题——伊辛模型提供了一个优雅且有理论保障的建模框架，而对应的求解工具链（尤其是量子启发式算法）也在持续成熟。
AI 会员开通推荐
免 KYC 虚拟卡，可开通各类 AI 会员：立即注册