DeepSeek自曝数据：推理算力是训练的12倍却常被忽视
这是一场专门留给推理的夜晚。YC Paper Club这一期的主讲人Francois没有急着把麦克风交给四位嘉宾，而是先用一组DeepSeek自己公布的数字，把“训练重要还是推理重要”这个争论直接摆到台面上——答案可能跟大多数人的直觉相反。
Francois曾经自己经营一家需要同时做训练和推理的AI公司，他说推理永远是瓶颈：规模一旦做大，稍不留神COGS（销售成本）就会把利润吃干净。过去十年，仅凭“把推理做好”这一件事，就在资本市场催生了2200亿美元的市值。当晚请来的四位嘉宾——Together AI研究负责人Dan Fu、Ollama创始人兼CEO Jeffrey Morgan、Luminal创始人兼CEO Joe Fioti，以及SGLang核心开发者之一Liangsheng Yin——要做的，是把一个token从发出请求到返回答案之间要经过的那套路由、缓存、调度、内核、内存和硬件栈，从头到尾讲清楚。
1. DeepSeek自曝的数字：训练只占推理成本的六分之一
Francois开场先抛出一个比较：训练用的flops和推理用的flops，到底谁更该被重视。能把这笔账算清楚的公司几乎只有DeepSeek，因为只有他们把所有数据公开了。
DeepSeek V3的训练用了大约280万个H800 GPU小时，而光是日常服务这个模型，DeepSeek每天要消耗大约43000个H800小时——这还是旧数据，实际数字很可能更高。按一年折算，推理消耗的算力大约是训练的6倍。如果一个权重文件的有效生命周期是两年，那么推理的重要性就该是训练的12倍，而且随着使用这个模型的用户越来越多，这个比例只会继续拉大。
Francois说，这正是他写论文、挑模型做对比时经常提醒自己的一件事：像Chinchilla论文那样，大多数scaling law论文的横轴都是train flops，追求的是ISO train flops下的最优解。但如果按照真实的经济账来算，更该追求的是ISO inference flops。对于做SaaS的人来说，COGS可能只是个抽象名词，但对模型服务商，它是生死线——按前一天刚公布的数据反推，DeepSeek的推理毛利率高达80%，这背后正是他们在推理侧的持续创新。
2. 从model.forward到推理地狱
表面上看，推理就是调用一次model.forward，没那么难。实际情况是，一条请求进来之后要先经过prefill——把输入的token跑一遍模型，如果这部分内容之前已经处理过、缓存在DRAM里、甚至压到了Redis或某个SSD上，理论上根本不需要重新计算，只要做好LRU之类的缓存策略，就能省下一大笔算力。
跑完prefill才真正进入decode循环，一个token一个token往外吐。Francois用MFU（model flop utilization，模型算力利用率）来衡量这中间的损耗：训练和prefill阶段，MFU大概能到50%，也就是说即便厂商向你承诺一张H100能跑2万亿FP8 flops，实际能用到的可能只有一半；到了decode阶段情况更糟，MFU可能只有5%左右。
与此对应的是几个核心指标：首个token耗时（time to first token）、每步decode耗时（time per output token）、吞吐量（throughput）和服务水平下的产出（goodput）。Francois引用了前一天刚流出的一组数据：某家公司在不计缓存命中的情况下，prefill阶段每GPU吞吐量是6万token/秒；算上96%的输入缓存命中率后，这个数字暴涨到每GPU150万token/秒，首个token耗时大约400毫秒，P99在1秒左右；而decode阶段每GPU吞吐量只有14000token/秒——1.5万对比150万，decode才是真正的瓶颈，也是芯片厂商拼命想突破的地方。
真正让不少人意外的是KV cache的保留策略。为了拿到那么高的缓存命中率，这家公司把用户的KV cache保留长达72小时，积累下来是数以PB计的数据。这意味着如果产品是智能体类应用，上下文高度连续，输入缓存会非常好用；但如果像Francois的妈妈那样每次打开ChatGPT都开一个全新对话问天气，KV cache根本派不上用场，prefill要一遍一遍重新跑。
3. 算术强度决定了LLM推理天生吃力
这里有一个容易被忽视的指标，叫算术强度（arithmetic intensity）：把数据从DRAM搬到SRAM时，每搬运4个字节能换来多少次计算。对于RNN或者扩散模型来说，这个比值很高——传一张图像甚至一份噪声进来，之后要在同一批权重上反复调用很多次，不需要频繁回DRAM，除非图片特别大需要分块处理。
但对LLM来说，算术强度相当差。这正是此前嘉宾讨论diffusion LLM时提出的核心论点，Francois实验室里刚发布的一篇“下一概念模型”论文，走的也是同一条路：用更高的算术强度换效率。
除此之外还有另外两个关键概念：model bandwidth utilization和model flop utilization。买一张H100，厂商告诉你能跑2万亿FP8 flops，但实际测试时拿到的往往远低于这个数字，这个比值就是MFU；内存带宽同理，标称1TB带宽，实际跑出多少就是MBU。再往上一层是屋顶线分析——能达到的理论上限，取芯片峰值算力和“内存带宽乘以算术强度”二者中较小的那个值。这几把尺子合在一起，大致能衡量出一套推理系统到底有多少水分可以挤。
4. 三条优化路径：模型、内核与脚手架
Francois把近些年的推理创新归纳成三类，边界未必绝对清晰，但足够拆解问题。
第一类是模型层的创新。MOE架构里如果有K个专家，测试阶段摊到每个token上的flops理论上能压缩到1/K；SSM架构不需要每一层都做完整的attention，可能每五层或十层才做一次，大幅削减推理需求；多头潜在注意力（multi-headed latent attention）在序列维度上做压缩，直接减少flops。再往下是量化——现场几乎每个人都见过低到2字节的模型，以及蒸馏：先训练出一个硕大的模型，再把它蒸馏成一个小模型，如果业务场景不需要那么强的能力，就没必要把大模型原样部署上线。
第二类是内核和运行时层的创新，比如radix attention、flash attention、page attention。Francois说这些想法很多其实是把经典操作系统和数据库理论搬过来——学过数据库入门课的人应该很熟悉前缀树、radix树这些概念，radix attention正是这个思路；Tri Dao提出的flash attention是一种GPU分块（tiling）技巧，是巨大的创新；page attention与radix attention互斥，但本质上是虚拟内存分页和缓冲池的思路，把数据分页调入DRAM。
第三类是脚手架（harness）层的创新。最简单的是路由——不是所有请求都该扔给最大的模型，可以瀑布式地逐级升级到更大的模型或工具调用，从而省下大量flops（Francois提到自己在Focal做过这件事）；还有投机解码，用一个经过验证的草稿模型打前站；Francois个人最喜欢的是递归语言模型的思路——永远不要把完整上下文一股脑塞进KV cache，而是让模型自己决定什么时候需要什么信息，从而大幅压缩KV cache的体积；最后是压缩（compaction），几乎是每一套脚手架都绕不开的一环，Francois实验室里Sabri和Dan Simran提出的cartridges就是这个方向上一个很酷的创新。
5. 把推理讲透的四位行家
Francois给了两条延伸阅读的建议：Percy Liang在CS336课程第十讲里关于LLM从零训练的讲座，以及Rayner Pope和Dwarkesh那场他认为“超级酷、超级好”的对谈。讲完这些概念，他把舞台交给了当晚真正的主角：Together AI研究负责人Dan Fu（来自Francois自己的Hazy实验室）、Ollama创始人兼CEO Jeffrey Morgan、Luminal创始人兼CEO Joe Fioti，以及SGLang论文的核心开发者和第二作者Liangsheng Yin。Dan Fu率先上台，准备把一条推理请求从发出API调用、落到数据中心、一路下沉到GPU内核执行、再返回结果的完整生命周期，拆开给大家看。
Francois这场开场白最终想证明的是同一件事：推理不是训练之后的一个附属环节，而是整条AI经济账里更沉重的那一端。DeepSeek自己公布的数字已经说得很清楚——训练只是起点，真正决定一家模型公司能不能赚钱、能不能把成本打下来的，是之后两年里日复一日被消耗掉的那部分算力。这也是为什么当晚的四位嘉宾要讲的不是如何训练出更聪明的模型，而是如何让每一个已经训练好的模型，在成本、速度和质量之间活得更久、跑得更快。