2025年以来，大模型发布的节奏已经快到让人麻木。每周都有新模型刷新某个榜单，每个月都有厂商宣布"全面超越GPT-4o"。但一个尴尬的事实是：绝大多数用户手上真正在用的模型，可能还是半年前那几个。
模型过剩、应用稀缺，这个矛盾背后藏着一个更少被讨论的问题——Token效率。
打榜是融资叙事，不是产品逻辑
先说清楚一个前提：大多数模型发布的真正受众是投资人和媒体，不是用户。
刷新一个benchmark分数，换来一轮科技媒体报道和估值预期，这条路径的ROI远高于花半年打磨一个真正好用的产品。所以你看到发布频率极高、但实际落地极少，不是意外，而是激励结构决定的。
从模型到用户手上能用的产品之间，有巨大的"最后一公里"：稳定的API、合理的价格、足够低的延迟、好用的交互界面、适配具体场景的工程封装。这些东西不性感，不能拿来打榜，但每一项都需要大量投入。很多团队的资源全押在训练上，根本没有余力做这些。
而真正对用户体感提升最大的进展往往很无聊：上下文窗口从8K到200K、工具调用的可靠性提升、多模态输入的鲁棒性改善——这些远比"某benchmark超两个点"有价值，但写不成一条好新闻标题。
Token为什么越来越多？
一个值得注意的趋势是：不管输入还是输出，Token的消耗量都在显著增长。这是否意味着模型能力在提升？要分开看。
上下文窗口变大，确实是能力提升。 稀疏注意力、RoPE外推、KV cache压缩等工程技术让长上下文成为可能。用户可以丢整本文档进去、维持更长的对话，这有实打实的价值。但"能吃进去"和"真的理解了"是两回事——很多模型在128K窗口里，对中间位置信息的检索能力会显著下降。
输出Token越来越多，反而要警惕。 原因至少有三个：
第一，RLHF训练中，长回答往往获得更高的人类偏好评分。模型学到了"写长=好评"的隐性激励。这是训练偏差，不是能力。
第二，推理模型（o1、DeepSeek-R1等）的thinking token确实更多了。链式推理的展开在一定程度上反映了推理能力的提升，但也存在大量冗余推理和重复验证，Token效率并不高。
第三，商业动机。Token是按量计费的，输出越多收入越高。没有厂商有动力让模型"说少点"。
大概三分之一是真能力提升，三分之一是训练偏差，三分之一是商业模型驱动。
有多少Token在空转？
答案可能比大多数人想象的高。
推理模型的空转最严重。 看o1或DeepSeek-R1的thinking过程，充斥着"让我再验证一下""换个角度想想""不对，重新来"这样的自我纠错循环。在复杂数学题上这有价值，但在"帮我写个周报"这种任务上完全是浪费。模型没有能力判断"这个任务值不值得我想这么多步"，它只会按训练出来的模式把推理链跑完。
礼貌性废话是另一大块。 "当然可以！这是一个非常好的问题。让我来为您详细分析一下……"——这类Token对用户零价值，但几乎每个模型都在大量输出。每次对话浪费几十到几百token，乘以日活用户数，总量惊人。
重复和冗余表述。 模型习惯在结尾把开头说过的话换个方式再说一遍，或者列了三点之后再加一段"总结"把内容复述一遍。用户没要求，模型自己加的。
格式膨胀。 用户问一句话能答清的问题，模型拉一个markdown表格加三级标题加bullet points。格式本身就是Token，很多时候反而降低了信息密度。
粗略估计，日常对话场景下可能有30%到50%的输出Token是空转的——不产生信息增量，不推进任务完成，纯粹是模型的"习惯性输出"。推理模型在简单任务上这个比例可能到60%以上。
Token效率才是真正的衡量标准
衡量模型能力提升的指标不应该是Token数量，而是Token效率——用更少的Token完成同样质量的任务。一个模型能用200 token解决的问题，另一个要用2000 token，前者才是真正更强。但这个指标没人拿来打榜，因为不够好看。
对文本模型来说，Token效率相对好衡量。核心思路是"同任务同质量下的Token消耗比"：固定一批任务，跑多个模型，记录每个模型在达到相同正确率时的平均Token消耗。
对多模态和生成类产品（比如Seedance这样的视频模型），就要换一个视角：不看Token本身，看单位成本下的输出质量。生成一段5秒视频，A产品花了X元，B产品花了Y元，质量各是多少——这才是用户真正关心的效率。Token只是成本的中间变量，用户在意的是"花多少钱、等多长时间、得到多好的结果"。
最终，Token效率要翻译成三个用户可感知的指标：钱（完成同一个任务花多少）、时间（等3秒和等30秒体验天差地别）、可控性（能否让用户自己选择精细模式和快速模式）。
怎么把Token效率这件事做起来
这不是一个单点技术问题，需要从四个层面同时推动。
训练层面。 在reward model里显式引入效率奖励——同样正确的回答，更短的得分更高。另一个路径是蒸馏，用大模型的推理路径训练小模型，让小模型学到"直接给结论"而非"复述推理过程"，本质上是在压缩Token。
推理层面。 Speculative decoding、prompt caching、KV cache复用等工程手段，虽然不减少输出Token数，但降低了每个Token的实际计算成本。
产品层面，这是最被忽视但杠杆最大的一层。 分级响应：让用户选择"简洁/标准/详细"，后台映射不同的生成策略。结构化输出优先：很多场景用户要的是一个JSON或几个要点，而非一篇文章。语义缓存：大量高频重复问题不需要每次重新生成。智能路由：把复杂请求拆解，意图识别用小模型，核心推理用大模型，格式化输出用小模型，整体成本可能只有全程用大模型的三分之一。
商业模式层面。 这是最根本的。只要按Token收费是主流模式，厂商就没有动力做效率优化。改变的路径有两条：要么出现按任务收费的定价模型（完成一次翻译多少钱，不管用了多少Token），要么出现有影响力的第三方效率排行榜，让Token效率变成选型的显性指标，倒逼厂商优化。
窗口期不会太长
模型过剩、应用稀缺的局面不会永远持续。但在这个窗口期里，真正的机会不在于再训一个更强的模型，而在于把"模型到可用"的桥建起来。
做好模型路由、做好效率优化、做好场景适配——这些事不性感，不能拿来打榜，但它们才是用户真正愿意付费的东西。最好的模型和最该用的模型，往往不是同一个。谁能帮用户想明白这件事，谁就找到了这个时代最扎实的位置。
