导语
大模型硬件的核心矛盾正在变化。
过去两年，行业最关心的问题是：模型还能做多大，GPU算力是否足够。
但在Agent成为新的应用范式后，另一个问题开始变得更现实：
模型不是只回答一次，而是反复思考、调用工具、验证结果、再继续生成。
这意味着，成本不再只由模型参数规模决定，也不再只是“跑多大的模型”的问题。
真正被放大的，是每一次推理中不断累积的Token。
Token越多，KV Cache越长，HBM容量和带宽压力越大；多卡并行下，光互连的数据传输也同步增长。
于是，AI硬件的竞争主线，正在从单纯的GPU算力，延伸到HBM、先进封装、玻璃基板、光互连，以及围绕这些环节展开的产业链重构。
这篇文章试图从Token这一最小变量出发，拆解AI推理硬件产业：
它是什么，如何分类，怎么发展，产业链由谁构成，瓶颈又会落在哪些环节。
01.
行业定义：
AI硬件不只是GPU
AI硬件通常被理解为GPU、TPU、ASIC等计算芯片。
但在大模型推理场景下，这个定义已经不够完整。
一个大模型系统要持续工作，至少需要四类关键资源。
第一，是计算资源。
它负责执行矩阵乘法、注意力计算、前馈网络等核心运算。
第二，是存储资源。
尤其是HBM，用于承载模型权重、KV Cache以及推理过程中的高速数据读写。
第三，是互连资源。
当模型无法放入单卡，或者上下文被拆分到多GPU时，GPU之间需要频繁同步数据。
这里就涉及NVLink、光模块、光互连等链路。
第四，是封装资源。
HBM要靠先进封装与GPU紧密集成，Chiplet要靠中介层、基板和高密度互连完成系统级组合。
也就是说，AI硬件不是单一芯片行业，而是一个由计算、存储、互连、封装共同构成的系统工程。
过去，GPU是这套系统中最显眼的变量。
但在Agent模式下，HBM和互连的重要性正在上升。
原因并不复杂：
Agent不是一次性输出答案，而是不断生成Token。
每一个新增Token，都可能成为未来生成时必须读取和保留的历史信息。
02.
行业分类：
从算力芯片到封装材料
如果按照AI推理系统中的功能位置划分，当前AI硬件产业可以分成几类。
第一类是计算芯片。
包括英伟达GPU、谷歌TPU，以及面向特定场景的ASIC。
它们决定了模型前向传播的基础计算能力。
第二类是高带宽存储。
代表是HBM。
在大模型推理中，HBM不仅要存放模型权重，还要承载不断增长的KV Cache。
容量决定能不能放得下，带宽决定读取得快不快。
第三类是高速互连。
多卡并行之后，单卡不再是完整的计算边界。
模型参数、KV Cache、上下文序列都可能分布在不同GPU上，节点内和节点间通信成为刚需。
光模块、光引擎、光互连芯片、CPO等环节因此被推到前台。
第四类是先进封装。
HBM和GPU不能靠传统板级连接来满足带宽需求，需要2.5D或3D封装。
典型形态包括CoWoS、CoPoS、EMIB、Foveros等。
第五类是新型基板与中介层材料。
玻璃基板、玻璃中介层、TGV工艺正在被关注。
它们试图解决传统有机基板翘曲、硅中介层成本高和大尺寸封装受限的问题。
这几类产业并不是并列的孤岛。
它们共同服务于一个目标：
让大模型在更长上下文、更高并发、更低延迟下完成推理。
03.
发展历程：
从参数竞赛到Token竞赛
大模型发展的早期阶段，竞争重点是参数规模。
隐藏层维度d越大，模型越宽；层数L越多，模型越深。
这两个变量共同决定了Transformer模型的结构规模，也直接影响模型权重计算量。
在Prefill阶段，每个Token需要与每层权重矩阵完成计算。
权重矩阵规模通常与d×d相关，因此单Token计算复杂度可近似理解为与d²·L相关。
当行业追求更大的模型时，GPU算力自然成为最核心瓶颈。
但Agent模式改变了问题的重心。
Agent会进行多轮思考、反思、验证和工具调用。
设每轮平均新增Token数为t，经过k轮后，累积序列长度为：
Nk = N0 + k·t
这里，k成为关键变量。
模型不一定无限变大，但它会“想得更久”。
当d和L趋于相对稳定，推理轮次k的增加会推动Nk持续增长。
这时，硬件压力不再只来自计算权重矩阵，而是来自越来越长的历史上下文。
每一个历史Token都要留下KV Cache。
每生成一个新Token，都要读取历史KV Cache。
这就是Agent时代硬件瓶颈迁移的底层原因。
04.
产业链全景：
Token增长如何传导到硬件
