当人们习惯于向云端大模型索取答案时,算力的传输链路正在遭遇物理与商业的双重掣肘。
数据中心不仅面临庞大的带宽支出与电力消耗,网络抖动带来的延迟和个人隐私外泄的隐患,也始终悬在日常应用之上。
真正的分水岭在于:智能究竟应当集中在远端机房,还是下沉到触手可及的硬件终端?
端侧AI的兴起,本质上是在算力成本、响应效率与隐私边界之间寻找新的平衡点。它并非要颠覆云端,而是通过重塑软硬件底座,让计算真正贴近物理世界。

01.
行业定义
端侧AI,是指直接在手机、PC、穿戴设备、汽车或物联网设备等物理硬件本地运行的人工智能系统。
与依赖远端数据中心交互的云端AI不同,端侧AI的核心特征是计算本地化。
数据无需上传云端,模型在设备断网或离线状态下即可独立进行感知、理解与实时推理。

02.
行业分类
从技术执行形式与负载规模来看,端侧AI主要分化为两类核心作业形态:
一类是高算力多模态处理,依托高算力SoC与独立的神经网络处理单元(NPU),负责数十亿参数级别的大语言模型或视觉模型的本地低延迟推理。
另一类是轻量化超低功耗感知,聚焦于微型微控制器(MCU)与低功耗芯片,在严苛的续航限制下,专门执行传感器信号过滤、关键词唤醒及基础行为识别。

03.
发展历程





