端边AI芯片赛道最近落下一笔巨资,后摩智能拿下了数十亿元的B轮融资。
很多人看芯片行业习惯看技术参数。
但这次资本把钱砸向端边芯片,背后的评价尺度已经悄悄变了。
过去行业看重的是芯片能不能跑通百亿参数的模型,那是个技术可行性的验证期。
现在百亿参数模型在端侧运行已经不是稀罕事,资本和市场关心的事情顺势往后挪了一大步。
东西能不能装进量产设备?
下游硬件厂用起来麻不麻烦?
整套方案算下来到底划不划算?
端侧AI的第一场仗是比谁能跑起来,现在打到了第二场,拼的是谁能落下去。

把大模型从云端机房搬到大家手边的设备上,逻辑完全不同。
在云端数据中心,算力不够可以加卡,散热不行可以上液冷。
只要机房电网撑得住,参数可以无限往上堆。
但到了端边设备这里,面对的是桌面小主机、车载终端、智能盒子甚至机器人。
这些设备体积往往只有巴掌大,电池和散热都有极严格的硬杠杠。
硬件设备的物理空间和功耗预算是锁死的。
传统芯片架构里,算力单元和存储单元是分开的。
跑大模型的时候,数据要在两头来回搬运。
业内算过一笔账,大模型在端侧运行时,绝大部分能耗不是花在算题上,而是花在搬运数据这条路上。
芯片发烫严重,电池扛不住。
模型跑得再好,





