终于等到的XHEART,带来不一样的大模型芯片视角
【摘要】10月29日,XHEART发布大模型芯片X7 Ultra。 围绕“大模型定义芯片”,公司为高频、耗时的关键运算配置专用加速器,并通过整网任务编排,减少数据搬运和计算等待。 芯片团队还与Momenta共同研判未来模型需求,在硬件定型前为后续升级做准备。首发搭载上汽大众ID.ERA 9X的X7系列,量产8个月出货超20万颗,获得超过40款车型订单。 从设计取舍到量产结果,XHEART正在回答:模型持续变化,车企该如何选择芯片? 以下为正文: 2021年,蔚来发布ET7,四颗英伟达Orin芯片、1016 TOPS算力,成为这款车的重要技术标签。那时,给未来多备一些计算资源,是车企应对智能驾驶不确定性的一种办法,软件可以慢慢长大,硬件则最好一步到位。 五年后,这道题目变得更加艰难。模型不仅在变大,计算方式也在改变。更多摄像头、更长的时序信息、更复杂的交互推演,都可能改写芯片内部的资源分配。预留的算力能否用上,开始取决于当初预留的是哪一种能力。 10月29日,XHEART,这个我们期待已久的芯片公司举行发布会,会上发布X7 Ultra,CEO李宗霖用“大模型定义芯片”概括了公司的路线:从模型需求出发设计硬件,为持续演进留下空间。 这也是理解XHEART如何赢得主流车企的关键。车企选择一颗芯片,押注的是一款车未来数年的智能体验。年轻公司的机会,则在于把模型进步的可能,转化为产品持续升级的能力。当然,这个试炼场的背后,还有Momenta的大模型在兜底。 01 模型在集中,芯片要改变组织方式 早期智驾模型内部,多个小模型的分工相对清楚,感知识别物体,预测判断其运动,规划决定车辆怎么走。各模块分别优化,再通过接口拼接。问题在于,接口也会筛选信息:传给下一环节的,往往已经是上一环节整理过的结果。 逐渐成熟的端到端大模型试图改变这种信息组织方式,让更多感知、预测与决策信息在统一框架中参与优化。模型集中之后,计算单元之间如何交换这些信息,也变得更重要。 关于这一点,XHEART在发布会上用超大核NPU来阐述公司的解决策略。 NPU是专门执行神经网络计算的处理单元,XHEART选择把更紧密的计算协作放进大核内部,再配合多级缓存,让需要反复使用的数据尽量留在计算单元附近。 意义不只在于核心变大。过去在多个小核之间传递的数据,如果能更多在内部完成交互,就有机会减少等待与搬运。发布会演讲上,CEO李宗霖用了一句形象的话来概括:“让计算少等待,让数据少绕路。” 算力利用率的问题,由此落到了数据走哪条路、要走多少次。 还有一类损耗,更容易被峰值数字掩盖。早期面向卷积网络设计的NPU,遇到不支持的计算,可能要交给CPU处理。任务切换、外部内存读写,都可能拖慢整张网络。据发布会介绍,X7 Ultra为高频、耗时的关键计算设计专用加速器,试图让更多步骤在NPU内部高效完成。 延伸到软件层面,通常,一步计算结束,中间结果可能写回外部内存,下一步再读入。XHEART介绍,其重构后的工具链把优化范围从连续几个算子(模型的基础运算),扩展到整张网络,统一安排不同分层、分支的计算,减少中间结果反复读写。因此,决定效率的既有芯片的结构,也有软件怎样使用它。 至此,“大模型定义芯片”的含义开始具体起来:先弄清整张网络的时间花在哪里,再决定哪些硬件值得增加,哪些搬运可以省掉。 值得一提的是,发布会强调使用真实量产模型评测,并对模型结构、部署后的输出一致性和最终体验提出约束。而这一点,能够很好依托Momenta已有的量产大模型,用最前沿的模型发展趋势反哺出来的,必然是行业最前沿的芯片迭代。 02 芯片的时间差,要在流片前解决 算力效率解决当下,架构能否跟上模型则决定未来,后一个问题相对更难,因为有太多东西需要预判。 2019年,英伟达发布Orin,瞄准的是车企2022年的量产车型。这意味着,车企要为几年后交付的汽车,提前选定计算平台。但在等待量产的过程中,智驾算法还会持续升级,对计算、存储和数据传输提出新的要求。 等到汽车真正交付时,芯片已经定型,新模型却可能需要一套不同的资源配置。如果早期设计没有考虑这些变化,后续的软件升级就容易遇到硬件瓶颈。 当然,多买算力可以应对部分变化。但短板若出在存储带宽或调度方面,增加计算单元未必解得了围。等到问题在整车验证时暴露,就会牵一发而动全身。 发布会上,团队回顾了一段共同开发的经历:2023年,芯片与算法团队围绕持续演进的主线模型,分析架构和算子需求。彼时,公司已经定下了既要看当下模型如何运行,也要结合算法研发方向,判断未来几年哪些计算会变得重要,再选择值得深度优化的环节。 彼时的交流采访过程中,业内颇有几家头部芯片公司的负责人都向我们传达过同样的意图,但坚持并做出来,也并不容易。 这个思维比笼统地“给未来预留算力”更进一步。预留多少资源