AI芯片设计,进入混战时代

如果说过去几年AI芯片行业的竞争,主要围绕GPU算力、HBM带宽和先进制程展开,那么现在,这套竞争逻辑正在发生变化。

如果说过去几年AI芯片行业的竞争,主要围绕GPU算力、HBM带宽和先进制程展开,那么现在,这套竞争逻辑正在发生变化。

大模型的训练和推理需求不断变化,芯片厂商发现,过去那些相对成熟的设计思路,已经越来越难以应对新的应用场景。Prefill和Decode开始分开优化,ASIC不再满足于固定架构,互连技术逐渐成为芯片设计的一部分,而HBM供应和容量的限制,也迫使厂商重新考虑整个存储体系。

有业内人士将眼下的芯片设计形容为“Wild West”(狂野西部)。这个说法或许有些夸张,但确实反映了当下的行业状态:没有哪一种架构已经被证明是最终答案,各家都在尝试寻找新的突破口。

先看大模型推理。

过去,Prefill和Decode通常由同一套GPU系统完成。但随着推理规模扩大,这种方式开始暴露出效率问题。

Prefill负责处理输入的Prompt,需要在较短时间内完成大量并行计算;Decode则负责逐个生成Token,更依赖内存带宽和数据访问效率。两者的计算特征并不相同,却长期由同一套硬件承担。

这就带来了一个问题:一套硬件很难同时针对两种工作负载做到最优。

于是,Prefill与Decode分离(Disaggregated Prefill/Decode)开始受到关注。简单来说,就是让不同的计算设备分别负责两个阶段,根据各自的特点配置算力和存储资源。

这不仅是软件调度方式的变化,也可能影响下一代AI芯片的设计。针对Prefill和Decode分别开发专用加速器,正在成为越来越明确的方向。

另一个变化来自ASIC。

过去几年,定制ASIC被视为GPU之外的重要替代方案。Google TPU、Amazon Trainium以及各类自研AI芯片,都在尝试通过专用架构获得更好的性能和能效。

但现在,固定架构ASIC也遇到了新的问题。

大模型的迭代速度太快,模型结构、算子和推理方式都在变化。如果一颗芯片从设计之初就针对某一种工作负载进行深度优化,等到模型发生变化,原来的设计可能就不再适用。

这意味着,ASIC厂商不能只考虑某一代模型的性能,还必须考虑未来的适应能力。芯片需要在专用化和灵活性之间找到平衡,可编程能力、可配置计算单元以及更灵活的数据通路,可能会变得更加重要。

这里所说的并不是ASIC已经没有价值,而是过去那种高度固定、针对单一任务优化的设计思路,正在受到挑战。

互连技术的重要性也在发生变化。

以前谈到芯片设计,人们首先想到的是计算核心、制程和缓存,互连更多被视为芯片之间的数据传输问题。但在今天的大型AI系统中,这种划分已经越来越模糊。

一颗GPU有多少计算核心固然重要,但如果无法及时从内存获得数据,或者无法与其他加速器高效交换数据,再强的计算能力也难以充分发挥。

尤其是在大规模AI集群中,GPU之间的通信效率直接影响整体计算性能。NVLink、以太网、InfiniBand以及光互连技术,已经不再只是外围配套,而是需要在芯片架构设计阶段就考虑进去。

这也是为什么高速互连正在成为AI芯片竞争的重要组成部分。未来一颗加速器的设计,可能从一开始就要考虑它将如何连接其他芯片、如何访问内存,以及如何融入整个计算系统。

存储方面的变化同样明显。

HBM已经成为AI加速器的重要配置,但它并不是没有限制。容量、成本和供应能力,都在制约AI系统进一步扩张。尤其是随着模型上下文长度增加,推理过程中需要保存和调用的数据越来越多,单纯依靠增加HBM容量并不现实。

于是,厂商开始重新考虑存储层级。

不同的数据不一定都需要放在HBM中。SRAM、HBM、DDR、SSD等不同介质,可以根据访问频率和性能要求承担不同任务。一些不需要频繁访问的数据,可以被转移到容量更大、成本更低的存储介质中。

与之对应的是计算卸载(Offloading)变得越来越重要。

过去,GPU承担了大量计算和数据处理工作,但现在,越来越多任务开始交给专用硬件处理。例如数据搬运、内存管理,以及部分特定计算任务,都可以通过专用加速单元完成,减少GPU的负担。

这也给DPU、数据处理芯片以及各类专用加速器带来了新的机会。

把这些变化放在一起看,会发现AI芯片设计正在从单颗芯片的性能竞争,转向整个计算系统的重新组织。

过去,行业有比较明确的技术路线:追求更先进的制程、更大的计算规模、更高的HBM带宽。但现在,模型变化太快,应用场景太多,单一架构很难覆盖所有需求。

GPU仍然重要,但不再意味着所有计算任务都应该交给GPU;ASIC仍然有优势,但固定架构未必能够适应快速变化的模型;HBM仍然是核心资源,但整个存储体系不能只依赖HBM;互连也不再只是配套技术,而是决定系统性能的重要环节。

对于芯片公司来说,这反而是一个新的机会。

英伟达依靠GPU和CUDA建立了强大的生态,但其他厂商并不一定要复制英伟达的路线。做ASIC的可以从专用工作负载切入,做存储的可以围绕数据管理寻找机会,做高速互连的可以进入系统架构核心,传统CPU厂商也可能在数据调度和计算卸载中找到新的位置。

现在的AI芯片市场,确实有点像一场没有明确规则的混战。

谁能率先找到适合下一代AI工作负载的架构,谁就有机会在这轮变化中占据一席之地。至少在目前,还没有哪家公司能够宣布自己已经找到了最终答案。

请扫码关注数字化经济观察网
责编:左翊琦
参与评论
文明上网,理性发言!请遵守新闻评论服务协议
0/200