数字经济观察网 - 软信官网

过去数十年，计算产业的发展几乎始终围绕处理器性能展开。从CPU到GPU，再到各种AI加速器，行业不断追求更高的算力密度、更大的并行规模以及更先进的制造工艺。

然而，大模型时代正在改变这一长期形成的发展逻辑。

对于现代人工智能推理而言，决定系统性能的因素，越来越不是处理器能够完成多少次计算，而是计算单元能够多快获得所需要的数据。随着模型参数规模持续增长、上下文窗口不断扩大、推理任务日益复杂，数据访问逐渐取代计算本身，成为影响系统效率、能耗和成本的核心因素。

这意味着，AI基础设施已经进入新的发展阶段。

未来计算架构竞争的重点，不再只是提升算力，而是重新设计数据与计算之间的关系，使计算更加接近数据，从根本上降低数据搬运成本。这种理念，正在成为下一代AI推理基础设施的重要发展方向。

算力增长正在遭遇"内存墙"

长期以来，芯片性能主要依赖计算能力持续提升。

无论是晶体管数量增加，还是并行计算单元不断扩展，都使计算性能保持高速增长。

但是，与计算能力相比，存储系统的发展速度明显缓慢。

现代AI推理过程中，大量时间并不是消耗在矩阵计算上，而是在等待模型参数、KVCache、中间特征以及上下文数据不断从存储系统传输到计算核心。

这种现象形成了典型的"内存墙（Memory Wall）"。

所谓内存墙，是指：

处理器能够执行计算的速度，已经远远超过存储系统能够提供数据的速度。

随着模型规模不断扩大，这一矛盾持续加剧。

例如，一个拥有数千亿参数的大模型，在生成每一个Token时，都需要反复访问大量模型权重。如果数据无法及时送达，即使拥有极强的计算能力，大量计算单元仍然只能等待。

因此，现代AI系统越来越表现出明显的"内存受限（Memory Bound）"特征，而非传统意义上的"计算受限（Compute Bound）"。

真正限制性能的，不再是计算，而是数据流动。

数据移动正在成为系统最大的成本来源

传统计算体系遵循统一模式：

数据存放在存储器中，处理器负责执行计算。

整个过程需要不断进行数据搬运：

• DRAM读取数据；
• 数据通过高速总线进入计算核心；
• 完成计算后再次写回存储器；
• 下一轮计算重新读取。

这一模式在传统计算时代并不存在明显问题。

但进入AI时代之后，模型参数数量达到数百GB甚至TB级别，大量重复的数据读取使数据移动本身成为系统最大的资源消耗来源。

数据每跨越一次芯片边界，都需要：

• 更长的数据路径；
• 更高的数据带宽；
• 更多I/O接口；
• 更大的功耗；
• 更复杂的封装技术。

随着数据规模持续增长，搬运数据所消耗的能量，已经远远超过部分数学计算本身。

因此，真正消耗系统资源的，不是计算，而是"运输数据"。

数据移动已经成为现代AI基础设施最大的隐性成本。

传统高带宽存储架构正在接近物理极限

为了缓解数据供给不足，行业普遍采用提升存储带宽的方法，例如：

• 更高速的HBM；
• 更宽的数据总线；
• 更先进的封装工艺；
• 更高密度的互连技术。

这些方案确实提升了处理器获取数据的速度。

但与此同时，也带来了新的限制。

1.接口扩展越来越困难

提高带宽意味着增加更多信号线、更复杂的布线以及更多I/O接口。

随着接口数量增加，设计复杂度、制造成本和系统可靠性都会快速上升，而带宽提升却逐渐趋于有限。

投入越来越高，收益却越来越小。

2.数据传输距离无法避免

即使采用先进封装技术，数据仍需在存储芯片与计算芯片之间不断往返。

距离虽然只有几毫米，却意味着：

• 延迟增加；
• 能耗增加；
• 带宽受限；
• 热设计压力提高。

随着模型规模不断扩大，这部分成本持续放大。

3.高性能封装成本持续攀升

为了获得更高带宽，需要采用先进封装技术。

然而，这类技术不仅制造成本高，而且供应链复杂，限制了系统的大规模部署能力。

因此，仅依靠不断扩大带宽，并不能彻底解决问题。

计算正在向数据靠近

真正改变AI基础设施的发展方向，并不是继续提升数据传输速度，而是减少数据传输本身。

近内存计算（Near-Memory Computing）的核心思想十分直接：

不再让数据频繁移动，而是让计算主动靠近数据。

在这种架构下，一部分计算逻辑被部署在存储系统附近，甚至直接集成于存储模块内部。

这样，许多需要频繁访问数据的计算任务可以直接在数据所在位置完成，仅将最终结果传输给主处理器。

这种方式带来了三个直接变化：

• 数据无需频繁跨芯片移动；
• 存储内部带宽得到充分利用；
• 外部总线压力显著降低。

系统资源开始更多用于真正的计算，而不是数据搬运。

近内存计算并非替代处理器，而是重新划分计算职责

近内存计算并不是放弃传统处理器。

未来系统更可能形成一种新的协同模式。

复杂控制逻辑、动态调度、模型管理等任务，仍由主处理器完成。

而大量重复、数据访问密集、计算模式固定的任务，则交由靠近存储的数据计算单元处理。

整个系统形成新的计算分工：

• 通用处理器负责复杂决策；
• 近内存计算负责高数据吞吐任务；
• 存储系统由被动资源逐渐演变为主动计算资源。

计算不再集中于一个处理器，而是在整个系统内部更加均衡地分布。

为什么近内存计算成为现实选择

这一方向并非理论设想，而是由多个因素共同推动形成。

AI推理天然依赖大量数据访问

当前主流大模型推理，大部分时间都消耗在模型参数读取和缓存访问过程中。

这类任务高度依赖内存带宽，因此非常适合部署在数据附近执行。

三维集成技术逐渐成熟

近年来，3D封装、存储堆叠以及逻辑芯片垂直集成不断发展。

计算单元与存储器能够更加紧密地结合，为近内存计算提供了现实基础。

数据中心更加关注整体效率

随着AI集群规模持续扩大，数据中心越来越关注：

• 单位功耗性能；
• 单位成本性能；
• 单机部署密度；
• 整体拥有成本（TCO）。

相比单纯追求峰值算力，更高的数据利用效率能够带来更明显的实际收益。

因此，系统架构优化的重要性不断提升。

近内存计算带来的系统级变化

相比传统架构，近内存计算影响的不只是局部性能，而是整个AI基础设施。

更高的数据利用效率

存储内部拥有远高于外部接口的数据吞吐能力。

计算靠近数据之后，可以直接利用内部带宽，减少外部传输瓶颈，使计算资源保持更高利用率。

更低系统能耗

减少数据搬运意味着：

• 更少I/O操作；
• 更少缓存复制；
• 更少重复访问；
• 更低通信开销。

系统整体能耗随之下降。

对于大规模推理集群而言，这种节省会随着部署规模扩大而持续累积。

更好的扩展能力

传统架构中：

• 容量增加通常意味着访问延迟增加；
• 带宽增加意味着封装成本提高；
• 算力增加意味着数据供给不足。

近内存计算能够缓解这些耦合关系，使容量、带宽和计算能力更加协调地增长。

未来系统扩展不再局限于单一维度，而是实现整体能力同步提升。

AI基础设施评价体系正在发生变化

过去，人们通常关注芯片拥有多少TOPS、TFLOPS或峰值算力。

但对于实际部署而言，这些指标已无法完整反映真实能力。

未来更重要的是：

• 实际推理吞吐量；
• 数据利用效率；
• 单位功耗性能；
• 单位成本性能；
• 内存访问效率；
• 系统整体资源利用率。

评价标准正在由理论峰值转向真实业务表现。

系统是否能够持续、高效地为计算核心提供数据，将成为衡量AI基础设施的重要指标。

未来计算体系将更加"数据中心化"

长期以来，人们习惯认为：

存储负责保存数据；

处理器负责执行计算。

这一界限正在逐渐弱化。

未来的存储系统不仅承担数据保存功能，还将参与部分计算任务，成为计算体系的重要组成部分。

计算资源也将从单一处理器扩展到整个系统，包括处理器、存储、互连以及缓存等多个层级，共同构成更加高效的数据处理架构。

这种变化不仅意味着芯片设计理念的调整，也将推动服务器架构、数据中心建设以及AI基础设施部署方式发生深刻演进。

总结：未来竞争的核心，在于减少数据流动

人工智能的发展，正在推动计算体系从"提升算力"迈向"优化数据流动"的新阶段。

随着模型规模持续增长，数据访问已经成为影响推理效率的关键因素。继续依赖传统"数据移动到计算"的模式，将面临越来越明显的带宽、能耗和成本压力。

近内存计算提供了一种新的系统设计思路：通过缩短数据与计算之间的距离，降低传输开销，提高资源利用率，并释放存储系统内部更大的数据处理能力。

未来AI基础设施的竞争重点，将逐渐从单纯提升处理器性能，转向构建更高效的数据流动体系。

谁能够更有效地减少数据搬运、提高内存利用效率，并实现计算与存储的深度协同，谁就更有可能在下一阶段的AI推理基础设施演进中占据优势。

从本质上看，未来计算系统比拼的不再只是处理器有多快，而是整个系统能否以更低的成本、更高的效率，让数据在最短路径内完成处理。这种以数据流动效率为核心的新型架构理念，将成为推动下一代人工智能基础设施持续演进的重要方向。