数字经济观察网 - 软信官网

随着生成式AI从云端训练逐步走向大规模推理应用，AI计算基础设施正在发生一场重要变化：AI不再只是集中部署在数据中心，而是开始向网络边缘、设备端和业务现场持续迁移。

从智能安防、零售分析、工业视觉，到汽车、医疗以及各种物联网设备，越来越多AI应用需要在靠近数据产生的位置完成实时推理。这一趋势正在推动边缘AI芯片、专用AI加速器以及端侧智能计算架构快速发展。

荷兰AI芯片企业Axelera AI联合创始人兼CEO Fabrizio del Maffeo认为，未来AI基础设施的重要竞争并不只是围绕大型数据中心展开，边缘侧的推理能力同样将成为AI产业规模化落地的重要基础设施。

Axelera AI的技术路线，也体现了当前边缘AI硬件领域的一种典型思路：通过专用AI加速器、数字存内计算（Digital In-Memory Computing，D-IMC）以及RISC-V架构，减少传统计算架构中的数据搬运瓶颈，从而在有限功耗和成本条件下提升终端AI推理效率。

从IoT设备到边缘AI芯片

Del Maffeo最初并没有计划成为一名创业者。2015年，他参与发起了一个围绕IoT和边缘AI计算设备的Kickstarter项目，并尝试推动英特尔Movidius Myriad 2视觉处理单元进入小型智能设备。

最初的产品主要是基于x86架构的IoT开发平台，随后团队将方向转向AI Edge，并于2018年推出UP AI Edge解决方案。这一产品获得了开发者市场的认可，但实际运行AI工作负载时却暴露出明显问题。

大量客户购买产品后，团队发现传统面向IoT设备设计的计算平台并不适合高强度AI工作负载。对于边缘AI而言，单纯把AI计算能力放进一个小型设备并不足够，还必须解决算力、内存、功耗、成本和数据传输效率之间的平衡问题。

这次经历让Del Maffeo意识到，市场真正缺少的并不是简单的“AI+IoT”设备，而是能够在终端和边缘环境中高效运行大型神经网络的专用计算硬件。

随后，他开始研究神经网络计算架构以及欧洲科研机构、IBM和Imec等机构发表的相关研究，并最终将注意力集中到数字存内计算架构。

为什么边缘AI需要新的计算架构？

传统计算机体系结构中，处理器和存储器相互独立。数据需要不断在处理器、缓存和内存之间移动，而AI模型通常包含大量矩阵运算，因此数据搬运本身可能成为影响系统性能和能效的重要因素。

这就是所谓的“冯·诺依曼瓶颈（von Neumann bottleneck）”。对于边缘AI而言，这一问题更加突出。数据中心可以通过增加GPU、内存带宽、网络带宽以及电力供应来扩展AI计算能力，但边缘设备通常受到更加严格的约束：

• 设备体积有限；
• 功耗受到严格控制；
• 本地散热能力有限；
• 网络连接可能不稳定；
• 云端数据传输存在时延；
• 大规模部署必须控制单设备成本；
• 用户数据可能不能持续上传云端。

因此，边缘AI芯片的核心问题并不是简单追求峰值TOPS，而是要在性能、功耗、成本、延迟和部署规模之间取得平衡。

数字存内计算：减少AI数据搬运

存内计算（In-Memory Computing，IMC）被认为是解决上述问题的一种技术路径。目前存内计算主要包括模拟存内计算和数字存内计算两类。

模拟存内计算利用晶体管、电流、电压等模拟特性完成计算，可以获得较高的能效，但由于涉及模数转换以及数模转换，在精度、稳定性和计算复杂度方面存在一定限制。

数字存内计算则采用数字逻辑电路，在存储阵列附近甚至存储阵列内部完成计算。

Axelera AI选择的正是数字存内计算路线。其思路并不是改变存储器本身，而是在存储结构中加入小型数字计算单元，使AI计算能够更加接近数据存储位置。这种架构的一个重要价值在于：减少数据在处理器和内存之间频繁搬运所产生的带宽压力和能耗。

Axelera AI认为，数字存内计算虽然在理论能效上可能不如部分模拟方案，但能够保持完整数字精度，并具有更好的鲁棒性以及与现有数字计算系统的集成能力。对于AI推理而言，这种特性具有一定现实意义。

从Metis到Europa：边缘AI加速器持续升级

Axelera AI于2021年正式成立，主要开发面向边缘计算场景的AI处理单元（AIPU）。公司的第一款主要产品Metis于2024年发布，并于2025年2月进入量产。

Metis主要面向计算机视觉应用，并帮助Axelera AI在早期获得了市场关注。不过，其产品也暴露出一定限制，尤其是后处理阶段的内存带宽问题。

2025年10月，Axelera AI进一步推出Europa芯片，定位于更高性能的边缘计算应用，并支持生成式AI和计算机视觉等工作负载。

Europa采用多核心设计，包含8个核心。每个核心既可以独立运行AI网络，也可以组合多个核心共同完成大型网络的计算。每个核心内部包括两个主要计算单元：RISC-V向量处理单元+数字存内计算单元。这一设计针对的是神经网络中占比较高的向量和矩阵运算。

根据Axelera AI的介绍，神经网络中的大量计算都属于向量矩阵乘法，因此公司利用数字存内计算引擎承担这类高频计算任务，而其他计算则交由RISC-V向量处理单元完成。

这种异构计算模式的目标，是将最适合专用硬件加速的计算任务交给专用引擎，同时利用通用程度更高的处理单元完成其他任务。

Axelera AI宣称，Europa可以实现最高629 TOPS的INT8计算性能，并能够在同类产品中实现较高的性能功耗比。从产业角度来看，这种架构体现了AI芯片发展的一个明显趋势：AI计算正在从单纯依赖通用GPU，逐渐走向GPU、NPU、AIPU、DSP以及各种专用加速器并存的异构计算体系。

“推理”可能成为边缘AI最大的机会

与训练相比，推理正在成为AI基础设施产业新的增长方向。训练阶段需要大量计算资源对模型进行反复优化，而完成训练之后，模型可以被部署到大量设备中持续执行推理。尤其是计算机视觉、语音识别、工业检测、智能安防等应用，往往需要持续进行本地推理。

这意味着，随着AI模型数量和部署设备数量不断增加，推理计算的总需求可能快速超过单纯的模型训练需求。更重要的是，边缘推理具有与数据中心推理不同的技术需求。

例如，一台智能摄像机可能需要持续分析视频流；一套工业视觉系统需要在毫秒级时间内识别产品缺陷；汽车需要实时处理摄像头和传感器数据；零售门店可能需要对客流、商品和行为进行本地分析。

这些场景对低时延、低功耗、本地处理和持续运行能力提出了更高要求。因此，边缘AI的价值并不只是“把大模型缩小后部署到设备端”，而是针对实际业务场景重新设计计算架构。

边缘AI首先比拼“每美元性能”和“每瓦性能”

对于AI芯片创业公司而言，与英伟达等大型芯片企业竞争并不容易。Del Maffeo认为，在边缘市场，芯片成本和能效尤其关键。如果一款AI加速器无法在单位成本和单位功耗下提供足够的计算性能，就很难支撑大规模边缘部署。

这一点与数据中心AI基础设施存在明显差异。数据中心可能愿意为更高的峰值性能投入大量资本，但边缘设备往往需要部署几百、几千甚至数百万个节点。在这种情况下，单设备增加几美元或几瓦的成本，都可能在大规模部署后形成巨大的总体成本差异。

因此，边缘AI硬件竞争的核心指标正在从单纯的TOPS逐渐扩展到：TOPS/W、TOPS/$、延迟、内存带宽、模型支持能力以及实际业务吞吐量。

对于智能建筑和智慧城市行业而言，这一变化尤其值得关注。未来大量摄像机、门禁、传感器、机器人、楼宇控制器和智能终端都可能具备本地AI能力。如果每个设备都需要持续将数据上传云端，不仅会增加网络带宽压力，也会产生额外的数据传输成本和隐私风险。

而通过边缘AI加速器在本地完成数据分析，只上传结果或关键事件，则能够降低云端计算和网络通信压力。

智能建筑或将成为边缘AI的重要应用场景

从行业应用角度看，边缘AI与智能建筑的发展具有较高的契合度。过去的智能建筑主要依靠传感器采集环境数据，再通过楼宇管理平台进行集中分析和控制。

未来，随着AI能力向边缘设备迁移，建筑中的大量终端将逐渐从“感知设备”升级为具备一定决策能力的智能节点。

例如，在视频安防领域，摄像机可以直接完成目标检测、行为识别和异常事件判断，而无需将完整视频流持续传输至云端。在楼宇能源管理领域，边缘控制器可以结合温度、湿度、人员数量、设备运行状态和历史数据，在本地完成HVAC控制策略推理。

在智能停车场中，边缘AI可以实时识别车辆、车位和异常事件。在零售和商业建筑中，边缘视觉AI则可以分析客流、空间利用率和用户行为。在工业建筑中，AI视觉系统可以直接完成质量检测和设备状态分析。

这些应用具有一个共同特征：数据量大、实时性要求高、数据持续产生，而且并非所有原始数据都需要上传云端。因此，边缘AI能够成为连接物联网、智能建筑和AI基础设施的重要技术节点。

从边缘到数据中心：AI基础设施正在形成分层架构

Axelera AI未来还计划推出Titania AI推理芯粒（Chiplet），用于进一步扩大推理计算规模。如果Europa主要解决边缘侧AI计算问题，那么Titania则希望将类似的计算架构扩展到数据中心环境。

这也反映出未来AI基础设施可能形成一种更加清晰的分层结构：云端/数据中心：负责大规模训练、复杂模型推理和集中式AI服务；边缘计算节点：负责区域级AI推理、数据聚合和业务分析；终端设备：负责实时感知、本地推理和即时控制。这种架构并不是简单的“云计算+端计算”，而是逐渐形成云—边—端协同的AI计算体系。

对于智能建筑而言，这种架构能够进一步推动AI从“平台功能”向“基础设施能力”转变。未来，建筑中的摄像机、传感器、网关、控制器和机器人都可能成为AI计算节点，而建筑管理平台则更多承担跨设备数据融合、策略管理、模型更新和全局优化任务。

AI芯片竞争走向专业化

Del Maffeo认为，未来不同AI工作负载可能需要不同类型的专用芯片。这一判断背后的逻辑是，随着AI推理的重要性不断提升，通用计算架构很难在所有应用场景中同时实现最佳的性能、功耗和成本。

目前，全球大型云服务商已经在推进自研AI加速器。例如，针对特定AI工作负载设计专用芯片，已经成为大型云计算企业优化基础设施成本的重要手段。

对于边缘计算而言，这种专业化趋势可能更加明显。因为边缘设备对成本、功耗、散热和体积更加敏感，因此针对计算机视觉、语音、机器人、工业AI、汽车AI以及楼宇AI等特定场景进行芯片优化，有可能获得更高的综合效率。

这也意味着未来AI芯片市场未必会形成单一架构“一统天下”的局面，而可能形成通用GPU+专用AI加速器+边缘AI芯片+领域专用芯片共同存在的产业格局。

全球化供应链成为AI芯片企业的新挑战

除了芯片架构之外，AI芯片创业企业还必须面对全球供应链问题。Axelera AI总部位于荷兰埃因霍温，并积极参与欧洲AI和高性能计算项目。其中，公司参与了欧洲Digital Autonomy with RISC-V for Europe（DARE）项目，并获得相关资金支持，用于推动Titania AI推理芯粒研发。

2026年4月，欧洲高性能计算联合事业（EuroHPC）进一步宣布，意大利博洛尼亚新建的IT4LIA AI Factory将部分采用Axelera AI的推理加速器。但在芯片制造方面，Axelera AI仍然依赖亚洲先进制造能力。其12nm Metis由台积电生产，5nm Europa则由三星负责制造。这反映出当前AI芯片产业的现实：芯片设计可以全球化，但先进制程制造、先进封装、HBM、光刻设备等关键环节仍然高度集中。

随着全球AI基础设施投资持续增长，AI芯片供应链的区域化趋势也正在增强。对于芯片企业而言，未来可能需要在不同区域建立更加本地化的供应链体系，以降低地缘风险、运输成本和供应中断风险。

边缘AI将重新定义“智能设备”

从智能化产业发展的角度看，边缘AI最重要的意义可能并不是产生更多AI芯片，而是推动“设备智能化”进入新的阶段。

过去，智能设备更多意味着设备能够联网、采集数据并接受远程控制。下一阶段，智能设备将逐渐具备本地理解和决策能力。这意味着智能摄像机不再只是“看见”，而是能够理解场景；智能传感器不再只是“采集”，而是能够判断异常；智能控制器不再只是执行预设规则，而是能够结合环境和历史数据进行动态决策。

对于建筑智能化行业而言，这可能带来一个重要变化：未来的智能建筑，不只是由一个中心化的智能平台控制大量终端，而可能由大量具备AI能力的边缘节点共同构成。云端负责模型和全局策略，边缘负责实时分析，终端负责感知和执行。

而支撑这一体系的底层基础设施，将不再只是网络和传感器，还包括AI加速芯片、边缘计算节点、智能网关、高速网络以及云边端协同平台。

随着AI推理需求持续增长，边缘AI有望成为智能建筑、智慧城市、工业互联网、智能汽车和物联网进一步融合的重要技术基础。

对于产业链企业而言，真正值得关注的已经不仅是“AI芯片能提供多少TOPS”，而是一个更具现实意义的问题：如何以更低的成本、更低的功耗和更低的时延，让AI真正进入千千万万的终端设备，并最终形成可规模化运营的智能基础设施。