周跃峰：开源并持续完善Flex:ai，让AI真正实现平民化
在AI浪潮席卷千行百业的今天，算力是引擎，而基础设施则是承载引擎的基石。如何让算力更高效、更弹性、更普惠，是整个产业链如今共同面临的课题。11月21日，2025 AI容器应用落地与发展论坛在上海举行，华为公司副总裁、数据存储产品线总裁周跃峰博士在论坛上正式发布AI容器技术——Flex:ai，同时华为联合上海交通大学、西安交通大学与厦门大学共同宣布，将此项产学合作成果向外界开源，助力破解算力资源利用难题。
论坛上，周跃峰博士发表了题为《Flex:ai AI容器技术，释放AI基础设施潜力》的主题分享。他指出，大公司的AI系统建设“以大为荣”，千卡、万卡的集群对XPU资源的调度是比较粗放的，但在AI行业化落地时，中小企业面对的是有限的卡资源（4卡、8卡或16卡），往往需要以更小的算力单元进行调度，把每一张卡的算力都充分释放出来。Flex:ai AI容器软件正为此而生，它通过多级智能调度、算力资源切分、跨节点算力资源聚合，大幅提升算力利用率，让AI真正能够面向行业落地，真正走向平民化。
以下是周跃峰博士主题分享全文（经极客网编辑）：
非常高兴今天在这里和产业界、学术界的朋友一起来探讨AI技术如何面向未来的发展。请大家注意一下我们封面当中看到几个新的词，第一个是Flex:ai，AI容器，这是今天想发布并和三大高校一起来开源、开放的软件。
同时，大家以前没有听到一个词“让AI从此平民化”。大家知道人工智能是非常高大上的名词，我们在过去两年当中听到了万亿级参数，百万亿级的参数；我们也听到了某某公司买了多少千张卡，多少万张卡；我们也听到了我们用这些卡，大家是“以大为荣”。大家知道在这么大的AI市场中心，当然是有必要让人工智能向更大规模以及对人类智能进一步逼近。
同样，看到我们要把人工智能在一个个企业去落地，难道需要每个企业去买这么多卡吗？难道需要每个企业建这么大的数据中心吗？显然是不可能的。今天在探讨AI往医院走，大家知道每个医院一年ICT建设的经费最多是几千万人民币，因此让AI能够平民化，让所有企业甚至家庭都能够享受AI带来的便利与高效率，这依然是一个话题，依然有很多挑战。
过去一年多时间当中，华为公司尤其是在华为公司以数据为底座，以国产自主算力和软件来构建全栈AI解决方案过程中，一直坚持能够把AI进行行业化落地。为此，曾经跟大家介绍过DCS AI全栈AI解决方案，在该全栈AI解决方案当中，大家越来越多看到很多软件能力，开始开源、开放。因为AI行业化落地是一件很难的事情，光靠华为公司的软件工程师的力量是远远难以完成的。
到今天为止，已经向外界开源开放了全流程的工具链ModelEngine，通过这个ModelEngine让AI工程师可以对接更多的模型，可以让这些模型能够高效应用对接起来；也有很多工具和工具链框架，能够把数据汇聚起来，让这些数据能够加速进行数据飞轮，使我们的模型更高的自理，更好的进化。
今年，为了让推理更加高效，我们发布了UCM推理记忆管理器。在这个UCM软件当中，我们把推理过程数据分级保存到HBM、DRAM，SSD中，通过分级管理，加上对数据系数矩阵等一系列的过程，让推理更加高效。
今天依然觉得还缺了很多块，今天需要给大家填空的那一块儿就是Flex:ai AI容器。它究竟是什么？所有的软件都会放在模型开源社区，和高校开发合作伙伴和产业合作伙伴们一起来让这些工具更加丰富化。
在过去AI系统堆栈建设过程中，往往是千卡、万卡，我们很多的任务是非常粗放的，以每一张卡作为任务调度，甚至有很多系统不去调度它们。实际上，这让整个集群资源管理受到了很大挑战。当然，在模型很大参数、集群很大的时候，可能这种方式粗放的方式也是可以接受的。
我们发现，把AI进行行业化落地的时候，比如说一个医院的某一个科室往往就买8张卡，甚至是4张卡，最多是16张卡，这样小集群当中就很难进行粗放的GPU或者是NPU利用和调度。我们能不能把一张卡虚拟化成多张卡，让我们以更小的算力单元进行调度，让每一张卡的算力能力能够充分释放出来？这依然是一个话题。
过去，我们面临三个问题。第一个问题是小任务单卡算力用不完，任务很小的时候，单卡就占据一张单卡，里面大量的资源其实还可以释放出来，但是释放不出来。第二个问题是大任务单机算力不够用，需要多个机器能够合成一个更强大的卡，一个机器来进行使用。还有多任务并发的时候，调度怎么办？比如说医院的病理医生进行AI诊断的时候，多个医生同步在进行病理切片AI检查，同时会去用NPU资源，并发是一个问题，不可能简单靠增加NPU个数，这对很多的医院来说是难以承担的。这些问题，今天Flex：ai软件系统需要解决这些问题。
今天，我们将会联合三个高校——实际上不是从今天开始，我们从一年前就和上海交大、厦门大学、西安交大计算机学科的老师、科研工作者和学生们一起讨论、开发Flex:ai方方面面：首先是多级智能调度，其次算力资源如何高效切分，还有跨节点的资源如何进行聚合。通过这些技术难题的解决，让Flex：ai真正解决在AI行业落地化过程中的高效问题。
为了让AI真正能够面向行业落地，让AI能够平民化，AI软件容器Flex:ai正式宣布开源。特别感谢过去我们和上海交通大学、西安交通大学和厦门大学这些科研工作者的紧密合作，以及过去的辛勤付出。我们和他们的联合创新将会持续，我们不仅和他们一起也愿意跟更多愿意在这个技术当中通过开源、开放来共建，让这块儿软件可以做得更好的工作者们，在模型社区把Flex:ai打造得更为完善。
希望接下来持续和上海交大、西安交大和厦门大学持续努力把Flex:ai AI容器软件完善，让Flex:ai的用户和开发者把这个软件用得越来越好，让AI能够真正实现平民化。
谢谢大家！
