文末有福利！开云体育

面前，数字经济已成为国民经济高质地发展的新动能，跟着东谈主工智能在产业数字化进度中从“单点冲破”迈向“泛在智能”，一个以数字化、网络化、智能化为特征的聪惠社会正加速到来。

智能算力看成东谈主工智能的基石，是算力网络构建多要素会通新式信息基础设施的重要领域，已成为数字经济高质地发展的中枢引擎，智能算力基础设施树立也迎来了热潮。

智算中心看成集约化树立的算力基础设施，它以 GPU、AI 芯片等智能算力为中枢，提供软硬件全栈环境，主要承载模子磨练、推理、多媒体渲染等业务，支撑千行百业数智化转型升级。

关联词传统智算中心的智算资源应用率较低，资源漫衍相对碎屑化，不利于举座效用的进步，亟需一个可团员各样型算力、达成敏捷化资源经管的平台，使能资源不错被极致应用，算力池化本领应时而生。

为凝华产业共鸣，进一步鼓励算力池化本领练习，中国出动发布本白皮书，分析了智能算力发展的趋势及濒临的挑战，系统性先容了算力池化的界说与策画、总体架构、重要本领和面前业界的探索实践，并命令业界紧密配合、加速构建算力池化结伙的轨范体系。

1. 算力池化本领配景

数字经济期间，跟着聪惠城市、聪惠交通、聪惠家庭等智能场景的迟缓落地，东谈主工智能正真切地改造咱们的分娩、生涯神态。同期跟着 5G、角落计较等支撑本领的继续发展，数智业务转型过程中所产生的数据量正在以愈加难以计量的速率爆发。

据 IDC 公布的《数据期间 2025》走漏，从 2016 年到 2025 年全球总和据量将会增长 10 倍，达到 163ZB,其中非结构化数据占 70%以上，计较模式将变得愈加复杂，对智能算力的需求也在不断提高，智能计较将成为主流的计较花式。

跟着智能计较凡俗会通到分娩、生涯的各个方面,以 GPU、AI 芯片为主要算力资源的智算中心正迟缓取代通用数据中心成为算力发展的主流花式。在此配景下，列国政府已驱动布局 AI 领域全栈能力，并出资教学智能算力基础设施树立；我国也已进入智能化期间，“十四五”期间，相关部委积极鼓励智算中心树立发展，旨在面向东谈主工智能场景提供巨匠算力干事。

同期，跟着 ChatGPT 等基础通用大模子业务引爆了对 GPU 的阛阓需求，产业各方纷纷加入对基础大模子的磨练和栽培，导致“一芯难求”，GPU 价钱也随之暴涨。以英伟达 A800 为例，据阛阓数据统计，近半年来的价钱增幅高达 30%以上。如安在有限的资源供应内尽可能提高应用率，充分发扬算力效率的同期镌汰智算中心 TCO，现在已成为智算中心树立待处治的重要命题之一。

1.1 传统智算中心存在资源效率问题

1.1.1 GPU 资源应用率不及 30%

面前智算中心主要以国度或当地政府总体牵头树立为主，此外，AI 应用干事企业也在布局自有智算基础设施树立。关联词，据公开数据统计，传统模式下的智算中心 GPU 应用率较低，平均数值低于 30%： 

− AWS re:Invent 2018 公布数据：平均 GPU 应用率为 20% 

− Facebook 2021 年机器学习负载分析默契：平均 GPU 应用率不及 30% 

− 英伟达 GTC2022 公布数据：Google 云平均 GPU 应用率为 25%

传统智算中心的 GPU 资源应用率过低，主要开始于以下多个方面的原因：

（一）资源分拨较为纰漏：资源分拨以整卡分拨为主，辅以一虚多的杜撰化分拨神态，颗粒度较粗，无法适配不同 AI 任务对资源的互异化需求，导致部分资源闲置，影响算力资源的应用率；

（二）算力莫得被充分激活：AI 任务模子遐想舛错、算力优化程度不及、模子框架与底层芯片适配不充分等原因，均可能导致算力资源的性能无法充分发扬，导致非凡的资源损耗；

（三）网络带宽瓶颈制约：智算中心开拓和干事器之间的通讯需要消费网络带宽，网络瓶颈会影响影响举座性能，算力资源幽闲度高、应用率低。

传统智算中心的 GPU 资源应用率问题是一个空洞性的问题，需要从资源经管计策、硬件架构遐想、应用软件算法优化等多方面共同优化处治，其中尤以资源经管计策方面的优化可控性强、成效快、干预产出比高，是新式智算中默算力池化的艰难谈论见解之一。

1.1.2 资源碎屑化导致分拨率低

资源碎屑指体量较小，低于应用的需求而无法被分拨出去的闲置资源，泛泛来说，应用所需资源的规格越高、种类越多，导致资源碎屑的概率则越大。近几年来，AI 业务速即发展，从磨练到鼓励，从小模子到大模子，AI 任务的种类越来越多，对算力的需求越来越高，算力资源碎屑化趋势较为显着。

碎屑化的原因包括任务类型互异、任务范围互异、任务优先级互异以及任务调节能力等多方面身分。

（一）任务类型互异：智算中心提供的算力资源不错用于不同种类的任务，包括机器学习、深度学习、图像处理等。也包括大模子、小模子、漫衍式推理、辘集式鼓励，由于不同类型的任务对硬件配置的条目不同，因此会导致不同类型的任务需要不同的算力资源，难以充分适配；

（二）任务范围互异：任务范围不同，所需求的算力资源不同，而且不同任务范围对算力资源的分拨也无履行轨范，小范围任务可肯求大范围的算力，诚然存在资源铺张，但却可加速任务完成，违反，在资源总和足下下，大范围任务也可字据相对较少的算力资源，诚然影响计较效率，但却从简了投资。以上多方面的身分，导致任务需求规格与硬件配置无法对王人，从而导致算力资源碎屑化；

（三）任务优先级互异：不同的任务可能有不同的优先级，一些高优先级的任务可能会占用无数的计较资源，导致其他任务无法实时得到称心，影响举座资源布局；

（四）任务调节能力：任务调节亦然影响计较资源碎屑化的艰难身分。若是任务调节欠妥，可能会导致计较资源得不到充分分拨，从而酿成资源铺张。

总而言之，字据万般化 AI 任务对算力资源的互异化需求，无邪地调节、分拨资源，是镌汰智算中默算力资源碎屑的重要。

1.2 池化本领是提高资源效率的重要

何如对稀缺、不菲的算力资源充分应用，镌汰其不能分拨的碎屑概率，不错推敲鉴戒云计较的想路，对 GPU、AI 芯片等进行团员池化，再应用先进的资源经管本领进行切分、调节、分拨，使能资源可按任务的履行需求进行有序供给。

（一）物理成池：通过高性能智算中心网络买通干事器间通路，使得分散在各干事器中的 CPU、GPU、AI 芯片等算力资源不错互联互通、透明分享。这项本领允许跨用户、用例、时间圭臬分享物理算力资源，还不错为在集群的一个节点中实施的单个 AI 任务落拓调用集群中算力，使 AI 任务取得进一步加速。

（二）逻辑成池：应用池化软件对 CPU、GPU、AI 芯片等资源在逻辑上团员，AI 任务在创建时，不再是将脱落的、孤岛式的资源进行裸分拨，而是字据调节经由，从团员的池化资源中切分出所需数目进行分拨。一方面，分拨的资源数目可按 AI 任求履行所需实施，当 AI任务所需资源不解确，或因负载变化导致资源数目变动时，可达成动态供给、回收，达成多 AI 任务的峰谷互补，镌汰资源闲置率；另一方面，切分后的脱落资源不错再度团员、调节、分拨，镌汰碎屑率。

2. 算力池化界说与策画

2.1 算力池化的界说

智能算力池化指依托云计较本领，整合 GPU/AI 芯片等异构算力资源，构建辘集经管的资源池，并按表层智算业务的需求，对池化的资源进行结伙调节、分拨，达成智算业务生命周期经管的全套本领。

为处治智算中心所濒临的资源应用率问题，算力池化基于传统云计较本领（如 Kubernetes、OpenStack，智算中心以 Kubernetes 为主）有针对性地增强 GPU/AI 芯片池化能力，禁受软件界说的神态，对 GPU/AI 芯片进行分时调节经管，达成按 GPU/AI 芯片的细粒度分拨资源，并禁受 GPU/AI 芯片 Runtime API 劫持、应用身手监视器等本领，达成资源跨节点云尔调用、脱落资源整合等，从而达到算力资源充分应用、碎屑最小化成果，可有用进步资源效率，镌汰智算中心举座树立资本。

2.2 算力池化的策画

智能算力池化的策画是应用软件界说本领，对通过高速无损网络互连互通的 CPU、GPU、AI 芯片等算力资源进行池化整合，达成资源的辘集调节、按需分拨，使能资源可被充分应用，镌汰碎屑概率，提高总体有用算力、镌汰智算中心购置资本。

化整为零。改造传统的整卡分拨、一虚多杜撰化分拨的纰漏式分拨神态，使能考究化分拨能力，字据 AI 任务的资源需求进行按需供给，契合万般化业务的互异需求。

隔空取物。基于高速无损网络，跨节点调取 GPU、AI 芯片等智能算力资源，使能 CPU 传统算力及 GPU、AI 芯片智能算力高度解耦，进一步镌汰碎屑化比例。

化零为整。整合漫衍在多机上的脱落资源，集聚碎屑为可再分拨的资源、集聚小规格资源为更大模子业务可使用的资源，使能资源可高效分拨。

变静为动。改造传统的资源静态分拨、土产货绑定的机制，使能资源不错字据负载变化动态分拨、回收，多任务间不错峰谷互补，全局资源不错适度超分，促进资源效率进步。

3. 算力池化架构与重要本领

3.1 算力池化平台本领架构

新式智算中默算力池化平台依托云计较本领推广池化能力，字据AI 任务特质，一般基于 K8S(Kubernetes)定制化达成。算力池化平台的本领架构参考如下：

图片

图 1 算力池化平台本领架构

算力池化平台逻辑上可分为池化资源经管、资源干事代理、池化运行时三类模块构成：

(1) 池化资源经管 

− Kubernetes 经管组件：基于 Kubernetes 原生经管干事组件定制化增强，如解救漫衍式文献存储、解救 POD 多网络平面、解救RoCEv2/Infiniband 网络等； 

− Kubernetes 调节推广：关联 Kubernetes 调节干事推广专用的池化资源类型，对该类资源的请求转递智算资源池化足下器进行调节、分拨，需配合 Kubernetes 开拓插件使用； 

− 智算资源池化足下器：对 GPU、AI 芯片等智算进行结伙经管、调节、分拨；

(2) 资源干事代理 

池化干事代理：字据智算资源池化足下器的调节斥逐，将池化运行时对资源的探望请求重定向到履行物理位置实施，如波及跨机探望智算资源，则需相关干事器上的池化干事代理屡次重定向，跨机重定向的流量需经由高速无损网络（如参数面网络）；

Kubernetes 干事代理：基于 Kubernetes 原生干事代理组件定制化增强；

Kubernetes 设 备 插件 ： 配 合 Kubernetes 调 度 推广 ，为Kubernetes 干事代理注册专用的池化资源类型； 

容器运行时：基于原生容器运行时（如 Dockerd、Containerd等）定制化增强；

(3) 池化运行时 

池化运行时：依托 GPU、AI芯片的原生运行时（如 CUDA Runtime）进行二次封装，禁受 API 劫持、应用身手监视等本领，将 AI 应用软件/AI 开发框架对算力资源的探望转递至池化干事代理实施。池化运行时位于容器 POD 内，在容器运行时由自动注入。

字据上述本领架构，当 AI 应用编排器通过调用 Kubernetes API创建应用时，可按新增的池化资源类型指定肯求的资源数目（如pool.kubernetes.io/gpu: 1）,对该类型资源的肯求会被 Kubernetes调节推广抑制、转递至智算资源池化足下器进行调节，智算资源池化足下器按肯求的资源数目、资源池内幽闲资源漫衍情况进行调节后，将调节斥逐反映给 Kubernetes 经管组件，然后 Kubernetes 经管组件正常实施 AI 应用的创建经由，由 Kubernetes 干事代理创建最终 POD看成托付物，并通过池化干事代理配合在 POD 中自动注入池化运行时、通过 Kubernetes 开拓插件配合在 POD 中插入杜撰 GPU。

AI 应用的 POD 在运行的时候，通过池化运行时探望杜撰 GPU、实施 AI 任务，池化运行时抑制对杜撰 GPU 的探望请求、转递给池化干事代理实施，池化干事代理通过向智算池化足下器查询杜撰 GPU 所对应的真确智算资源位置、规格，按查询斥逐分拨智算资源、实施 AI任务，若是真确的智算资源位于云尔计较节点，则由土产货池化干事代理将探望请求转递给云尔计较节点上的池化干事代理处理，相关通讯经由参数面网络。

3.2 算力池化本领能力层级

算力池化本领本色是通过软件界说硬件加速的神态，愈加高效无邪的团员、调节以及开释海量 AI 加速算力，精确保险 AI 模子开发、磨练、部署、测试、发布全链条算力配给，镌汰智算中默算力干事提供资本，进步智算中心举座效用。从对异构算力使用的练习度及无邪性角度启程，面前算力池化本领可诀别为以下三个能力层级：

图片

图 2 算力池化本领能力层级

阶段 1，静态经管。将单物理 GPU/AI 芯片按固定比例切分红多个杜撰 GPU/杜撰 AI 芯片，比如 1/2 或 1/4,每个杜撰 GPU/AI 芯片的显存荒谬，算力轮询。领先是伴跟着干事器杜撰化的兴起，处治杜撰机不错分享和使用 GPU/AI 芯片资源的问题。关于静态经管决策，2021年英伟达在部分 Ampere系列 GPU上提供了 MIG 本领，举例不错将 A100切分红最多 7 份。

阶段 2，动态经管。以单物理 GPU/AI芯片为策画，解救物理 GPU/AI芯片从算力和显存两个维度无邪切分，达成自界说大小（泛泛算力最小颗粒度 1%，显存最小颗粒度 1MB），称心 AI 应用互异化需求。

同期，软件界说 GPU/AI 芯片资源可充分适应面前应用云原生化趋势，实时反映表层应用对资源需求的变化，达成 vGPU/AI 芯片资源基于Scale-Up/Scale-Down 的动态伸缩，并通过资源动态挂载动态开释达成 GPU/AI 芯片资源超分。

阶段 3，池化经管。池化本领的紧要冲破在于解救 CPU 通用算力及 GPU/AI 芯片等智能算力的零丁成池，两种资源池内集聚的资源零丁调节、分拨，当调节的资源分属不同节点时，可通过高速无损网络跨节点调用、拼装成 AI 任务所需总算力。此经管神态下，AI 应用不错部署到智算中心的落拓位置，无论场地节点上有莫得智算资源、智算资源够不够，所欠缺的部分从云尔合手取即可，从而达成在网络范围内充分分享闲置、致使碎屑化的多种类型资源，促进资源的有用应用。

由于云尔调用的资源比较土产货化资源的探望速率相对较低，因此，池化经管本领可引入干事质地经管本领，按任务优先级，优先分拨土产货资源，次选云尔调用，任务资源不实时将 AI 任务进行队伍化经管，恭候开释出宽裕资源时再运行。

3.3 算力池化重要本领

3.3.1 软件界说的资源分拨神态

传统的依赖于硬件解救的杜撰化本领下， AI 应用通过探望GPU/AI 芯片的运行时所提供的接口，以取得对智算资源的调用，资源的算力系数由卡硬件细目，软件上难以介入，从而无法取得更敏捷的经管。池化本领下，资源分拨神态发生了根人性的变革，软件介入了资源的算力供给，为开启更敏捷的资源经管模式，比如动态伸缩、资源超分等奠定了本领基础，为继续优化智算资源应用率创造了无穷可能。池化本领主要通过以下两种达成了软件界说的资源分拨：

(1) API 劫持本领

API 劫持本领是现在比较宽敞的、针对智能算力的池化本领，它通过劫持对 Runtime API（如 CUDA API）调用达成资源调节。

如 3.1 章节本领架构的图 1 所示，AI 应用的容器 POD 内运行的池化运行时并非 GPU/AI 芯片原生的运行时，而是基于原生运行时进行了一定定制化的版块，它对表层应用所提供的 API 接口系数等同于原生运行时，因此对 AI 应用来说是透明的。

当 AI 应用探望池化运行时的 API 时，则被池化运行时转递至池化干事代理实施，池化干事代理则具备敏捷化的资源经管功能，比如按 1%算力、1MB 缓存的精度细粒度分拨资源，达成跨节点云尔调用资源等。

图片

图 3 API 劫持本领图解

API 劫持本领的重要在于池化运行时仿真 GPU/AI 芯片的原生运行时，由于 GPU/AI 芯片种类、型号繁密，其原生运行时又相对活跃、升级泛泛，仿真职责较为复杂，开发量、留心难度较大。

(2) 应用身手监视器本领

这是一种系数与 GPU/AI 芯片无关的开拓杜撰化和云尔处理门径，允许在莫得显式软件解救的情况下启用新的硬件体捆绑构。该项本领通过应用身手监视器职责，该监视器与 Hypervisor 经管杜撰机的神态肖似，分为前端、后端，前端监视指定应用身手的步履，拦罢休后端处理，后端不错按应用身手肯求的数目分拨资源，或将应用身手拆分到多台机器上运行，在保持代码、数据和实施环境一致性的前提下使用这些机器上的智算资源，从而达成资源的细粒度经管、云尔调用等资源敏捷化经管功能。应用身手监视器正经留心应用身手情状（内存、文献、应用身手库的加载），以及杜撰化与系统的交互（举例系统调用和进度间通讯），以确保在多个位置实施时的一致性。

图片

图 4 应用身手监视器本领图解

与 API 劫持本领胜仗介入到 AI 应用探望资源的经由、需要仿真原生运行时的 API 接口的神态不同，应用身手监视器不介入到 AI 应用探望资源的经由、而是通过更底层的系统调用隐含而凡俗的解救更多种类、型号的硬件和新的运行时功能，其达成神态与特定的运行时API（如 CUDA）无关，具备愈加重大的通用性和兼容性。应用身手监视器本领是一种新式的池化决策，提议本领练习后再推敲商用引入。

3.3.2 算力资源高质地经管本领

基于软件界说的资源分拨神态，算力池化平台不错达成更敏捷的资源经管神态，从而达成算力的高质地经管。

（一）资源细粒度分拨

通过杜撰化妙技，将物理资源按照算力与显存两个维度进行细粒度抽象，表层应用不再以物理硬件为单元进行资源肯求及使用，而所以物理硬件算力 1%，显存 1MB 为基本单元。

（二）资源名额经管

通过期候等算力足下本领，对不同田户之间、同田户不同进度、不同田户不同进度之间达成 GPU 算力及显存的远离与足下，减少资源争抢带来的性能扰动，幸免身手坏心霸占算力资源。

（三）资源无感动态伸缩

池化本领可通过资源动态分拨，为容器动态的分拨可用资源，表层应用可字据自己业务逻辑及负载情况，实时向算力调节平台肯求算力、显存资源，达成资源动态垂直推广。

（四）资源超分及峰谷互补

智算中心对外提供业务时，为幸免业务之间的竞争影响到干事质地，不同类型的业务泛泛分开部署在不同的资源池。但业务的运行常常存在岑岭期和低谷期，业务独占资源导致异构算力硬件宽敞存在幽闲周期，许多业务幽闲期远长于岑岭期，导致总体资源应用率很低。

与此同期，为保险干事质地，业界通用作念法是禁受资源过量供应的神态来对业务进行支撑，导致预留的资源量与履行的使用量之间存在较大的差距。

若是好像将业务的波谷时段应用起来，就能减少波谷时间，从时间维度进步效用；同理，将资源预留冗余松开，就能从空间维度进步效用。因此将不同优先级、不同波动周期的业务进行羼杂部署，为两个维度进步应用率提供了可能性，即应用低优先级任务占用幽闲资源，同期高优先级任务能实时霸占到资源，从而保证重要业务的干事质地。

算力池化本领不错通过软件界说，将底层物理硬件资源抽象后作念符合的放大，应用算力硬件计较周期幽闲时间，通过期候复用有用使用算力，同期，应用单一指针进行内存托管，将显存、系统内存进行结伙留心，在 CPU 与 GPU 之间形成内存池分享内存资源，由系统来自动地进行内存移动，以达成 GPU 显存推广，如 CUDA unified memory。

（五）智算任务队伍化经管

单个 AI 任务的开展可通俗划为为数据准备、任求实施、模子评估三个阶段，从资源角度上分析，数据准备阶段主要使用 CPU 资源，磨练驱动后才驱动使用 GPU 算力资源进行计较加速。相较于 CPU 通用算力资源，智算中心内智能算力资源愈加容易达到瓶颈，为提高举座AI 磨练任务的实施效率，算力池化本领可提供智能算力资源列队的能力，即 AI 任务的下发可字据 CPU、内存等资源的可用情况触发，磨练任务进入实施阶段后，如智能算力资源不及可进行列队恭候，轮番实施。同期可字据磨练任务的艰难程度，建立资源使用的优先级。

3.3.3 泛在化碎屑的池化整合本领

泛在化碎屑至漫衍式在土产货、云尔的传统神态下无法再应用的资源。对这些泛在化碎屑进行池化整合，合并为逻辑视图上的一整片算力，有更高概率称心 AI 任务的资源规格需求。

（一）泛在化资源跨机整合本领

论文《Characterizing Deep Learning Training Workloads onAlibaba-PAI》分析了阿里一个磨练集群上的负载特征（见图 5）：从任务数目上看，约 59%的任务是单卡小任务；从 GPU 资源消费上看，诚然 81%的 GPU 是被漫衍式磨练任务占用（单机多卡也算漫衍式），然则这其中有一半的资源是被小于 8 个 GPU 的任务所占用（1 台物理干事器可称心）；独一 0.7%数目的任务是使用卓越 128 个 GPU（需要16 台或更多物理干事器）。

图片

这个分析标明，磨练任务是万般化的，其范围有大有小，从资源角度上看，意味着智算中心各样业务对 CPU 算力与 GPU 算力的配比需求是万般化的，而 GPU 干事器硬件配置常常是单机 4 卡或者单机 8 卡，单机 CPU 算力与 GPU 算力的固定配比，在承载万般化的磨练任务时，例必带来资源碎屑气候的产生，进而激勉无数多卡任务因为资源不及在队伍中列队恭候实施，容易带来资源举座流转效率低下的问题。

为处治资源碎屑问题，池化本领不错达成对脱落资源的整合，包括跨机整合。见第 3.1章，智算资源池化足下器达成了对 CPU及 GPU/AI芯片分池、单独调节，也即为 POD 调节的 CPU 与 GPU/AI 芯片资源可能不在消除台干事器上，但对应用是透明的，当 AI 应用探望杜撰 GPU时，由池化干事代理字据杜撰 GPU 所对应的真确 GPU 资源位置分拨资源，若是有云尔调用需求，则由 POD 场地干事器上的池化干事代理转发资源请求至策画干事器上的池化代理干事探望。

通过资源团员，不错将 GPU 集群内的资源碎屑应用网络快速整合，保险多卡任务快速启动，进步资源头转效率。

（二）智算业务 SLA 分级及自动干事质地经管

智算中心看成承载海量智算业务的基础设施，在资源优化方面应在兼顾磨练任务的举座费解率、GPU/AI 芯片资源的举座应用率的同期，进步多个磨练任务的举座性能，而非强调单个任务的性能。

深度学习框架是许多磨练任务依赖的一类基础软件，其遐想策画之一是进步单个磨练任务的性能，而池化本领的策画是通过充分应用数据中心内通盘 GPU/AI 芯片资源，从而达到多任务的举座最优，两者并不矛盾。

框架和池化本领不错相互配合，在达成多任务举座最优的情况下，尽量让每个任务的运行愈加优化。池化本领可针对不同任务关于性能的条目进行分级，按优先级高到低弃取使用指定硬件资源、只使用任务场地干事器上 GPU/AI 芯片资源、落拓调用数据中心内可用算力资源均分拨计策，不错确保任务性能条目的前提下，达到举座资源最优分拨。

5. 测度与倡议

跟着 GPT、Stable Diffusion 等本领的练习，AIGC 产业高速发展，对智能算力的需求也呈指数级的增长。算力池化本领相较与传统的 GPU/AI 芯片纵贯本领来说，具备更高的算力应用效率、更方便的使用神态及更低的使用资本，为产业发展提供奠定优质的算力基础。

本站仅提供存储干事，通盘内容均由用户发布，如发现存害或侵权内容，请点击举报。