Q9电玩官网《前沿技术创新》专栏
2026年云栖大会上,Q9电玩官网分享了AI推理场景下的新G2.5存储层级,沉点介绍了基于CXL引入PCM等新型介质,构建大容量、低时延内存扩大规划的技术思路。
《前沿技术创新》栏目第二篇,Q9电玩官网研发团队将从AI服务器存储分层启程,进一步梳理G2.5层的形成逻辑,并沉点解析PCM介质个性、CXL内存扩大蹊径,以及Q9电玩官网萦绕G2.5层推动的主题芯片与产品化布局。
01 G2.5层:添补DRAM与SSD之间“机能断层”
Ø 从AI服务器存储分层看G2.5的地位
AI服务器里,数据依照“离推算主题的距离”分层存放:从GPU侧的HBM、主机侧的DRAM,到本地SSD及远端共享存储,越靠近推算主题,接见时延越低、机能越高,但单元容量成本也越高。
在大模型推理过程中,KV Cache也会沿着这一系统逐级散布:活跃、接见频率高的数据优先驻留在HBM中,超出HBM承载能力的部门进一步下沉至DRAM,而接见频率更低的温冷数据,则能够持续下沉至SSD及远端存储。
但现有分层并非陆续滑润。G2层DRAM的接见时延处于纳秒级,而G3层NAND SSD则进入微秒级,从几十纳秒到几十微秒,时延相差约三个数量级。为此,行业在DRAM与SSD之间细分出G2.5扩大内存层,通过CXL等技术扩大内存容量,承接仍对时延较为敏赣注但无需持久驻留高成本DRAM的数据。
Ø 为什么必要G2.5层?
G2.5层的出现,性质上来自AI推理对容量、成本和数据分层提出的新要求:
l KV Cache增长带来更大的内存容量压力
通用服务器的内存插槽数量是固定的,单纯依附增长DRAM已难以持续满足内存扩大需要。因而,用成本低于DRAM、容量却更大的介质来补充对高机能内存容量的需要,正成为一种趋向。
l 全数选取DRAM的成本压力持续增长
DRAM固然具备低时延优势,但单元容量成本较高,大规模扩容会进一步增长系统TCO。
l 并非所罕见据都必要持久驻留DRAM
AI负载自身存在显著的冷、温、热分层,KV Cache也拥有肯定的接见稀少性。已有钻研和出产实际批注,部门温数据能够从本地DRAM下沉至扩大内存层,在满足接见需要的同时降低对高成本DRAM容量的依赖。

由此,AI服务器的存储系统起头进一步“变厚”。依照数据从热到冷逐级下沉的逻辑,可进一步细分为:
n G1:GPU HBM——承载模型权沉及活跃KV Cache;
n G2:System DRAM——承接从HBM溢出的内存数据;
n G2.5:CXL扩大内存——位于DRAM与SSD之间,承载温KV、共享KV等仍必要较低时延接见的数据;
n G3:本地SSD/Rack-local Storage——承载更大容量的温数据及KV复用;
n G3.5:机架级或Pod级闪存层——进一步承载大规模高低文和KV Cache,NVIDIA CMX是代表性架构之一;
n G4:远端共享存储——承载冷数据、持久共享及归档数据。
这其中,G2.5层解决的主题问题,是在DRAM与SSD之间增长一个新的容量和机能选择。

02 PCM:DRAM与NAND之间的新型存储介质
那么,G2.5层用什么介质来承载?DRAM机能高,但容量扩大成本较高;NAND具备容量和成本优势,但接见时延显著更高。位于两者之间的PCM,为这一新层级提供了新的介质选择。
Ø PCM是什么?
PCM(Phase Change Memory,相变存储器) 是一种非易失性存储介质,通过相变资料在晶态与非晶态之间转换产生的电阻差距来纪录数据。由于数据状态由资料自身的物相决定,即便断电后仍可维持,因而天然具备数据悠久化能力。

Ø 为什么PCM适合G2.5层?
从存储介质分层来看,存储介质一向在沿着"时延阶梯"演进,分歧介质性质上是在时延、容量、成本和耐久度之间进行弃取。

相较NAND Flash,PCM具备更低的读写时延、更高的写入耐久度,并支持更细粒度的数据接见;相较DRAM,则具备非易失性,并在容量密度和单元容量成本方面形成新的扩大空间。
Ø 为什么PCM与G2.5层高度匹配?
从量化指标来看,3D PCM相较NAND在接见速度、耐久度等关键维度具罕见量级优势;相较DRAM,则在密度和单元容量成本方面形成差距。

因而,PCM并不是为了代替DRAM或NAND,而是在二者之间提供一种新的介质组合∈枞NAND更靠近内存的机能,同时具备比DRAM更大的容量和成本扩大空间,并兼具数据悠久化能力。这与G2.5层所必要的介质特点高度符合。
03 G2.5存储层若何落地:CXL构建扩大内存
有了相宜的介质,还必要解决另一个问题:若何让这部门新增容量以靠近内存的方式进入推算系统?
CXL提供了这一技术蹊径。G2.5层的主题是“扩大内存层”,CXL成立在PCIe物理层之上,通过CXL.mem等和谈提供内存语义接见,使CPU能够通过Load/Store方式接见扩大内存,而不再将其作为传统块存储设备处置。也正因而,G2.5不只是“增长一块更快的存储”,而是在系统中增长一个新的内存扩大层。
Ø 两种蹊径:从本地扩大到内存池化
在CXL框架里,G2.5层有三种典型构建方式:
l 第一种是本地内存扩大
在保留本地RDIMM的基础上,通过CXL将扩大内存(CXL+DRAM或CXL+PCM模组)直接接入CPU,与本地RDIMM共同组成混合内存,这是更左袒单机扩容的蹊径。现实部署中,能够保留本地DRAM承载高频热数据,再通过CXL表挂PCM扩大更大的内存空间,用于承载容量更大、接见频率相对较低的温数据,从而在机能、容量与成本之间获得平衡。
l 第二种是内存池化
在本地扩大基础上进一步引入CXL Switch,将多份PCM或DRAM扩大内存组织成共享资源池,由分歧CPU节点按需接见和分配,实现从单机容量扩大进一步走向跨主机共享与池化。相比本地扩大,这一蹊径能够进一步提升内存资源利用率和配置矫捷性,但也必要Switch芯片、系统规划、资源调度及生态协同共同支持。
l 第三种是GPU直连扩大
如支持CXL 扩大的PCIe Switch 将CXL-PCM直连GPU,让GPU能够直接接见扩大内存,削减绕行CPU带来的转发开销与时延,适合大模型推理中GPU显存受限时,直接卸载KV Cache等温数据。

Ø CXL+DRAM与CXL+PCM:两种介质蹊径
CXL解决的是“扩大内存若何接入系统”的问题,后端选取什么介质,则决定这一层在时延、容量、成本和悠久化上的具体特点。目前重要存在CXL + DRAM与CXL + PCM两类技术组合:

CXL+PCM的意思,并不是代替DRAM,而是与本地DRAM形成新的混合内存配置。
在现实内存部署中,能够保留部门RDIMM承载热数据,同时通过CXL扩大更大容量的PCM空间承载温数据,从而削减全数依附DRAM扩容带来的成本压力。
l 规划对比
一个有代表性的混配组合是:在1TB级内存需要下,保留4条128GB RDIMM承载热数据,再配置1条512GB的CXL-PCM扩大渣滓容量,热数据留在DRAM中保障机能,温数据下沉至扩大内存,在容量和成本之间形成新的平衡。

同样,若保留一样的内存采购成本,将二分之一的DRAM成本代替为CXL内存盘,也能够获得更大的整体可用容量。而当DRAM插槽全数占满、单机容量触及上限时,CXL-PCM还能在槽位之表持续扩大——传统32条128GB RDIMM满配为4TB,选取4条128GB RDIMM加8条512GB CXL-PCM即可达到4.5TB,突破单机4TB上限,且预留28条RDIMM 槽位。


04 Q9电玩官网推动G2.5层产品化布局
面向G2.5层,Q9电玩官网在推动Hima9560 CXL内存扩大主控及有关产品规划,通过CXL衔接PCM介质,将悠久化内存接入推算系统。
基于Hima9560的有关规划选取E3.S状态,容量覆盖512GB/1TB,读写时延为300+ns级,并支持Load/Store接见及数据悠久化,满足AI推理场景下的大容量内存扩大需要。



