华为：2024年EMS弹性内存存储技术白皮书

2024-10-25 17:48| 发布者: 刘火云72 0

摘要: 基于大模型的生成式 AI 技术的重大突破推动了人工智能的应用范围从传统的分类任务扩展至广泛的生成任务，引发了AI应用的爆发性增长，并引领IT产业迈入全新的“AI时代”。随着AI产业的迅猛发展，云计算基础设施也在从 ...

基于大模型的生成式 AI 技术的重大突破推动了人工智能的应用范围从传统的分类任务扩展至广泛的生成任务，引发了AI应用的爆发性增长，并引领IT产业迈入全新的“AI时代”。

随着AI产业的迅猛发展，云计算基础设施也在从以通用算力为核心向以智能算力为核心转变。

在这种新型云计算基础设施中，数据的“算力”和“存力”是相辅相成的。

尽管云数据中心在智能算力方面取得了显著进步，但是在存力方面的不足已成为制约效率的关键瓶颈。

存力问题主要表现在三个方面：持久化存储性能不足、DRAM利用率低、以及HBM内存墙问题。

为解决这些存力问题，华为云推出了全球首创的弹性内存存储服务EMS（Elastic Memory Service），一种以内存为主要存储介质的云基础设施服务。

通过 EMS，华为云将传统的“计算-存储”分离的两层云架构升级为“计算-内存-存储”分离的三层云架构，其中新增的“内存层”即为EMS。

这种新型的三层云架构能有效解决上述存力痛点，从而具有高资源弹性、高资源利用率和高性能等优势。

具体来说，EMS通过以下方式解决三大存力问题：1）作为计算与存储之间的高性能缓存层，使用 DRAM 介质缓存来自HDD和SSD 的数据，显著提升数据访问速度，解决“持久化存储性能不足”问题；2）将AI服务器中的DRAM 资源解耦并池化，形成EMS内存池，实现DRAM资源的按需分配和高效利用，解决“DRAM利用率低”问题；3）扩展AI加速器中的HBM内存，通过DRAM内存容量和带宽的补充，大幅提升AI训练和推理的性能，解决“HBM内存墙”问题。