基于DPU的新一代存算分离存储架构：重构数据中心存储范式

[编号 ODCC2505006]基于数据处理器 (DPU)的新一代存算分离存储架构：重构数据中心存储范式品然》地2025年9月前言在当今数字化时代，数据中心面临着前所未有的挑战。随着人工智能、大数据和云计算的快速发展，传统存储架构已经难以满足日益增长的数据处理需求。特别是在 AI 大模型训练和推理等场景下，存储系统的性能、可扩展性和效率成为了关键瓶颈。近年来，存算分离架构作为一种创新的解决方案，正在引起业界的广泛关注。这种架构将存储资源与计算资源解耦，为数据中心带来了更高的灵活性和效率。其中，以 VAST Data 为代表的"Share Everything"架构已经在市场上取得了显著成功，证明了存算分离的巨大潜力。然而，随着技术的进步，一种更为先进的存算分离方案正在崭露头角——基于数据处理单元（DPU）的存算分离架构。这种新型架构不仅继承了传统存算分离的优势，还通过引入专门的硬件加速器，进一步提升了存储系统的性能和效率。本文将深入探讨基于 DPU 的存算分离存储架构，分析其技术原理、优势特点，并探讨其在现代数据中心中的应用前景。我们将以 NVIDIA BlueField-3 DPU 为例，详细介绍这种新型架构如何重塑数据中心的存储范式，为 AI、云计算等领域带来革命性的变革。图 1：数据中心存储需求增长趋势图本文将重点介绍： 当前数据中心存储面临的挑战和局限 存算分离架构的基本原理和优势 基于 DPU 的存算分离方案的技术创新 新型存储架构在不同应用场景中的潜力目录一、 现有存储架构分析 .............................................. 1二、 数据处理器（DPU）技术与存算分离 ............................... 5（一） 数据处理器（DPU）技术简介 ................................5（二） NVIDIA BlueField-3 DPU 关键特性 .......................... 6（三） 基于 DPU 的存储架构设计 ...................................9三、 数据处理器（DPU）技术与存算分离 .............................. 21（一） CSAL QLC 加速方案 .......................................21（二） SRIOV 加速方案 .......................................... 31（三） 分布式 Raid 加速方案 .....................................40四、 存储系统方案案例 ............................................. 46（一）HDFS .....................................................46（二）BeeGFS ...................................................55五、 总结与展望 ................................................... 63（一）技术创新总结 .............................................63（二）技术方案价值 .............................................64（三）产业影响与应用前景 .......................................65（四）发展趋势与技术展望 .......................................65（五）结语 .....................................................65六、 参考文档 ..................................................... 66基于数据处理器（DPU）的新一代存算分离存储架构：重构数据中心存储范式研究报告（ODCC2505006）1一、 现有存储架构分析在深入探讨基于 DPU 的存算分离架构之前，我们需要分析现有分布式存储架构的局限性，以便更好地理解新型架构带来的革新。（一）传统分布式存储架构的局限在传统分布式存储架构中，一个突出的问题是 CPU 资源与存储资源（特别是 NVMe SSD）之间的错配。在资源配比问题主要体现在以下三个方面：资源配比困境：在实际部署中，传统分布式存储架构经常面临资源配比的两难困境。一方面，为了满足存储系统中的数据压缩、加密和副本同步等计算需求，往往需要配置高性能 CPU。然而，当存储容量和 IO 需求相对较小时，这些高性能 CPU 的计算能力就会出现严重浪费。另一方面，当系统需要部署大量 NVMe SSD 以满足存储容量需求时，现有的 CPU 处理能力又往往跟不上这些高性能存储设备的 IO 处理要求，导致昂贵的 NVMe SSD 性能无法充分发挥。这种CPU 与存储资源之间的不匹配，直接影响了系统的整体效能。资源利用率问题：资源利用率问题在不同应用场景下表现各异。在存储密集型场景中，系统频繁进行 IO 操作，CPU 需要处理大量的存储相关任务，很容易达到处理瓶颈。此时，即便配备了高性能的NVMe SSD，其性能也无法被充分发挥，因为 CPU 已经成为了限制系统整体性能的关键因素。相反，在计算密集型场景下，CPU 主要用于处理业务计算任务，存储设备的容量和 IO 能力往往处于闲置状态，造成了存储资源的浪费，降低了硬件投资的使用效益。基于数据处理器（DPU）的新一代存算分离存储架构：重构数据中心存储范式研究报告（ODCC2505006）2成本效益影响：这种资源配比失衡对系统的成本效益产生了深远影响。在硬件成本方面，由于难以实现 CPU 和存储资源的最优配比，企业不得不过度配置某些资源以确保系统正常运行，这直接导致了设备采购成本的增加和能耗效率的降低。在运维成本方面，运维团队需要频繁调整资源配比以应对不同的业务需求，使得扩容规划变得异常复杂。同时，资源利用率的低下也意味着企业需要投入更多的人力和物力来维护和优化系统，进一步推高了总体运营成本。这些问题的根源在于传统分布式存储架构将计算和存储资源绑定在同一个服务器节点上的设计理念。这种紧耦合的设计方式使得系统难以根据实际需求灵活调整资源配比，最终导致资源利用效率低下，运维成本居高不下。这也正是推动存储架构向存算分离方向演进的重要动力之一。（二）存算分离架构随着数据中心规模的不断扩大和应用需求的日益复杂，传统分布式存储架构的局限性日益凸显。为了突破这些限制，存算分离架构应运而生。这种新型架构的核心思想是将存储资源与计算资源解耦，使它们能够独立扩展和管理，从而实现更高的灵活性和效率。基于数据处理器（DPU）的新一代存算分离存储架构：重构数据中心存储范式研究报告（ODCC2505006）3图 3：存算分离