迈向智能世界白皮书2023，数据新范式，释放AI新动能

迈向智能世界白皮书2023数据新范式，释放AI新动能数据存储 1数据存储序言今天AI大模型是一个非常热的话题，如果说我们把机器智力的发展跟人类过去文明和智力的发展进行类比，有很多相似之处。人类出现在地球上，有几十万年的历史，但是真正人类文明的高速发展也就几千年。这里边最关键的是文字的出现，我们可以记录我们的经验和知识，而且记录下来之后可以群体性地进行学习、复制、演进、发展，这就导致了我们人类社会文明在这几千年当中高速地发展。那么同样的，AI机器文明的发展会怎么样。我们可以看到，今天机器已经有了很好的算法，这个算法可以使得机器能够学习，但是更重要的是学习的素材在哪里。所以有一句话叫做缺数据、无AI，我觉得这句话是非常重要的，它跟人类的历史也恰恰是一样的。如果说我们仅仅只有一个方法论，但是缺乏知识库，缺乏语料库，那么所有的AI大模型本质上是没有意义的。我们必须喂给它知识库、语料库，它才能够针对我们的场景形成咨询师，形成编程机器人，形成客服机器人，让它具有自己学习的大脑。因此在整个系统当中，除了算这一部分，把我们今天的信息进行数字化存储，变成知识库，让这些知识库用的更好，这一点也需要引起足够的重视。2数据存储周跃峰华为数据存储产品线总裁所以我们认为，企业在未来AI时代要持续领先，一个很重要的基础就是必须具备先进的以数据存储为核心的数据基础设施。华为公司在数据存储产业上的大规模投入超过十年，产品已进入全球超过150个国家和地区，广泛服务于运营商、金融、政府、能源、医疗、制造、交通等多个行业超过25000家客户。通过与业界专家、客户和伙伴深入交流，我们编写了这份《迈向智能世界-数据存储》白皮书报告，结合近期火热的AI大模型话题，从新应用、新数据、新安全、新技术、绿色节能五个方面，展望数据存储的发展趋势与行动建议。我相信这是一次有意义的探索，将凝聚更多的产业力量共同推进数据存储产业的发展。过去三十年，数据存储一直是高价值数据的最佳底座，新技术、新应用产生的数据源源不断地汇入数据海洋，华为数据存储愿与产业各方更加紧密携手努力，汇聚产业力量，共创数据存储美好未来。序言目录执行摘要010305展望一AI大模型展望三分布式数据库展望二大数据展望四 云原生新应用新应用新应用新应用08192428展望五 非结构化数据新数据333目录数据存储数据存储446展望八以数据为中心的架构新技术新技术展望九AI赋能存储49绿色节能展望十 存储绿色节能54新安全新技术展望六存储内生安全37展望七 全场景闪存普惠42 63附录5执行摘要AI大模型已超出人类想象的速度，将我们带入智能世界。算力、算法、数据构成了AI的三要素。算力、算法是AI大模型时代的工具，数据的规模和质量才真正决定了AI智能的高度。数据存储将信息变为语料库、知识库，正在和计算一起成为最重要的AI大模型基础设施。以AI大模型为代表的企业智能化应用，正在和经典数据库应用形成并驾齐驱乃至超越之势。每一次应用的变革，都伴随着数据基础设施架构的演进。高可靠、高性能、共享的数据存储，成为以Oracle为代表的数据库的最佳数据基础设施。新的企业智能化应用从量变进入质变阶段，正在形成新的数据范式。面向未来，我们对企业数据存储进行了如下展望：AI大模型将AI带入新的发展阶段。AI大模型需要更高效的海量原始数据收集和预处理，更高性能的训练数据加载和模型数据保存，以及更加及时和精准的行业推理知识库。以近存计算、向量存储为代表的AI数据新范式正在蓬勃发展。大数据应用经历了历史信息统计、未来趋势预测阶段，正在进入辅助实时精准决策、智能决策阶段。以近存计算为代表的数据新范式，将大幅提升湖仓一体大数据平台的分析效率。以开源为基础的分布式数据库，正在承担越来越关键的企业应用，新的分布式数据库+共享存储的高性能、高可靠架构正在形成。多云成为企业数据中心新常态，企业自建数据中心和公有云形成有效互补。云计算的建设模式从封闭全栈走向开放解耦，从而实现应用多云部署、数据/资源集中共享。以容器为基础的云原生应用，从无状态应用走向有状态应用，数据存储一方面要提升资源发放效率，更重要的要承载全新的云原生应用。存储即服务的商业模式，正在从公有云走向企业数据中心。121234数据存储680%的企业新增数据是非结构化数据，AI大模型正在加速海量非结构化数据进入生产决策系统，全闪分布式存储成为海量非结构数据最佳数据基础设施。AI大模型应用聚集海量企业私域数据，数据安全风险剧增。构建包括存储内生安全在内的完整数据安全体系，迫在眉睫。全闪存存储以高性能、高可靠、更优的TCO，不仅实现对高性能机械硬盘的替代，也将实现对大容量机械盘的替代，从而打造全闪存数据中心。AI大模型推动数据中心的计算、存储架构从以CPU为中心走向以数据为中心，新的系统架构、生态正在重新构建。AI技术正在越来越多地融入在数据存储产品及其管理，从而大幅改善数据基础设施的SLA水平。绿色节能从产业牵引进入实施执行阶段，占数据中心能耗30%的数据存储，能耗指标正在纳入建设标准。数据存储6578910123面向以AI大模型为代表的企业智能化新应用，新的数据基础设施架构也正在逐渐形成。为了构建大模型时代最佳的数据基础设施，我们建议：企业数字化从以应用创新为主，转向应用和数据基础设施的协同创新，充分发挥数据潜力。针对AI、大数据、分布式数据库、云原生应用，建设新应用和数据存储的联合设计团队，共同打造最佳的数据基础设施。坚定不移地推进新应用的存算分离架构，充分发挥应用、存储的专业能力，实现强强联合。7探索以数据为中心的新存储系统架构；构建新的数据范式，推动数据存储支持近存计算、新的数据格式、新的数据访问协议、高性能应用数据缓存。新架构和新范式的组合优化，将大幅提升数字化新应用的效率，让新应用拥有更高的SLA，并尽量降低传统应用的改造成本。企业核心的竞争力应用部署在企业自建数据中心，不确定性创新业务根据需要可以尝试公有云。云的建设模式逐渐向应用多云部署、数据/资源集中共享的分层解耦模式演进。面向容器为基础的云原生应用，联合应用开发团队和数据存储团队，构建云原生应用最佳实践。依据企业的战略、经营情况、未来预测，不盲从，综合对比、选择合适的商业模式，并选择合适的MSP、存储厂商合作伙伴。加速全闪存存储的应用，采用以数据为中心的新架构存储、高密硬件、数据缩减、系统融合、海量非结构化数据治理等技术，降低海量数据的TCO，打造绿色低碳的数据中心。将数据存储团队加入数据安全联合团队，制定数据存储内生安全标准，构建数据安全的最后一道防线。积极尝试AI使能的数据存储产品及其管理，提升团队人员AI技能，从而大幅改善数据基础设施的SLA水平。45678数据存储 8AI大模型新应用展望一数据存储9缺数据，无AI随着GPU算力、AI算法的迅猛发展，以生成式AI为代表的AI大模型时代已经来临。其在对话、知识反馈等方面已远超过普通人类水平，更将颠覆互联网、制造、金融、媒体等千行百业。当前，AI大模型的第一波浪潮已经开始，作为企业IT建设的决策者，需要正视并主动拥抱变化，探索企业如何利用好大模型赋能生产、提升效率。趋势AI的发展远超过预期2022年末，当OpenAI发布ChatGPT时，没有人能