人工智能领导者数据策略：建造互操作湖屋

人工智能领导者数据策略建造互操作湖屋目录 | 2目录构建互操作湖屋前言：人工智能时代需要互联互通的架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 数据架构难题：为什么企业停滞不前（或 思考 他们（是） . . . . . . . . . . . . . . . . . . 重新思考建筑——从数据孤岛到开放的、互操作的数据湖 . . . . . . . . . . . . . . . . 6 无妥协连接数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 声明式数据处理实现规模简化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 治理安全与信任的人工智能时代 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17种可互操作的数据湖架构模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 企业湖仓的商业模式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第25节：建筑师的力量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 序言构建互操作湖屋前言：人工智能时代呼唤互联架构 | 3但有一条更好的方法，那就是结合两种优点的架构，它既能够根据每个数据客户的喜好提供灵活的配置，又能保持数据中心所有权、普遍的治理以及提供人工智能准备能力。请进入可互操作的数据湖屋。将数据准备为人工智能使用，然而，需要经过多个流程和考虑。这包括标准化元数据、跟踪所有数据源的可追溯性和质量检查，所有这些都在努力使数据始终清洁、精心整理、标记、可访问并在系统间进行管理。但在实践中，许多企业最终拥有跨越系统、云和地区碎片化和重复的数据资产，这使得其难以扩展，几乎无法进行管理。看到公司利用不同的数据仓库、数据湖和引擎并不罕见，因为每个团队或业务单元都是孤立地构建其架构，以在首选的堆栈上标准化。这种方法迫使中央数据团队在平台之间切换或创建薄弱的联系。人工智能时刻需要互联架构当今，企业正面临人工智能的命令式，即要从使用人工智能中寻求可衡量的价值与效率的压力。他们正在超越实验阶段，进入生产阶段，最终发现成功的AI并非从模型开始——而是从数据开始。这正是为何以信心迎接这一时刻的关键恰恰在于您数据基础设施的准备好程度。湖泊屋建筑模式并非新概念，但传统方法缺乏让组织完全掌控其数据的根本机制。双向互操作性意味着能够安全地将任何引擎带入你的数据或访问任何数据以进行读写操作。可互操作的湖泊屋建立在开放标准之上，旨在实现供应商中立连接，企业可以自由构建而不妥协——在一个平台上实现无缝互操作性、加强治理并解锁企业级AI。 构建互操作湖屋但是，这里有个问题：这是一个错误的选择。数据分析架构困境：为何企业陷入困境（或认为自己是）| 4本质上，这些系统创建了一个反应式维护循环，迫使数据工程师充当成语中的消防员，仅仅希望在全面火灾爆发前跟上每一场新火势。而且随着复杂架构在多个引擎和多个云中蔓延，这些系统可以造成巨大的运营阻力。这意味着当一个系统出现故障时，他们会打开一道又一道门，只是寻找通向问题的正确途径。在某些情况下，他们只是最终建立了一条新路径，这是一种短期解决方案，通常会导致脆弱、昂贵且耗时的管道，这些管道依赖于数据复制。这不仅会引起对真相来源的无谓困惑，还限制了人工智能的效果和准确性。实际上，缺失的遗产湖屋方法实际上是可以实现的：一个连接但开放的数据和治理基础，为团队提供选择他们喜欢的引擎和工具的灵活性，同时集中治理和语义。数据架构难题：企业为何停滞不前（或认为自身处于停滞状态）这通常导致建筑师在需要大量运营开销的灵活DIY基础设施和强制一定程度的供应商锁定管理的解决方案之间做出选择。任何一种选择都伴随着重大的权衡——最显著的是可靠性和成本。随着组织规模的扩大，看到各个团队为满足自身特定需求建立流程并不罕见。营销和销售可能会转向数据仓库，而数据科学则优先考虑数据湖。再加上企业级SaaS工具的庞大生态系统，如Workday和Salesforce，它们都在产生对商业AI项目至关重要的数据。然而，结果却是，现代技术栈与其说是堆叠，不如说是迷宫。每个新工具都增加了整体系统的复杂性，尽管它可能必要地在一个区域上减少了摩擦。但随着每一次技术升级和在每个新层上增加，工程团队很快就会意识到他们陷入了一个由碎片化系统构成的复杂迷宫中。 数据架构难题：企业为何停滞不前（或以为如此）| 5构建互操作湖屋在这本书中，我们将探讨开放且可互操作的数据湖屋——作为一个概念，其起源以及一些旨在帮助企业成功利用人工智能而非仅仅对其做出反应的最佳实践。我们将探讨支撑这一架构的三个基本支柱——双向互操作性、规模化简化和人工智能的通用治理——所有这些都是为了展示专为使任何企业人工智能就绪而设计的湖屋几乎无限的威力。我们将分享真实企业如何通过在Snowflake上建立正确的湖屋基础来实现人工智能投资回报率的故事，并从我们的主要云合作伙伴亚马逊网络服务（AWS）、谷歌云和微软那里提供见解和架构模式。这本实用指南旨在向你们展示企业数据中心湖如何帮助让人工智能的实现更加头痛减少、成本更低。我们将展示企业如何重新获得对本数据中心资产的完全所有控制权，摆脱那种所谓的迷路的恐惧。 那么，什么是可互操作的数据湖屋呢？构建互操作湖屋重新思考建筑 —— 从数据孤岛到开放的、可互操作的湖屋 | 6重新思考建筑——从数据孤岛到开放的、互操作的湖屋许多企业今天都在过多信息的问题上挣扎。整理这一切很容易感觉像是一场西西弗斯的劳作，无穷无尽地管理着结构化数据的数据库，同时还有非结构化图像、视频或文档的数据湖。在实践中，这往往导致更多的隔阂，迫使架构师陷入复杂性。然而，随后湖屋（lakehouse）的出现有助于解决这些问题——带来了性能、灵活性、成本效益以及降低供应商锁定风险的前景。 数据仓库 vs. 液态屋 vs. 数据湖构建互操作湖屋这种能够