多云世界数据蓝图

专家洞察 多云世界数据蓝图 IBM 商业价值研究院扫码关注 IBM 商业价值研究院 官网 微博 微信 微信小程序主题专家 Tony Giordano CBDS 数据平台服务 高级合伙人兼副总裁 IBM Services 全球主管 linkedin.com/in/ tony-anthony-giordano-3111091 tonygior@us.ibm.com Mehdi Charafeddine IBM Services 副合伙人， 解决方案主管架构师 linkedin.com/in/mehdichara mchara@ibm.com Dan Sutherland IBM Services 数据平台 杰出工程师，首席技术官 linkedin.com/in/ dan-sutherland-4661a67 dsutherl@us.ibm.com Becky Carroll IBM Services 认知业务决策支持， 认知与分析 副合伙人 linkedin.com/in/beckycarroll rlcarrol@us.ibm.com Tony 在绩效营销、大数据和分析、信息监管、客户关系管理和项目管理方面拥有超过 25 年的全球专业服务经验，并且在金融服务、生命科学、零售和汽车等领域拥有丰富的行业经验。他撰写过两本关于信息管理的书籍。 Mehdi 是一位技术领导，在实施大型复杂项目方面声誉卓著，他善于从全新角度看待问题，运用新方法解决问题。Mehdi 还是开源技术的忠实拥护者，不断探索对客户具有潜在价值的新技术。这既需要对软件有深入的了解，还要准确掌握 IBM 客户能够接受的风险 / 回报率。 Dan 擅长帮助客户将战略业务愿景转变为创新解决方案，同时，还不断探索边缘技术。他是解决复杂数据架构和设计问题的能手，定期提供咨询服务，对象主要是以海量数据为中心的大型项目，通过建议项目的关键组成部分，即坚实可靠的数据架构和设计方法，确保成功实施解决方案。 Becky 在帮助大型企业的业务领导将传统业务流程转变为新业务模式方面，拥有超过 25 年的丰富经验。她曾领导过多个项目，涵盖大数据和分析、认知和人工智能、数字和社交业务战略与分析、CRM 以及客户服务等领域。Becky 的工作涉及众多行业，包括高科技、电信、娱乐与媒体、金融服务、航空公司、汽车、工业品、生命科学、游戏、教育等。Becky 拥有电子工程和计算机科学的学士学位以及营销管理的工商管理硕士学位。计划周详、执行有力的数据战略有助于避免多云环境中出现令人措手不及的意外情况。 谈话要点 管理多个云环境中的应用和数据的数据战略和架构对于当今在多云环境中运营的企业而言至关重要。 业务驱动的数据战略应当与企业不断发展的多云架构全面整合防止出现数据孤岛，避免应用难以访问。 强大的数据战略应专注于业务转型机遇避免被任何特定的云“锁定”，并使用 DataOps 方法自动为数据科学家执行准备工作，从可用数据中获得尽可能多的信息。 在多云世界中移动数据 随着越来越多的企业从初步尝试转为深入采用云技术，他们都体验到了多云环境的优势和挑战。多云环境的优点显而易见：有助于提升创新能力，改进产品和服务，并实现敏捷的业务流程。1 事实上，IBM 商业价值研究院 (IBV) 最近的一项调研表明，全球 85% 的受访企业已经在多云环境中开展运营。2 到 2021 年，96% 的受访企业计划使用多个云环境。3 众多企业正在将其自身重塑为“数字化”企业，将人工智能 (AI) 置于重要业务流程的核心。随着数字化的不断推进，业务重心会逐渐向多云环境偏移，因为通常需要从不同的云供应商那里获得基于云的服务。但是这种迁移绝不仅仅是将现有架构迁移到云端的新位置那样简单。 每个云供应商都有自己的架构方法。每个供应商组织数据的方法可能与其他云环境并不兼容。如果精心设计的战略没有考虑到解决这种不兼容问题，那么企业可能会遇到性能不理想以及成本高于预期的情况。 挑战的根源在于数据的性质及其快速增长。当企业增加所使用的服务和应用的数量时，数据会呈指数级增长。但真正的问题并不在于数据的数量，而在于数据所在的位置。数据所在位置通常取决于收集和创建数据的位置。 1 2% 24% 68% 70% 9% 28% 数据整体架构有助于在整个企业范围实现更理想的数据可视性和可用性。 这种由不同的业务单位或职能部门创建的分散数据被称为“数据孤岛”。孤岛的存在严重影响了数据的易用性。数据可能重复，但以不同的方式组织，因此很难相互关联。由于收集数据的方式不同，可能导致数据出现不一致。企业中其他部门的应用可能不知道这些数据的存在，或者无法访问这些数据。 由于几乎所有企业很快都将开始多云环境运营，因此随着企业将流程、应用和数据包分散到多个云环境中，内部数据孤岛造成的负面影响将会不断加剧（见图 1）。 图 1 98% 的受访组织表示，他们计划在未来三年内使用混合云环境 0-1 个云环境 2-9 个云环境 超过 10 个云环境 目前 未来 3 年 来源：IBV 2018 年多云管理调研，Q2 和 Q3。 Q2 你们整个企业目前使用多少个云服务和平台？ Q3 您计划未来三年内在整个企业中使用多少个云服务和平台？ 2 这些新情况引出了一个重要问题：企业如何才能成功地应对多云环境运营所带来的复杂性、高成本和延迟问题？ 答案是什么呢？那就是在多云世界中定义“数据整体架构”，也成为“数据蓝图”。 数据整体架构帮助企业轻松驾驭多个云环境 数据整体结构 (data fabric) 是数据资产组织方式的概念性表示或架构。这种蓝图是正式的结构，用于在整个企业中定义和查看数据，并且独立于任何特定的基础架构或云计算 需求。 数据整体架构有助于在整个企业范围实现更理想的数据可视性和可用性。它用于指导如何维护和监管数据。它基于这样一个概念：业务流程可能随时发生变化，但支撑它们的数据一直保持稳定。 数据被分组到称为“中心”或“湖”的集合中，以实现可视性和可访问性。数据整体架构有助于避免或缓解数据孤岛、低可靠性和低可扩展性、依赖于原有系统以及成本效率低下等问题。但是要在多云环境中有效开展工作，数据整体架构必须能够适应不同的使用模式。 下面我们举三个例子，展示企业如何在不同的云环境中分配工作负载、应用和数据。 管理平台 部署平台 用户体验服务 统筹服务 内容服务 洞察服务 数据管理服务 数据中心组件 使用层 统一层 原始数据采集层 Relational HDFS Parquet Hive Mongo Columner 快速采集服务 实时数据采集 批量采集 安全 IBM Cloudpak AWS 示例 1 在第一个例子中，一家公司希望使用 AWS 中已有的数据来运行 IBM Cloudpak 中提供的分析包。它的数据采集和管理服务图 2 通过架构组件在整个多云环境中管理数据 3 位于一个云环境中，只有一个特定的分析服务从另一个云环境调用这些数据（见图 2）。 Relational HDFS Parquet Hive Mongo Columner 管理平台部署平台 用户体验服务 统筹服务 内容服务 洞察服务 数据管理服务 数据中心组件