湖仓一体技术与产业研究报告+【最终版】

湖仓一体技术与产业 研究报告 (2023 年) CCSA TC601 大数据技术标准推进委员会 2023年6月 版权声明 本报告版权属于 CCSA TC601 大数据技术标准推进委员会，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：CCSA TC601 大数据技术标准推进委员会”。违反上述声明者，本院将追究其相关法律责任。 编制说明 本报告的撰写得到了大数据领域多家企业与专家的支持和帮助，主要参与单位与人员如下。 参编单位：大数据技术标准推进委员会、中国移动通信集团山东有限公司、威海市商业银行、阿里云计算有限公司、腾讯云计算（北京）有限责任公司、华为云计算有限公司、北京镜舟科技有限公司、北京飞轮数据科技有限公司、科大讯飞股份有限公司、中兴通讯股份有限公司、天津南大通用数据技术股份有限公司、杭州数梦工场科技有限公司、杭州比智科技有限公司、北京数势云创科技有限公司、浙江数新网络有限公司、北京百度网讯科技有限公司、北京滴普科技有限公司、北京科杰科技有限公司、北京偶数科技有限公司。 参编人员：魏凯、姜春宇、闫树、马鹏玮、田稼丰、刘彦美、朱祥磊、高鹏、魏冲、刘一鸣、孔亮、林楠、王宁、崔潇扬、杨勇强、汪定新、王涵毅、白雪、赵峰、汤雅琴、伍攀、陈关良、赵青柏、谢辉、高经郡、张立群。 前 言 数据平台是能够为企业提供数据分析能力、支撑上层数据应用、助力企业数字化转型的底层基础设施，它包含数据存储、数据计算分析等能力的一套基础设施，通过汇聚各方数据，提供“采-存-算-管-用”全生命周期的软件支撑。经过数十年的发展，数据平台架构持续演进，主要经历了数据库、数据仓库、数据湖三个阶段。 如今，数据仓库和数据湖是数据平台最广泛的两种架构：数据仓库具备规范性，可针对结构化数据进行集中式的存储和计算，但无法处理半结构化与非结构化数据，且其扩展能力有一定局限性；数据湖具有更好的扩展能力，能够灵活支持对于多种类型数据的高效取用，但不支持事务处理，缺乏一致性、隔离性，数据质量难以保障。数据仓库和数据湖是两套相对独立的体系，各有优劣势，无法相互替代。 为满足多种数据类型存储、多场景分析等业务诉求，企业采用数据湖+数据仓库混合架构。“数据湖+数据仓库”混合架构满足了结构化、半结构化、非结构化数据高效处理需求，解决了传统数据仓库在海量数据下加载慢、数据查询效率低、难以融合多种异构数据源进行分析的问题，但也存在混合架构复杂，开发运维难度大、成本高，数据处理链路长时效低等问题。 湖仓一体是指融合数据湖与数据仓库的优势，形成一体化、开放式数据处理平台的技术。通过湖仓一体技术，可使得数据处理平台底层支持多数据类型统一存储，实现数据在数据湖、数据仓库之间无缝调度和管理，并使得上层通过统一接口进行访问查询和分析。 自 2021 年“湖仓一体”首次写入 Gartner 数据管理领域成熟度模型报告以来，随着企业数字化转型的不断深入，“湖仓一体”作为新型的技术受到了前所未有的关注，越来越多的企业视“湖仓一体”为数字化转型的重要基础设施。湖仓一体平台的建设解决了流批一体面临的原子事务、一致性更新以及元数据性能瓶颈等问题，使得湖仓一体平台的构建既能满足短期业务发展的需要，又能支撑长期的数据应用诉求。 为给社会各界深入了解湖仓一体技术与产业提供有价值的参考。本报告聚焦于湖仓一体技术，详细梳理了数据平台发展历程、湖仓一体实践路径，研究分析了湖仓一体产业现状，并对湖仓一体未来发展进行了展望与研判。由于时间仓促，水平所限，错误和不足之处在所难 免 ， 欢 迎 各 位 读 者 批 评 指 正 ， 意 见 建 议 请 发 送 至liuyanmei@caict.ac.cn。 目 录 一、湖仓一体是数据平台发展的重要趋势................................................................ 1 （一）数据平台的发展历程 .................................................................................... 1 （二）数据湖、数据仓库特性分析 ........................................................................ 3 （三）湖+仓混合业务架构存在四大痛点 .............................................................. 4 （四）湖仓一体技术应运而生 ................................................................................ 6 二、湖仓一体实践路径.............................................................................................. 10 （一）湖上建仓 ...................................................................................................... 11 （二）仓外挂湖 ...................................................................................................... 13 三、湖仓一体产业及应用现状.................................................................................. 14 （一）湖仓一体主要厂商和代表产品 .................................................................. 15 （二）湖仓一体在互联网、电信、金融等信息化程度高的领域应用程度高 .. 17 四、结论与展望.......................................................................................................... 19 附录：典型案例.......................................................................................................... 21 图 目 录 图 1 数据平台发展历程图........................................................................................... 1 图 2 湖+仓混合架构图 ........................................