NineData（叶正盛）：NineData数据复制技术原理与实践跨云10000公里实时数据复制

NineData数据复制技术原理与实践演讲人：叶正盛 NineData 创始人 & CEO跨云10000公里实时数据复制3叶正盛NineData创始人&CEO•资深数据库与云计算领域专家•曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委员会核心成员。•阿里巴巴去 IOE、异地多活、云计算多次技术变革核心成员•构建阿里巴巴&蚂蚁集团数据库DevOps体系•创立了云计算数据传输DTS、数据管理DMS、数据库备份DBS、数据库自动驾驶服务DAS等多款云计算数据库产品目录CONTENTS数据库与数据复制简介数据复制场景与挑战NineData架构与技术实践NineData实践案例▶5数据库与数据复制简介数据库系统分类大图大小SQL强弱数据量NoSQL大数据OLTPOLAP数据库与生态产品数据库引擎OracleMySQLPolarDBMongoDBClickhouse…数据库DevOpsSQL IDE、CI/CD、性能优化、安全NineData 、Navicat、Yearning数据复制数据迁移、同步、ETL、订阅、分享DTS、NineDataDBPaaS资源调度、安装配置、备份恢复、监控告警、HARDSBI数据分析、挖掘、大屏PowerBI、帆软8数据复制核心场景与挑战数据复制场景OLTP ~ OLAP 之间的数据流动OLTP ~ OLTP之间数据流动双活灾备建设应用之间数据流动数据迁移只读库、分析库构建就近访问库构建OLTP ~ 消息系统/搜索等应用数据仓库构建数据湖构建实时分析系统BI系统实时业务分析实时搜索系统应用解耦与数据通信实时缓存系统北京硅谷杭州甘肃远距离实时数据传输(迁移/同步/备份)东数西算全球业务数据迁移上云、国产化、容灾/只读实例、ETL数据迁移、上云MySQL云虚拟机自建MySQLRDS MySQLAurora/PolarDB/TDSQL/GaussDBIDC云厂商数据库（兼容MySQL）同版本、跨版本、远程网络不通、不停机迁移ETLMySQLClickHouseHiveDoris/SelectDBStarrocks异构转换、远距离、实时同步PostgreSQLOracle…转换映射过滤聚合OLTP->OLAP数据容灾、只读实例MySQL挑战：异构转换、远距离、实时同步、跨云MySQLDoris只读实例容灾实例北京（A云）上海（B云）远程实时复制本地异构实时复制数据库国产化功能性能稳定性人才数据库引擎选型结构与全量迁移在线迁移性能稳定性数据迁移复制SQL改写存储过程改写功能测试性能测试应用适配OraclePostgreSQL…(288)商业数据库国产数据库、开源数据库数据复制高度依赖数据库的参数配置、用户权限、版本等因素，不同数据库类型还涉及到结构转换与数据类型转换，极容易出错。数据流动面临多重困难多数据源长地域、长周期链路两端业务分别使用数据非常可能造成数据不一致以及冲突从而导致数据链路中断，如何快速发现以及修复是数据复制必需要考虑的事情。多云互通数据一致性在跨地域或跨境同步时,会面临各种网络状况，如何保证长链路的情况下数据稳定同步是一个非常困难的问题。云厂商往往“宽进严出”，对其他厂商的支持不足或功能非常简单，不满足用户需求，特别是在网络互联及通信案例上鲜有考虑。数据复制挑战市场主要技术产品优势与不足市场技术产品优势不足Kettle、DataX全量数据复制不支持DDL和实时复制CanalMySQL日志解析不支持非MySQL数据库发展较慢云DTS/DRS/DMS重点支持自家数据库IDC自建数据库、跨云、异构转换比较弱GoldenGate重点支持Oracle->Oracle其他数据库较弱，贵NineData数据复制：国产化、多云多源、实时、云原生16NineData设计架构NineData云原生智能数据管理平台应用开发者DBABI开发数据开发业务运营系统管理丰富的数据源、平台支持: RDBMS、NoSQL、数据仓库、大数据自建 IDC云厂商A自建 IDC数据仓库/大数据平台应用消息队列搜索平台托管数据库（开源/自研/国产）自建数据库托管数据库结构迁移数据复制SQL IDESQL审核与发布性能优化数据库DevOps开发规范实时同步ETL全量数据增量数据DDL同步OnlineDDL敏感数据保护结构对比数据对比增量对比AI SQLChatDBADSQL数据追踪流程编排操作审计数据归档导入导出可观测干预高性能断点续传权限配置…NineData数据复制理念Any Where支持IDC、云厂商、各种网络、各个地域，让数据流动不存在阻碍Any Data支持 Oracle、MySQL 、Redis、Doris、达梦等数60种数据源Any TimeSaaS 模式，简单配置，随时可用；强一致实时同步，随时构建复杂灵活的业务场景 NineData 数据复制与对比：数据流动的基础设施Any Whereü 通过分布式云原生技术，与主流云厂商无缝集成ü 业界首个实现了连接多个云、多个区域以及IDC私有网络的数据管理PaaS服务阿里云华为云腾讯云天翼云移动云AWSAzureGoogleCloudNineData本地IDC…私网连接NineData workerNineData workerNineData VPC用户 VPCNineData workerNineData worker用户专属集群本地网络NineData GatewayNineData workerNineData VPC用户 VPCAny Data（支持60多种数据源）NineData让每个人用好数据和云…Any to AnyAny Time（ IDC、 Cloud/弹性升级）断点续传弹性升级NineData Replication ArchitectureCDC ReaderMeta Muti Version CacheCDC WriterMQ StoreFull Data Replication(mapping/filter…)Schema Replication（table/view/procedure…）Task ConfigTask log & MetricsSub TaskNineData Replication Task1Schema ComparisonFull Data ComparisonCDC ComparisonDatasourceNineData Replication Task2User ConsoleTask Schedule（Kubernetes)Admin ConsoleOpen APIDatasourceMonitor StoreGatewayCloud LinkGatewayCloud LinkIDC阿里云腾讯云华为云百度云移动云AWSGCP…23NineData技术实践很少产品能做到生产可用高性能、高可用高性能实时数据复制（MySQL->MySQL）实时数据复制MySQLMySQL全量迁移：116MB/s增量迁移：8万行/秒测试数据库：ECS 4c32G/SSD•CDC日志解析（binlog）•DDL支持（自研SQLParse）•分片读取与写入•数据压缩•多线程S