蚂蚁金服：数据分析平台演进及数据分析方法应用

w w w. a n t f i n . c o m* 仅限内部交流使用 如果需要公开，请联系文档作者演讲⼈人：杨军 @蚂蚁⾦金金服-数据平台部数据分析平台平台演进及数据分析⽅方法应⽤用w w w. a n t f i n . c o m* 仅限内部交流使用，如果需要公开，请联系文档作者⽬目录.CONTENTS• 怎么来：数据分析平台演进历史• 怎么做：数据分析平台3.0详解PART / 03PART / 02• 做什什么：数据分析领域简介PART / 01• 我是谁：个⼈人简介• 我们是谁：数据平台部简介• 能⼲干什什么：数据分析驱动数据分析平台性能优化PART / 04* 仅限内部交流使用，如果需要公开，请联系文档作者02 数据平台部简介(1/3)RDSOB⽇日志消息OSS⽂文件数据同步DB⽇日志解析同步 （DRC）⽇日志⽂文件同步 （SLS）通⽤用同步⼯工具 （DataX）同步中⼼心 （DTM）

批量量计算（ODPS，Spark，Raya）

实时流式计算（Kepler，Spark Streaming）
  机器器学习（PAI，TensorFlow）⼀一站式数据研发平台⼀一站式AI研发平台业务运营及PD分析师数据科学家业务技术数据应⽤用报表展示 （知数据APP）数据分析 （DeepInsight）挖掘预测 （PAI）数据决策 （DecisionX）……数据采集与传输数据存储与计算数据应⽤用与消费* 仅限内部交流使用，如果需要公开，请联系文档作者02 数据平台部简介(2/3)基础框架多环境适配租户/账户体系权限流程数据源……核⼼心能⼒力力数据安全隐私保护数据质量量元数据中⼼心数据治理理……数据引擎任务执⾏行行与调度引擎数据科学引擎决策服务引擎数据⼯工作台外部数据采集平台 （全球数据爬取）数据资产管理理平台 （资产规范、搜索）数据研发平台 （多引擎，批流合⼀一）数据分析平台 （多维分析，智能洞洞察）数据决策平台 （敏敏捷决策）数据实验平台 （ab实验，分析）蚂蚁数据⻔门户、知数据APP……⼈人群画像平台、位置服务平台……开发者中⼼心……⽀支付芝麻⽹网商财富保险微贷全球化云数据实验室DataOS内核DataOS桌⾯面业务场景* 仅限内部交流使用，如果需要公开，请联系文档作者02 数据平台部简介(3/3)每⼀一个微⼩小的念头 都值得⽤用数据浇灌w w w. a n t f i n . c o m* 仅限内部交流使用，如果需要公开，请联系文档作者数据分析02 数据分析领域体系化结构* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者01 身边的数据分析* 仅限内部交流使用，如果需要公开，请联系文档作者⾏行行动决策02 数据分析领域数据描述型分析发⽣生了了什什么？诊断型分析为什什么会发⽣生？预测型分析将会发⽣生什什么？指导型分析我需要做什什么？决策辅助⾃自动决策⼈人⼯工（⼈人为中⼼心）⾃自动（机器器为中⼼心）分析阶段* 仅限内部交流使用，如果需要公开，请联系文档作者⾏行行动决策02 数据分析领域数据描述型分析发⽣生了了什什么？诊断型分析为什什么会发⽣生？预测型分析将会发⽣生什什么？指导型分析我需要做什什么？决策辅助⾃自动决策⼈人⼯工（⼈人为中⼼心）⾃自动（机器器为中⼼心）分析阶段人工参与越来越少机器参与越来越多价值越来越大复杂度越来越高Hindsight-Insight-Foresightw w w. a n t f i n . c o m* 仅限内部交流使用，如果需要公开，请联系文档作者数据分析平台03 蚂蚁数据分析平台演进及技术详解* 仅限内部交流使用，如果需要公开，请联系文档作者01 传统数据分析流程与⽭矛盾数据采集报表需求数仓建模ETL数据回流报表展示PDETL技术ETL技术ETL技术ETL技术服务端技术前端技术* 仅限内部交流使用，如果需要公开，请联系文档作者01 传统数据分析流程与⽭矛盾数据采集报表需求数仓建模ETL数据回流报表展示PDETL技术ETL技术ETL技术ETL技术服务端技术前端技术需求多需求易易变开发资源瓶颈流程⻓长需求落地周期⻓长* 仅限内部交流使用，如果需要公开，请联系文档作者02 数据分析平台2013 V1.0&
"%  '% "% #SQL$SQL '$Cube&(&&Higo'!Garuda'!OracleRacJDBC
#Cube% * 仅限内部交流使用，如果需要公开，请联系文档作者03 数据分析平台1.0新的⽭矛盾分析功能不不⾜足靠ETL加⼯工星型模型、雪花模型不不⽀支持明细处理理函数不不⽀支持需要ETL加⼯工ETL资源瓶颈分析性能不不⾜足靠半⾃自动回流数据能⼒力力与业务⼯工作台分裂ODPS即时分析性能不不⾜足⽤用户⼈人⼯工回流数据到其他数据源⽤用户⻔门槛较⾼高依赖ETL资源数据分析平台独⽴立系统⼩小⼆二有⾃自⼰己的业务⼯工作台数据能⼒力力与业务⼯工作台分裂⽤用户切来切去* 仅限内部交流使用，如果需要公开，请联系文档作者04 数据分析平台2014-2016 V2.0&
'Digger Server Base on Mondrian(#ROLAPODPS#$## RDSGaruda##!SQL "%
Ad-hocMDX* 仅限内部交流使用，如果需要公开，请联系文档作者05 重新定义新分析洞洞察(1/3)* 仅限内部交流使用，如果需要公开，请联系文档作者05 重新定义新分析洞洞察(2/3)我们曾经生活在一个非此即彼的世界。 您要么懂得如何编程，要么与高级分析技术无缘。 要么学习R、Python 和/或 SAS，要么请人帮您攻克难关。 Tableau相信，为了真正地扩充人类智能，我们需要为技术能力千差万别的用户提供丰富的功能。 我们信奉的原则是，让每个技能级别的人都能够从数据中获取见解和证据。 —— Tableau* 仅限内部交流使用，如果需要公开，请联系文档作者决策辅助（构建时间⻓长）诊断型分析（诊断时间⻓长）描述型分析不不太懂数据分析05 重新定义新分析洞洞察(3/3) / 客户分层及不不同层次需求客户能⼒力力分层⾦金金字塔⻆角⾊色业务线需要的能⼒力力洞洞