京东大数据技术白皮书-2018.12-120页.pdf

京东大数据技术白皮书 京东大数据平台部出品 顾问： 张晨 裴健 翁志 主要作者（排名不分先后）： 赵国梁、刘荣明、李冬峰、冯玉敏、滕永铮、王哲涵 王永亮、王文生、李双义、刘业辉、白贤锋、王威 焦文健、张晓鑫、赵鹏、纪鸿焘、乔超、吴怡然 欢迎关注京东大数据微信公众号及京东技术公众号 京东大数据技术白皮书 ~ 1 ~ 目 录 序言 ..................................................................................................................... 3 前言 ..................................................................................................................... 5 1 京东大数据的发展历程 ................................................................................. 8 2 京东大数据的技术体系 ................................................................................ 10 2.1 数据采集和预处理 .............................................................................. 10 2.2 流量数据采集 ..................................................................................... 13 2.3 数据存储体系 ..................................................................................... 22 2.4 离线计算环境 ..................................................................................... 34 2.5 实时计算环境 ..................................................................................... 37 2.6 机器学习环境 ..................................................................................... 40 2.7 任务管理和调度 .................................................................................. 43 2.8 资源监控和运维 .................................................................................. 49 3 京东大数据的数据管理 ................................................................................ 54 3.1 数据架构设计 ..................................................................................... 55 3.2 数据资产管理 ..................................................................................... 57 3.3 统一指标体系 ..................................................................................... 65 3.4 数据安全管理 ..................................................................................... 66 3.5 数据服务管理 ..................................................................................... 68 4 京东大数据的数据产品 ................................................................................ 75 4.1 京东商智 ............................................................................................. 75 4.2 智能营销 ............................................................................................. 76 京东大数据技术白皮书 ~ 2 ~ 4.3 数据管家 ............................................................................................. 77 4.4 祖冲之 ................................................................................................ 78 5 京东大数据的应用场景 ................................................................................ 80 5.1 营销领域 ............................................................................................. 80 5.2 物流领域 ............................................................................................. 81 5.3 供应链领域 ......................................................................................... 82 5.4 智能零售 ...................