飞利浦数据治理实践-企业数字化转型的数据治理概述

企业数字化转型的数据治理概述ClassifiedClassified数字化生产模式：以数据为处理对象，以ICT平台为生产工具，以软件为载体，以服务为目的的生产过程智能终端平台1接触客户获取数据平台2数据处理数据分析机会平台3开发部署服务服务商业循环：数据变机会、机会变服务、服务变收入初始数据123456加工需求收入4在今天，数字化生产已逐步成为普遍商业模式ICT : Information and Communication Technologies 信息与通讯科技应用筛选提供Classified人工智能销售预测模型的建立数据要准确考量数据特性预测目标计算资源业务需求模型的评估和调优；交叉验证、超参数调整Classified人工智能销售预测模型的建立１.传统时间序列分析－纪要历史数据来预测未来趋势 自回归（ＡＲ）、移动平均（ＭＡ）、自回归移动平均（ＡＲＭＡ）季节性自回归移动平均２.机器学习模型 线性回归 决策树、随机森林（处理非线性关系）３.深度学习模型 循环神经网络（RNN）、卷积神经网络（CNN）４.混合模型Classified信息来源：Gartner数字化转型的核心：“业务优化”和“业务转型”Digital Business OptimizationDigital Business TransformationBetter CustomerExperienceImproved Productivity and Existing RevenueNew BusinessModelsNet-New RevenueProduct and ServicesDigital Business Strategy4Classified数据分析1.提出问题2.理解数据•选择全集或子集中•列名重命名•缺失数据处理•数据类型转换•数据排序•异常值处理4.构建模型3.数据清洗5.数据可视化•数据量•数据类型•数据内容•数据属性•E-R图•描述数据•组织数据•对数据进行操作•描述数据库类型和属性•为什么要分析•哪些分析指标•得到什么结果•需要哪些数据•将数据转换成图或表，以更直观的方式展现和呈现数据ClassifiedE-R图（实体关系图）ER图是一种描述现实世界的概念模型的方法，用来表示实体，属性和联系Classified表格：由行和列组成，用于比较变量 。 表格以结构化方式展示大量信息。饼图和堆积条形图： 这些图形分成多个部分来表示一个整体的不同部分。 它们提供了一种简单的方法来组织数据并比较组件的大小。线形图和面积图： 这些视觉显示通过绘制一段时间内的一系列数据点，来展示一个或多个数量的变化。线形图利用线条展示这些变化，而面积图用线段将数据点连接起来，然后将变量堆叠起来，并用颜色区分不同的变量。直方图：该图形使用条形图绘制数据分布（条形之间没有间隔），表示属于特定范围的数据数量。 这种视觉表示使终端用户容易识别给定数据集内的异常值。散点图：这些视觉表示对于揭示两个变量的关系十分有用，通常用于回归数据分析。 但是，有时可能会与气泡图混淆，气泡图用于通过 x 轴、y 轴和气泡大小来呈现三个变量。热图： 这些图形显示有助于按位置呈现行为数据。 位置可能是地图上的地点，甚至是网页。树形图：以一组嵌套形状（通常是矩形） 展示层级数据。 树形图非常适合根据面积大小比较类别比例。数据可视化ClassifiedClassifiedClassified什么是数据治理 数据治理是一项战略计划，用于优化企业处理数据的方式。它旨在对数据资产进行规划、监控、执行、管理；组织和改进公司用于定义、收集、存储、保护、管理和货币化业务数据的政策和程序，并有目的性的实践活动；良好的数据治理不仅旨在保护数据，而且旨在寻找为企业创造数据价值的新方法。Classified什么是数据治理 战略规划组织和角色理念植入政策和标准项目和服务技术和支持成本和资源Classified全流程监管的数据治理体系•关键数据资产有清晰的业务管理责任•IT建设有稳定的原则和依据•作业人员有规范的流程和指导数据管理数据采集数据处理数据应用全流程监管的数据治理体系010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101010101•当面临争议时，有裁决机构和升级处理机制；•治理过程所需的人才、组织、预算有充足的保障标准梳理组织制度落地策略Classified数据治理体系Classified数据治理的核心工作在企业的数据建设进程中，保障企业的数据资产得到正确有效地管理。Classified什么是数据管控数据治理和数据管控缺一不可，治理在前、管控在后。数据治理针对的是存量数据，是个由乱到治、建立规范的过程；数据管控针对的增量数据，是个有章可循，行不逾矩的约束。数据管控专注在纵向管控深度，上层定标准，基层去执行Classified为什么要做数据治理 症状▪ 有垃圾数据▪ 关键数据缺失▪ 数据不同步▪ 数据无法追溯▪ 数据异常▪ 业务和财务口径不一致▪ 前端数据和后端数据不一致▪ 根因▪ 政策不清晰▪ 管理力度缺失▪ 体系和规模庞大，梳理困难▪ 培训不到位▪ 主人翁意识不够▪ 标准化缺失Classified为什么要做数据治理 •提升数据质量•为共享数据建立清晰的决策规则和决策流程•提升数据资产的价值•提供解决数据问题的机制•促进IT和非IT人员共同参与决策•促进部门和业务单元之间的协作和相互依赖•为共享数据建立共同责任制保证数据的可用性保证数据质量保证数据安全Classified为什么要做数据治理 当前可能的情况：•问题长期积累•能容忍•重要但不紧急•IT在管理和做补救可能采取的模式• 业务部门主导• IT部门主导• 企业数据管理部门主导Classified数据质量维度•完备性 ：是否存在所有必要的数据•有效性 ：数据指与定义的值域一致•准确性 ：数据正确表示“真实”实体的程度•一致性 ：确保数据值在数据集内和数据集之 间表达的相符程度•完整性 ：即连贯性，包括与完备性、准确性、 一致性相关的想法 •及时性 ：数据产生到可用的时间延迟程度•唯一性 ：数据集内的任何实体不会重复出现Classified数据治理的内容 架构管理数据开发操作管理安全管理主数据管理数据仓库管理内容管理元数据管理质量管理数据模型价值链分析数据架构建立数据分析数据建模数据库设计实施获取恢复调优保留清除标准分级管理授权审计外部规范内部规范客户数据产品数据维度管理架构实施培训和支持监控和调优获取存储备份和恢复整理检索保留清除架构整理控制交付标准规范分析度量改进Classified数据类型主数据：：关于业务实体的数据，描述组织内的“物”，如供应商、客户、产品等。通过全局视角对企业主要的“人”和“物”有个全局把控，为其建立现实和数据领域的唯一标识。交易数据元数据即过程数据，描述组织业务运营过程中的内外部时事件或交易记录的数据。如：销售订单，通话记录，供应商名单等数据。交易数据是BI分析的基础即描述数据的数据，帮助