2020顶级数据团队建设全景报告

战略数据合作方01目录附录数据行业概况数据团队宏观发展现状数据团队从业者微观洞察全球数据团队观察疫情中的数据行业1.1 数据行业概况2.1 职位概况3.1 工具、技术、方法论4.1 学历分布和毕业院校1.2 大数据行业发展及团队建设困境2.2 工作经验3.2 自我认知4.2 主流专业分布3.5 团队前景4.5 数据人才的主流职位和增长最迅速的数据相关职位1.3 数据团队组建运营方法论2.3 学历要求3.3 工作生活4.3 数据人才集中分布的行业3.6 大数据与人工智能问题4.6 数据从业者集中分布的地区2.4 薪资水平3.4 数据应用场景4.4 数据人才的跨行业流动0409142004101621051116211723121622172403081319262902调研方法联合调研组采用了海量数据分析、定向问卷调查与深度访谈等方法，分别针对企业高层、数据团队负责人、数据从业者和其他相关人员进行广泛而深入的调研，力求从尽量多的角度还原现阶段数据团队的建设全景。海量数据分析：对“数据”、“分析”、“机器学习”等关键词进行全网爬取，通过数据清洗、数据分析、数据可视化等步骤对 12 万条网络公开招聘信息进行分析。定向问卷调查：通过互联网向数据团队相关从业者和负责人发放定向问卷，并回收近千份有效问卷。 深度访谈：对 6 位优秀数据团队负责人进行深度访谈，涵盖国内外不同行业及发展阶段的公司或组织。战略数据合作方报告发布方03大数据一词对于大众来说，已经不再陌生。根据 Wikibon 研究数据，作为大数据产业发展的基石，全球的大数据市场规模预计从 2018 年的420 亿美元增长至 2024 年的 840 亿美元。（如图 1-1-1）在中国，自 2015 年国务院颁布《促进大数据发展行动纲要》后，大数据正式上升为国家发展战略，而 2016年由工信部印发的《大数据产业发展规划（2016-2020 年）》则掀起了大数据产业建设的浪潮。根据赛迪数据与《2019 年中国大数据行业研究报告》，2018 年中国大数据产业规模达到 4384.5 亿元，同比增长23.5%，据预测到 2021 年，中国大数据产业规模将超过 8000 亿元。（如图 1-1-2）在具体的大数据应用领域，生态环境、农业、水利、医疗、交通旅游服务等都在一系列政府政策的支持下，成为了大数据技术的实际应用场景；而政府资源的支持与技术实力的稳步增强，为这些领域的大数据实践打下了至关重要的基础。数据团队是近些年随着大数据概念的推广而产生的新型团队。因此，相较于组织或机构内成熟运行的其他部门， 数据团队的成立时间较短。在政策扶持与业界高度关注下，这些团队的发展和建设过程中往往面临一些问题。*1.1 数据行业概况1.2 大数据行业发展及团队建设困境图1-1-1 2012-2024 年全球大数据市场规模 （单位：十亿美元）2012年2013年2014年2015年2016年2017年2018年* 2019年* 2020年* 2021年* 2022年* 2023年* 2024年12.2519.618.322.6283542495664707784资料来源： Wikibon2016年2017年2018年2019年*2020年*2021年*图1-1-2 2016-2021 年中国大数据产业规模（单位：亿元）资料来源： 赛迪2840.83549.84384.55386.26605.88070.60405二、高层管理者支持力度不够，建设目标不清晰三、企业数字驱动文化建设不完善，业务界限模糊1.3.1 数据团队的发展阶段第一阶段：大数据基础平台建设第二阶段：数据分析产出提升核心业务专业的数据人才缺乏，这是整个数据行业面临的第一大困境。经过最近几年高校的大数据专业设置以及相关大数据职业培训，中低层数据分析人才逐渐成熟并进入市场，满足了一些数据团队基础职位需求，但是，顶级和有丰富经验的数据人才依然难求。调研过程中我们发现，互联网行业对数据人才的吸引力最高，规模大、薪水高的大公司对于人才的吸引力也一直居高不下。相对而言，初创企业和刚刚进行数字化转型的传统企业往往难觅经验丰富的数据团队领头人。此外，高等教育领域的数据人才流出现象严重，高校和研究院“留不住人”的现象在最近几年愈演愈烈。目前，行业内已经达成了普遍共识：数字化转型和数据团队建设是“一把手”工程，需要领导层对数据驱动保有完整的认知和贯彻决心，以完成“自上而下”的推动。很多企业中，高层管理者自己并没有想好是否要进行数字化转型，就“赶时髦”开始了建设，遇到困难后立刻回到了固有的传统管理模式，这些企业的数据建设目标不清晰，因此很难获得成效。失败的团队各有各的问题，成功的团队却一定是相似的。不同的行业、企业的数据团队，虽然建设路径有所不同，但从整体来看，“成功”的数据团队都有着相似的发展阶段、趋势，和一套明确的价值衡量体系。除了高层的认知，整个公司的数据文化也对于数据团队的建设至关重要。这又与企业本身的文化和属性密不可分。例如工程师文化浓厚、创新意识强的互联网公司往往在数据团队建设和数字化转型中进展更顺利、快速，而不够开放务实的企业往往在数字化转型中推进困难。在完成了第一阶段的大数据基础平台建设和基本工作流程建设后，数据团队开始产出大量的数据分析结果，一般包括行业趋势分析、市场销量和价格预测、战略和竞品策略分析等，辅助业务团队和管理团队进行数据驱动的决策。同时这一阶段，数据团队会开始建设可扩展的数据分析解决方案：在运营实施过程中进行流程优化和自动化，比如对于多个业务团队需求、复用性高的项目，可以通过A/B测试，迅速建立流程化的操作平台，业务团队成员和工程师可以直接在平台上创建调试，产品经理也可以在测试开始几小时后直接在平台上查看测试结果，最大化的减少数据科学家的重复劳动。数据团队的组建运营在不同行业、公司各有不同，但一般会随着企业的数字化，经过以下三个发展阶段，数据团队在每个阶段需要配合公司发展的相应能力。数据团队建设的第一个阶段，需要首先对数据进行集成、清洗和集合，或者说数据治理。在这个阶段，数据团队需要先完成大数据的一些基础设施建设，同时围绕自身业务模式，建设数据平台，比如用户数据平台等。需要注意的是，从数据资产的梳理、清洗加工、结构化分析、产出相应形式的数据产品，到最后的投入使用，其生产链条之长，涉及的角色和变量之多，都为数据团队的工作提出了极高要求。同时，伴随着业务系统的变化，对应的数据逻辑，以及指标口径的定义也会随之变化。需要在这个过程中密切围绕用户和核心业务进行调研，尽量平衡效率和成本。还没有进行数字化转型的企业，数据往往分散、杂乱无章地散落在各事业部内部，形成孤岛。1.3 数据团队组建运营方法论一、专业人才缺口大，行业间分布不平均06第三阶段：数据文化和生态建设，包括数据驱动文化形成和人才培养一、“嵌入化”趋势：向业务团队靠拢三、“不唯数据论”：把握好数据的度二、“专业化”趋势：基础设施建设与数据科学应用团队逐渐分离经过前两个阶段的建设，数据团队已经在公司内部建立起了一套比较完整的数据驱动平台，可以存放、调用核心数据和公用数据；业务部门使用者能够自行在平台上完成分析工作。同时，为了保证整个数据团队的活力，公司内