大模型时代的数据管理

DAMS中国数据智能管理峰会DATA&AIMANAGEMENTSUMMIT大模型时代的数据管理肖仰华复旦大学知识工场实验室！上海市数据科学重点实验室数据要素时代的数据管理01伴随着我国数字经济的发展，数据要素在生产中的地位愈发重要，数据要素流动所带来的开放性与动态性问题为传统数据科学的理论与技术带来了新挑战和新要求数据成为生产要素2020年4月2023年2月2022年1月作为落实党的十九届四中全会精神的重大改革全国两会召开前夕，中共中央、国务院发布部署，在《中共中央国务院关于构建更加完国务院发布《“十四五”数字经济发展规2017善的要素市场化配置体制机制的意见》中，也划》，其中强调数据要素是数字经济深化发展了数字中国建设的“2522”整体框架，其将数据作为一种新型生成要素与土地、劳动的核心引擎，并提出到2025年将初步建立数据中，夯实数字基础设施和数据资源体系被作数字经济首次写入政府工作报告力、资本技术一起写入中央文件中要素市场体系为“量大基础”010203040506070820142019年10月2020年10月2022年12月大数据首次写入政府工作报告党的十九届四中全会首次将数据增列为生产要党的十九届五中全会明确将“要素市场化配中共中央、国务院正式发布了《关于数据基础制素范畴，与土地、劳动力、资本、技术等传统置”作为经济体制改革的重点，而此次全会审度更好发挥数据要素作用的意见》。这份被称为要素并列议通过的《中共中央关于制定国民经济和社会“数据二十条”的文件引发了巨大关注，因为在发展第十四个五年规划和二〇三五年远景自标这个我国首份专门针对数据要素的基础性文件的建议》，也将“数据价值化”列为数字经济中，提出了构建数据产权、流通交易、收益分的新构成配、安全治理等制度，初步形成我国数据基础制度的“四梁八柱”数据资源是有含义的数据集结到一定规模后形成的，是重要的现代战略资源[1]数据与土地、劳动力、资本、技术等传统要素并列成为五大生产要素之一[2][1]数据资产相关概念综述，叶雅珍，刘国华，朱扬勇2019[2]《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》2020数据对其他生产要素的配置作用日益显著其他四种要素都具有相对的独立性。数据要素一方面可以将其他四要素作为来源，另一方面数据又可以反作用回其它四要素，只有多要素紧密耦合，才能创造更多的价值。土地有效盘活土地，推动土地要素的优化配置，引领土地要素可持续健康发展有效提高劳动要素配置效率和劳动生产率，提升传统劳动力对数据运用的能劳动力，同时也产生更多的数据，推动数据要素的扩张资本帮助优化投资策略，筛选高质量投资对象，促进资本增殖数据帮助研究人员挖掘分析现有技术中存在的问题，以解决“卡脖子”难题，实现技术技术持续升级数据要素对其他生成要素的配置作用日益显著严宇珺。数据要素的现状，价值与未来[J]．企业经济,2023,42(11):116-122数据价值变现需求迫切、进程加速图表：2014-2021年中国数字经济总体规模及占GDP比重组建国家数据局数字经济总体规模（万亿元）：占GDP比重5039.8%45%38.6%45.54540%36.2%负责协调推进数据基础制度建设，统筹数据资源整合共享和34.8%39.2开发利用，统筹推进数字中国、数字经济、数字社会规划和建设4032.9%35.835%等，由国家发展和改革委员会管理。30.3%3527.5%31.330%26.1%3027.225%25承担的研究拟订22.6中央网络安全和信息化20%国家数据局2018.6委员会办公室开发利用与共享、推动信息资源跨行业跨16.2部门互联互通等职责划入15%151010%承担的统筹推进数字经济发展、组织实施55%国家发展和改革国家大数据战略、推进数据要素基础制度建设、推进数字基础设施布局建设等职责委员会划入0%2014年2015年2016年2017年2018年2019年2020年2021年数据来源：中国信息通信研究院我国各行业的高质量发展与数字化转型对数据价值变现的理论与技术提出了迫切需求数据科学理论与方法难以支撑数据价值变现当前的数据价值变现全链路上的各个环节，仍然需要人类专家的密集参与日数据开放数据融合数据应用安全合规数据清洗统计分析数据隐私保护数据融合关联分析价值风险规避质量控制模式挖掘数据整合很难，因为必然会遇到要集成多个数据治理体系远未形成，如数据资产地位的当前，我国大数据产业在某些环节（如储数据源的情况，其中没有任何捷径，得将数确立尚未达成共识、数据壁垒广泛存在、法存）过于集中，有产能过剩之虞，但在分析据进行模糊匹配。而这一过程很复杂，也很律法规发展滞后等等。如此种种因素，制约与处理环节的产能又严重不足。同时，传统难，但如果不这么做，数据分析就没有意了数据资源中所蕴含价值的挖掘与转化。统计学方法和数据挖掘方法对于大数据并不义，机器学习模型就会失效，这一切也就丧适用，必须重建大数据的统计学基础、计算失了价值意义。所以现在的数据科学家大部中国科学院院士梅宏基础与数据挖掘方法基础。分工作时间都在做数据整合。一图灵奖得主-中国科学院院士徐宗本迈克尔·斯通布雷克数据价值仍然缺乏高效的激活手段世界日益复杂个整车需要2万~3万个零件，而每个零部件又需要一条上万个元器件组成的生产线，又涉及原材料的采集与加工等诸多流程，单从晶圆到芯片，就将经历700道工序。人类社会（人)人造系统（机）人类社会利用自然生态带来的资源，不断人造系统将人类社会的思维转化成改变自然设计、开发、建设更为复杂的系统的力量，进行各种复杂的动作和工程“如果组成系统的元素不仅数量大而且种类也很多，他们之间的关系又很复杂，并有多种层次结构，这类系统成为复杂巨系统。一钱学森自然生态（物）自然生态受到人造系统的影响，形成气候、地理等各类不确定因素极强的变化，反馈给人类社会现代工业文明经过数百年的发展早已度过其婴童时代人类社会日益演变成为一个人、机、物多元融合的复杂系统系统和数据日益复杂当前的各类信息系统及相应数据经过数十年信息化、 数字化洗礼，前所未有之庞杂CRM业务协同PDMSRMBOM采购商信息发货信息、HR绩效信息项目项目计划ERP设备资产台管理EAM执行发与费维修成本质量信息、采购到货、材料领用、分析数据策支持信WMS质量管理库存盘点数据采购计划、MESCAPP完工反馈工业系统众多工业系统数据各式各样数据数字经济时代的内涵发生变化数据内涵发生变化， 数据科学日益面临新环境、承担新使命数字经济时代数据是生产要素数据是产品数据是资产大数据时代数据是发现规律、推动创新的资源信息化时代数据是对客观世界的符号化记录数据是持续流动，而不是静止的数据的产业生态是开放的，而不是封闭的数据有着多方主体，而不是单一主体数据与生产过程深度融合，而不是相对割裂数据处在持续增值过程中，而非一次性使用数据对于其他生产要素有着配置作用，而不再是从属地位数字经济发展对数据科学的内涵与发展路径提出了新的要求数据要素特征：持续流动数据只有流入生产、分配、流通、服务和管理等各个环节，形成完整的数据驱动闭环，才能释放出数据要素的价值技术创新供求分析产品设计材料对比数据持续流动的必要性：实时决策支持，增强业务灵活性和市