任晶磊：AI落地研发的“最后一公里”暨《DevData24研发效能基准报告》数据解读

《DevData '24 研发效能基准报告》核心数据解读任晶磊思码逸创始人兼CEO思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思• 清华大学计算机系博士；前微软亚洲研究院研究员，斯坦福大学、卡内基梅隆大学访问学者• 《软件研发效能度量规范》标准核心起草专家• 多篇论文发表在 FSE、OSDI 等顶级国际会议上• 曾参与微软下一代服务器系统架构设计，获 4 项美国发明专利• Apache DevLake 开源项目发起人任晶磊公司职位思码逸创始人兼CEOG O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思企业研发应用 AI，效能提升了吗？（采纳率）思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站应用 AI 工具对企业研发效能的影响数据来源：《DevData 2024 研发效能基准调研报告》效率方面： 18% 应用 AI 工具比未应用的企业需求交付周期更快质量方面： 23% 应用 AI 工具比未应用的企业单元测试覆盖度更高思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 AI 落地企业研发的路径与终点• AI 落地企业研发需要“以终为始”，做填空题：•使用 DevChat 后，规范提交比例从____%提高到了____%，从而看清楚了需求、缺陷和重构工作的占比，优化了资源分配 据此保证了____%研发带宽用于支持业务需求，将需求吞吐率从每月交付____个提升到____•使用 DevChat 后，单元测试覆盖度从____%提高到了____%，改进了质量薄弱环节，降低了质量保障成本 据此将缺陷密度从____‰降低到____‰，发版事故数从____个减少到____思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 DevData '24 研发效能基准报告指标涵盖了《软件研发效能度量规范》的三个主要认知域：交付速率、交付质量和交付能力。三大认知域统计分析代码生产率、代码贡献均衡度、需求吞吐量、需求交付周期、重点问题密度、缺陷修复工作量等指标基准线（或表征）15个指标基准线首次采用客观数据结合主观问卷方式 。客观数据来自受访企业私有部署的思码逸DevInsight，采集Git、Jira等数据。170份有效样本思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 DevData '24 研发效能基准报告• 代码当量*：基于程序分析算法，衡量代码规模和复杂度的基础指标使用代码当量作为可靠数据校准其他研效数据质量* Jinglei Ren, Hezheng Yin, et al. Towards quantifying the development value of code contributions. FSE 2018.思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 DevData '24 研发效能基准报告认知域指标（单位）平均值IQR交付速率需求吞吐量（个/月）20人以下386 – 2421-50人4612 – 5450人以上6621 – 50需求交付周期（天）219 – 30 需求颗粒度（代码当量）49361 – 645代码生产率（代码当量/人月）35952199 – 5003开发过程稳定性（代码生产率离散系数）0.340.25 – 0.40代码贡献均衡度（%）29%23% – 35%交付质量 单元测试覆盖度（%）15.27%6.61% – 20.08%注释覆盖度（%）30.70% 22.36% – 32.98%代码不重复度（%）84.97% 79.26% – 91.46%重点问题密度（个/千当量）1.710.54 – 2.21缺陷修复工作量（代码当量）367 – 47思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 DevData '24 研发效能基准报告「高效能团队」评分量表，取等权重综合得分前20%认知域 指标（单位）评分 3分2分1分交付速率 需求交付周期（天） ≤ Q1Q1 - Q3≥ Q3代码生产率（代码当量/人月） ≥ Q3Q1 - Q3≤ Q1开发稳定性（代码生产率离散系数） ≤ Q1Q1 - Q3≥ Q3代码贡献均衡度（%） ≥ Q3Q1 - Q3≤ Q1交付质量 单元测试覆盖度（%） ≥ Q3Q1 - Q3≤ Q1注释覆盖度（%） ≥ Q3Q1 - Q3≤ Q1代码不重复度（%） ≥ Q3Q1 - Q3≤ Q1重点问题密度（个/千当量） ≤ Q1Q1 - Q3≥ Q3缺陷修复工作量（代码当量）≤ Q1Q1 - Q3≥ Q3交付能力 部署频率 按需每天多次部署 介于每周1次到每月1次介于每月1次到每6个月1次 变更前置时间 介于1天到1周之间 介于1周到1个月介于1个月到6个月之间 服务恢复时间 不到1天 介于1天到1周 介于1周到1个月 变更失败率 0%-15% 16%-30% 46%-60% 思码逸研发效能研发效能效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸研发效能思码逸思码逸研思G O P S 全 球 运 维 大 会 暨 X O p s 技 术 创 新 峰 会 2 0 2 4 · 北 京 站 DevData '24 研发效能基准报告「高效能团队」
中位值水平画像•每 14 天交付一个需求•代码生产率 3463 当量/人月•代码生产率离散系数 0.25•35% 的团队成员贡献 80% 的代码当量•单元测试覆盖度 20%•注释覆盖度 33%•代码不重复度 91%•重点问题密