贝壳（贾琳）：当我们用AI写了100万行代码

当我们用AI写了100万行代码 -贝壳智能编程养成记贾琳 贝壳 架构师www.top100summit.com贾琳 ⻉壳找房“⻉壳研发效能专家、基础产研平台架构师，深耕软件⾃动化提效领域，主导过⾯向企业的⽆代码/低代码开发平台、⼀站式产研协作平台、效能度量平台等⼤型研发提效类项⽬的落地。 近期带领团队探索基于⼤模型的研发助⼿类产品研发，结合AI与软件⼯程技术，在⻉壳成功落地AI研发助⼿CodeLink。 ”请插⼊ 您的照⽚讲师简介摘要1. AI编程的发展现状以及⻉壳对AI编程的判断 2. ⻉壳AI研发助⼿CodeLink的设计理念与技术实践 3. 在企业成功落地AI助⼿类产品的经验AI编程的学界叫法：Program SynthesisChurch A. Logic, arithmetic and automata. In: Proc. of the Int'1 Congess of Mathematicians. 1962.23-35. Zohar Manna and Richard J Waldinger, Toward automatic program synthesis. Communications of the ACM, 14(3):151–165. 1971 Amir Pnueli and Roni Rosner. On the synthesis of a reactive module, the 16th Principles of programming languages, POPL, 1989 Sumit Gulwani et al. Program synthesis. Foundations and Trends® in Programming Languages, 2017 Erik Nijkamp et al. an open large language model for code with multi-turn program synthesis https://arxiv.org/abs/2203.13474, 2022The goal of program synthesis is to automate the coding process, and generate a computer program that satisfies the user’s specified intent. //⾃动化编程过程，产⽣⼀个所表述意图的计算机程序Some have called it the holy grail of computer science (Manna & Waldinger, 1971; Gulwani et al., 2017). Successful program synthesis would not only improve the productivity of experienced programmers but also make programming accessible to a wider audience//不仅提升专业程序员的开发效率，⽽且让更多受众也能编程 AI编程的两⼤挑战程序空间程序就是⼀个字符序列，所有字符的排列组合构成了⼀个巨⼤的程序空间 如何在这么⼤的空间中找到⽬标程序？程序搜索技术是核⼼。 ⽤户意图如何表达⽤户的意图？ 形式化的逻辑描述（可能⽐写代码还难）、输⼊输出例⼦（Excel）、⾃然语⾔（需要交互）⽤⾃然语⾔表达意图，给程序员⽤的AI：GPT带来的机遇⼤模型(Transformer)的序列预测能⼒很强，是⽬前最有效的程序搜索技术⼤模型真的能带来提效吗⾕歌的实验（2021底）： AlphaCode参加了DeepMind编程竞赛平台Codeforces上的10次实时⽐赛，它击败了 46% 的参赛者； 微软的实验（2022.9）： 编程实验，Copilot组71分钟，普通组161分钟，提升55%，且Copilot组完成度更⾼ 华为的实践（2023.4）： 编程竞赛前200名进⾏调查，84%的重度使⽤，前10名全部⽤。去年第1名没有⽤，排名100+了，88%的⼈认为可以提升效率。https://arxiv.org/abs/2302.06590https://arxiv.org/abs/2303.12712任务类型任务描述⽐例CodeLink推荐指数开发类（48%）编码（阅读或编写代码和测试）15%✅⭐⭐⭐⭐⭐Bug修复（调试或者修复错误）14%✅⭐⭐⭐⭐⭐测试（运⾏测试、性能/冒烟）8%✅⭐⭐⭐思考（使⽤或者处理需求）4%✅⭐⭐⭐⭐代码审查5%✅⭐⭐⭐⽂档编写2%☕⭐协作类（36%）会议（计划和⾮计划的会）议）15%☕☕邮件10%☕☕中断（企微、即兴会议）4%☕☕帮助（协助、管理或指导他⼈）5%✅⭐⭐社交（维护关系）2%☕☕其他（16%）学习（提升技能、培训）3%✅⭐⭐⾏政任务2%☕☕休息时间8%☕☕其他（做计划、复盘、配置）3%☕☕https://www.microsoft.com/en-us/research/uploads/prod/2019/04/devtime-preprint-TSE19.pdf55%的⼯作，CodeLink都能帮到你CodeLink设计理念AutoComplete 代码补全助⼿ （动⼿的时候）CodeChat 结对编程专家 （思考的时候）在不改变原有的编码⽅式的前提下， 带来⾰命性的编程体验不辞⾟苦的结对编程专家，遇到什么技术问题都可以问他WorkBench 私域⼯作台 （协作的时候）⼿边的⼯具箱，与⻉壳Devops⼯具链打通，软件开发协作更顺畅代码⾏级续写代码函数级⽣成注释⽣成代码注释⽣成技术⽅案问答Bug智能修复代码解释代码优化错误堆栈分析代码重构接⼝⽂档⽣成创建单测安全检查智能代码评审需求缺陷管理智能调⽤CICD发布测试环境热部署AutoComplete《AI编程实验室》⼈员招募安排对照试验对照组设计⼯程师招募，共160⼈AI组培训采⽤分层抽样的⽅法进⾏分组进⾏ CodeLink 培训分为4场对照实验，分析实验结果① 提供产品使⽤⼿册等供AI组进⾏学习，包含安装、使⽤⽅法、技巧等多⽅⾯ ① 准备⼯作：开发环境、需求设计、测试⽤例 ② 现场讲解与答疑、问卷收集 ③ 实验结果分析① AI开发组：要求使⽤CodeLink去完成需求 ② 传统开发组：要求在不使⽤AI⼯具的情况下去完成需求不同岗位和语⾔AutoComplete落地实践① 看数据 - > ⾃建评测框架② 有验证 - > 对照实验，最终⽤户视⻆的效果③ 坚决地投⼊ - > ⾃研CodeLink、⼤模型的起步⼯程化、规模化、产⽣收益，不仅看数据，更关注⽤户视⻆的效果企业落地的视⻆⻉壳模型评测框架CodeXCodeLlamaStarCoder……LLM API Server