2024年大模型技术白皮书-清华同方

大模型技术白皮书同方计算机有限公司01 大模型行业发展分析目录02 同方计算机大模型能力03 大模型高阶实施策略与路径04 大模型行业案例分享TSINGHUA TONGFANG大模型行业应用发展：跨越拐点，加速进入大模型时代AI大模型技术快速成熟，AI算法与应用的开发、上线部署与业务发放等过程均大幅简化小模型时代场景专属化烟囱式赋能CV/语音等场景机器翻译以文生图视觉描述以图生音语音识别模型1模型2模型3模型4模型5算力1算力2算力3算力4算力5业务1业务2业务3业务4业务5大模型时代场景通用化一套AI系统使能全业务流创新机器翻译以文生图视觉描述以图生音语音识别多模态基础大模型大模型原生计算平台(AI集群)业务1业务2业务3业务4业务5实际作用：很有限 颠覆性使用难度：很繁杂  很简洁边际成本：线性增长零增长主流基础大模型10~20个外部开源可获取的约5个Pytorch框架为主在大模型开发中占90%+基于Transformer decoder架构客户自定义算子数量可控数万小模型字节即有上万个自研模型PyTorch、TensorFlow，Caffe，飞桨等多框架CNN/LSTM/GAN等多种架构客户自定义算子数量巨大，适配优化难度高1. 模型基础架构收敛跨越可用性及可落地拐点4 大技术收敛 & 简化3. 客户自研算子收敛2. 主流模型数量收敛4. 主流开发框架收敛3TSINGHUA TONGFANGTSINGHUA TONGFANGChatGPT将加速行业向智能化发展，垂直领域大模型和场景深度融合4律师行业1. 某北京律师事务所客户希望借助行业大模型，律师事务所可以创新服务模式，包括案例检索、录音分析、法条对比、法条分析。能源行业2. 某贵州电力集团贵州某传统能源企业，具有电力行业数据基础和集团数据中心优势，数据和算力很充足，希望AIGC能够为企业带来快速准确的信息查询、优化班组管理流程、提升知识图谱应用便捷性等。文创行业3. 某北京出版集团目地是基于目前国内的AIGC大模型做细分领域定制化开发。一是对内，实现内部管理和图书出版效率提升；二是对外，把出版社自身积累的版权数据资产化，然后接入这个模型，进而推出一些消费级的应用。金融行业4. 某国际银行科技部(广州)某国际银行科技部希望构建研发工程领域私有大模型，在解决IP问题、数据安全问题，在工程安全可信的前提下，实现编码、测试的工程的30%~50%提效，并希望树立标杆推至全球总部。客户需求基于AI引擎满足客户的需求ChatGPT将加速行业向智能化发展，垂直领域大模型和场景深度融合，带来软件服务产业的新机遇，软件产业人才结构中，算法工程师和智能化解决方案顾问需求量将大增。TSINGHUA TONGFANG大模型重塑产业格局，行业核心场景，迎来生产力变革新机遇OpenAI：未来50%的人类工作任务场景将被ChatGPT影响AIGC大模型模型基础能力模型能力开放行业知识结合智能对话短文创作图片生成视频生成商业文案代码开发结构化感知办公平面广告内容推荐网站制作内容搜索网络自治智能风控医疗咨询辅助诊断大数据分析3~6个月6~12个月12~24个月2023智能问答基于行业通用数据进入通用业务场景，使能大量通用软件基于行业核心数据进入2B/2G生产系统，使能行业核心软件基于公开数据集数据2C应用为主，催生现象级应用量化交易文档写作编程设计搜索文档摘要运营商金融医疗生物教育城市大脑社交消费智能客服新闻采编内容剪辑传媒分子生成智能教学Source：OpenAI、Frost & Sullivan、HW MI城市2C应用的挑战在于用户商业付费挑战大：使用门槛较低，用户量大且接受度高，落地及成长速度快，但客户付费意愿偏低，商业闭环挑战大2B应用的挑战在于和行业数据&应用的深度融合：行业数据积累、模型调测和行业应用集成均需要时间，但客户付费能力强，未来增长及盈利空间广阔营销精准获客调研报告视觉语音语义生成海量离散小模型向少数大模型汇聚微软、Google、阿里、百度等，都在基于大模型重塑其2C、2B等应用软件5TSINGHUA TONGFANGTSINGHUA TONGFANG大模型产业链：大模型市场细分领域算力算法数据大模型地基基础大模型文本视频音频图片场景大模型行业大模型细分小模型营销人力财务办公采购社交电力医疗教育零售金融制造销售审批教育财税金融培训电商保险设计开发客服影视绘画。。openAI文心一言通义千问云基础设施大厂通用大模型产品巨头阵地 产品涌现AI+SaaS服务应用底层数据基础服务模型微调训练细分市场 场景为王下游上游6TSINGHUA TONGFANG平台化与简易化并进通用化与专用化并进大模型产业链：下游发展方向通用大模型统一架构、统一模态、统一任务反哺数据技术落地专用大模型通用预训练+专业领域训练=业务场景应用通用化向专用化演进专业化令通用化增强模型开发场景适配推理部署开发工具数据清洗与治理能力并行计算能力模型优化能力自适应分布训练能力弹性容错训练能力微调工具便携微调能力低参数微调能力部署工具大小模型联动能力分布式推理能力加密部署能力7TSINGHUA TONGFANG大模型应用风险技术风险社会风险经济风险政治风险形成经济寡头垄断市场颠覆性革命。。。数据清洗能力不足数据整备性差鲁棒性不足。。。侵犯个人隐私诱发犯罪冲击教育体系。。。政治导向舆论引导监管失能。。。增强数据治理保障隐私安全模型自建自用符合法律法规应对措施8同方计算机大模型能力1. 大模型研究能力2. 大模型咨询规划能力3. 应用方案落地能力5. 数据服务能力6. 安全服务能力 4. 算力基础设施能力TSINGHUA TONGFANG技术深度研究 已经在ChatGPT相关的大模型展开研究10模型名称发布时间发布机构语言参数规模Tokens参数规模模型结构是否开源能力GPT3 2020年6月1日OpenAI英超过1.75万亿个参数 2KGPT-style×API接入ChatGPT-3.5-Turbo2023年3月2日OpenAI英超过1.75万亿个参数 4KGPT-style×API接入DALL·E 2 图像生成2020年12月1日OpenAI英GPT-style×API接入(接口已调通）GPT42023年3月15日OpenAI英13 万亿个参数默认能够处理8K个tokens,最大能够支持32K个tokensGPT-style×API接入清华ChatGLM2023年4月12日清华大学中文1300亿个参数2K-√本地化部署研究50%PolyCoder2022年3月10日卡内基梅隆大学的研究人员英最大只有27亿参数，C语言有221GB2KGPT-style√已本地化部署Open Assistant2023年4月12日德国非营利组织 LAION 运营英最大的变体基于具有300亿个参数的 LLaMA 模型1K-√已本地化部署微软DeepSpeed Chat(开源系统框架，用于快速训练自有ChatGPT）2023年4月12日微软英DeepSpeed-HE比现有训练快15倍，训练1750亿参数，只需要1天。训练OPT-30B模型，只需要约18小时，600美元。GP