AI行业深度报告-ChatGPT：AI模型框架研究

行业评级：看好2023年3月25日ChatGPT：AI模型框架研究——AI行业深度报告证券研究报告分析师刘雯蜀邮箱liuwenshu03@stocke.com.cn证书编号s1230523020002摘要2一、AI框架重要性日益突显，框架技术发展进入繁荣期，国内AI框架技术加速发展：1、AI框架作为衔接数据和模型的重要桥梁，发展进入繁荣期，国内外框架功能及性能加速迭代；2、Pytorch、Tensorflow占据AI框架市场主导地位，国内大厂加速布局AI框架技术；3、AI框架技术从工具逐步走向社区，生态加速形成，未来围绕安全可信、场景落等维度呈现显著发展趋势；二、GPT开启AI大模型时代，国内外大厂发力布局，商业化空间加速打开：1、数据、算法、模型三轮驱动AI发展，大模型优势显著，成为AI主流方向；2、GPT开启千亿参数级AI大模型时代，语言、视觉、科学计算等大模型快速发展；3、微软加速AI商用化进程，国内大厂发力布局，看好在细分场景下的应用落地；三、建议关注标的：1、基础层：AI算力：中科曙光；大模型：360，科大讯飞2、应用层：AI+工具：金山办公； AI+建筑：广联达；AI+法律：通达海； AI+医疗：创业慧康，久远银海；AI+教育：科大讯飞； AI+网安：安恒信息、奇安信；AI+金融：同花顺； AI+交通：佳都科技风险提示：1、AI技术发展不及预期；2、版权、伦理和监管风险；3AI框架深度学习框架：人工智能时代的操作系统4人工智能开发链条长且复杂训练数据准备算法实现环境安装模型训练模型验证推理数据准备算法实现环境安装模型训练数据使用深度学习框架工具进行开发深度学习框架人工智能基础设施分布式硬件资源物理资源调度、I/O设备管理通用模型架构支持计算机视觉应用使用主流编程语言GPU加速拓展包模型使用深度学习框架工具进行开发开发者使用简单支持AI领域的快速变化资料来源：北京日报，认知计算与云安全公众号，华为云，浙商证券研究所人工智能框架技术发展进入繁荣期0152000年~ 萌芽阶段2015-2018年 稳定阶段2012年~ 成长阶段2019-2020年~ 深化阶段API复杂无GPU支持手动实现网络使用简单多GPU支持复杂网络支撑指令式声明式生态友好分布式支持效率优化可拓展编译层优化多场景任务支持丰富套件支持算子优化统一标准端云一体大模型大任务全场景隐私与公平……未来资料来源：中国信息通信研究院《2022年AI框架技术白皮书》，浙商证券研究所国际主流深度学习框架：互联网巨头主导开发016国内外深度学习框架发布时间2013201420152016201720202020202x开发公司深度学习框架语言PythonLua，Python（new）C++PythonC++Lua，Python（new）PythonC++、CUDA、Python是否开源√√√√√√√√计算图静态静态动态动静兼容静态基于源码转换自动微分，不依赖计算图动静合一是否是分布式框架√√√√√特点/优点速度快、使用方便、社区好性能高、适合做语音任务高效灵活、易用容易上手简单清晰移动端高性能、通用轻便高效灵活、易用灵活高效资料来源：机器之心，CSDN，浙商证券研究所01TensorFlow+Pytorch占据市场主导地位72022年中国开发者人工智能框架使用率2018-2022年全球论文发表数量（按使用框架分）PytorchTensorFlow资料来源：Papers with Code，Omedia，浙商证券研究所Pytorch：Meta开源的主流学习框架018Pytorch版本平均每3~4个月更新一次，功能服务持续扩充2017年，Pytorch正式发布2018年4月，0.4版支持Windows，并入caffe22019年5月，1.1版支持TensorBoard，增强可视化2019年10月，1.3版支持移动设备部署，更多功能工具2020年1月，1.4版支持分布式模型并行训练2020年4月，1.5版与Amazon合作，提升开发者模型部署效率2020年11月，1.7版支持Windows上的分布式训练，提供更多API2021年3月，1.8版支持AMD GPU2022年11月，2.0版Transformer模型训练速度提升1.5-2.0倍多维优势支持Pytorch实现对TensorFlow的反超门槛低只需要Numpy和基本深度学习概念代码简洁灵活基于动态图机制，网络搭建更方便文档规范官方社区可查看各版本文档资源丰富arXiv新算法大多基于Pytorch实现开发者多Github上贡献者1100+大厂支撑Meta维护开发适用人群广泛深度学习初学者：快速实现模型算法，加深深度学习概念认识；机器学习爱好者：快速实现人脸识别、目标检测、图像生成等AI功能及实验；算法研究员：最新arXiv论文算法快速复现及开发；资料来源：CSDN，浙商证券研究所Open AI：从多种框架的使用到专注于Pytroch0192015年Pytroch成为统一的深度学习框架深度模型框架转变•便于调试：对 Python 生态的良好支持；大多数情况使用TensorFlow特殊情况使用Theano2020年•简单易懂：PyTorch 具有用户友好的 API；原因核心功能支持GPU加速的张量计算方便优化模型的自动微分机制•强大高效：Pytorch提供了非常丰富的模型组件。极大缩短研究周期资料来源：OpenAI官网，浙商证券研究所Tensorflow：谷歌开源的向更加易用发展的主流学习框架01102017年2019年开源Tensorflow 0.1版本2015年采用CPU+GPU计算模型使得神经网络能够有效计算Tensorflow从0.1到2.0的发展历程202x年Tensorflow2.3发布添加两种新机制，解决输入管道瓶颈并节约资源Tensorflow2.0发布缺点：调试困难、API混乱、入门困难运用更简单的模型进行构建、简化PI优点：简化的模型开发流程、强大的跨平台能力、强大的研究发现缺乏调度能力，需手动配置Tensorflow1.0.0发布，稳定版诞生优点：更快、更灵活、随时就绪引入更高级的API，可在移动设备上运行发布版本改进之处优点缺点资料来源：腾讯云，CSDN，helloword，城市经济网，浙商证券研究所AI框架技术呈现三层次结构，从工具走向社区生态11基础层组件层生态层编程开发编程接口API编码语言训练开发推理部署编译优化分布式并行自动微分动静转换模型轻量化图算融合算子生成内存优化计算图中间表示计算算子通信算子硬件使能自动并行高阶优化器…并行及优化组件科学计算（数值方法）科学计算（AI方法）…科学计算组件模型可解释数据-模型安全…安全可信组件训练可视化调试器…工具组件套件-模型库（CV、NLP…）AI领域扩展库（GAN、强化学习…）AI+科学计算（电磁仿真、视频生成…）社区文档AI框架资料来源：中国信息通信研究院《2022年AI框架技术白皮书》，浙商证券研究所百度PaddlePaddle飞桨平台0112资料来源：CSDN、中国日报中文网、浙商证券研究所飞桨企业版零门槛AI开发平台全功能AI开发平台飞桨产业级深度学习开源开放平台工具与组件自动化深度学习低代码开发工具强