生成式人工智能行业专题研究：海外大模型篇，生成式AI加速创新，行业迎历史性机遇

生成式AI加速创新，行业迎历史性机遇计算机行业分析师：耿军军邮箱：gengjunjun@gyzq.com.cnSAC执业资格证书编码：S0020519070002联系人：王朗邮箱：wanglang2@gyzq.com.cn——生成式人工智能行业专题研究：海外大模型篇投资评级推荐维持证券研究报告2024年3月29日请务必阅读正文之后的免责条款部分目录• 第一部分：生成式AI快速发展，技术奇点有望到来• 第二部分：技术创新百花齐放，海外巨头引领创新• 第三部分：风险提示2请务必阅读正文之后的免责条款部分1.1 发展历程：算法模型持续迭代，AI行业快速发展3资料来源：信通院《人工智能生成内容(AIGC)白皮书》，CSDN官网，阿里云开发者社区，NIH Record官网，MIT官网，51CTO官网，机器之心官网，腾讯云开发者社区，科技行者官网，雷锋网，澎湃新闻网，winbuzzer官网，MBA百科，Geekwire官网，datamarketinglabs官网，安全客官网，AIGC开放社区公众号，IT之家官网，OpenAI官网，36氪官网，国元证券研究所请务必阅读正文之后的免责条款部分1.1 发展历程：算法模型持续迭代，AI行业快速发展41基础的生成算法模型是驱动AI的关键2014年，伊恩·古德费洛(lan Goodfellow)提出的生成对抗网络(Generative Adversarial Network, GAN)成为早期最为著名的生成模型。GAN使用合作的零和博弈框架来学习，被广泛用于生成图像、视频、语音和三维物体模型。随后，Transformer、基于流的生成模型(Flow-based models)、扩散模型(Diffusion Model)等深度学习的生成算法相继涌现。Transformer模型是一种采用自注意力机制的深度学习模型，这一机制可按输入数据各部分的重要性分配权重，可用于自然语言处理(NLP)、计算机视觉(CV)领域应用，后来出现的BERT、GPT-3、laMDA等预训练模型都是基于Transformer模型建立的。图：AIGC技术累积融合资料来源：腾讯研究院《AIGC发展趋势报告》，国元证券研究所请务必阅读正文之后的免责条款部分1.1 发展历程：算法模型持续迭代，AI行业快速发展51基础的生成算法模型是驱动AI的关键模型提出时间模型描述变分自动编码(Variational Autoencoders, VAE)2014年基于变分下界约束得到的Encoder-Decoder模型对。生成对抗网络(GAN)2014年基于对抗的Generator-Discriminator模型对。基于流的生成模型(Flow-based models)2015年学习一个非线性双射转换(bijective transformation)，其将训练数据映射到另一个空间，在该空间上分布是可以因子化的，整个模型架构依靠直接最大化log-likelihood来完成。扩散模型(Diffusion Model)2015年扩散模型有两个过程，分别为扩散过程和逆扩散过程。在前向扩散阶段对图像逐步施加噪声，直至图像被破坏变成完全的高斯噪声，然后在逆向阶段学习从高斯噪声还原为原始图像的过程。经过训练，该模型可以应用这些去噪方法，从随机输入中合成新的“干净”数据。Transformer模型2017年一种基于自注意力机制的神经网络模型，最初用来完成不同语言之间的文本翻译任务，主体包含Encoder和Decoder部分，分别负责对源语言文本进行编码和将编码信息转换为目标语言文本。神经辐射场(Neural Radiance Field, NeRF)2020年提出了一种从一组输入图像中优化连续5D神经辐射场的表示（任何连续位置的体积密度和视角相关颜色）的方法，要解决的问题就是给定一些拍摄的图，如何生成新的视角下的图。CLIP(Contrastive Language-Image PreTraining)模型2021年1) 进行自然语言理解和计算机视觉分析；2) 使用已经标记好的“文字-图像”训练数据。一方面对文字进行模型训练，一方面对图像进行另一个模型的训练，不断调整两个模型的内部参数，使得模型分别输出的文字特征和图像特征值确认匹配。DiT(Diffusion Transformers)模型2023年用 Transformer 替 换 了 传 统 的 U-Net 主 干 ， 在 潜 在 空 间 中 对 图 像 进 行 建 模 ， 并 通 过Transformer的注意力机制学习图像的全局依赖关系，具有良好的可扩展性，可以训练到更高的分辨率和更大的模型容量。资料来源：腾讯研究院《AIGC发展趋势报告》，经纬创投公众号，国元证券研究所表：主流生成模型一览表请务必阅读正文之后的免责条款部分1.1 发展历程：算法模型持续迭代，AI行业快速发展61基础的生成算法模型是驱动AI的关键资料来源：虎嗅APP公众号，国元证券研究所通过梳理全球主流大语言模型(LLM)的发展脉络，2018年以来的 GPT系列、LLaMA系列、BERT系 列 、 Claude系 列等多款大模型均发源 于 Transformer 架构。请务必阅读正文之后的免责条款部分1.1 发展历程：算法模型持续迭代，AI行业快速发展72预训练模型引发了AI技术能力的质变预训练模型是为了完成特定任务基于大型数据集训练的深度学习模型，让AI模型的开发从手工作坊走向工厂模式，加速AI技术落地。2017年，Google颠覆性地提出了基于自注意力机制的神经网络结构——Transformer架构，奠定了大模型预训练算法架构的基础。2018年，OpenAI和Google分别发布了GPT-1与BERT大模型，意味着预训练大模型成为自然语言处理领域的主流。资料来源：IDC《2022中国大模型发展白皮书》，国元证券研究所图：预训练相当于“通识教育”图：Transformer模型结构资料来源：CSDN官网，国元证券研究所请务必阅读正文之后的免责条款部分1.1 发展历程：算法模型持续迭代，AI行业快速发展2预训练模型引发了AI技术能力的质变开发者预训练模型应用参数量领域开发者预训练模型应用参数量领域谷歌Gemini 1.5图像、文本、视频、音频和代码理解，生成文本等多模态DeepMindGato多面手的智能体12亿多模态Gemini图像、文本、视频、音频和代码理解，生成文本等多模态Gopher语言理解与生成2800亿NLPBERT语言理解与生成4810亿NLPAlphaCode代码生成414亿NLPLaMDA对话系统NLPOpenAIGPT4图像与文本理解、文本生成等多模态PaLM语言理解与生成、推理、代码生成 5400亿NLPGPT3语言理解与生成、推理等1750亿NLPImagen语言理解与图像生成110亿多模态CLIP&DALL-E图形生成、跨模态检索120亿多模态Parti语言理解与图像生成200亿多模态Codex代码生成120亿NLP微软Florence视觉识别6.4亿CVChatGPT语言理解与生成、推理等NLPTuring-NLP语言理解、生成170亿NLP英伟达Megatron语言理解