电子行业电子AI+系列专题报告(一)：AI大语言模型的原理、演进及算力测算

请务必阅读正文之后的免责声明及其项下所有内容2023年04月24日电子AI+系列专题报告（一）AI大语言模型的原理、演进及算力测算行业研究 · 行业专题 电子投资评级：超配（维持评级）证券分析师：胡剑证券分析师：胡慧证券分析师：周靖翔证券分析师：李梓澎联系人：詹浏洋021-60893306021-60871321021-603754020755-81981181010-88005307hujian1@guosen.com.cnhuhui2@guosen.com.cnzhoujingxiang@guosen.com.cnlizipeng@guosen.com.cnzhanliuyang@guosen.com.cnS0980521080001S0980521080002S0980522100001S0980522090001证券研究报告 | 请务必阅读正文之后的免责声明及其项下所有内容AI大语言模型的原理、演进及算力测算l 机器学习中模型及数据规模增加有利于提高深度神经网络性能。人工智能致力于研究能够模拟、延伸和扩展人类智能的理论方法及技术，并开发相关应用系统；其最终目标是使计算机能够模拟人的思维方式和行为。机器学习是一门专门研究计算机如何模拟或实现人类的学习行为、以获取新的知识或技能、重新组织已有的知识结构使之不断改善自身性能的学科，广泛应用于数据挖掘、计算机视觉、自然语言处理等领域。深度学习是机器学习的子集，主要由人工神经网络组成。与传统算法及中小型神经网络相比，大规模的神经网络及海量的数据支撑将有效提高深度神经网络的表现性能。l Transformer模型架构是现代大语言模型所采用的基础架构。Transformer模型是一种非串行的神经网络架构，最初被用于执行基于上下文的机器翻译任务。Transformer模型以Encoder-Decoder架构为基础，能够并行处理整个文本序列，同时引入“注意机制”（Attention），使其能够在文本序列中正向和反向地跟踪单词之间的关系，适合在大规模分布式集群中进行训练，因此具有能够并行运算、关注上下文信息、表达能力强等优势。Transformer模型以词嵌入向量叠加位置编码作为输入，使得输入序列具有位置上的关联信息。编码器（Encoder）由Self-Attention（自注意力层）和 Feed Forward Network（前馈网络）两个子层组成，Attention使得模型不仅关注当前位置的词语，同时能够关注上下文的词语。解码器（Decoder）通过Encoder-Decoder Attention层，用于解码时对于输入端编码信息的关注；利用掩码（Mask）机制，对序列中每一位置根据之前位置的输出结果循环解码得到当前位置的输出结果。请务必阅读正文之后的免责声明及其项下所有内容AI大语言模型的原理、演进及算力测算l GPT是基于Transformer架构的大语言模型，近年迭代演进迅速。构建语言模型是自然语言处理中最基本和最重要的任务之一。GPT是基于Transformer架构衍生出的生成式预训练的单向语言模型，通过对大量语料数据进行无监督学习，从而实现文本生成的目的；在结构上仅采用Transformer架构的Decoder部分。自2018年6月OpenAI发布GPT-1模型以来，GPT模型迭代演进迅速。GPT-1核心思想是采用“预训练+微调”的半监督学习方法，服务于单序列文本的生成式任务；GPT-2在预训练阶段引入多任务学习机制，将多样化的自然语言处理任务全部转化为语言模型问题；GPT-3大幅增加了模型参数，更能有效利用上下文信息，性能得到跨越式提高；GPT-3.5引入人类反馈强化学习机制，通过使用人类反馈的数据集进行监督学习，能够使得模型输出与人类意图一致。l 大语言模型的训练及推理应用对算力需求带来急剧提升。以GPT-3为例，GPT-3参数量达1750亿个，训练样本token数达3000亿个。考虑采用精度为32位的单精度浮点数数据来训练模型及进行谷歌级访问量推理，假设GPT-3模型每次训练时间要求在30天完成，对应GPT-3所需运算次数为3.15*10^23FLOPs，所需算力为121.528PFLOPS，以A100 PCle芯片为例，训练阶段需要新增A100 GPU芯片1558颗，价值量约2337万美元；对应DGX A100服务器195台，价值量约3880.5万美元。假设推理阶段按谷歌每日搜索量35亿次进行估计，则每日GPT-3需推理token数达7.9万亿个，所需运算次数为4.76*10^24FLOPs，所需算力为55EFLOPs，则推理阶段需要新增A100 GPU芯片70.6万颗，价值量约105.95亿美元；对应DGX A100服务器8.8万台，价值量约175.12亿美元。l 产业链相关公司：工业富联、沪电股份、寒武纪、海光信息、国芯科技、全志科技。l 风险提示：宏观AI推广不及预期，AI投资规模低于预期，AI服务器渗透率提升低于预期 ，AI监管政策收紧等。请务必阅读正文之后的免责声明及其项下所有内容人工智能、机器学习与神经网络简介01Transformer模型结构分析02大规模语言模型算力需求测算（以GPT-3为例）03产业链相关公司04目录风险提示05请务必阅读正文之后的免责声明及其项下所有内容一、人工智能、机器学习与神经网络简介请务必阅读正文之后的免责声明及其项下所有内容l 人工智能（Artificial Intelligence，AI）是研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能的最终目标是使计算机能够模拟人的思维方式和行为。l 机器学习（Machine Learning，ML）是实现人工智能的一种途径，是一门专门研究计算机如何模拟或实现人类的学习行为、以获取新的知识或技能、重新组织已有的知识结构使之不断改善自身性能的学科。l 机器学习包括数据、模型、算法三要素。从实践上来看，机器学习是在大数据的支撑下，通过各种算法让机器对数据进行深层次的统计分析以进行“自学”（训练模型），使人工智能系统获得了归纳推理和决策能力。机器学习作为一套数据驱动方法，已广泛应用于数据挖掘、自然语言处理、机器视觉、搜索引擎、医学诊断、生物特征识别、DNA序列测序、证券市场分析等领域。机器学习是实现人工智能的途径之一图：机器学习训练与推理示意图资料来源：woshipm，国信证券经济研究所整理图：机器学习三要素资料来源：gitbook，国信证券经济研究所整理请务必阅读正文之后的免责声明及其项下所有内容l 深度学习（Deep Learning，DL）是机器学习的子集，由人工神经网络（ANN）组成。深度学习模仿人脑中存在的相似结构，其学习是通过相互关联的“神经元”的深层的、多层的“网络”来进行的。l 典型的神经网络从结构上可以分为三层：输入层、隐藏层、输出层。其中，输入层（input layer）是指输入特征向量；隐藏层（hidden layer）是指抽象的非线性中间层；输出层（output layer）是指输出预测值。深层神经网络即包含更多隐藏层的神经网络。l 相比于传统机器学习模型，深度学习神经网络更能在海