计算机行业GPT产业复盘(2018)：GPT问世

免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 1 证券研究报告 计算机 GPT 产业复盘（2018）：GPT 问世 华泰研究 计算机 增持 (维持) 研究员 谢春生 SAC No. S0570519080006 SFC No. BQZ938 xiechunsheng@htsc.com +(86) 21 2987 2036 联系人 袁泽世，PhD SAC No. S0570122080053 yuanzeshi@htsc.com +(86) 21 2897 2228 行业走势图 资料来源：Wind，华泰研究 2023 年 2 月 14 日│中国内地 专题研究 溯源 GPT 发展：2018 年开启自然语言处理模型新一轮发展热潮 复盘 2017-2022 年出现的自然语言处理模型，我们认为，2017 年出现的Transformer 模型为 GPT 的出现奠定了基础。2018 年由 OpenAI 提出的GPT-1 开启了新一轮自然语言模型发展的热潮。2018 年，出现的主要自然语言模型包括 GPT-1、ELMo、ULMFiT 和 BERT 等。其中，GPT-1 模型的单向训练特点，使得其特别适合文本生成类型的任务。ELMo 为双向训练模型，更善于解决 NLP 中的一词多义问题。ULMFiT 是一种适用于 NLP 中的迁移学习模型，更适合文本分类任务。除 OpenAI 外，Facebook、微软和谷歌等也在同步推进 AI 的相关研究。 GPT-1：基于 Transformer 架构，在文本生成领域表现突出 架构上，GPT-1 基于 Transformer 架构，但是仅保留了架构中的解码器（Decoder）部分。训练步骤上，分为两个阶段，1）无监督预训练：采用多层 Transformer 模型的解码器为语言模型，进行基于大文本语料库的高容量无监督学习；2）有监督微调：当下游的问题具有结构化特征，例如有序的句子对或文档、问题和答案的三元组，首先将其转换成特定的序列结构，再根据针对性的数据集进行微调训练。GPT-1 在自然语言推理、问题回答、语义相似性和文本分类等方面，性能均优于绝大多数相似模型。 GPT-1 vs ELMO/ULMFiT：不同模型擅长不同的任务类型 我们对 2018 年出现的其他主要 NLP 模型进行拆解分析。架构上，EMLo 不同于 GPT-1 的 Transformer 架构，采用了双向的 LSTM 语言模型，由一个前向和一个后向语言模型构成，ULMFiT 则采用了 3 层 LSTM 架构。擅长任务上，GPT-1 采用单向架构，仅使用单词的上文进行预测，因此模型计算速度更快，更适合文本生成类的任务。ELMo 改进了传统的词嵌入方法，结合上下文对多义词在当前语境的含义做出判断，解决了 NLP 中的一词多义问题。ULMFiT 是一种可以应用 NLP 中任何任务的迁移学习模型，专门用于文本分类任务。 OpenAI 持续在人工智能训练领域发力 2018 年 6 月，OpenAI 发表论文《Improving Language Understanding by Generative Pre-Training》，提出生成式预训练概念，标志着 GPT-1 的诞生。此外，OpenAI 在人工智能训练领域持续保持研究，涉及机器学习、AI 安全、物理机器人训练、游戏 AI 训练、图像生成等内容。例如，在游戏 AI 训练领域，搭建游戏强化学习研究平台—Gym Retro，组建神经网络战队 OpenAI five 并打败人类选手；在训练物理机器人方面，使用与 OpenAI Five 相同的通用强化学习算法训练了自由度为 24 的类人机器手。 Facebook、微软和谷歌等巨头积极布局人工智能领域 Facebook、微软和谷歌等互联网巨头同样重视 AI 领域投入。2018 年，Facebook AI Research 小组使用无监督机器翻译支持更多可翻译语言；升级 Pytorch 深度学习开源框架；部署了 Rosetta 的机器学习系统。微软搭建Microsoft AI Platform 人工智能平台；推出 Project Brainwave，利用芯片级FPGA 技术实现的人工智能推理引擎。谷歌推出用于 NLP 的 BERT；推出谷歌助理 Google Duplex；推动其开源机器学习框架 TensorFlow，并支持更多人工智能应用；推出 AutoML，自动构建和训练机器学习模型。 风险提示：宏观经济波动，下游需求不及预期。本报告内容均基于客观信息整理，不构成投资建议。 (30)(21)(12)(3)6Feb-22Jun-22Oct-22Feb-23(%)计算机沪深300仅供内部参考，请勿外传 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。 2 计算机 正文目录 GPT 发展之 2017：Transformer 架构为 GPT 奠定基础 ............................................................................................. 3 Transformer：GPT 模型的基础 ............................................................................................................................ 3 自注意力机制是 Transformer 的核心理念 .................................................................................................... 4 GPT 发展之 2018：GPT-1 诞生，开启 NLP 新发展热潮 ............................................................................................. 6 GPT-1：确定生成式预训练模型基本路线 ..................................................................................................................... 8 GPT-1：基于 Transformer 的预训练+微调半监督模型 ......................................................................................... 8 模型特点：无监督训练+有监督微调 ......................................................................................................