计算机AI行业系列点评：ChatGPT／AIGC九问九答

行业及产业 行业研究/行业点评 证券研究报告 计算机 2023 年 02 月 06 日 ChatGPT/AIGC 九问九答 看好 ——AI 行业系列点评 相关研究 "计算机主线会持续吗？AIGC FAQ 几大问 题 ！ - 计 算 机 行 业 周 报20230130-20230203" 2023 年 2 月 4日 "数字经济+chatGPT+港股科技，均预示科技全面 机会！ -计算机 行业周报20230116-20230120" 2023 年 1月 29 日 证券分析师 洪依真 A0230519060003 hongyz@swsresearch.com 林起贤 A0230519060002 linqx@swsresearch.com 刘洋 A0230513050006 liuyang2@swsresearch.com 联系人 洪依真 (8621)23297818× hongyz@swsresearch.com 本期投资提示：  近期市场对于 AIGC/ChatGPT 关注较高，投资者常见以下问题。  Q：大规模预训练模型（大模型）与小模型的核心区别？相比小模型，大模型有什么优势？首先最核心区别在于参数量，例如 GPT-3 参数量达到了 1,750 亿个，是传统深度学习小模型参数量的至少一万倍以上。通过模型的扩大，可以带来提升包括：1）GPT-2 等大模型舍弃了小模型中常见的调参过程，转向无监督训练；2）在 NLP 中常见小模型需要对不同的任务使用不同模型分别训练解决，而 GPT-3 等大规模预训练模型不再规定任务，而是对不同任务都有较好效果；3）GPT-3 先使用海量数据预训练大模型，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。大幅降低后续对数据量的需求。  Q：GPT-3等大模型和 Transformer 的关联？GPT/Bert等大模型都在自然语言领域应用。而 Transformer 是目前 NLP 领域效果较好的深度学习模型，因此 GPT/Bert 等都使用了Transformer。Transformer 最大的特点是，可以让每个单元都可以捕捉到整句的信息，这也是 RNN/LSTM 等更早期 NLP 模型无法做到的一点。  Q：Transformer 对于 CV 机器视觉可以有类似 NLP 的提升吗？实际上 2017 年transformer 推出之后，2018 年就有学者将其应用于 CV 图像领域，但当时应用效果未发现相比传统 CNN 等算法有较大提升。但在 2021 年后，随着 swin transformer、mae 等论文推出，transformer 在 CV 和跨模态等应用增加。因此国内擅长 CV 的 AI 公司，在 2022年前对于基于 transformer 的大模型关注投入较少，但是我们认为随着 VIT 等效果提升，应用类的 CV 公司也会开始关注并投入大模型。  Q：国内 transformer 大模型做的怎样？如何看待中美技术差距。首先需要承认这一类大模型底层创新在美国开始。中国在 2021 年后加速追赶。此前国内大部分视觉类 AI 公司都以小模型路线为主，投入大模型研发较多的包括百度、华为等。百度推出文心大模型，基本实现跨模态和多下游应用。华为推出最大中文语言预训练模型盘古大模型。  Q：怎样的公司有机会参与大模型底层技术研发？我们认为大模型对存储、算力要求极高，且对于开发者对深度学习框架使用也有要求，普通机构难以复现。  Q：上市公司中有哪些机会呢？计算机：泛 AI 领域是相关主线。稳健标的如 AI 领军、科大讯飞、万兴科技、虹软科技，弹性标的为云从科技、汉王科技、博彦科技、商汤科技(H)。互联网：看好国内 AIGC 市场，持续跟进 AIGC 的技术发展和文本、音频、图像等单模态的应用落地。重点关注技术驱动的初创代表企业、科研院所，以及与应用场景关联的 A 股上市公司。相关标的：中文在线、汉仪股份、视觉中国、蓝色光标。  风险提示：大模型技术中美仍存在差异，部分技术尚处于早期实验室阶段，存在落地风险；实体清单等可能对训练硬件产生影响。 请务必仔细阅读正文之后的各项信息披露与声明 仅供内部参考，请勿外传 行业点评 请务必仔细阅读正文之后的各项信息披露与声明 第 2 页 共 13 页 简单金融 成就梦想 近期市场对于 AIGC/ChatGPT 关注较高，投资者常见以下问题。 Q1：大规模预训练模型（大模型）与小模型的核心区别？相比小模型，大模型有什么优势？ 首先最核心区别在于参数量，例如 GPT-3 参数量达到了 1,750 亿个，是传统深度学习小模型参数量的至少一万倍以上。通过模型的扩大，可以带来提升包括： 1）GPT-2 等大模型舍弃了小模型中常见的调参 Fine-Tuning 过程，转向容量更大、无监督训练。 2）在自然语言理解 NLP 中，常见任务包括翻译、问答、文本填空等，常见小模型需要对不同的任务使用不同模型分别训练解决，而 GPT-3 等大规模预训练模型不再规定任务，而是对以上不同任务都有较好效果；可以理解为，一个饱读诗书的人，应该会写作、对话、阅读理解等多种技能，而不需要对单独技能训练； 图 1 预训练大模型在综合大量信息后可以用于多范围任务 资料来源：《On the Opportunities and Risks of Foundation Models》、申万宏源研究 3）传统的模型训练方式是反向传播算法，先对网络中的参数进行随机初始化（预训练大模型中不是随机初始化的），再利用随机梯度下降等优化算法不断优化模型参数，这种方式下对数据需求量较大。GPT-3 先使用海量数据预训练大模型，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。大幅降低后续对数据量的需求。 图 2 参数量较大的模型在即使在 Few-shot 下也有很好的表现 仅供内部参考，请勿外传 行业点评 请务必仔细阅读正文之后的各项信息披露与声明 第 3 页 共 13 页 简单金融 成就梦想 资料来源：《Language Models are Few-Shot Learners》，申万宏源研究 Q2：因此大规模预训练思路对 AI 应用落地有什么帮助？ 小模型时代，商用模型开发会综合考虑调参等研发投入量和带来的商业价值，模型开发出来后能否复用以摊薄研发成本，同时对于部分训练样本量较少的场景，没有很好解决方法。 大模型可以在长尾场景应用落地，降低训练成本、减少数据要求。基于大规模预训练思路，一方面大模型可以应对多个泛化任务，大模型+细分场景微调，更适合长尾落地；另一方面，对于小样本（few shot）训练，大模型也有较好提升。 Q3：GPT-3 等大模型和 Transformer 的关联？ GPT/Bert 等大模型都在自然语言领域应用。而 Transformer 是目前 NLP 领域效果较好的深度学习模型，因此 GPT/Bert 等都使用了 Transformer