ChatGPT调研报告

ChatGPT 调研报告（仅供内部参考）哈尔滨工业大学自然语言处理研究所（HIT-NLP）2023 年 3 月 6 日ChatGPT 调研报告序言2022 年 11 月 30 日，OpenAI 推出全新的对话式通用人工智能工具——ChatGPT。ChatGPT 表现出了非常惊艳的语言理解、生成、知识推理能力，它可以很好地理解用户意图，做到有效的多轮沟通，并且回答内容完整、重点清晰、有概括、有逻辑、有条理。ChatGPT 上线后，5 天活跃用户数高达100 万，2 个月活跃用户数已达 1 个亿，成为历史上增长最快的消费者应用程序。除了被广大用户追捧外，ChatGPT 还受到了各国政府、企业界、学术界的广泛关注，使人们看到了解决自然语言处理这一认知智能核心问题的一条可能的路径，并被认为向通用人工智能迈出了坚实的一步，将对搜索引擎构成巨大的挑战，甚至将取代很多人的工作，更将颠覆很多领域和行业。哈工大自然语言处理研究所组织多位老师和同学撰写了本调研报告，从技术原理、应用场景、未来发展等方面对 ChatGPT 进行了尽量详尽的介绍及总结。本报告仅供内部参考。主要编撰人员第一章由车万翔、杨沐昀、张伟男、赵妍妍、冯骁骋、孙承杰、李佳朋编写；第二章由张伟男、隋典伯、高翠芸、朱庆福、李明达、王雪松编写；第三章由刘铭、朱聪慧、汤步洲编写；第四章由徐永东、高翠芸、朱庆福编写；第五章由杨沐昀、张伟男、韩一、庄子彧编写；第六章由隋典伯、高翠芸编写；第七章由车万翔、刘铭编写。参与各章审校工作的还有：崔一鸣、徐志明等。报告整体由车万翔统稿。2ChatGPT 调研报告目录第一章 ChatGPT 的背景与意义61.1自然语言处理的发展历史. . . . . . . . . . . . . . . . . . . .61.2大规模预训练语言模型的技术发展历程 . . . . . . . . . . . . .81.3ChatGPT 技术发展历程 . . . . . . . . . . . . . . . . . . . . .81.3.1ChatGPT 的相关技术 . . . . . . . . . . . . . . . . . .101.3.2ChatGPT 技术发展脉络的总结 . . . . . . . . . . . . .111.3.3ChatGPT 的未来技术发展方向 . . . . . . . . . . . . .121.4ChatGPT 的优势与劣势 . . . . . . . . . . . . . . . . . . . . .131.4.1ChatGPT 的优势 . . . . . . . . . . . . . . . . . . . . .131.4.2ChatGPT 的劣势 . . . . . . . . . . . . . . . . . . . . .151.5ChatGPT 的应用前景 . . . . . . . . . . . . . . . . . . . . . .161.5.1在人工智能行业的应用前景及影响. . . . . . . . . . .171.5.2在其他行业的应用前景及影响 . . . . . . . . . . . . . .171.6ChatGPT 带来的风险与挑战. . . . . . . . . . . . . . . . . .19第二章 ChatGPT 相关核心算法242.1基于 Transformer 的预训练语言模型 . . . . . . . . . . . . . .242.1.1编码预训练语言模型（Encoder-only Pre-trained Mod-els） . . . . . . . . . . . . . . . . . . . . . . . . . . . .242.1.2解码预训练语言模型（Decoder-only Pre-trained Mod-els） . . . . . . . . . . . . . . . . . . . . . . . . . . . .252.1.3基于编解码架构的预训练语言模型（Encoder-decoderPre-trained Models）. . . . . . . . . . . . . . . . . .282.2提示学习与指令精调 . . . . . . . . . . . . . . . . . . . . . . .302.2.1提示学习概述 . . . . . . . . . . . . . . . . . . . . . . .303ChatGPT 调研报告2.2.2ChatGPT 中的指令学习 . . . . . . . . . . . . . . . . .312.3思维链（Chain of Thought，COT） . . . . . . . . . . . . . .322.4基于人类反馈的强化学习（Reinforcement Learning with Hu-man Feedback，RLHF）. . . . . . . . . . . . . . . . . . . .33第三章 大模型训练与部署353.1大模型并行计算技术 . . . . . . . . . . . . . . . . . . . . . . .353.2并行计算框架 . . . . . . . . . . . . . . . . . . . . . . . . . . .363.3模型部署. . . . . . . . . . . . . . . . . . . . . . . . . . . . .403.3.1预训练模型部署的困难 . . . . . . . . . . . . . . . . . .403.3.2部署框架和部署工具 . . . . . . . . . . . . . . . . . . .413.3.3部署技术和优化方法 . . . . . . . . . . . . . . . . . . .433.4预训练模型的压缩. . . . . . . . . . . . . . . . . . . . . . . .453.4.1模型压缩方案概述. . . . . . . . . . . . . . . . . . . .453.4.2结构化模型压缩策略 . . . . . . . . . . . . . . . . . . .453.4.3非结构化模型压缩策略 . . . . . . . . . . . . . . . . . .463.4.4模型压缩小结 . . . . . . . . . . . . . . . . . . . . . . .46第四章ChatGPT 相关数据集484.1预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . .484.1.1文本预训练数据集. . . . . . . . . . . . . . . . . . . .484.1.2代码预训练数据集. . . . . . . . . . . . . . . . . . . .504.2人工标注数据规范及相关数据集 . . . .