ChatGPT技术、国产化尝试和开源模型

ChatGPT技术、国产化尝试和开源模型元语AI 徐亮，www.clueai.cn自然语言大模型Model-as-a-Service服务商 概览•背景•1.ChatGPT技术•1）技术演进：GPT-->InstructGPT-->ChatGPT•2) 存在什么样的问题？•3）学习三阶段•4）数据组织和效果评估•2.国产化•1）背景与问题 •2）解决思路•3）效果与实践•3.开源模型•1）中文开源模型•2）基于自有数据训练出本地模型•3）可能的问题、差距和如何进一步提升效果背景• ChatGPT: 通用功能型助手• 2022年12月5日，OpenAI首席执行官Sam Altman在社交媒体上发文称，ChatGPT推出五天，已突破100万用户• AI聊天机器人ChatGPT爆火出圈！微软正洽谈100亿美元增持股份背景为什么这么受欢迎：1）更好的理解用户意图与生成能力---->更好的效果；2）便利的使用形式（对话机器人）----->人人都能使用ChatGPT技术：模型演进ChatGPT技术：之前的模型存在什么样的问题？• 对齐问题：大模型生成的响应不符合用户意图• 原因：语言模型训练的训练目标是预测下一个词，而不是按照用户意图来生成• 怎么解决：加入基于人类反馈的强化学习（RLHF）ChatGPT技术：三步走1.真实用户输入的监督学习2.奖励函数，评价模型的生成效果3.基于人类反馈的强化学习，生成更符合人类需要的内容参考：InstructGPT, Training language models to follow instructions with human feedbackChatGPT技术：数据组织和效果评估• 冷启动：• 1）现有系统用户prompt；• 2）标注相似的prompt；• 3）标注人员自己想的prompt• 三部分数据（77K真实数据）：• 1. 基于真实用户prompt的监督学习数据• (用户prompt, 模型response,13k)• 2. 用于奖励模型训练的数据（一个prompt多个response的排序,33k）• 3. 基于奖励模型使用强化学习进行训练（用户的prompt, 31k）ChatGPT技术：数据组织和效果评估ChatGPT国产化：背景与问题 • 背景与问题：1、ChatGPT效果虽好，但本身不对中国大陆服务2、本地化问题：可能不能满足国内企业级客户的需求，包括无法提供本地化技术支持与服务3、价格问题：以欧美为主要市场的美元计价国内多数用户可能承受不了。ChatGPT国产化：解决思路• 分步走：• 1）百亿参数的中文模型的预训练；• 2）亿级别任务数据上的监督学习（Prompt多任务学习）；• 3）对话化• --------• 再，引入奖励模型和RLHF用户反馈的强化学习ChatGPT国产化：Prompt多任务学习全中文任务支持零样本学习模型(PromptCLUE) 1.三大统一：统一模型、统一数据形式、统一使用方式；2. 1000亿中文字词级别token无监督学习，亿级下游任务数据，累积学习1.5万亿中文字词级别token3. 支持20多种任务上的零样本使用（文本理解类、抽取类、生成累任务）相关工作：google flan-t5, meta opt-imlChatGPT国产化：对话化• 移除了文本理解类和抽取类任务• 加强了问答、对话和生成类任务的学习• 上下文能力加强：针对多轮对话容易受到上下文的干扰，加入了抗干扰数据使得模型可以在必要时忽略无关的上下文；• 更好理解用户意图：加入了用户反馈数据的学习ChatGPT国产化：实践与效果与ChatGPT相比，我们还需要1-2年时间开源模型：功能型对话中文大模型（ChatYuan）• 1. ChatYuan：元语功能型对话大模型（开源版，7.7亿参数）: • 项目地址：https://github.com/clue-ai/ChatYuan• huggingface/modelscope/github• 支持问答、多轮对话和各类生成任务• 2. ChatYuan: 通用功能型对话中文大模型（百亿参数，线上版）扫码在线体验（小程序）：ModelScope.cnHuggingfaceGithub开源模型：本地使用开源模型：基于自有数据训练出本地模型数据组织将数据组织成统一的格式，由两部分构成：输入(Input)和输出(Output)。针对单轮问答或生成：输入(Input): 任务描述+输入文本（如：“用户：你好\n小元：”）输出(Output): 系统需要预测的文本，如下图中"小元"后的内容。（如：“您好！我是元语AI...”）针对多轮对话：输入(Input): 任务描述+上文+输入文本输出(Output): 系统需要预测的文本，如下图中"小元"后的内容。开源模型：基于自有数据训练出本地模型微调模型(colab，见chatguan的github项目）。pclue数据示例：{"input": "参考下面的段落，回答下列问题：段落：因吊钟的花朵通常在农历新年前后开花，故英文又名为Chinese New Year Flower，意即中国新年花。。。。。。土壤肥沃含腐殖质及排水良好的土壤。可以使用播种、扦插法及压条法繁殖。问题：吊钟花如何进行繁殖？答案：", "target": "播种、扦插法及压条法", "type": "mrc"}开源模型：差距、可能的问题和进一步提升效果• 差距：• 与ChatGPT差距还挺大，包括模型大小、学习到的数据量、• 基于真实用户反馈的强化学习• 可能的问题：• 开源模型，生成的效果和长短（输入格式是否正确、采样与否sample、输出长度的控制max_length）• 进一步提升效果：• 1）结合行业数据进行进一步训练（无监督预训练；有监督学习-大量高质量的数据）；• 2）真实用户反馈数据的学习（弥补分布差异）• 3）强化学习的引入（对齐用户意图）• 4）更大的模型（更强能力）结尾扫码在线体验ChatYuan：ChatGPT带来的新的技术和使用，让人们看到的AI的巨大潜力，具有广阔的发展空间元语智能大模型Model-as-a-Service服务商www.clueai.cn公众号