大模型：从单词接龙到行业落地

1大模型：从单词接龙到行业落地杨洋，浙江大学?教学用途声明：本PPT包含部分来源于网络的素材，仅供教学使用，非商业用途，版权归原作者所有浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江2人工智能前夜：图灵测试o 图灵测试会在测试人在与被测试者 (一个人和一台机器) 隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。o 问过一些问题后，如果超过 30% 的答复不能使测试人认出哪个是人、哪个是机器的回答，那么这台机器就通过了测试，并被认为具有人类智能。浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江3人工智能前夜：图灵测试o 在提出图灵测试的《计算机器与智能》一文里，图灵描述了想象中未来的智能计算机测试可能的样子（人提出问题，计算机回答）：Q：请给我写一首有关福思桥（Forth Bridge）主题的十四行诗。A：这种事情别找我。我从来都不会写诗。Q：34957 +70764 等于多少？A：（停顿了约 30 秒后再给出答案）105621。Q：在国际象棋中，我在K1处有一个王，除此之外没有棋子了。你在K6处有一个王且在R1处有一个车。现在你会怎么走？A：(15 秒停顿后) 将车移动到R8，然后将死。文学数学逻辑浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江4大模型与图灵测试文学数学逻辑浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江5大语言模型：单词接龙杨老师周一晚讲 0.6旅 0.3吃 0.1浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江6大语言模型：单词接龙杨老师周一晚讲课 0.4大 0.4话 0.2浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江7大语言模型：单词接龙杨老师周一晚讲大话 0.1人 0.1模 0.8浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江8大语言模型：单词接龙杨老师周一晚讲大模型 0.7态 0.2块 0.1浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江9大语言模型：单词接龙杨老师周一晚讲大模型， 0.4EOS 0.5呀 0.1浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江10单词接龙：通过条件概率计算实现P( token_i | context )下一个单词上下文（用户提问+已生成的句子）o 给定上下文（Context），计算下一个生成词（Token）的概率o 根据所计算的条件概率进行采样获得生成词，拼接至上下文末尾，并预测下一个生成词，直至生成一个结束符（End-of-Sequence, EOS）o 利用Transformer计算条件概率•Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Lllia Polosukhin. “Attention is All You Need.” In NeurIPS, 2017.浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江11将各类下游任务转化为单词接龙输入： 景点（如断桥残雪） 输出：该景点所在城市断桥残雪在哪？模型杭州传统机器学习模型拆分成一连串的单词接龙断桥残雪在哪？LLM杭断桥残雪在哪？杭LLM州断桥残雪在哪？杭州LLM[EOS]浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江12为什么单词接龙？针对特定任务的端到端学习断桥残雪在哪？模型北京杭州模型<断桥残雪，杭州>，<长城，北京>，<故宫，北京> …训练数据：需要标注，成本高标注输入数据浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江13预训练-微调：机器学习新范式预训练杭州是中国浙江省的省会城市，是一座历史悠久且富有文化的城市，被誉为“人间天堂”。它位于中国东南沿海的长江三角洲经济区，拥有丰富的自然景观和人文遗产。杭州以西湖著称，西湖是中国著名的风景名胜，也被列入了世界文化遗产。除了西湖，杭州还有其他许多著名的景点，如京杭大运河、钱塘江、灵隐寺、断桥等。采样很多句子做单词接龙杭州是中国它位于中国杭州以LLM列入了世界浙江省东南沿海西湖著称文化遗产杭州是中国浙江省LLM江苏省浙江省浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研浙江14如何培育小火龙，成为宝可梦世界冠军？浙江大学人工智能教育教学研究中心中心人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人工智能教育教学研究中心浙江大学人