复旦大学（张奇）：2023年大规模语言模型中语言与知识报告

ML-Summit 2023大规模语言模型中语言与知识张奇复 旦 大 学ML-Summit 2023 全球机器学习技术大会ML-Summit 2023目 录Multilingual BERT 中存在多语言对齐现象1大语言模型中多语言对齐2大语言模型中的语言和知识分离3ML-Summit 202301Multilingual BERT 中存在多语言对齐现象ML-Summit 2023MULTILINGUAL BERT 中存在多语言对齐现象Xu et al. Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? EMNLP 2022mBERT 不同层恢复各类语言语法关系的准确性。ML-Summit 2023MULTILINGUAL BERT 中存在多语言对齐现象Xu et al. Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? EMNLP 2022mBERT 第 7 层的不同语法关系表示的可视化。ML-Summit 2023MULTILINGUAL BERT 中存在多语言对齐现象Xu et al. Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer? EMNLP 2022mBERT 第 7 层的不同语法关系表示的可视化在进行任务Fine-Tune之后，聚合对齐更加明显ML-Summit 2023在大语言模型中有类似现象吗？ML-Summit 202302大语言模型中多语言对齐ML-Summit 2023大语言模型中也存在类似现象Xu et al. Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization, EMNLP 2023语言直接在句法关系上具有很强的对齐性ML-Summit 2023大语言模型中也存在类似现象Xu et al. Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization, EMNLP 2023词性标注任务，可以通过跨语言训练得到非常高的结果ML-Summit 2023通过多语言模型预训练，多语言语义在模型中已经完成对齐ML-Summit 2023大规模语言模型中多语言对齐Zhao et al. LLaMA Beyond English: An Empirical Study on Language Capability Transfer. AAAI 2024 submittedML-Summit 2023大规模语言模型中多语言对齐Zhao et al. LLaMA Beyond English: An Empirical Study on Language Capability Transfer. AAAI 2024 submitted比较如下模型：•LLaMA (Touvron et al. 2023a)•LLaMA2 (Touvron et al. 2023b)•Chinese LLaMA (Cui, Yang, and Yao 2023b)•基于LLaMA，扩展中文词元，30B中文Token语料二次训练（120GB）•Chinese LLaMA2 (Cui, Yang, and Yao 2023a)•基于LLaMA2，扩展中文词元，30B中文Token语料二次训练•Open Chinese LLaMA (OpenLMLab 2023)•基于LLaMA，扩展中文词元，100B中英混合Token语料二次训练•LLaMA+10K、 LLaMA+100K、 LLaMA+1M•基于LLamA不扩展中文词元，直接使用中文语料二次训练ML-Summit 2023大规模语言模型中多语言对齐Zhao et al. LLaMA Beyond English: An Empirical Study on Language Capability Transfer. AAAI 2024 submittedML-Summit 2023TOKEN扩展对模型影响很大，扩展后丢失原始信息，需要大量训练才能恢复ML-Summit 2023SFT数据量扩展到950K后，1M这种量级二次预训练没有特别的意义ML-Summit 2023使用中文进行二次预训练并不能在知识层面提升模型能力ML-Summit 2023在其他低资源语言中表现很类似ML-Summit 2023训练过程中非常明显的CODING-SWITCH现象ML-Summit 2023训练过程中非常明显的CODING-SWITCH现象ML-Summit 2023在大语言模型训练中我们还可以看到这些现象ML-Summit 2023ML-Summit 2023Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback, Anthropic, 2023大部分LLM 在迭代1轮之后，效果提升就很不明显train for one epochSimilarly to Wu et al. (2021), we find that our SFT models overfit on validation loss after 1 epochTraining language models to follow instructions with human feedback，OpenAI, 2022ML-Summit 2023有智能，打不开打的开，没智能打的开，有智能看不透From: 中科院软件所 韩先培ML-Summit 2023ML-Summit 2023这些现象是否以及如何体现在大语言模型参数中？ML-Summit 2023ML-Summit 2023ML-Summit 202303大语言模型中的语言与知识注意：非常初步的结果，很多结论和实验并不十分可靠，仍在实验验证中ML-Summit 2023大语言模型参数中记录了知识有明显的语言核心区ML-Summit 2023大模型中的语言和知识分区如何确定如何确定模型中的语言核心区和非核心区：1. 阿拉伯语、韩语、西班牙语、中文、俄语、越南语，每个语言10W条文本2. 分别利用上述数据对模型进行二次预训练3. 6种语言训练前后参数变化累加，权重变化最小的1-5%M