量化漫谈系列之六：为大模型插上翅膀，ChatGLM部署与Langchain知识库挂载

敬请参阅最后一页特别声明 1 自去年底 ChatGPT 发布以来，大模型展现出的能力受到市场的广泛关注，我们基于 ChatGPT 的系列量化研究也充分说明其在投研领域的重要作用。不过 ChatGPT 在实际使用中依然存在专业度不够、数据隐私性得不到保证、信息及时性不够等问题。 我们推荐使用 Langchain 这一开源的大模型框架以提升模型的实际使用体验，该框架应用领域广泛，可以基于本地知识库进行问答，接受多种不同文档形式的输入。其基本原理是将本地的不同文档进行切分后存入向量数据库中，在用户提问时进行相似性搜索，结合最相似性的文档段落放入提示模板中对大语言模型进行提问，从而得到更有专业性的回答结果。此外，Langchain 的强大的 Chain 和 Agent 模块能够实现任务识别、任务拆解、工具选择&使用、完成任务后的回答整理，对于大模型和知识库的使用起到了锦上添花的作用。 随着 ChatGPT 推出之后受到的广泛关注，国内外众多互联网、科技类公司也纷纷推出了自己的大语言模型。美国的互联网科技公司在开发出 LLaMA 模型后，众多高校以该模型为基座训练出了 Alpaca 和 Vicuna 等模型。国内有阿里云推出的 Qwen，商汤科技、上海 AI 实验室联合多个高校开发出了 InternLM，清华大学与智谱 AI 训练的 ChatGLM 等模型都有非常不错的表现。在 OpenCompass 的中文多维度综合能力测评中，众多国产开源大模型已经展现出了较强的综合实力。 我们选择关注度较高的 ChatGLM2-6B 模型进行部署，该模型在量化后可在一些消费级显卡上进行推理，同时也有不错的表现。同时搭配 Langchain 的框架对过往的行业研报、金工研报、宏观及策略研报进行向量化后构建对应的知识库，我们分别针对新知识掌握、多文本总结概括和信息搜集三大应用场景进行测试，发现 ChatGLM2 整体给出了较高的回复质量。该流程实现自动化后，可以将我们关心的日常资讯、私有数据、最新研报等内容自动更新加载进入知识库，从而使模型使用更佳高效便捷。 1、 大语言模型基于上下文预测进行回答，不能保证回答准确性，由此可能产生误导影响用户判断。 2、 Langchain 框架效果与挂载知识库质量、提示模板设计、大语言模型能力高度相关，若相关配置不到位，可能会导致回答效果不及预期。 金融工程专题报告 敬请参阅最后一页特别声明 2 扫码获取更多服务 内容目录 一、ChatGPT 等通用大语言模型使用现状 ............................................................ 4 二、Langchain 知识库框架介绍 .................................................................... 6 2.1 Langchain 知识库原理介绍 ................................................................ 6 2.2 Langchain 知识库主要模块介绍及应用案例 .................................................. 7 三、主流开源大语言模型对比..................................................................... 10 3.1 部分大语言模型介绍..................................................................... 10 3.2 大语言模型评价指标介绍及对比........................................................... 10 3.3 大语言模型部署的显卡消耗............................................................... 12 四、ChatGLM2 模型+Langchain 知识库挂载.......................................................... 12 4.1 模型部署............................................................................... 12 4.2 Langchain 知识库挂载及应用案例 ......................................................... 13 总结........................................................................................... 14 风险提示....................................................................................... 15 图表目录 图表 1： ChatGPT 行业打分回答示例................................................................ 4 图表 2： ChatGPT 分析 OPEC 新闻对于原油期货价格的影响回答示例..................................... 4 图表 3： ChatGPT 金融领域专业知识问答示例........................................................ 5 图表 4： ChatGPT 最新资讯问答示例................................................................ 5 图表 5： Langchain 挂载本地知识库框架介绍........................................................ 6 图表 6： 知识库挂载问答示例 1.................................................................... 7 图表 7： 知识库挂载问答示例 2.................................................................... 7 图表 8： Langchain 常用模块...................................................................... 7 图表 9： 主流 Embedding 模型介绍 ................................................................. 8 图表 10：