计算机行业动态跟踪：Kimi支持200万字上下文，AI应用有望加速落地

有关分析师的申明，见本报告最后部分。其他重要信息披露见分析师申明之后部分，或请与您的投资代表联系。并请阅读本证券研究报告最后一页的免责申明。 计算机行业 ⚫ 3 月 18 日，月之暗面宣布旗下的智能助手 Kimi 的上下文长度突破到 200 万字。2023 年 10 月，月之暗面就发布了支持 20 万汉字上下文长度的智能助手 Kimi，在当时就是全球市场上能产品化使用的大模型服务中最长的。现在 Kimi 的能力上限又提升了十倍，达到了国际领先的水平。目前全球最长上下文的模型是谷歌于 2023 年2 月推出的 Gemini 1.5 Pro，最极限情况下能够达到 1000 万 token，但是并没有开放使用，日常对外开放的仅有 100 万 token 长度。 ⚫ 上下文技术是大语言模型能力的核心之一，它决定了模型对信息的理解深度和广度。支持更长的上下文长度能够让模型在处理大量信息时都能保持较高的准确性，让模型的应用场景得到进一步拓宽，例如对完整代码库的分析理解、自主完成多步骤复杂任务的智能体 Agent、不会遗忘关键信息的终身助理、真正统一架构的多模态模型等。就好比是计算机的 RAM，操作系统保留了所有应用程序的实时上下文，由于上下文长度充足，LLM 可以像“推理计算机”一样，保留大量用户上下文。 ⚫ 大模型上下文长度拓展存在“不可能三角”：文本长度、注意力和算力。Transformer 架构依赖于自注意力机制来处理输入序列。随着序列长度的增加，自注意力层的计算复杂度呈二次方增长，其中 n 是序列长度。这意味着对于较长的序列，模型需要进行大量的计算，这也对算力提出了更高的要求，从两个方面共同限制了大模型上下文长度的无限拓展。 上下文文本越长，模型越难聚焦充分注意力，难以完整理解用户意图；注意力限制下，短文本无法完整解读复杂信息；处理长文本需要大量算力，从而提高了成本。按 GPT-4 Turbo 目前 API 的输入输出价格来计算，要用满 128k 的长度进行一次输入输出的话，一次问答的价格超过 30 元。 ⚫ 随着大模型长文本技术不断深入，AI 应用落地的曙光初现。目前业界已经逐步形成共识，即使是千亿参数的大模型也无法完全避免幻觉和胡说八道的问题。相比于短文本，长文本可以通过提供更多上下文信息和细节信息，来辅助模型判断语义，进一步减少歧义，并且基于所提供事实基础上的归纳、推理也更加准确。长文本技术既可以解决大模型诞生初期被诟病的一些问题，增强一些功能，同时也是当前进一步推进产业和应用落地的一环关键技术。随着 Kimi 率先在国内突破长文本技术，AI相关的应用落地也有望进一步加速。目前月之暗面瞄准的是 2C 的赛道，未来在 2B赛道中长文本能力更有广阔的施展空间。 ⚫ 算力需求预计也会迎来提升。考虑到 Transformer 本身架构因素，上下文长度的提升必然会带来算力消耗的提升，即使在业界不断优化的情况下，对于算力的需求仍会有较大程度的增长。随着 Kimi 带动的长文本技术逐步延展，我们认为各大模型厂商均会逐步开启对于长文本模型的训练和研究，对算力的需求将会进一步提升。 我们认为，大模型上下文长度持续拓展有望加速 AI 相关应用落地，同时对于算力的需求也会随之大幅提升。 ⚫ AI 应用：建议关注金山办公(688111，增持)、新致软件(688590，未评级)、科大讯飞(002230，买入)、同花顺(300033，未评级)、彩讯股份(300634，未评级)、上海钢联(300226，增持)等公司 ⚫ AI 算力：建议关注中科曙光(603019，买入)、海光信息(688041，买入)、寒武纪-U(688256，未评级)、云赛智联(600602，未评级)、润泽科技(300442，未评级)、华铁应急(603300，买入)等公司 ⚫ 其他工具：星环科技-U(688031，未评级) 风险提示 技术落地不及预期；政策监管风险 投资建议与投资标的 核心观点 国家/地区 中国 行业 计算机行业 报告发布日期 2024 年 03 月 22 日 浦俊懿 021-63325888*6106 pujunyi@orientsec.com.cn 执业证书编号：S0860514050004 陈超 021-63325888*3144 chenchao3@orientsec.com.cn 执业证书编号：S0860521050002 覃俊宁 qinjunning@orientsec.com.cn 宋鑫宇 songxinyu@orientsec.com.cn Kimi 支持 200 万字上下文，AI 应用有望加速落地 看好（维持） 计算机行业动态跟踪 —— Kimi支持200万字上下文，AI应用有望加速落地 有关分析师的申明，见本报告最后部分。其他重要信息披露见分析师申明之后部分，或请与您的投资代表联系。并请阅读本证券研究报告最后一页的免责申明。 2 目 录 Kimi 上下文长度再突破，达国际领先水平 ...................................................... 4 模型长上下文技术原理探索 ............................................................................ 6 AI 应用有望加速落地，算力需求也随之提升 .................................................. 8 投资建议与投资标的 .................................................................................... 10 风险提示 ...................................................................................................... 10 计算机行业动态跟踪 —— Kimi支持200万字上下文，AI应用有望加速落地 有关分析师的申明，见本报告最后部分。其他重要信息披露见分析师申明之后部分，或请与您的投资代表联系。并请阅读本证券研究报告最后一页的免责申明。 3 图表目录 图 1：Kimi 支持 200 万字上下文 ................................................................................................... 4 图 2：Gemini 1.5 Pro 最长能支持 1000 万 token .......................................................................... 4 图 3：Kimi 可以一次性读 500 个简历并分析 ..................................................................