电子行业OpenAI+o1：逻辑能力显著提升，推理侧算力消耗大幅增加

OpenAI o1：逻辑能力显著提升，推理侧算力消耗大幅增加证券研究报告行业动态研究发布日期：2024年9月19日本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请务必阅读正文之后的免责条款和声明。分析师：于芳博yufangbo@csc.com.cnSAC编号：S1440522030001摘要摘要核心观点：OpenAI发布新的具有深度思考能力的o1推理模型，模型在复杂问题上花更多时间进行思考而非直接回应，具有改善和调整策略的能力，在科学、代码和数学等复杂问题上表现出色。OpenAI o1融合思维树和强化学习，实现思维模式的深度探索。Open o1在模型推理侧同样满足scaling law，即模型推理时间越久模型处理复杂问题能力愈强，通过不断的思维树检索和反复自我博弈，o1呈现出类人的逻辑思维潜力。由于推理过程的反复博弈，新架构下推理侧算力消耗将大幅增加。OpenAI o1具备深度思考能力，在复杂问题上表现出色。从ChatGPT爆火整个社交网络后，大模型行业进入如火如荼的发展阶段，模型的基础能力得到显著提升，然而Transformer模型由于其架构限制存在一定的能力边界难以逾越，涉及到复杂数理逻辑推理时表现仍然有待提升。提示词工程应运而生，在合理的提示词设计下，大模型推理能力得到显著提升。OpenAI发布新的具有深度思考能力的o1推理模型，模型在复杂问题上花更多时间进行思考而非直接回应，具有改善和调整策略的能力，在科学、代码和数学等复杂问题上表现出色。OpenAI o1融合思维树和强化学习，实现思维模式的深度探索。思维链和思维树通过中间推理步骤帮助大模型实现了复杂的推理能力，大语言模型能够自己对严谨推理过程的中间思维进行评估。强化学习是人工智能重要的研究领域，智能体在与环境的反复交互过程中持续学习，不断最大化其奖励。OpenAI o1深度融合思维树和强化学习，实现思维树的自我训练，同时通过广度搜索和深度搜索不断优化其思维树结构，进而实现思维模式的深度探索。推理侧scaling law同样存在，大模型算力需求逐步迁移至推理侧。过去在训练侧证实了scaling law的存在，即训练越多模型愈发聪明。Open o1在模型推理侧同时发现了scaling law，即模型推理时间越久模型处理复杂问题能力愈强，推理侧的scaling law同样展现了巨大的潜力，通过不断的思维树检索和反复自我博弈，o1呈现出类人的逻辑思维潜力。由于在推理过程的反复博弈，模型当前推理算力需求大幅提升，大模型整体算力消耗从训练侧逐渐迁移至推理侧，对整个算力需求起到长期的重要支撑。风险提示：大模型技术发展不及预期、商业化落地不及预期、政策监管力度不及预期、数据数量与数据质量不及预期。 2017年，Google在Transformer模型中引入注意力机制，在自然语言的理解和生成也取得了巨大的成功，当前已经成为自然语言处理领域最常见的基础模型。 2022年底，OpenAI发布的具备类人对话体验的ChatGPT爆火整个社交网络，2023年3月，GPT-4能力再度提升，基础能力和专业知识全面升级，微软亚洲研究院称GPT-4爆发出通用人工智能火花。 2023年，随着大语言模型进入到相对成熟的阶段，大模型逐步进入到多模态的发展阶段，GPT-4V具备了多模态输入的能力，结合DALL·E等模型，GPT-4 turbo同时具备了多模态的输出能力。大语言模型发展历史大语言模型发展历史资料来源：OpenAI，Google，Stability AI，Midjourney，微软，中信建投图：大语言模型发展历程图3CNNRNNLSTMTransformerGPTGPT-2GPT-3ChatGPTBERTALBERTDeBERTaCLIPDiffusion modelKosmos-1GPT-4小模型阶段大模型阶段多模态阶段20172023StablediffusionDALL-EMidjourney图像生成文字生成RoBERTa202020212022Vision transformer2020PaLM-EGPT-4VGPT-4 Turbo 大语言模型的局限性： 逻辑性相对较弱：大语言模型在文本的理解和生成上表现出色，但是涉及到数理逻辑推理时表现仍然有待提升。 记忆力局限于上下文窗口：标准版GPT4的上下文窗口长度为8192tokens，GPT4在长度约6000字的文本范围内具备记忆力。 信息准确性和时效性有限：大模型存在幻觉问题，可能产生误导性输出，同时信息的及时性取决于最近一次的训练时间。 交互模式单一：文本信息是大语言模型的主要交互方式，交互方式相对单一。大语言模型存在一定的能力边界大语言模型存在一定的能力边界资料来源：中信建投图：大语言模型的局限性4逻辑性记忆力准确性交互模式深度学习上下文窗口大语言模型Transformer模型通过深度学习拟合输出，难以具备较强的逻辑性有限的上下文窗口带来了有限的记忆力存在幻觉问题以文本信息交互为主，交互模式相对单一局限性架构关联方面 在大语言模型中，提示工程是指设计和编写提示文本，以引导模型生成符合特定要求的语言输出。提示工程可以包括选择合适的词汇、语法、上下文和主题等元素，以及使用不同的技巧和策略来影响模型的生成行为和结果。 提示工程的作用： 提升大语言模型处理复杂任务场景的能力，如问答和算术推理能力。 通过提示工程设计、研发强大的工程技术，实现和大语言模型或其他生态工具的高效接轨。提示词工程提示词工程：提升回答效果：提升回答效果资料来源：CSDN，Igniting Language Intelligence: The Hitchhiker’s Guide From Chain-of-Thought Reasoning to Language Agents,中信建投图：提示词工程示例图：提示词显著提升模型在特定问题上的正确率5提示词意图或解释聊天机器人的内容身份指示聊天机器人将用哪种风格或口吻来回复 思维链（CoT）提示通过中间推理步骤实现了复杂的推理能力。通过将其与少样本提示相结合，以获得更好的结果，以便在回答之前进行推理的更复杂的任务。对于需要探索或预判战略的复杂任务来说，传统或简单的提示技巧是不够的。 Yao提出了思维树（Tree of Thoughts，ToT）框架，该框架基于思维链提示进行了总结，引导语言模型探索把思维作为中间步骤来解决通用问题。思维树中思维由连贯的语言序列表示，这个序列就是解决问题的中间步骤。使用这种方法，大语言模型能够自己对严谨推理过程的中间思维进行评估。大语言模型将生成及评估思维的能力与搜索算法（如广度优先搜索和深度优先搜索）相结合，在系统性探索思维的时候可以向前验证和回溯。概念一：思维链和思维树概念一：思维链和思维树资料来源：Tree of Thoughts: Deliberate Problem Solving with Large Language Models,中信建投图：思维链增强大语言模型的逻辑思