“逐鹿”Alpha专题报告(二十五)：DeepSeek%2bRAG行业轮动策略

“逐鹿”Alpha专题报告（二十五）：DeepSeek+RAG行业轮动策略证券研究报告金融工程专题报告发布日期：2025年2月25日本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下，本报告亦可能由中信建投（国际）证券有限公司在香港提供。请务必阅读正文之后的免责条款和声明。分析师：姚紫薇yaoziwei@csc.com.cnSAC编号：S144052404000分析师：王超wangchaodcq@csc.com.cnSAC 编号：S1440522120002提纲03结果分析02RAG01DeepSeekDeepSeek-R1R1R1：强大的推理能力：强大的推理能力：强大的推理能力资料来源：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 中信建投DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。Model#Total Params#Activated ParamsContext LengthDownloadDeepSeek-R1-Zero671B37B128K🤗HuggingFaceDeepSeek-R1671B37B128K🤗HuggingFacePretraing资料来源：DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model, 中信建投Multi-Head Latent Attention (MLA) 通过低秩联合压缩技术，显著减少了推理时的键值缓存和训练时的激活内存，同时保持了与标准多头注意力机制相当的性能。MLA 的核心在于对键、值和查询矩阵进行低秩压缩，并通过旋转位置编码引入位置信息，从而在高效推理的同时捕捉输入序列中的复杂特征。MOE（Mixture of Experts，专家混合）旨在通过多个专家（Experts）模型的协同工作来提高计算效率和模型性能。在 MOE 结构中，不是所有的专家都参与计算，而是通过一个门控机制来选择少数几个专家进行推理或训练Cold Start SFTSFTSFT资料来源：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning，中信建投纯强化学习方案（DeepSeek-R1-Zero）存在结果可读性差、语言混合等问题基于DeepSeek-V3-Base，使用少量的标记文本（数千个）进行冷启动SFT（DeepSeek-R1）数据格式:|special_token|<reasoning_process>|special_token|<summary>reasoning_process 为CoT推理过程summary 为最终推理结果DeepSeek-R1在后续RL训练中引入了语言一致性奖励（ V2, V2.5时存在中英混杂的问题）Reasoning-oriented Reinforcement Learning资料来源：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 中信建投利用GroupRelative Policy Optimization (GRPO) 进行训练。奖励函数：•准确性奖励: 准确性奖励模型评估响应是否正确。例如，在具有确定结果的数学问题中，模型需要以指定的格式（例如，在框内）提供最终答案，从而能够可靠地通过基于规则的验证来检查正确性。同样，对于LeetCode问题，可以使用编译器根据预定义的测试用例生成反馈。•格式奖励: 除了准确性奖励模型，还采用了一种格式奖励模型，它强制模型将思考过程放在 <think> 和 </think> 标签之间Rejection Sampling，Supervised Fine-Tuning and Reinforcement Learning for all Scenarios资料来源：DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, 中信建投当面向推理的RL收敛时，利用模型生成后续轮的SFT数据，这一阶段包括来自其他领域的数据，以增强模型在写作、角色扮演和其他通用任务中的能力。推理数据： 60万非推理数据： 20万最后，为了进一步使模型与人类偏好保持一致，DeepSeek实施了一个次级强化学习阶段，旨在提高模型的帮助性和无害性，同时完善其推理能力。数据数据数据资料来源：中信建投技术指标囊括了短期动量、中期动量、MACD（异同移动平均线）、RSI（相对强弱指数），以及布林带等技术指标研报数据采用东方财富网发布的策略研究报告摘要，摘要格式统一、篇幅适中，有效规避了冗长文本处理的问题新闻数据集采用聚源新闻数据库，汇聚了来自主流财经网站的新闻资源，涵盖了超过500,000条精心筛选的财经新闻文章。包含了市场动态、宏观经济指标、公司业绩等多方面的关键信息。经过清洗，切分, embedding之后存入向量数据库。新闻新闻新闻资料来源：聚源数据,中信建投财经新闻数据是金融市场分析和决策的重要基础，提供了市场动态、宏观经济指标、公司业绩等多方面的关键信息。本研究利用2023年以后聚源数据汇总的各大财经媒体发布的新闻数据。数据集总计包含超过50万条新闻样本，日均新闻样本数量的中位数达到1061条。就单条新闻的字段长度而言，中位数为519字，平均值为826字；最长的新闻报道包含超过10万字，而最短的仅含11字数据清洗数据清洗数据清洗资料来源：中信建投特殊字符，无效文本清洗Simhash-新闻去重S1: 美团抢占香港市场!KeeTa来了S2: 打工人利好!上海租赁住房又有新动作!S3: 神舟十六号计划近日择机实施发射船箭组合体转运至发射区S1S2S3S103033S230029S333290数据切分数据切分数据切分资料来源：中信建投数据接口： Langchain提供了一系列数据加载工具，包括WEB、PDF、JSON、CSV等各种结构和非结构化数据数据切分：包括句子切分、词语切分、短语切分、基于规则切分、基于模型切分等RecursiveCharacterTextSplitter：通过不同的符号递归地分割文档，同时兼顾文本的长度以及重叠部分的长度。子文本长度设为500，最终文本切分为了>100万个子文本文本嵌入文本嵌入文本嵌入资料来源：hugging face,中信建投Embedding: 文本转化为向量，采用开源中文embedding模型acge_text_embedding，模型来自于合合信息技术团队，模型输出维度为1792维向量数据库向量数据库向量