量化研究系列报告之十一：ChatGPT与研报文本情绪的碰撞

敬请参阅末页重要声明及评级说明 证券研究报告 ChatGPT 与研报文本情绪的碰撞 ——量化研究系列报告之十一 [Table_RptDate] 报告日期：2023-08-14 [Table_Author] 分析师：骆昱杉 执业证书号：S0010522110001 邮箱：luoyushan@hazq.com 分析师：严佳炜 执业证书号：S0010520070001 邮箱：yanjw@hazq.com [Table_CompanyReport] 相关报告 1.《股价和资金流间的引力和斥力——量化基本面系列报告之十》2023-06-12 2.《可比公司法的量化实践：重塑价值因子 ——量化基本面系列报告之九》2023-03-12 3.《寻找选股策略与行业轮动策略的“舒适区”——量化基本面系列报告之八》2023-03-10 4.《个股 alpha 与行业 beta 的双剑合璧——量化基本面系列报告之七》2022-11-23 5.《震荡行情下，如何挑选估值合理、成长性强的“宝藏股”？——量化基本面系列报告之六》2021-12-07 主要观点： [Table_Summary] 本篇报告探讨 ChatGPT 在金融文本中的应用，使用 ChatGPT 对分析师点评标题进行情感评分，验证了其在金融文本情绪评分方面的优越性和实用价值。 ⚫ 使用 ChatGPT 对分析师点评标题进行情感评分 本文将使用 ChatGPT 分析卖方分析师对公司盈余公告点评标题中的情感态度，探讨其在金融文本分析领域的潜力。我们通过适当的提示、模型设置和调用策略，提升模型回复的准确性和模型使用的性价比。从 ChatGPT 对标题情感的评分与解释看，ChatGPT 在情感分析上表现卓越，能够准确、连续地评分，并精确捕捉关键情感信息，明显优于传统模型如 BERT。 ⚫ GPT 评分刻画的“超预期”确能带来收益增量 我们分别尝试了使用文本方式和 ChatGPT 评分的方式对“超预期”进行刻画。实证表明，ChatGPT 对于高评分的股票确实具有良好的收益预测能力，证实了其在金融文本评分方面的优越性和实用价值。与文本分析方法相比，通过 ChatGPT 评分筛选出的“GPT 超预期”股票池数量更多，但其整体收益表现更为出色。此外，盈余跳空因子 JOR 在全样本、GPT 超预期和文本超预期的样本空间中的表现也表明，无论从因子本身还是优选组合的表现，GPT 超预期样本空间下的 JOR 因子有显著收益增量，在超预期 Beta 本身失效的近两年尤为突出。 ⚫ GPT 评分因子，新型另类因子 本文基于 ChatGPT 评分构建了“GPT 评分因子”，包括等权、指数衰减加权和 GPT 评分波动因子，这些因子可认为是新型另类因子。理论上，分析师对盈余的评论主要是文字描述，很少涉及具体的数值数据，构造的因子的预测能力难以达到很高的水平。但其在中证 500 指数域中仍然显示出了一定的选股能力，2017-2023.06.30，GPT 合成因子的 RankIC 为 3.6%，多头年化超额为 9.3%，多头组合每年均为正超额，近三年超额分别为 7.04%、17.09%和 2.96%。 ⚫ 风险提示 量化模型基于历史数据，过去的回测业绩不代表未来；量化模型本身存在失效的风险。 [Table_StockNameRptType] 金融工程 专题报告 [Table_CommonRptType] 金融工程 敬请参阅末页重要声明及评级说明 2 / 29 证券研究报告 正文目录 1 CHATGPT：金融本文情绪分析的新篇章 ..................................................................................................................................... 5 2 如何使用 CHATGPT 对点评标题进行情感评分？........................................................................................................................ 6 2.1 模型输出的一致性：系统提示与模型设置 ............................................................................................................................. 7 2.1.1 “提示”是 ChatGPT 执行任务的起点 ........................................................................................................................ 7 2.1.2 优化 ChatGPT 回复质量，调整输出随机性 ........................................................................................................ 8 2.2 批量请求以提升模型调用效率 .................................................................................................................................................. 9 2.3 CHATGPT 评分的合理性与连续性 ........................................................................................................................................... 10 2.4 BERT 情感分析较难适应“研报标题”场景 .............................................................................................................................. 10 3 GPT 评分视角下的“超预期”刻画 .............................................................................................................