机器学习与因子（二）：Transformer 特征工程算法测评

证券研究报告 | 金融工程深度 http://www.stocke.com.cn 1/22 请务必阅读正文之后的免责条款部分 金融工程深度 报告日期：2023 年 08 月 12 日 机器学习与因子（二）：Transformer 特征工程算法测评 核心观点 Transformer 作为 ChatGPT 的底层模型，展示出了其在自然语言任务中的强大性能。股票投资场景和自然语言任务有内在相似之处，金融时间序列可以被看作文字序列，且 Transformer 在处理长期记忆和变长序列任务中有优势。因此，本文尝试在股票投资场景测试 Transformer 算法的特征工程能力。 ❑ 基于 Transformer 构建特征工程模型 本文以带时间步长的多维因子作为输入数据，以股票的次月回报作为标签，逐步测试了各个超参数对 Transformer 模型的影响，并最终确定了月频调仓场景下应用于股票特征工程的模型架构。 ❑ Transformer 算法能有效对特征加总 经训练的 Transformer 模型在样本外能有效对股票特征进行加总并筛选股票。经过中证 1000、中证 500、沪深 300 和全市场股票池的检验，模型能有效筛选出股票组合，从而对基准指数或空头组合形成稳定超额。经测试，基于 Transformer的特征工程模型 IC 为 0.047，IR 为 0.69。 ❑ Transformer 对比其它算法无明显优势 在相同的场景设定下，本文对比了 Transformer 和《机器学习与因子（一）：特征工程算法测评》中测试的其它十种机器学习模型，Transformer 并未体现出明显优势。可能的原因是月频样本的数量难以满足大参数模型训练要求。 ❑ 风险提示 模型测算风险：超参数设定对模型结果有较大影响；收益指标等指标均限于一定测试时间和测试样本得到，收益指标不代表未来。 模型失效风险：机器学习模型基于历史数据进行测算，不能直接代表未来，仅供参考。 分析师：陈奥林 执业证书号：S1230523040002 chenaolin@stocke.com.cn 研究助理：陆达 luda@stocke.com.cn 相关报告 1 《机器学习与因子（一）：特征工程算法测评》 2023.06.14 金融工程深度 http://www.stocke.com.cn 2/22 请务必阅读正文之后的免责条款部分 正文目录 1 Transformer 算法 .......................................................................................................................................... 4 1.1 算法简介 ............................................................................................................................................................................. 4 1.2 Transformer 工作流程 ......................................................................................................................................................... 4 2 Transformer 特征工程 .................................................................................................................................. 7 2.1 数据采集与处理 ................................................................................................................................................................. 7 2.2 输入因子构建 ..................................................................................................................................................................... 7 2.3 模型训练 ............................................................................................................................................................................. 8 2.3.1 训练数据 .................................................................................................................................................................. 8 2.3.2 样本划分 .................................................................................................................................................................. 8 2.3.3 超参数选取 .............................................................................................................................................................. 9 2.3.4 拟合优度 .................................................................................................................................................................. 9 3 实证检验 .........................................