温故知新系列（一）：传统回归模型比较之OLS、RIDGE、ENET、LASSO、SCAD、MCP、分位数回归

HTTP://RESEARCH.CSC.COM.CN 请参阅最后一页的重要声明 +证券研究报告·金融工程专题 [table_main] 金融工程专题报告模板 温故知新系列（一）： 传统回归模型比较之 OLS、RIDGE、ENET、LASSO、SCAD、MCP、分位数回归 人工智能算法存在的问题与传统统计方法的理论优势 AlphaGo Zero 的成功，让“人工智能+”的概念深入人心。复杂度较高的数据挖掘算法有效的前提是问题一定有确定解（即使模型范式非常复杂），同时要求数据的“质”和“量”达到一定要求。在量化投资应用中，数据质量一般（共线性、滞后性、信噪比低等）、数据量不够大（宏观经济数据等）的时候，强行套用黑箱模型，不仅模型的解释性差、参数敏感，而且非常容易出现过拟合。针对基本面的数据，具有强有力理论支撑的传统统计方法依然表现出了较好的性能。基于以上，我们推出温故知新系列专题，重新梳理部分传统统计方法的理论基础和适用范围 “偏差—方差”模型分解 OLS 回归方法估计的误差来源 线性回归因自变量共线性、实际分布厚尾、存在离群点等问题，OLS 回归预测总误差较大。本文基于针对预测总误差的“偏差—方差”分解，分析了估计误差来源。介绍了弹性网族回归（Lasso、ENet、Ridge）、非凸惩罚函数回归(SCAD、MCP)、分位数回归的差异与效果，通过控制模型方差和偏差，最终降低模型预测总误差，相对于 OLS 回归，显著提升变量选择能力和预测的稳健性。 Lasso 目标函数为凸易计算，压缩无关变量系数为 0，鲁棒性佳 Ridge 回归唯一有显示解，计算简单；ENet、Lasso、SCAD、MCP回归均能将较小系数压缩至 0，且选择性压缩共线性变量中的一个。Lasso、SCAD、MCP 回归方法的变量选择最有效，样本外的预测效果最佳。Lasso 目标函数为凸易计算，压缩无关变量系数为 0，鲁棒性佳，尤其实用。SCAD 满足渐近无偏性，但计算复杂。本文针对样本数量为 100 和 1000 的数据进行了数值模型，比较了不同方法的变量选择能力、拟合效果和估计误差。 分位数回归忽略残差假设，多条回归曲线提供更多信息 分位数回归不考虑同方差、正态的假设，具备异常点耐抗性，捕捉分布尾部特征等特点，比 OLS 回归更稳健；不仅仅分析被解释变量的条件期望，亦可分析被解释变量的中位数、分位数情况。 应用实例：PPI 和海外利率是近期国内长债利率上行直接影响因素 不同时期长债利率的直接影响因子不同。2008-2012 年国内核心影响变量是经济，2013 年的钱荒直接基本面因素影响较小，2014年之后利率更多受到海外利率的影响。本文以 Lasso 回归为例，我们滚动计算了经济、通胀及国外利率和十年期国债收益率月度环差 48 个月数据对国内长债利率的影响。 金融工程研究 [table_invest] 丁鲁明 dingluming@csc.com.cn 021-68821623 执业证书编号：S1440515020001 发布日期： 2018 年 1 月 12 日 相关研究报告 [table_report] C H I N A S E C U R I T I E S R E S E A R C H 1 HTTP://RESEARCH.CSC.COM.CN 金融工程研究 金融工程专题报告 请参阅最后一页的重要声明 目录 一）前言 ................................................................................................................................................................... 3 二）基于“偏差—方差”分析的模型估计 ............................................................................................................... 4 2.1“偏差—方差”分解 ....................................................................................................................................... 4 2.2 传统线性回归的困境与出路 .................................................................................................................... 6 三）带惩罚函数的最小二乘回归 ........................................................................................................................... 7 3.1 弹性网族回归：Lasso、Enet、Ridge ...................................................................................................... 7 3.2 非凸惩罚函数回归：SCAD、MCP 方法 ............................................................................................... 10 四）分位数回归 ...................................................................................................................................................... 11 五）回归方法的数值模拟 ..................................................................................................................................... 13 5.1 单次回归模拟 .......................................................................................................................................... 13 5.2 多次回归模拟 .................................................................................................