计算机行业深度研究：LLaMA等开源模型凸显先进算法及行业数据的重要性

敬请参阅最后一页特别声明 1 自 2017 年 Transformer 发布以来，大语言模型经历了由开源到逐步闭源的转变，头部公司先进模型的壁垒逐步形成。目前 OpenAI、Google 等领先的头部 AI 大厂对于先进模型大多采用部分开源或仅开放使用的模式，以此构建技术护城河。然而，将 AI 大模型直接应用于垂直行业，存在通用能力过剩、行业专业知识储备不足、推理过程消耗算力过高等问题。基于开源模型进行垂类模型开发可兼顾开发成本和数据安全，尤其是对于党政军、金融、电网、先进制造等数据敏感性较高的行业而言。 Meta 旗下 LLaMA 大模型的开源或能为垂类模型落地提供预训练模型底座。LLaMA 基于通用领域的开源数据集进行训练，训练数据涵盖 40 种语言，包含约 1.4 万亿 Tokens。尽管 LLaMA 模型参数量较小，但性能丝毫不逊色于 PaLM、GPT-3 等大语言模型。并且较小的参数规模显著降低了 LLaMA 模型的落地部署和二次开发难度。 LLaMA 作为完全开源的领先模型，具备高度的灵活性、可配置性和泛化能力，可以作为垂类 AI 模型的通用基座。基于 LLaMA，垂类 AI 开发者可以根据其行业特点、应用行业数据定制开发相应的“行业发行版 AI 模型”。 LLaMA 模型一经发布就对外完全开源，吸引了广大 AI 开发者和研究者。目前，用户可在全球知名 AI 模型开源社区 Hugging face中获取 LLaMA 的模型权重与训练代码。能够自由下载并使用 LLaMA 模型，既可以将其部署至设备直接进行推理，也可以基于 LLaMA 进行研究与二次开发。 我们测算了模型在迁移学习阶段的训练算力成本，在模型微调阶段，由于训练量级较小，仅为万级，相关的算力成本相比之下可忽略不计。例如，斯坦福大学于 2023 年 3 月对外发布 Alpaca，这是一个基于 LLaMA-7B 基座，应用 5.2万指令对模型微调训练得到的对话类语言模型，该模型基于 8 块 A100 微调，微调时长 3 小时，算力成本不超过 300元。 在推理阶段，根据我们的初步测算，由 8 块 A100 组成的 AI 服务器可为规模达 2,000 人的中大型企业提供 AI 服务，离线部署方案每年的推理算力成本约为 33.2 万元，若采用云计算方案则每年需花费约 66 万元算力成本。基于上述推理成本分析，推理成本并不高昂，绝大多数中型以上企业足以负担，为各领域垂类模型落地提供了极为广阔的市场空间。 LLaMA 等优质开源模型的推出极大加速了下游行业 AI 应用开发效率。基于“通用基座+迁移学习+微调”的垂类 AI模型开发范式或将成为主流，优质的行业数据资源成为影响模型性能的关键。 在此趋势之下，我们看好两类企业：1）拥有开发先进大模型能力的企业。这类企业在先进模型逐步走向闭源的趋势下，有望保持算法优势，如商汤科技、科大讯飞等。2）拥有丰富行业数据的头部公司。这类企业有望基于稀缺的行业数据以及开源模型，开发出可用性更强的垂类模型。如东方财富、同花顺、恒生电子等。 海外基础软硬件使用受限；骨干网络创新放缓；应用落地不及预期 行业深度研究 敬请参阅最后一页特别声明 2 内容目录 1. 头部领先模型走向闭源，垂类模型开发呼唤开源.................................................. 3 1.1 头部公司大模型逐步走向闭源 .............................................................. 3 1.2 为什么垂类 AI 开发呼唤开源？ ............................................................. 5 2. LLaMA 在通用开源模型中性能领先 ............................................................. 6 2.1 LLaMA 具有参数量低、性能优异、完全开源等特点 ........................................... 6 2.2 小参数量可降低垂类模型开发及部署难度 .................................................... 7 2.3 LLaMA 提供通用开发基座，泛化能力更强 ................................................... 8 3. “通用模型+迁移学习+微调”有望成为开发新范式，数据是重要壁垒 .................................. 9 3.1 使用“迁移学习”向模型注入新知，开发难度相对较低 .......................................... 9 3.2 叠加先进算法微调，进一步释放模型性能 ................................................... 10 3.3 算力消耗并非海量，成本效益匹配 ......................................................... 11 3.4 赋予垂类 AI 开发者离线部署能力和离线迭代能力 ............................................ 13 4. 投资建议................................................................................... 13 5. 风险提示................................................................................... 14 图表目录 图表 1： 头部公司大模型从完全开源逐步走向部分开源 ............................................... 3 图表 2： OpenAI 的系列模型开始向闭源发展 ........................................................ 4 图表 3： 大多数已完全开源模型准确率低于非开源模型 ............................................... 5 图表 4： 基于开源模型训练垂类模型是较为理想的开发方式 ........................................... 5 图表 5： LLaMA 参数量相比领先语言模型较小 ...................................................... 6 图表 6： LLaMA 基于海量通用领域的开源数据进行训练 .............................................. 6 图表 7： LLaMA 通用领域性能处于世界