计算机行业周报：Llama3发布，开源大模型能力进一步提升

本报告版权属于国投证券股份有限公司，各项声明请参见报告尾页。 1 2024 年 04 月 22 日 计算机 行业周报 Llama3 发布，开源大模型能力进一步提升 证券研究报告 投资评级 领先大市-A 维持评级 首选股票 目标价（元） 评级 行业表现 资料来源：Wind 资讯 升幅% 1M 3M 12M 相对收益 -14.5 -12.7 -21.3 绝对收益 -15.5 -4.4 -35.5 赵阳 分析师 SAC 执业证书编号：S1450522040001 zhaoyang1@essence.com.cn 夏瀛韬 分析师 SAC 执业证书编号：S1450521120006 xiayt@essence.com.cn 相关报告 量子时代的矛和盾：关注抗量子密码产业进展 2024-04-15 大规模设备更新涉及交通领域，车联网基建有望加速 2024-04-08 低空经济顶层政策颁布，产业发展有望加速 2024-04-01 量子技术：微观世界下的未来产业 2024-03-25 Kimi 升级+阶跃星辰发布，国产大模型黑马蓄势跃升 2024-03-24 Llama 3 发布，提升开源大模型能力 上周四，Meta 正式发布了人们等待已久的开源大模型 Llama3。Meta 表示，Llama3 在多个关键的基准测试中性能优于业界先进同类模型，其在代码生成等任务上实现了全面领先，能够进行复杂的推理，可以更遵循指令，能够可视化想法并解决很多微妙的问题。 Llama3 的主要亮点包括：基于超过 15T token 训练，相当于 Llama 2数据集的 7 倍还多；支持 8K 长文本，改进的 tokenizer 具有 128K token 的词汇量，可实现更好的性能；在大量重要基准中均具有最先进性能；新能力包括增强的推理和代码能力；训练效率比 Llama 2高 3 倍；带有 Llama Guard 2、Code Shield 和 CyberSec Eval2 的新版信任和安全工具。8B 和 70B 版本 Llama 3 模型已用于 Meta AI助手，同时也面向开发者进行了开源，包括预训练和微调版本。 Llama3 在训练数据集上有明显提升： Llama 3 使用超过 15T 的 token进行了预训练，这些 token 都是从公开来源收集的。总体上讲，Llama3 的训练数据集是 Llama 2 使用的数据集的七倍多，并且包含四倍多的代码。为了为即将到来的多语言用例做好准备，超过 5%的Llama3 预训练数据集由涵盖 30 多种语言的高质量非英语数据组成。 Llama3 在预训练阶段也有更多改善：在 Llama3 的开发过程中，Meta 对扩展行为进行了一些新的观察。例如，虽然 8B 参数模型的 Chinchilla 最佳训练计算量对应约 200B token，但 Meta 发现在对多达 15T token 进行训练后，8B 和 70B 参数的模型都继续以对数线性的方式提升性能。Llama3 预训练是在 H100-80GB 类型的硬件（TDP为 700W）上累计 770 万个 GPU 小时的计算。Meta 还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。这些改进使总体有效训练时间超过95%，使 Llama3 的训练效率比 Llama2 提高了约三倍。 展望未来，最大的 Llama3 参数将超过 400B，目前仍在训练中，但在接下来的几个月中陆续发布，新功能包括多模态、多语言对话能力、更长的上下文窗口以及更强的整体能力。 开源大模型追赶 GPT-4，利好算力和应用产业推进 伴随 Llama3 的发布，开源大模型在能力上将进一步追赶 GPT-4 的能力，从而带来 AI 应用的繁荣，同时也将推升训练和推理侧的算力需求。我们认为 AI 依然是科技产业未来的重要主线之一，当前模型能力和算力需求还没有达到瓶颈，仍可继续关注产业的未来进展。建议关注：AI 算力：浪潮信息、工业富联、软通动力、润泽科技等；AI应用：金山办公、科大讯飞、万兴科技、美图公司、佳发教育、彩讯股份等。 -44%-34%-24%-14%-4%6%16%26%36%2023-042023-082023-122024-04计算机沪深300本报告仅供 Choice 东方财富 使用，请勿传阅。999563367 本报告版权属于国投证券股份有限公司，各项声明请参见报告尾页。 2 行业周报/计算机 风险提示： 1）宏观经济变化影响企业信息化支出；2）财政与货币政策低于预期；3）供应链波动加大，影响科技产业发展。 本报告仅供 Choice 东方财富 使用，请勿传阅。行业周报/计算机 本报告版权属于国投证券股份有限公司，各项声明请参见报告尾页。 3 内容目录 1. 本周行业观点 ............................................................... 4 2. 市场行情回顾 ............................................................... 5 3. 重要行业新闻 ............................................................... 7 3.1. AI 大数据应用 ......................................................... 7 3.2. 数字经济 ............................................................. 7 3.3. 智能网联汽车 ......................................................... 8 3.4. 新兴技术与硬科技 ..................................................... 9 4. 重点公司动态 .............................................................. 10 4.1. 智联网汽车 .......................................................... 10 4.2. AI 应用 .............................................................. 10 4.3. 政务信息化 ....................................