计算机行业专题研究-GPT系列:经典深度学习算法拆解

免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。 1 证券研究报告 计算机 GPT 系列:经典深度学习算法拆解 华泰研究 计算机 增持 (维持) 研究员 谢春生 SAC No. S0570519080006 SFC No. BQZ938 xiechunsheng@htsc.com +(86) 21 2987 2036 联系人 袁泽世,PhD SAC No. S0570122080053 yuanzeshi@htsc.com +(86) 21 2897 2228 行业走势图 资料来源:Wind,华泰研究 2023 年 3 月 12 日│中国内地 专题研究 深度学习是基于神经网络的机器学习 深度学习可以概括为特征的抽象和结果的预测。深度学习与神经网络密不可分,主要原因是神经网络模型可以使用误差反向传播算法,较好地解决了深度学习中的贡献度分配问题。从历史发展看,神经网络诞生于 1943 年提出的 MP 模型,深度学习概念由 Hinton 于 2006 年正式提出。经过多年的发展,问世了如卷积神经网络(CNN)、循环神经网络(RNN)、长短时记忆网络(LSTM)、生成对抗网络(GAN)等经典的深度学习算法。2017 年,Transformer 架构的出现,再次开启了大语言模型快速发展时期。本报告聚焦 2017 年之前出现的经典深度学习算法,并进行深度拆解和剖析。 卷积神经网络(CNN):卷积+汇聚+全连接 典型的卷积神经网络是由卷积层、汇聚层、全连接层交叉堆叠而成。其中,卷积层利用卷积核实现特征提取,并在每个卷积层后引入非线性激活函数,确保整个网络的非线性;汇聚层通过最大汇聚或平均汇聚的方法,进一步压缩数据和参数量;全连接层采用神经网络中的前馈网络结构,经计算后得到最终输出结果。参数训练方面,卷积神经网络采用误差反向传播算法。应用方面,卷积神经网络应用已从图像识别逐渐向其他领域拓展。 循环神经网络(RNN):具有短期记忆的神经网络 循环神经网络是一类具有短期记忆能力的神经网络,其记忆来自于神经元以环路的方式接受自身的历史信息,为整个网络提供了一定的记忆能力,增强了其计算性能。但是,循环神经网络难以建模长时间间隔状态之间的依赖关系。为了解决这一问题,长短时记忆网络(LSTM)在循环神经网络的基础上引入了新的内部控制状态和门控机制。前者能够记录到当前时刻为止的历史信息,延长了网络记忆;后者包括遗忘门、输入门和输出门,分别控制“记忆”的遗忘、保存和输出细节。 生成对抗网络(GAN):生成器和判别器的对抗与学习 生成对抗网络突破了以往的概率模型必须通过最大似然估计来学习参数的限制,通过对抗训练的方式使得生成网络产生的样本服从真实数据分布。GAN 主要由生成网络和判别网络组成。其中,判别网络目标是尽量准确地判断一个样本是来自于真实数据还是由生成网络产生;生成网络目标是尽量生成判别网络无法区分来源的样本。这两个目标相反的网络不断地进行交替对抗训练。最终训练出生成结果真假难辨的生成器。 深度强化学习(DRL):深度学习与强化学习的结合 强化学习(RL)指的是从(与环境)交互中不断学习的问题以及解决这类问题的方法。强化学习通过智能体不断与环境进行交互,并根据经验调整其策略来最大化其长远的所有奖励的累积值。强化学习可分为基于值函数的方法、基于策略函数的方法,以及两者的结合。深度强化学习是深度学习与强化学习的结合,其中强化学习用来定义问题和优化目标,深度学习用来解决策略和值函数的建模问题。最早的深度强化学习模型是 2013 年提出的深度Q 网络。 风险提示:宏观经济波动,技术进步不及预期。本报告内容均基于客观信息整理,不构成投资建议。 (24)(14)(3)818Mar-22Jul-22Nov-22Mar-23(%)计算机沪深300仅供内部参考,请勿外传 免责声明和披露以及分析师声明是报告的一部分,请务必一起阅读。 2 计算机 正文目录 深度学习是基于神经网络的机器学习 ........................................................................................................................... 3 关系梳理:人工智能>机器学习>深度学习 ............................................................................................................ 3 从生物神经网络到人工神经网络 ........................................................................................................................... 4 深度学习与神经网络发展历史(1943-2017) ...................................................................................................... 5 前馈神经网络:最早发明的简单人工神经网络 ............................................................................................................. 6 反向传播算法:神经网络参数学习的重要算法...................................................................................................... 7 自动梯度计算:变手动计算为自动计算 ................................................................................................................ 7 CNN:卷积+汇聚+全连接............................................................................................................................................. 9 典型的 CNN:LeNet-5 和 AlexNet ...................................................................................................................... 12 RNN:具有短期记忆的神经网络 ........................................................

立即下载
电子设备
2023-03-12
华泰证券
22页
2.46M
收藏
分享

[华泰证券]:计算机行业专题研究-GPT系列:经典深度学习算法拆解,点击即可下载。报告格式为PDF,大小2.46M,页数22页,欢迎下载。

本报告共22页,只提供前10页预览,清晰完整版报告请下载后查看,喜欢就下载吧!
立即下载
本报告共22页,只提供前10页预览,清晰完整版报告请下载后查看,喜欢就下载吧!
立即下载
水滴研报所有报告均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
相关图表
部分头部网安厂商在数据安全领域投资布局情况
电子设备
2023-03-11
来源:计算机行业深度报告:数据安全-为数据要素奠基,为数字经济护航
查看原文
网信办中国网络空间安全协会 2020-2022 数据安全典型案例
电子设备
2023-03-11
来源:计算机行业深度报告:数据安全-为数据要素奠基,为数字经济护航
查看原文
部分安全厂商数据安全布局时间线梳理
电子设备
2023-03-11
来源:计算机行业深度报告:数据安全-为数据要素奠基,为数字经济护航
查看原文
数据安全市场规模测算汇总(单位:亿元)
电子设备
2023-03-11
来源:计算机行业深度报告:数据安全-为数据要素奠基,为数字经济护航
查看原文
数据交易市场空间测算
电子设备
2023-03-11
来源:计算机行业深度报告:数据安全-为数据要素奠基,为数字经济护航
查看原文
数据治理市场空间测算
电子设备
2023-03-11
来源:计算机行业深度报告:数据安全-为数据要素奠基,为数字经济护航
查看原文
回顶部
报告群
公众号
小程序
在线客服
收起