AI+行业系列之智能驾驶：自动驾驶的“大模型”时代

2023年9月23日自动驾驶的“大模型”时代——AI+行业系列之智能驾驶行业评级：看好证券研究报告分析师刘雯蜀分析师刘静一邮箱liuwenshu03@stocke.com.cn邮箱liujingyi@stocke.com.cn证书编号S1230523020002证书编号S1230523070005添加标题95%摘要21、大模型技术发展历程•大模型泛指具有数十亿甚至上百亿参数的深度学习模型，而大语言模型是大模型的一个典型分支（以ChatGPT为代表）。Transformer架构的提出引入了注意力机制，突破了RNN和CNN处理长序列的固有局限，使语言模型能在大规模语料上得到丰富的语言知识预训练，一方面，开启了大语言模型快速发展的新时代；另一方面奠定了大模型技术实现的基础，为其他领域模型通过增大参数量提升模型效果提供了参考思路。•复杂性、高维度、多样性和个性化要求使得大型模型在自动驾驶、量化交易、医疗诊断和图像分析、自然语言处理和智能对话任务上更易获得出色的建模能力。2、 自动驾驶模型迭代路径•自动驾驶算法模块可分为感知、决策和规划控制三个环节，其中感知模块为关键的组成部分，经历了多样化的模型迭代：CNN（2011-2016）—— RNN+GAN（2016-2018）—— BEV（2018-2020）—— Transformer+BEV（2020至今）—— 占用网络（2022至今）。•特斯拉自动驾驶技术路径的演进可视为自动驾驶技术迭代的风向标，呈现全栈自研、出软硬件的协同发展趋势：软件层面从采用Mobileye到自研Transformer+BEV 和占用网络；硬件层面从与Mobileye 、英伟达合作到自研FSD芯片方案。3、大模型对自动驾驶行业的赋能与影响•自动驾驶领域的大模型发展相对大语言模型滞后，大约始于2019年，吸取了GPT等模型成功经验。大模型的应用加速模型端的成熟，为L3/L4级别的自动驾驶技术落地提供了更加明确的预期。•可从成本、技术、监管与安全四个层面对于L3及以上级别自动驾驶落地的展望，其中：成本仍有下降空间；技术的发展仍将沿着算法和硬件两条主线并进；法规政策还在逐步完善之中；安全性成为自动驾驶汽车实现商业化落地必不可少的重要因素。•各主机厂自2021年开始加速对L2+自动驾驶的布局，且预计在2024年左右实现L2++（接近L3）或者更高级别的自动驾驶功能的落地，其中政策有望成为主要催化。风险提示31、自动驾驶算法研发与迭代不及预期2、智能网联汽车政策落地不及预期3、由于中美关系影响导致自动驾驶芯片供应链出现波动的风险4、行业竞争加剧导致价格战的风险5、报告中的统计信息均为基于公开信息的不完全统计，各公司实时动态和最新发展可能存在动态调整目录C O N T E N T S010203自动驾驶技术迭代路径•感知算法迭代路径•特斯拉软硬件解决方案迭代路径大模型对自动驾驶行业的赋能与影响•大模型对自动驾驶行业的赋能•高级别自动驾驶落地展望•车厂自动驾驶布局404风险提示大模型技术发展历程大模型技术发展历程01Partone5添加标题大模型基本定义与基础功能016大模型基本定义：由大语言模型到泛在的大模型大模型主要指具有数十亿甚至上百亿参数的深度学习模型，比较有代表性的是大型语言模型（ Large Language Models，比如最近大热的ChatGPT）。大型语言模型是一种深度学习算法，可以使用非常大的数据集来识别、总结、翻译、预测和生成内容。大语言模型在很大程度上代表了一类称为Transformer网络的深度学习架构。Transformer模型是一个神经网络，通过跟踪序列数据中的关系（像这句话中的词语）来学习上下文和含义。Transformer架构的提出，开启了大语言模型快速发展的新时代：•谷歌的BERT首先证明了预训练模型的强大潜力•OpenAI的GPT系列及Anthropic的Claude等继续探索语言模型技术的边界。越来越大规模的模型不断刷新自然语言处理的技术状态。这些模型拥有数百亿或上千亿参数，可以捕捉语言的复杂语义关系，并进行人类级别的语言交互。资料来源：NVIDIA官网、GitHub网站、浙商证券研究所图：大模型发展历程添加标题解锁大模型时代的钥匙——Transformer的注意力机制017注意力机制：Transformer的核心创新•Transformer模型最大的创新在于提出了注意力机制，这一机制极大地改进了模型学习远距离依赖关系的能力，突破了传统RNN和CNN在处理长序列数据时的局限。•在Transformer出现之前，自然语言处理一般使用RNN或CNN来建模语义信息。但RNN和CNN均面临学习远距离依赖关系的困难：RNN的序列处理结构使较早时刻的信息到后期会衰减；而CNN的局部感知也限制了捕捉全局语义信息。这使RNN和CNN在处理长序列时，往往难以充分学习词语之间的远距离依赖。•Transformer注意力机制突破了RNN和CNN处理长序列的固有局限，使语言模型能在大规模语料上得到丰富的语言知识预训练。该模块化、可扩展的模型结构也便于通过增加模块数量来扩大模型规模和表达能力，为实现超大参数量提供了可行路径。Transformer解决了传统模型的长序列处理难题，并给出了可无限扩展的结构，奠定了大模型技术实现的双重基础。资料来源：《Attention Is All You Need》，Ashish Vaswani等、浙商证券研究所图：Transformer模型架构图添加标题大模型——超越传统的新范式018大模型的预训练-微调范式•大模型代表了一种新的预训练-微调范式，其核心是先用大规模数据集预训练一个极大的参数模型，然后微调应用到具体任务。这与传统的单任务训练形成了对比，标志着方法论的重大变革。参数量的倍数增长是大模型最根本的特点，从早期模型的百万量级，发展到现在的十亿甚至百亿量级，实现了与以往数量级的突破。•Transformer架构的提出开启了NLP模型设计的新纪元，它引入了自注意力机制和并行计算思想，极大地提高了模型处理长距离依赖关系的能力，为后续大模型的发展奠定了基础。正是由于Transformer架构的成功，研究者们意识到模型的架构设计在处理复杂任务和大规模数据中发挥着举足轻重的作用。这一认识激发了研究者进一步扩大模型参数量的兴趣。虽然之前也曾有过扩大参数量的尝试，但因受限于当时模型本身的记忆力等能力，提高参数数量后模型的改进并不明显。•GPT-3的成功充分验证了适度增大参数量能显著提升模型的泛化能力和适应性，由此掀起了大模型研究的热潮。 它凭借过千亿参数量和强大的语言生成能力，成为参数化模型的典范。GPT-3在许多NLP任务上表现亮眼，甚至在少样本或零样本学习中也能取得惊人的效果。资料来源：《Attention Is All You Need》，Ashish Vaswani等、浙商证券研究所更好的表示能力： 增大参数量使模型能够更好地学习数据中的复杂关系和模式，从而提高模型的表示能力，使其在不同任务上表现更出色。泛化能力和迁移学习：大模型能够从一个领域学习到的知识迁移到另一个领域，实现更好的迁移学习效果，这对于数据稀缺的任务尤其有价值。零样本学习