2024汽车AI大模型TOP10分析报告

产业研究 战略规划 技术咨询2预训练语言模型预 训 练微 调将模型在大规模无标注数据上进行自监督训练得到预训练模型将模型在下游各种自然语言处理任务上的小规模有标注数据进行微调得到适配模型AI大模型就是预训练语言模型通过在大规模宽泛的数据上进行训练后能适应一系列下游任务的模型预训练语⾔模型“预训练 + 微调”技术范式⼤规模⽆标注⽂本数据模型预训练不同特定任务有标注训练数据模型微调测试数据最终模型从海量数据中自动学习知识ØBig-data Driven，模型基于大规模语料训练而成；ØMulti-tasks Adaptive，支持多种任务，包括自然语言生成NLG和自然语言理解NLU类的任务；ØFew-shot (Zero-shot)，在少甚至无标注样本的条件下支持推理（自监督学习）。产业研究 战略规划 技术咨询3大模型发展历程众多预训练模型相继涌现，OpenAI 以 GPT2、GPT-3、ChatGPT 等系列模型为代表，持续引领大模型时代的浪潮Ø2017 年，Google提出Transformer 框架在机器翻译中取得显著进步，其分布式学习和强大编码能力受到广泛关注。Ø2018 年 Google 和 OpenAI 基于Transformer 提出了预训练语言模型 BERT 和 GPT，显著提高了NLP 任务的性能，并展示出广泛的通用性。AlexNet(图灵奖得主Hinton)CAN(Gioodfellow.图灵奖得主Bengio)Word2Vec(Google.引用78550)Attention(图灵奖得主Bengio)ResNet( MSR.引用183222)Transformer(Google.引用91332)BERT(Google)GPT(OpenAI)GPT-2(OpenAI)GPT-3(OpenAI)FoundationModel(Stanford)PaLM(Google)ChatGPT(OpenAI)ViT(Google)DALL E2(OpenAI)GPT-4V(OpenAI)ERNIE(百度)CPM(智源)GLM(洁华)201220132014201520162017201820192020202220222023跨模态模型预训练模型大模型计算机视觉自然语言处理认知感知来源：大模型驱动的群体智能行业白皮书产业研究 战略规划 技术咨询4大模型参数规模不断增长，推动 AIGC技术升级。AIGC技术发展的背后是大模型（Foundation Models）技术的持续迭代。从 2017 年 Transformer 结构的提出，加速了深度学习模型的参数学习能力。另一方面，GPU算力也在指数级增长。图1：2018-2023 年模型参数规模变化图 来源：中国人工智能系列白皮书图2：CPU与GPU算力演进比较 来源：techovedas ，国元证券产业研究 战略规划 技术咨询5英伟达每2年推出一个微架构，对产品线进行升级，6 月 2 日，英伟达在 Computex 2024大会上发布了至2027年的芯片路线图，GPU迭代周期由 2年缩短到1年，走类似英特尔的Tick-Tock 模式（一年工艺一年架构）。同时，英伟达践行“Buy More Save More”让算力成本指数级下降。图3：英伟达GPU架构演进图图4：训练芯片算力成本呈下降趋势Ø 我国高端GPU芯片进口从2019年以来就一直有被限制，只是之前主要针对的厂商是AMD，在应用场景上又以超算中心为主；Ø 2023年10月17日，美国加强了面向中国市场的AI芯片禁令。其中明确将性能、密度作为出口管制标准，将单芯片超过300teraflops算力，以及性能密度超过每平方毫米370 gigaflops的芯片都纳入了禁止出口行列。禁令涉及A100、H100等主流AI训练用英伟达GPU。来源：浙商证券研究所、华泰证券研究所产业研究 战略规划 技术咨询6中国科技企业的市场导向和商业化压力常使得大厂技术部门在追求KPI的同时，难以专注于前言技术的研发中国科技企业较少开展全球化经营，导致在营收、人才获取、全球化商业场景方面制约明显发展AI大模型相关的软硬件技术需要大量人才，大量的优秀本科生选择出国深造，而其中超过60%的毕业生选择在海外工作，导致长期的优秀人才流失。另外在中西方脱钩的背景下，美西方限制了对中国高科技人才的培养与学术合作交流行业高精数据短缺中国在高质量数据获取方面面临挑战，主要由于缺乏完善的数据法规、行业内固有的竞争性保密性，对开源合作文化的不足相较于英文、中文高质量开源数据非常少，特别是在构建通用领域大模型的百科类、问答类、图书贡献、学术论文、报告杂志等高质量内容由于各类政策管制和商业模式复制壁垒低，导致的基础数据和语言语料同质化数据人才中文语料短缺数据和语料的同质化商业化压力大全球化经营人才流失与人才短缺产业研究 战略规划 技术咨询7科技大厂创业新势力产业研究 战略规划 技术咨询8综合各测评平台的方法论来看，在基础能力的测评维度基本相同，仅测评数据集和评估权重占比不同；而在基础能力之外，各测评平台侧重点不同屧⯈倁üüüüüOpenCompass 2.0 ⺶ⷂüüüüüAgentIDCüüüüüTo C通用场景类To B特定行业类Agent特定行业类超长文本道德责任Language騕阌Knowledge焒駮Reason䲀槏Math俚㳔Code♣焺Other⪼♑产业研究 战略规划 技术咨询9㕈熝茤ⲇ问答理解类推理类数学类创作表达类代码类䍎氠茤ⲇ问答理解类常识、专业知识、多语言、多模态、角色扮演+多轮对话、安全陷阱推理类情感推理、演绎推理、逻辑推理、归纳推理、类比推理创作表达类文字创作&创意、内容改写/续写、修改/润色、文字处理、编辑/语义匹配、摘要提取、关键、字提炼、标题生成、文本风格迁移、图像创作、短视频创作(文生视频)、其他创作(文学艺术、商业通用)数学类小学数学、初中数学高中数学、高等数学推理类代码生成、编程翻译代码解释、代码纠错代码自动补全生成代码文档单元测试toC通用场景类生活助手办公工具toB特定行业类工业:产品设计辅助&&生产规划教育:智能问答、试题生成法律:智能法律助手，法律咨询医疗:问诊，用药咨询科研金融:推荐场景金融/咨询服务:财报/市场分析互联网/媒体:文案/海报设计、广告词创作、视频生成场景零售/电商:客服问答IDC测试题目分为基础能力和应用能力两个大类共7个维度IDC 采取实测的方式，成立产品测试团队，通过多个维度对基础大模型及相关产品进行评测，并邀请外部专家团队深入分析各个产品答案准确性、合理性等，在审核委员会的监督下，最终得出各厂商的评估结果，供用户选型参考。产业研究 战略规划 技术咨询10我们跟踪研究了多个通用大模型，其中包括：Qwen-Max-0428SenseChat V5Ernie-4.0Tencent HunyuanSpark 4.0 UltraYi-Large GLM-4 Pangu 5.0Baichuan4CongRong 2.0 产业研究 战略规划 技术咨询11在2024年，大模型的技术发展将趋向多功能与小型化，同时产业端将强调自主研发和行业标准化䪫勘盛模型整合统一未来的技术演进方向是实现大模型