华为研究-2024年6月：科学与工业中的AI应用及其前景

编者按本期《华为研究》针对AI在应用、计算、算法领域，介绍了AI在工业和科学建模计算等问题上的应用与前景、高效计算架构体系、数据类型、软硬件协同、算法模型架构和原理探索，对AI当前各个维度的问题进行了深入浅出的分析。首先针对AI在工业和科学建模计算等问题上的应用与前景做了系统阐述，包括过去两百多年的科学无法解决并且直接套用AI统计建模存在困难的领域，比如科学、工业中的建模和求解；计算图形学与媒体的融合，构建全息媒体表征、非几何的3D场景建模等；制造与复杂环境以及人类共存的智能器械，构建无坐标系的机器人学等；在信号与系统中，对非线性系统的信号处理，构建更高精度的建模和处理方式。希望为下一代AI解决这些难题做了一些思考与指引。计算作为技术底座，《空间计算》介绍了非冯诺依曼体系结构的空间计算架构，以其优秀的扩展能力，应对以AI为代表的对算力指数增长的需求。基于任务的编程与执行，高并行度可以提升性能和降低能耗，《支持优先级变更与投机执行的任务级并行模型》介绍了Hive，一个基于任务的执行模型和多核架构，利用优先级更新从算法中提取丰富的细粒度并行度，安全地投机调度更新，防止任务间虚假冲突，构建先进的硬件解决方案，性能远超纯软件并行调度。《AI训练集群光电混合交换网络探索》介绍了兼具大规模、高带宽和灵活性的光电混合交换网络，解决AI和HPC等重算力场景的成本和功耗困扰，且在关键通信算子上，用新型集合通信算法对光电混合交换网络进行适配。《Ascend HiFloat8 AI训练和推理》提出了一种全新的8比特浮点数据格式HiF8，及其基础上的AI训练和推理方案，以极小面积代价获得两倍算力提升。针对限制硬件性能瓶颈的复杂计算指令浮点平方根，《一种双精度浮点数平方根计算原理和超短延迟微架构设计》介绍了一种高低位分离的浮点平方根计算精度倍增的方法，并创新地设计了其微架构设计，实现性能的显著提升。软硬件协同设计与优化中，动态编译可以用其独特的方式来观察程序的执行状态，《动态编译与执行的阴阳平衡之道》介绍了如何为其构建硬件辅助执行平台，在硬件中用软件引导高度聚焦的Profiling，用较低开销获取详细执行状态信息《以数据为中心的高性能计算应用自动调优》介绍了“以数据为中心”的优化方法DCTuner，通过剪枝、探索隐式解空间等方法，在将HPC应用提升性能的同时，保障较高的性能可移植性。《谦逊英雄》提出的ALP/Pregel范式在共享内存并行系统上扩展性良好，在常见的图算法任务上实现了高达17.8倍的加速，证明单个软件栈可以支持多个谦逊编程模型。《异步训练与MoRe》针对异步训练提出一种动量重建方法，在保持收敛速度和泛化能力的同时，达到内存减半。《层次化电路方程组构建器的计算图表示》一文用计算图表示的支持动态模块参数的方程组构建器及相应的JSON网表，可简化模型开发且易于快速计算参数到方程组残量的端到端梯度。多领域多模态AI算法和其原理探索方面，《MDMMT-2》介绍了文本-图像、文本-视频等领域的数据、训练等多语言-视频检索模型，在不引起先验知识劣化的同时，提升知识迁移效率和利用噪声数据集进行训练。《Wasserstein鲁棒强化学习》介绍了一种新型的零阶优化方法，可以高效求解基于Wasserstein距离约束下的鲁棒强化学习Max-Min Game，在高维MuJoCo环境中仍具有显著增益。作为AI中最广泛的张量表征，《随机张量理论、算法和应用》介绍了张量及其分解方法，以及随机张量理论在有监督和无监督学习表征的应用。在未来如何实现低能耗大规模计算，《动力系统与控制论视角下的计算观》将计算视为一个如何控制动力系统从初始状态向目标输出的最终状态转化问题。从动力系统和控制论角度出发，提出一种兼顾能耗和精度的全新混合物理系统理论框架构想。廖恒2012实验室 首席科学家编者按目录华为研究内部资料，免费交流准印证号：（粤B）L0230030主编：廖恒本期责任主编：廖恒编委会：廖恒，童文，肖新华，胡邦红，周慧慧，鲍丰，Jeff Xu，陈海波，陆品燕，王建兵，李瑞华，白博索阅、投稿、建议和意见反馈，请联系：HWResearch@huawei.com印刷数量：4000本印刷单位：雅昌文化（集团）有限公司印刷地址：深圳市南山区深云路19号印刷日期：2024年6月25日版权所有 © 2024 华为技术有限公司，保留一切权利。前瞻瞭望技术底座目 录科学与工业中的AI应用及其前景02廖恒，张林峰，李琳空间计算：基于计算图的高可扩展性计算系统10王天祺支持优先级变更与投机执行的任务级并行模型22Gilead Posluns，Yan Zhu，张帼玮 , 廖恒，Mark C. JeffreyAI训练集群光电混合交换网络探索35沈胜宇，陈迪，凌文凯，王景燕，胡天驰，谢尚港，陈天翔，任杨，贺继方，端启航，常泽山，林伟彬，刘欣，米光灿Ascend HiFloat8 AI训练和推理61罗元勇，伍玮翔，张忠星，陈敏琪，郑楷，陈官富，李震桁，杨升一种双精度浮点数平方根计算原理和超短延迟微架构设计80罗元勇，龙子超，谷志岩，王建峰前沿探索协同优化动态编译与执行的阴阳平衡之道软硬件协同设计机会点分析92Maria Carpen-Amarie，Rene Mueller，Konstantinos Tovletoglou以数据为中心的高性能计算应用自动调优108闫柏成，Giulio Stramondo，曹宗雁，王哲，王龙“谦逊英雄”119A. N. Yzelman异步训练与MoRe：一种用于实现低内存流水线式模型并行训练的动量重建技术141Roman Talyansky，Zach Melamed，Pavel Kisilev，Ido HakimiMDMMT-2: 多领域多模态Transformer视频检索模型提升泛化性能172Maksim Dzabraev，Alexander Kunitsyn，Maksim Kalashnikov，Andrei IvaniutaWasserstein鲁棒强化学习185Haitham Bou–Ammar，任航，Mohammed Amin Abdullah，Vladimir Milenković，罗睿，张鸣天，汪军随机张量理论、算法和应用194Mohamed El Amine Seddik，Maxime Guillaud动力系统与控制论视角下的计算观214孙杰，Daniel Ebler，Leonarduzzi Roberto Fabio层次化电路方程组构建器的计算图表示158龙子超，李琳，韩磊，孟祥隆，丁翀俊，李瑞艳， 蒋武，丁福臣，岳家庆，李志超，胡贻升，李定，廖恒2 | 华为研究 2024 年 6 月前瞻瞭望过去十年，基于连接主义的 AI 算法，从实践层面为图像分类分割、语言机器翻译等非物理建模任务提供了更为有效的统计建模方法，同时催生了新兴产业并相应创造了巨大的经济价值。这些任务所面对的问题，用过去两百多年的物理建模方法（或者说基于规则的建模方法）是无法解决的，因此 AI 算法快速吸引了大量学术界和工业界人士的注意。但是，还有很多困难且重要的问题，在过去两百多年的科学发展中并未得到很好的解决，部分问题甚至于一筹莫展。与此同时，如果将