大算力异构芯片赋能具身智能：从实时控制到空间计算

⼤算⼒异构芯⽚赋能具身智能—从实时控制到空间计算隋 伟 博⼠地 ⽠ 机 器 ⼈ 技 术 副 总 裁源自智能驾驶，通往通用智能计算架构开发平台智能算法产业生态共通的三大计算任务具身智能：堪比“计算机诞生”级的颠覆式创新趋势一：大模型驱动具身机器人向AGI跃迁G3端到端操作技能G4端到端操作大模型G1基础自动化G2通用原子技能海G5AGI基数长量数础模据驱程数据动据型顶层任务拆解任务运动规划执⾏器械优点：数据真实可⽤，有效性⾼缺点：采集成本⾼、效率低优点：模块化可解释性强、数据依赖少截屏2025-04-25 03.20.19截屏2025-04-25 03.20.19截屏2025-04-25 03.20.19缺点：依赖规则，可扩展性差、⽆法处理⾼⾃由度本体优点：采集效率⾼，成本低，数据多样缺点：与真实数据存在差异，数据上限低优点：数据驱动，模型上限⾼，可处理复杂任务缺点：不可解释性，强依赖数据，⽬前泛化性差趋势一：大模型驱动具身机器人向AGI跃迁n 本体标准化且起量n 数据飞轮效应凸显，具备通用性n 手臂操作精度要求低n 交互体验要求高硬件支持完成任务智能化低，适合刚需、容错率场景nn2030-年2025-2030年üü硬件标准化模型能力提升üü硬件成熟成本降低商场/租车/导览/导购/巡检危险场景家庭服务桌面陪玩/教育工厂生产劳动力短缺场景趋势二：以Transformer为核心的基础模型正在重塑机器人技术栈视觉基础模型VFM\Grounding端到端模型VLA通⽤场景VLN视觉语⾔导航VLM+ASR+TTS数据量增加模型容量增⼤:⼏B到⼏⼗B多模态⼤模型趋势三种需求共通的三大计算任务传感器传感器System2System1执行器VLA执行器脑需要更适合的计算平台大脑小脑System2System1“直觉”快系统任务规划视觉推理语言理解运动策略功 能 需 求计 算 需 求实时控制状态跟踪高算力高能效高实时高可靠GPU/NPU、MCU全新 BPU Nash 架构支持算法高速运行FPS8 TOPS 灵活选择，能效密度优化，满足景需求线程VPU(Vector Process Unit)单元，支持和 FP32 浮点计算，提升 Layernorm、x 等敏感算子的精度和性能过 160+ ONNX 标准算子，覆盖 CNN 和ormer 等主流算法，100% 硬件加速三级缓存和高带宽 DDR，突破内存瓶颈BEVCenterPointYOLO12mYOLO12l多任务模型3D感知模型检测检测BPU®持续迭代，构建具身机器人的大小脑引擎实 现 效 率 最 大 化 、 具 备 高 灵 活 性 及 高 可 编 程 性BPU® NashTransformer 在特征融合中扮演关键角色• 环境时序预测、复杂环境交互式规• BEVFormer、PETR、UniAD• VPU、DataTransformer Engine、紧耦合异构计算优化强大的机器视觉处理能力是具身智能的基石Transformer 在统一网络框架下具有极大的潜力CNN 是当前最成熟且广泛应用的算法大量端侧可直接部署的智能算法测、追踪、检测等PaddleOCRVGGTGroundingDino型、型Qwen2 7BInternVL2NasBayesGaussBernoulli 1.0Bernoulli 2.0高斯架构伯努利1.0架构伯努利2.0架构贝叶斯架构纳什架四足、制算法PPOASAP超强异构系统，构建具身机器人核心驱动力高频低频传感输入大脑小脑System2低频System1高机器人“认知”慢系统“直觉”快系统运动策略实时控制任务规划 视觉推理 语言理解低频高频状态检测BPUCPUMCUS100BPU+CPU+MCU超强异构，计算+控制的最佳方案1.5/2.0GHz Arm® Cortex®-A78AE1.2GHz Arm® Cortex®-R52+提供 6K+ DMIPS算力提供100K/137K DMIPS算力支持RTLinux低延时、快响应任务调度双核DCLS，双核Split-Lock灵活配置兼顾可靠与性能要求支持EtherCAT/CAN直连主流关节电机可拓展多路CAN FD，UART，Ethernet等常用通信协议支持TSN & PTP网络多传感器时间高效同步采用FreeRTOS进行开发灵活高效的核内、动tIPC ComponentHardwareApplicationApplicationipcf-hal librarycustomer driveripcf-hal driveripcf-shm driveripcf-shm drivermbox drivermbox driverShare Memory+ Inter-core Interrupt (Mailbox)兼顾低功耗和多样化算力组合的单 SoC 计算平台新的AI架构（BPU3.0）• 80/128 TOPS with newly designed memoryhierarchyIMAGINGBPU 3.0CPU SUBSYSTEMMCU DOMAIN• Vector processing unit supports FP16/FP32MP4MP2MIPI-CSI RX• More flexible NN support, such astransformerA78A78A78A78R52+R52+R52+Multi ISP强大的通用计算A78A78BPU• 6xA78AE, 100K/137K DMIPS• Vision DSP: Q8 64GFLOPS FP32PYM/ GDC/ StitchL1 SRAML1/L2 Cache per CoreL3 Cache per Cluster1x 1GbE6x SPI高性能图像处理• MIPI-CSI: 3x 4-lane RX + 2x 4-lane TX• Up to 2.4Gpixel/s processing bandwidthDSP10x CAN FD3x LIN4x I2C3x UART14x ADCchNETWORK ON CHIPLPDDR5 DRAM集成式GPU & Codec• GPU: 100 GFLOPSPWM6MB SRAM• Codec: 4K@90FPS H.264/H.265/MJPEGMEDIAVIDEOPERIPHERALSETH & PCIE SYSTEM丰富的通信和存储资源• Up to 2x 1GE• Up to 4-lane PCIe 4.01x XSPI NorFlash/ HyperFlashH.264/H.265/MJPEG Codec4xUART2xSPI3D GPU2x 1GbESECURITYEXT NVM CONTROLLERS• DDR: 96bit LPDDR5/4x/4• NVM: XSPI NorFlash, eMMC, UFSSecure CPU/SRAM6xI2C2xI2SDisplay Controller2x PCIe Gen4.0 Controllers4-lane SERDES PHY1x SD/SDIO/eMMCTRNG高性能MCU1xUSB2.0MIPI-