基于FPGA的多传感器融合技术

郑重声明感谢您参加盖世汽车主办的2022汽车芯片产业发展云论坛，同时也非常感谢您参与及转发我们直播链接活动。经演讲嘉宾授权许可，部分演讲资料可供您个人学习使用，但禁止将上述资料在公开渠道（包括但不限于媒体渠道、文章、报告等）中发布或引用。上述资料的著作权归演讲嘉宾本人及其公司所有，盖世汽车和著作权人均有权对使用上述资料的行为进行监督、追责。本文件(及任何附件)可能载有机密和/或受法律保护的内容，并仅供盖世汽车指定接收人（或指定接收人授权的接收人）使用。任何未经盖世汽车同意或授权而对该文件所载内容进行使用、披露、分发、复制的行为均被严格禁止。如您错误地接收本文件，请立即通知发送人并立即将本文件及其所有备份（及任何附件）删除及销毁。1|© Copyright 2022 AMD基于FPGA的多传感器融合技术AMD大中华区汽车事业部系统架构总工毛广辉2|© Copyright 2022 AMD主题目录• 多传感器融合的定义、优势、挑战• 历史事件分析• 什么是多传感器融合• 多传感器融合的好处• 多传感器融合的趋势• 多传感器融合的挑战• FPGA应对多传感器融合的技术优势• 总结3|© Copyright 2022 AMD多传感器融合的定义、优势、挑战4|© Copyright 2022 AMDL2+/L2++~ 级别自动驾驶事故分析•Analysis: Dual Failed both Camera and Radar•Vehicle Speed: 110km/h•Obstacle: Large tracks in static status•Radar: Filters out the signal of static objects•Camera: Blinding due to reflection with white body which cannot been detected Analysis: Camera not detected objects on timeVehicle Speed: 100km/hAEB: limited between 8 and 85km/hEnvironment: Construction areaCamera: Training datasets not enough for static obstacles (such as roadblocks, warning triangle, etc.)Radar: Filters out the signal of static objects Analysis: Failed by poor Camera detection and fusion strategyVehicle Speed: 120km/hRadar: AEB detected truck, but speed beyond AEB range, did not take overCamera: Did not detect the special sharped truckFusion use camera as main, radar as auxiliary, but Radar did not fix the poor camera detection.5|© Copyright 2022 AMD什么是多传感器融合？• 多传感器融合的定义：• 传感器融合是域控制器的一部分。这是一种将多个传感器（包括雷达、激光雷达和摄像头）的输入汇集在一起的能力，以形成车辆周围环境的单一模型或图像。结果模型更精确，因为它平衡了不同传感器的强度。然后，车辆系统可以使用通过传感器融合提供的信息来支持更智能的行动。Source: Semiengineering and Synopsys Localization“Where am I?” Mapping“What’s around me?” Path Planning“What to do next?”6|© Copyright 2022 AMD多传感器融合的好处• 传感器融合可提供以下好处：• 通过传感器冗余提高安全性• 提高结果模型的准确性和决策速度• 提高系统完整性提高了数据质量、数据可靠性和稳健性• 增加视野的覆盖面积，未测量状态的估计Source: hindawi Article ID 704504Source: mouser7|© Copyright 2022 AMD传感器融合是自动驾驶的必然趋势ClassificationColor detectionRobustness toInterferenceAdverse WeatherNight operationSensor costSoC ProcessingPerformanceVelocity detectionAngle ResolutionRange ResolutionRange / FoVLiDARCameraRADAR8|© Copyright 2022 AMD多传感器融合面临的挑战• 安全的挑战• 低延迟, 需要更快的处理及更准确的反应• 冗余性, L3会需要DDT反馈，同时要应对数据断路的失效• 复杂性的挑战• 多传感器，需要解决IOs、传输协议、数据格式、时钟等的多样性• 多处理器，需要解决计算能力、热量、任务调度、互连等问题• 效率的挑战• 带宽，将需要高输出来解决大量的数据输入和输出• 融合，具有灵活性以支持使用ML/AI技术的不同神经网络的多种融合类型9|© Copyright 2022 AMDFPGA应对多传感器融合的技术优势910|© Copyright 2022 AMDFPGA高吞吐、多种类协议、带宽的优势 不同的IO类型提供了广泛的速度和电压范围，根据应用要求为内存或传感器接口配置相同的I/ODC400Mb/s1600Mb/s3200Mb/s4266Mb/s3.2Gb/s MIPI D-PHY8 Mpix Sensors & Displays1.8V to 3.3V0.6V to 1.5V3.2Gb/s DDR4Server Class Density Per Channel4.2Gb/s LPDDR4X (0.6V)Highest Memory Bandwidth Per PinXPIO(High-Speed)HDIO, MIO(Legacy Standards)…11|© Copyright 2022 AMDDDR ControllerDDR ControllerDDR ControllerThick HNoCVNocVNocThin HNoCNoC and DDRMC Bandwidth CalculationsEach DDRMC will have a maximum bandwidth of 34.1GB/s (LPDDR4 4266)Each NoC Lane is independent TX and RX interface (34.56GB/s) TX1080MHz * 128bits = 138.24Gb/s138.24/8 =17