汽车厂商认同“传感器融合”是确保ADAS与自动驾驶车辆安全性的关键，但他们在融合不同类型传感器数据时也面临各种挑战…
随着有越来越多汽车厂商开始将不同的传感器整合到先进驾驶辅助系统（ADAS）/自动驾驶汽车，他们通常都会认同“传感器融合（sensor fusion）”是高度自动化驾驶安全性的关键。
但不为人知的是，这些厂商所采用的数据──是原始数据或经过处理的数据？──细节，以及他们在融合不同种类传感器数据时面临的挑战；如市场研究机构Strategy Analytics汽车市场分析师Ian Riches所言：“目前的传感器融合并没有在原始传感器数据上完成，通常每个传感器都会进行自己的本地处理。”
EDA供应商明导国际（Mentor Graphics）将在近日于美国底特律举行的年度SAE World Congress汽车工程师大会上，展示如何将来自不同传感器──雷达、激光雷达、视觉传感器或超声波传感器等──的原始数据即时融合，以实现在感测精确度以及整体系统效益上的大幅提升。
Mentor Graphics正推出名为DRS360的自动驾驶平台，号称能将来自所有系统传感器之未经过滤的数据直接传送到一个中央处理单元，然后将那些原始传感器数据在各个层级即时进行融合；该公司副总裁暨嵌入式系统部门总经理Glenn Perry接受EE Times采访时，比较了“传感器融合”与“原始数据融合”的不同，指出两者之间存在着“微妙却非常重要的差异”。
一般来说，提供给汽车厂商的传感器是模组化设计，以预先处理资料；Strategy Analytics的Riches解释：“举例来说，从摄影机传送至融合系统的资料并不会是实际的图像资料，而是对图像中重要区域的描述──像是哪裡有一条白线、哪里有一辆车、哪里有交通信号标志…而所有的融合在这时候才以那些较高层级的数据进行。
以来自不同传感器模组经处理之数据进行的传感器融合流程
Mentor认为，摆脱各个终端节点使用之传感器模组的预处理微控制器，选用原始资料，能让ADAS/自动驾驶车辆的设计工程师大幅提升即时性能，并降低整体系统成本与复杂度；此外也能利用所有获取到的传感器数据，为车辆所在环境与驾驶路况建立最高解析度的模型。
DRS360是一款可开发符合ISO 26262 ASIL D标准之系统的平台；Mentor的Perry指出，该平台以赛灵思（Xilinx）的Zynq系列FPGA处理原始数据融合，搭配负责ADAS或自动驾驶功能的SoC（可以是ARM或x86架构），以及一颗MCU（例如英飞凌-Infineon的安全微控制器）。DRS360平台能提供集中化的原始数据融合
产业顾问机构Vision Systems Intelligence创办人Phil Magney表示：“传感器融合是一项复杂的任务，用原始数据会更难；”他解释，“原始数据融合能更有效率地让运算资源在集中化的系统中整并，不过在算法的整合上面临更艰难的挑战。”
为何原始数据融合很困难？
原始数据融合难在哪里？Mentor的Perry表示，首先是每个传感器会产生数据流，而且是以不同的画面更新率、不同的采样率以及间隔时间：“这是一个异步（asynchronous）系统；”其次，不同类型的数据：“需要被统整为一致性的表述（cohesive representation）。”
例如摄像头的原始图像（2D）、激光雷达的点云（point cloud，为3D）以及雷达的ADC输出，这些都必须被融合到符合时间/空间的3D环境图；而第三，如Perry所言，必须要被统整的：“是真正很庞大的数据流。”针对未指明的3D资料集，Mentor还开发了取得专利的算法，能实现将激光雷达的空间位置数据、来自雷达的车辆速度数据，以及视觉装置的物体检测数据之融合。
Perry表示，过去在分散式的传感器数据模组中，每个传感器通常会丢弃一大堆数据；但集中化的解决方案采用未过滤之传感器数据，能确保精确度与可靠度的强化；他强调Mentor花费两年的时间进行该平台的开发：“对于系统效益的改善，我们自己都很惊讶──包括延迟的降低与处理性能的增加，都是由原始数据融合的算法所实现。”
而产业专家认为，原始数据融合可望在未来催生更“开放”的智能汽车平台，取代目前比较像是“黑盒子”的方案…
QQ客服1