用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统与流程

本发明总体涉及数据融合的领域，并且更具体地说涉及用于混合数据融合的设备、方法以及系统，以通过集中式数据融合处理来融合多种不同格式的数据并且通过分布式数据处理来将融合数据发送至异构传感器装置组。

传感器数据融合对乘用车和商用车中的先进传感器扮演着不可或缺的角色。单个独立的传感器在范围和视域上具有限制，并且可能无法提供足够且可靠的360度覆盖。为了克服单个传感器的限制，采用多组异构传感器来感测并且提供关于驾驶环境的增大视野和数据范围。因此，在汽车领域中，采用诸如gps、fm-cwlidar“光检测和测距”雷达、脉冲和fsk雷达以及ccd、cmos或其它照相机/视频图像模块传感器的许多异构车载传感器，以提供关于驾驶环境的更多数据和可靠的360度覆盖。

因此，期望具有混合的集中式和分布式体系结构，以融合由异构传感器产生的数据并且能够在混合的内部集中式和分布式处理中枢处有效地处理从异构装置接收的多种不同格式的传感器数据。此外，通过数据融合可获得其它益处，因为融合来自不同异构传感器的感测数据不仅拓宽关于围绕车辆的状况的数据覆盖，而且增大整个感测系统在单个或多个传感器故障的情形中的可靠性。也就是说，融合数据为来自多个传感器的处理提供重叠或冗余数据，这允许对接收的数据进行完整性检查。

此外，期望使用来自异构传感器的存储在融合轨迹数据文件中的先前融合数据，用于从先前融合数据生成增强提示解决方案，以分布至各个传感器，用于噪声过滤，调节传感器检测阈值以及另外调节其它传感器属性，由此有效地增强传感器精确性和可靠性。

此外，期望针对每个异构传感器利用多级别模块方案，以融合使用块、特征以及传感器级别处理接收的多种数据类型。

此外，期望生成融合轮廓模型，用于增强从异构传感器接收的针对多模式融合模块的测量值，用以改进传感器精确性。

此外，结合附图和设备的背景技术，从设备的后续详细描述和所附权利要求中，本发明的其它期望特征和特点会变得显而易见。

技术实现要素：

提供一种用于混合多模式数据融合的设备。该设备包括：多模式融合模块，该多模式融合模块配置成在第一模式中操作，以接收从异构装置组感测的多种不同格式的融合数据，并且配置成在第二模式中操作，以将融合数据发送至异构装置和相关联模块的每个，从而融合从每个异构装置感测的多种不同格式的数据并且将融合数据发送至多模式融合模块；以及进一步包括融合轨迹数据文件，以存储先前融合数据，从而使得多模式融合模块能将基于存储的先前融合数据的提示信息发送至异构装置。

提供一种用于混合多模式数据融合的方法。该方法包括：在自下而上模式中操作，以融合从异构装置组感测的数据，以及在自上而下模式中操作，以将融合数据分布至异构装置组；以及进一步包括：存储从异构装置接收的先前融合数据，以基于存储的接收先前融合数据生成预测数据，从而分布至异构装置来用于增强感测能力。

附图说明

本发明之后会结合以下附图进行描述，其中，类似的附图标记指代类似的元件，且

图1是说明根据各个示例性实施例的车辆中的传感器管理系统的功能性框图；

图2是说明根据示例性实施例的联接于多模式融合系统的对象级别、特征级别以及传感器级别模块的多级别融合图的功能性框图；

图3是说明根据示例性实施例的多模式融合系统的多级别自下而上和自上而下融合处理的混合的集中式和分布式体系结构图的功能性框图；

图4a是说明根据示例性实施例的集中式融合体系结构的多模态时间融合时间线的时间线；

图4b是说明根据示例性实施例的集中式融合体系结构的多模态时间融合方案图的功能性框图；

图5是说明根据示例性实施例的多模式融合系统的雷达处理系统的雷达处理图的功能性框图；

图6是说明根据示例性实施例的多模式融合系统的lidar处理系统的lidar处理图的功能性框图；

图7是说明根据示例性实施例的多模式融合系统的视觉处理系统的视觉处理图的功能性框图；

图8是说明根据示例性实施例的多模式融合系统的轨迹级别传感器处理图的功能性框图；

图9a、9b和9c是说明根据示例性实施例的用于多模式融合模块系统的轮廓模型图的视图；

图10是说明根据示例性实施例的多模态融合模块系统的多模式融合图的功能性框图；

图11a和11b是说明根据示例性实施例的多模式融合模块系统的lidar聚类图的功能性框图；

图12a、12b和12c是说明根据示例性实施例的与多模式模块系统的目标轮廓融合相关联的雷达原始轨迹图的功能性框图；

图13是说明根据示例性实施例的多模式模块系统的轨迹级别传感器模块的视觉轨迹关联性的图形视图的功能性框图。

具体实施方式

以下详细描述在本质上仅仅是说明性的且不旨在限制该主题或申请的实施例以及这些实施例的使用。如本文中所使用的，措辞“示例性”表示“用作示例、实例或说明”。本文中描述的任何实施方式不应被解释成优选的或者关于其它实施方式是有利的。此外，并不旨在受前文技术领域、背景技术、发明内容或以下具体实施方式中呈现的任何明示或暗指理论所限制。

在本文中可根据功能和/或逻辑块部件，并且参照可由各个计算部件或装置执行的操作、处理任务、和功能的符号表示来描述技术和技艺。这些操作、任务以及功能有时称为计算机执行、计算机化、软件实施或者计算机实施。此外，附图中示出的各个块部件可由配置成执行特定功能的任意数量的硬件、软件和/或固件部件来实现。例如，系统或部件的一个实施例可采用诸如存储元件、数字信号处理元件、逻辑元件、查询表等等的各种集成电路部件，这些集成电路部件可在一个或多个微处理器或其它控制设备的控制下执行多种功能。如本文所使用的是，术语模块个别地或以任何组合指代任何硬件、软件、固件、电子控制部件、处理逻辑和/或装置，包括但不限于：专用集成电路(asic)、电子电路、模块(共享、专用或集群)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述功能性的其它合适部件。

参照图1，示出根据示例性实施例的具有多模式融合系统110的车辆100。车辆100包括多个传感器120和多模式融合系统110的多模式融合模块140。传感器感测车辆100的可观测状况，并且可包括但不限于图像传感器、lidar传感器以及雷达传感器。通常，多个传感器的每个传感器确切地说联接于车辆100的多模式融合模块140，并且配置成感测车辆100的外部环境。多模式融合模块140接收由传感器120产生的传感器信号，处理传感器信号以获得传感器数据，并且融合传感器数据。在各个实施例中，多模式融合模块140基于本文公开的集中式和多模式处理方法和系统来融合传感器数据。虽然所示出的实施例将移动平台体现为车辆100，但本文呈现的概念能部署在其它移动平台中，例如飞行器、航空器、船舶、摩托车、机器人、机器人装置等等。此外，如果如此期望的话，本文呈现的概念也可部署在非移动平台应用中。

例如所提及的是，车辆100通常包括多个传感器120、装置以及软件，以足以感测信息，将感测信息转换成数字信息，并且将数字信息提供给多模式融合模块140。通常，多个传感器的每个均配置成感测车辆100的环境的各方面。

多模式融合系统可联接于收发器136，该收发器可包括至少一个接收器和至少一个发送器，且该至少一个接收器和至少一个发送器操作地联接于处理器142。收发器136能使得多模式融合模块140建立并维持与车载部件和外部通信源的通信链路，包括无线通信。收发器136能执行本领域已知的信号处理(例如，数字化、数据编码、调制等等)。在一些实施例中，收发器136与多模式融合模块140集成。

继续参照图1，描述多模式融合模块140的部件以及它们的功能。在所示出的实施例中，多模式融合模块140的计算机系统包括处理器142，该处理器通信地联接于存储器144、接口146、存储装置148、总线150以及可选的存储盘158。在各种实施例中，多模式融合系统110(且更确切地说，多模式融合模块140)执行下文会进一步结合图2进行描述的动作和其它功能。处理器142执行归属于多模式融合模块140的计算和控制功能，并且可包括任何类型的模块或多个模块、诸如微型模块的单个集成电路或者任何合适数量的集成电路装置和/或电路板，它们协配地工作以通过操纵表示系统存储器中存储器位置处的数据位的电气信号来执行所描述的操作、任务和功能以及其它信号的其它处理。

在操作期间，处理器142加载并执行体现为容纳在存储器144内的指令和应用程序152的一个或多个程序、算法和规则，且这样控制多模式融合模块140的控制系统130以及计算机系统的一般操作。在执行本文描述的处理中，处理器142加载并执行至少一个程序156。

诸如存储器144、存储装置148或可选存储盘158等计算机可读存储介质可用作存储和便笺簿两者。维持数据位的存储器位置是具有与数据位相对应的特定电、磁、光或有机特性的物理位置。存储器144可以是任何类型的合适计算机可读存储介质。例如，存储器144可包括诸如sdram的各种类型动态随机访问存储器(dram)、各种类型的静态ram(sram)以及各种类型的非易失性存储器(prom、eprom和闪存)。在某些实施例中，存储器144位于计算机芯片上和/或与处理器142共同位于同一计算机芯片上。在所示出的实施例中，存储器144存储上文参考指令和应用程序152以及存储数值154中的一个或多个可配置变量。

存储装置148是呈任何合适类型的存储设备形式的计算机可读存储介质，包括诸如硬盘驱动、闪存系统、软盘驱动和光盘驱动之类的直接访问存储装置。在一个示例性实施例中，存储装置148包括程序产品，存储器144能从程序产品接收程序156，该程序执行本发明的一个或多个处理的一个或多个实施例。在另一示例性实施例中，该程序产品可直接地存储在存储器144和/或盘(例如，光学存储盘158)中和/或以其它方式由存储器和/或盘访问，例如下文所引用的那样。

轨迹数据文件的先前融合数据可存储在计算机可读存储介质中，例如存储器144、存储装置148或可选存储盘158中。总线150用于在多模式融合模块140的计算机系统的各个部件之间传输程序、数据、状态和其它信息或信号。总线150可以是连接计算机系统和部件的任何合适的物理或逻辑装置。这包括但不限于直接硬接线连接、光纤、红外和无线总线技术。在操作期间，存储在存储器144中的程序156由处理器142加载和执行。

接口146使得能例如从系统驱动器和/或其它计算机系统在多模式融合模块140内通信，并且能使用任何合适的方法和设备来实施。在一个实施例中，接口146从传感器120和/或收发器136获得数据。接口146可包括一个或多个网络接口来与其它系统或部件通信。接口146也可包括一个或多个网络接口来与技术人员通信，和/或包括一个或多个存储接口，以连接于诸如存储装置148的存储设备。

现参照图2并且继续参照图1，图2说明多级别融合系统200，该多级别融合系统具有用于图1所示每个传感器120的集中式融合系统210和分层式混合系统220。多级别融合系统200将传感器数据转换为便利的坐标数据来用于数据融合。多级别融合系统200使用算法方案来转换传感器数据，并且创建较高级别的数据表示，例如用在场景理解工具中的融合对象列表、占用栅格以及融合像元。此外，可采用模板匹配和语义标记，来从传感器、特征和对象处理级别的导出数据中提供对外部驾驶环境表示的语义理解。在各种实施例中，分层式混合系统220包括传感器级别处理模块230、特征级别处理模块以及对象级别处理模块250。

一开始，诸如照相机、lidar、雷达、v2x、、群源等异构传感器(图1所示的传感器120)生成传感器信号，这些传感器信号由传感器级别处理模块230处理以获得二进制数据，该二进制数据称为所考虑目标的传感器级别数据。此种传感器级别数据是最低级别数据，并且包括rgb像素、3d体素、雷达点检测w/置信度属性范围、速度、角度、rcs、运动方向、静止标签等等。此种传感器级别数据模块直接地发送至集中式融合系统210，用于数据融合处理并且用于进一步存储在轨迹数据文件中。此外，传感器级别数据235发送至特征级别处理模块240，用于进一步特征级别处理。集中式融合系统210可使用包含选通技术和分配策略的关联策略，用于融合接收的各种传感器级别数据。

此外，传感器数据可保持在融合轨迹数据文件或其它类似类型的数据结构中用于之后使用，并且将融合数据分配至其它异构传感器。换言之，来自特定传感器的传感器级别数据可由多模式融合系统转换并存储，来由其它异构传感器交叉使用。此外，也可发生过滤和提示方法，其中，融合数据轨迹经过滤并且由轨迹对轨迹关联过程以分布式融合方案输出至该组异构传感器。

接下来，特征级别处理模块240接收传感器级别数据235，并且从接收的传感器级别数据235产生特征图、超像素、像元以及轨迹块245。换言之，使用算法方案由像素级别处理来从二进制传感器级别数据中获得特征，以确定特征图、像元、轨迹块以及其它类似方法，并且分组并获得像素数据，以提供对驾驶环境的表示。在一个情形中，在外部环境的多级别表示中，当需要更细粒度的图像时，能使用像元和网格方法来表示郊区和城市场景。在其它情形中，像元和自由空间网格用于农村障碍物。此外，像元也可用于表示周围环境中的目标。最后，点云表示能用于静态障碍物。

对象级别处理250是分层式混合系统220的最终级别，并且涉及使用算法方案对物理对象的评估。此种对象级别处理可由集中式融合系统210执行，或者在未示出的其它情形中可由其它传感器装置的模块在外部执行。也就是说，在一些情形中，对象检测由异构传感器而非由集中式融合系统210以分布式方式执行。然而，在两种情形中，集中式融合系统210配置成接收对象列表、属性和占用网格260信息的对象级别数据来用于进一步处理。对象列表可包括行人、车辆物理对象的列表，且属性可包括来自照相机等的速度、距离的对象属性等。此外，分类和运动评估可通过集中式融合系统210的算法来执行。此外，道路几何形状和其它较高级别的预测可在对象检测期间由集中式融合系统210执行。因此，集中式融合系统210能使用并组合所考虑目标的传感器、特征以及对象级别数据，以获得在外部环境表示内的所考虑目标的状态。

参照图3并且继续参照图2，图3说明混合数据融合系统300的混合的集中式和分布式体系结构图，该混合数据融合系统使用多模式融合模块310，其中，视觉330、雷达340和lidar350传感器模块各自具有多级别融合模块360来用于处理感测数据。多级别融合模块360至少包括但不限于对象级别模块365、特征级别模块370以及传感器级别模块375，来用于之前如图2中所说明的对象、特征和传感器级别处理。视觉330、雷达340和lidar350传感器模块的多级别处理发送至关联和对准校正模块320来用于进一步处理。换言之，关联和对准校正模块320配置成接收多级别感测数据来用于处理。

接下来，基于多组异构传感器的设置，混合数据融合系统300同时包含集中式和分布式体系架构。例如，在系统的操作中，分布式融合体系结构用于减少计算处理和通信，然而当需要更大的精确性时，使用集中式融合体系结构。替代地，基于可获得的异构传感器，两种操作模式的组合可用于获得对所考虑目标的融合状态。例如所解释的是，在每个传感器的处理模块由关于传感器操作的提示信息的轨迹数据增强的情形下，操作的集中式融合模式用于产生提示信息来发送至传感器模块。也就是说，提示信息由多模式融合模块310的算法方案由本地、远程或者云端存储的融合轨迹文件390的先前历史轨迹数据集中生成。分布式操作用于每个异构的校正，其中，提示信息个别地由每个传感器的信号处理器在分布式方案中独立地处理。

附加地，混合的集中式和分布式融合体系结构使得多模式融合模块310能配置成以双重处理操作模式操作，其中，在存在自上而下处理流的一种模式中，包含提示信息的融合轨迹数据发送至异构传感器。提示信息可包括关于融合目标、轮廓位置和速度的数据，且该提示信息利用多路径信息流通过使用反馈路径从多模式融合模块310直接地发送至每个异构传感器，信号模块使用每个异构传感器的算法方案处理所发送的信息，以助于在实时操作期间对各个传感器进行校准或偏差校正。例如，包含在所发送的融合轨迹数据中的提示信息可由每个传感器信号模块进一步处理，以调节传感器的过滤方案和检测阈值水平；并且评估传感器对准和测量偏差。

例如所提及的是，多模式融合模块在双重处理模式操作中操作，其中，在存在自下而上处理流的第二模式中，图3中示出的二进制数据或传感器级别数据由每个异构传感器检测或感测。例如，视觉传感器330可检测rbg像素、范围率、轴承、轴承率335等的二进制数据，这些二进制数据发送至关联和对准校正模块320。雷达传感器340类似地检测范围、范围率、轴承角度345的二进制数据，这些二进制数据也发送至关联和对准校正模块320。最后，lidar传感器350检测点云355的二进制数据，这些二进制数据再次发送至关联和对准校正模块320。

关联和对准校正模块320使用参数关联和数据对准校正方案，以聚集并组合来自每个异构传感器的所考虑目标的传感器、特征以及对象级别数据。为了执行此种关联，可采用数据关联技术，包括校正、距离测量以及概率相似性。对准校正可通过对多个传感器的数据的目标跟踪来检测。例如，在视觉失准的情形中，能建立一过程，以基于所考虑目标的坐标系和航向角度评估来对准视觉传感器；将无法与角度评估相关联的失匹配角度数据去除，并且能对视觉对准作出校正。此外，能基于先前的角度信息来作出角度校正，这会导致对准中的增量变化。因此，在该情形中，提示信息基于历史角度数据。

参照图4a并且继续参照图3，图4a说明在操作期间接收的多模式融合模块的事件的正时400的多模态时间融合正时时间线。多模式融合模块以多模式集中式数据融合方案操作，以融合来自异构传感器的数据，这需要使得来自异构传感器的事件驱动动作的时间同步。然而，甚至在异构传感器以相同频率操作时，由异构传感器感测的这些事件可能并不同步。因此，技术由多模式融合模块的算法使用，以在从异构传感器接收非同步传感器数据时，调节多模式融合模块的操作。在单事件驱动数据融合方案中，视觉传感器数据、lidar传感器数据以及雷达传感器数据从异构装置组中接收，只要存在与这些功能操作地关联的传感器即可。由每个传感器处理的传感器数据独立地并且以分布式方式执行。换言之，在一开始定时为同步操作且同步地处理感测数据和任何额外的接收数据的异构传感器的模块可能实际上并不同步。也就是说，由于每个传感器的一部分上的分布式体系结构和独立数据处理，在某些情形中，在提示操作期间，可能在由每个传感器接收的融合数据量上存在改变。这会导致在由融合系统循环地且随后接收感测数据期间，在由每个异构传感器完成处理数据上产生定时偏差。

在初始循环t0中，对于每个传感器数据的到达时间产生公共时间戳。此种公共时间戳能由于所有传感器数据在一个循环中到达而产生，且因此能产生传感器数据的到达时间的初始定时图。然而，存在可能导致初始t0映射方案出现偏差的事件。融合系统通过使用算法来补偿这些事件，以预测来自每个传感器的所处理数据的数据到达时间的变化δ[1...4]。例如，在循环t410至后续t+1440循环的开始时，针对每个后续传感器数据到达时间计算预测δ。一开始，计算针对视觉传感器的数据到达时间的预测δ1，这会产生视觉数据校正时间415。接下来，针对lidar数据校正时间计算预测δ2，并且该δ2偏离视觉数据校正时间415，接着后续雷达数据校正δ3320类似地偏离lidar数据校正时间420，且最后针对下个融合输出循环t+1计算预测δ4。因此，增量预测校正δ[1...4]进展通过整个循环，以补偿每个传感器处理数据到达时间的先前到达时间预测。因此，通过使用该预测方案，不会在处理循环中发生延迟，而例如在仅仅使用基于定时器计算的情形中到达时间发生偏差的话，可能会发生延迟。

参照图4b并且继续参照图4a，图4b说明融合输出465之后的事件到达和后续预测计算的多模式融合系统450的多模式时间融合图。一开始，发生事件到达时间的确定455。如果确定并非是事件到达时间“n”，则处理流逆转为开始。这会在所考虑的所检测对象的感测数据存在时间持久性时发生。作为示例，如果传感器数据存在无穷小变化，则无需额外的检测，因为所考虑对象的属性不会相对于关于对象的先前存储传感器数据发生改变。接下来，如果存在融合输出465，则计算预测460δ[1...4]，但无需视觉、lidar或雷达数据校正，由此输出感测数据。替代地，如果并未确定融合输出465，则需要额外的融合数据，且需要由视觉、lidar和雷达数据的预测485进行额外的校正(380)。这些并联处理路径两者均由反馈路径475返回，以用于下个事件到达。通过使用此种异构模态方案，聚集较少数据，且融合系统的总体性能得以增强。

参照图5，图5说明多模式融合系统的雷达模块510的雷达传感器系统500的雷达处理系统图。在操作中，雷达模块510从雷达对象检测器520中获得恒定虚警率cfar，在该雷达对象检测器中，应用自适应阈值530来反映环境的杂波和噪声。雷达对象检测器520将接收的信号幅值与自适应阈值530相比较，该自适应阈值基于包含先前阈值信息的预测融合数据570通过提示处理来调节，且该先前阈值信息从融合系统分配至雷达对象检测器520。

接下来，雷达对象检测器520输出雷达点、范围和角度率的感测数据，用于沿着管线作进一步处理。在下个阶段540中，将感测数据清除并且去除噪声对象。通过使用从时间持久性中收集的先前噪声点数据通过数据关联565从接收预测融合数据570的提示中去除噪声对象，确切地说噪声对象的点。在沿着雷达传感器处理管线的下个阶段550中，从接收的预测融合数据570的提示处理中，对从数据关联565再次收集的传感器执行对准和偏差校正。在雷达传感器处理管线560的最后阶段处，执行用于将雷达点分类成静止或动态点集的数据分类。经过滤的数据点附加地由数据关联565与融合数据轨迹一起处理，并且发送至融合模块575，且导致针对所考虑的目标由融合轨迹测量和更新模块580来对融合数据轨迹的测量进行更新。

参照图6，图6说明在点云数据到达的情形下多模式融合系统的lidar处理系统600的lidar处理图。点云数据x、y、z供给至lidar模块610，用于处理来确定所考虑的目标。感测lidar点数据在两个阶段中处理，一开始在第一阶段620中，评估算法用于校正lidar对准和偏差。在后续阶段630中，应用算法来作出阈值评估，以从点云数据中去除地面点。两个阶段均从融合数据的轨迹中接收非地面点数据。这些非地面点通过非地面lidar点与从接收的预测融合数据680的提示中收集的融合数据的数据关联640来判定，该数据关联发送至数据关联640模块。从lidar模块610中，点云x、y、z和融合轨迹指数发送至融合模块660来用于进一步处理。当前雷达点690的提示用于通过使用雷达点来作为提示将算法670聚类成轨迹块来使得能够转换点云数据。基于聚类算法来更新融合轨迹测量。附加地，数据关联处理685用于关联当前雷达点的提示。

参照图7，图7说明当由联接于车辆的照相机捕获图像数据以产生车辆环境的图像数据时，多模式融合系统的视觉处理系统700的视觉处理图。一开始，强度图像由视觉模块710接收，用于利用接收预测融合数据705的提示来处理，以用于所考虑目标的地面像素检测745、对象识别720、图像分裂725和速度评估730。一开始，基于接收的强度图像的超像素的运动流的垂直分量来作出运动评估计算750。在图像处理管线中的下个阶段，使用接收预测融合数据705的提示来检测地面像素745。作出确定735，以通过比较来自预测融合数据705的数据并且通过阈值确定来判定像素是否是地面图像。如果像素关于地面，则针对照相机外部参数740进行计算评估，且利用该评估来更新照相机投影参数。此外，执行对地面像素的分类以将来用在数据提取中。替代地，如果并未检测到地面像素，则执行对提取对象候选物的对象识别720，并且映射所检测对象的超像素分段。此外，在后续阶段中执行像素的分类，并且最终执行对所考虑目标或所检测对象的速度评估730。分类和速度评估的两种处理均使用由预测融合数据705的数据关联715所收集的预测融合数据。最后，融合数据通过图像平面760中图像的对象标记添加和运动流评估来更新，用于由融合模块进一步处理。

参照图8，图8说明多模式融合系统的雷达传感器系统800的轨迹级别传感器处理图。在该示例中，雷达传感器装配有执行局部跟踪的各个处理模块810。接收的帧数据信息包括所考虑对象的范围、范围率、方位角和方位角速率。雷达传感器的轨迹级别感测从接收预测融合数据840评估的提示中使用雷达传感器的轨迹数据与融合轨迹指数830的数据关联，以使得雷达传感器系统800配置成计算并校正传感器对准和偏差820。融合轨迹状态的更新(包括范围、范围率、方位角、方位角速率、融合对象指数等的轨迹数据)发送至多模式融合模块850。融合轨迹测量更新由多模式融合模块850的融合轨迹测量更新模块860处理。此外，轨迹级别传感器配置成启用对象运动状态，该对象运动状态是所考虑对象的位置和速度，但并非是传感器级别二进制数据或信息特征数据。因此，对象级别数据处理由雷达传感器系统800执行，来用于融合轨迹测量更新。

参照图9a、9b和9c，图9a、9b和9c说明用于多模式融合模块的lidar点聚类的轮廓模型图。将所考虑的每个目标910建模为位置p＝(x，y)的状态变量，该位置具有航向角、地面速度(v)以及偏航速率(ω)。雷达点1020相对于目标系的目标参考轮廓如下在高斯混合模型“gmm”中建模：

和是马哈拉诺比斯距离

在hv系中，轮廓模型是

是角度的旋转矩阵

在预测模式中，所考虑的车辆目标910如下建模为常微分方程(ode)：

dx(t)＝f(x(t))dt+gdw(t)

其中

w(t)是具有零均值和单位方差的相互独立布朗过程且扩散矩阵g是对角的。

假定x(t0)，在t1＝t0+dt处的预测状态x(t1)可通过如下接近于x*：

g′x(t1)＝f′x(t0)+u+w

g′＝g^-1

w是5x1零均值单位方差高斯噪声。

参照图10，图10说明用于使得雷达点与基于lidar点轮廓相关联的多模态融合算法的多模式融合系统1000的多模式融合图。由多模式融合模块来执行针对每个雷达点的点云校正测量，且产生基于lidar的轮廓。针对每个测量ml，针对点云校正的算法发现轮廓中与图10中示出的雷达点1020的最接近点pl。因此，雷达点1020与基于lidar的轮廓pl相关联。

点的线性速度如下确定：

以及

测量方程如下：

rl＝||pl+p||

仅仅针对雷达

αl＝∠(pl+p)

对于所有的云点，由针对所有测量方程的点云校正的算法来执行聚集处理，并且如下：

假定先验

配置以及

三角矩阵

则后验是

然后，更新评估如下：

参照图11a和11b，图11a和11b说明示作多模式融合模块系统的雷达模块的lidar处理算法的三角模型1100的雷达聚类图。在图11a并且在图11b中的融合轮廓点的替代表示中，示出移动宿主车辆hv和围绕rv远程车辆的轮廓融合点1110的表示。为了在算法上区分移动车辆与诸如护栏的静止障碍物，计算轮廓融合点1110。

对于每个轮廓融合点sj1110，存在针对雷达点mk的计算匹配系数为ajk，∑kajk＝1。

针对轮廓融合点1110的任何两个si和sj，增量距离1120如下限定：

其中，d(si，sj)是两个lidar点之间的欧氏距离或其它距离度量，且c(ml，mk)是两个雷达点之间的距离度量，即，c(ml，mk)；如果ml，mk属于具有显著不同多普勒测量值的两个分离目标，则存在大正数。

然而，通过在计算中使用增强距离度量，并且执行在一些情形中是图着色算法方案的聚类计算，则在此种图着色算法方案中，具有小于阈值的距离度量的两个轮廓点则分配给同一聚类，否则轮廓融合点1110分配给两个不同的聚类c1、c2。

参照图12a、12b和12c，图12a、12b和12c说明雷达模块与多模式融合模块系统的目标轮廓融合的雷达原始轨迹点关联的视图。针对来自与目标轮廓融合映射相关联的轨迹的感测数据，由雷达传感器模块来执行自上而下处理。在图12a中，针对每个雷达点1200mk，距基于每个lidar轮廓的质心的最小距离垂直距离d(mk)1210经转换并且指代为d(mk)1210，如果d(mk)＜t，则在最小距离内将mk的产生转换分配给基于lidar的轮廓。如果未分配，则将mk处理为候选，用于更新融合数据跟踪。在图12b中，围绕与宿主车辆相关联的远程车辆生成基于lidar的轮廓，且再次mk，即，垂直距离d(mk)1210到基于每个lidar轮廓的质心的最小距离。在图12c中，接收雷达点数据1220，且利用接收的自上而下融合轨迹信息1240来执行对雷达点和融合数据关联的处理1230。所产生的处理使得能够生成增强的雷达原始测量信息，以作为示例校正lidar模块阈值调节。

参照图13，图13说明多模式融合模块系统的视觉传感器模块的轨迹水平的视觉轨迹关联的图形视图。执行在图13中示出的指代为视觉目标v的所考虑视觉目标1300的自上而下处理。在算法上计算所说明的视觉目标v的垂直和纵向位移。赋予视觉目标v以下属性：x是纵向位移，y是侧向位移，vx和vy，w是宽度，且l是长度。对于所考虑的每个对象1300，v，一开始将四个角转换，四个角是ci，i＝1，...，4，这些角如下转换：x-w/2，y-l/2，x-w/2，y+l/2，x+w/2，y-l/2，和x+w/2，y+l/2。一定距离从所考虑对象1300v转换为每个轮廓e，这可限定为从四个角的每个至轮廓的最短距离。该距离如下转换：

d(v，e)＝mini{d(ci，e)}

其中，d(ci，e)是从点ci至线段e的最短欧氏距离。然后，视觉目标速度和融合目标速度之间的距离度量的增量如下计算：

d(v，e)＝αmini{d(ci，e)}+β||vf-vv||，其中α和β是加权系数，vf和vv是融合和视觉速度。

在这之后，如果最短距离小于预定阈值，将视觉目标v分配给具有最短距离d(v，e)的轮廓。

虽然本发明的前述详细描述中已经呈现至少一个示例性方面，但应意识到的是，存在各种各样变型。还应意识到的是，示例性方面或多个示例性方面仅为示例并且不旨在以任何方式限制本发明的范围、适用性或配置。相反，前文详细描述将为本领域技术人员提供用于实施本发明的示例性方面的便利指引图。应理解的是，可对在示例性方面中描述的元件的功能和结构上作出各种改变，而不会偏离在所附权利要求中阐述的本发明范围。