基于多传感器前融合的实例标注方法、模型、终端和存储介质与流程

本发明涉及汽车电子技术领域，特别是涉及一种基于多传感器前融合的实例标注方法、模型、终端和存储介质。

背景技术：

目前常用的实例分割标注方式为使用lableme等标注工具，在二维图像中使用人工将目标利用多边形工具沿着该目标的边界将目标标注出来，再给予其一个实例属性，目前这种标注方法使用的信息只有相机采集的二维图像数据，而在无人驾驶中，除了相机这个传感器外，还有毫米波雷达，激光雷达等多个传感器数据，这些传感器之间的数据是相互补充的，并没有数据冗余，但目前的标注方式并没有将其他传感器的数据利用起来，得到的标签数据过于单一，影响感知算法的实现。

此外，我们采用的是多传感器前融合方式，后融合方式是每个传感器各自独立处理生成目标数据，当所有传感器完成目标数据生成后，再自主进行融合，这种后融合方式的问题是激光雷达产生的3d点云数据与摄像头收到的图像数据帧率完全不同，难以进行匹配，而且低置信度信息会被过滤掉，导致原始数据的丢失。

技术实现要素：

为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于多传感器前融合的实例标注方法、模型、终端和存储介质，在前融合过程中，我们在原始层把多种传感器数据都融合在一起，而且这个传感器可以看到红外线，摄像头，三维信息以及lidar信息。在融合之后的数据中，输出一个更精确的结果。

一种基于多传感器前融合的实例标注方法，包括以下步骤：

s01：数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自感知数据的原始数据；

s02：将数据采集模块获得的感知数据做时间同步处理；

s03：将数据采集模块获得的感知数据做空间同步处理；

s04：采集数据处理前将多个感知设备获得的数据融合；

s05：使用一种感知设备获得数据对目标进行融合数据的实例标注；

s06：将感知设备中出除步骤s05使用的感知设备之外的剩余感知设备的感知数据与步骤s05中的对应。

进一步地，还包括步骤s07：最后得到该目标的多传感器前融合实例标签，应用到基于融合数据开发的算法中。

进一步地，所述步骤s02中时间同步处理是将激光雷达数据与毫米波雷达数据在时间维度上与摄像头采集的图像数据进行对齐。

进一步地，所述步骤s03中空间同步处理是用棋盘标定法将多传感器数据进行空间上的对齐。

进一步地，步骤s05中所述一种感知设备是激光雷达，所述一种感知设备获得数据是指激光雷达获得三维数据，步骤s05中通过使用激光雷达三维数据使用标注工具对目标物体进行实例标注。

进一步地，步骤s06中具体将感知设备中出除步骤s05使用的感知设备之外的剩余感知设备的感知数据与步骤s05中的对应是指：将感知设备中的摄像头数据、毫米波雷达数据与激光雷达数据进行对齐，即可得到同步标注数据。

进一步地，还包括步骤s07：还包括获得目标的多传感器前融合实例标签。

进一步地，所述步骤s04中原始的融合数据包含了由激光雷达和毫米波雷达输出的x,y,z的空间数据、摄像头输出的r,g,b的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。

进一步地，所述步骤s05中激光雷达数据上使用标注工具对目标物体进行实例标注的原因是激光雷达采集的数据是三维信息。

一种基于多传感器前融合的实例标注系统，包括以下部分：

数据采集模块，所述数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自的感知数据；

时间同步模块，所述时间同步模块用于将数据采集模块获得的感知数据做时间同步处理；

空间同步模块，所述空间同步模块用于将数据采集模块获得的感知数据做空间同步处理；

数据融合模块，所述数据融合模块用于在采集数据处理前将多个感知设备获得的数据融合；

标注模块，所述标注模块用于对目标进行融合数据的实例标注。

进一步地，所述标注模块标注得到的结果，应用到基于融合数据的算法应用中。

进一步地，所述数据融合模块融合的数据包含了由激光雷达和毫米波雷达输出的x,y,z的空间数据、摄像头输出的r,g,b的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。

如上所述，本发明的具有以下有益效果：

1)、我们提出了一种基于多传感器前融合的实例标注方法，在原始层将激光雷达、摄像头、毫米波雷达等多种传感器的感知数据进行融合，得到一个8维的数据集，其中包括x、y、z的空间数据以及r、g、b的颜色数据、激光反射值数据和多普勒速度数据，增大了感知能力，能够更加准确的对行人车辆等进行识别；

2)、在传感器融合提供的8维数据中，每个通道都是没有任何冗余信息，能够极大的提高整个系统的可靠性以及稳定性。；

3)、在前融合过程中，我们在原始层把多种传感器数据都融合在一起，融合好的数据就好比是一个超级传感器，而且这个传感器可以看到红外线，摄像头，三维信息以及lidar信息。在融合之后的数据中，我们开发自己的感知算法，最后会输出一个更精确的结果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1显示为本发明的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

参见图1，

一种基于多传感器前融合的实例标注方法，包括以下步骤：

s01：数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自感知数据的原始数据；

s02：将数据采集模块获得的感知数据做时间同步处理；

s03：将数据采集模块获得的感知数据做空间同步处理；

s04：采集数据处理前将多个感知设备获得的数据融合；

s05：使用一种感知设备获得数据对目标进行融合数据的实例标注；

s06：将感知设备中出除步骤s05使用的感知设备之外的剩余感知设备的感知数据与步骤s05中的对应。

进一步地，还包括步骤s07：最后得到该目标的多传感器前融合实例标签，应用到基于融合数据开发的算法中。

进一步地，所述步骤s02中时间同步处理是将激光雷达数据与毫米波雷达数据在时间维度上与摄像头采集的图像数据进行对齐。

进一步地，所述步骤s03中空间同步处理是用棋盘标定法将多传感器数据进行空间上的对齐。

进一步地，步骤s05中所述一种感知设备是激光雷达，所述一种感知设备获得数据是指激光雷达获得三维数据，步骤s05中通过使用激光雷达三维数据使用标注工具对目标物体进行实例标注。

进一步地，步骤s06中具体将感知设备中出除步骤s05使用的感知设备之外的剩余感知设备的感知数据与步骤s05中的对应是指：将感知设备中的摄像头数据、毫米波雷达数据与激光雷达数据进行对齐，即可得到同步标注数据。

进一步地，还包括步骤s07：还包括获得目标的多传感器前融合实例标签。

进一步地，所述步骤s04中原始的融合数据包含了由激光雷达和毫米波雷达输出的x,y,z的空间数据、摄像头输出的r,g,b的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。

进一步地，所述步骤s05中激光雷达数据上使用标注工具对目标物体进行实例标注的原因是激光雷达采集的数据是三维信息。

一种基于多传感器前融合的实例标注系统，包括以下部分：

数据采集模块，所述数据采集模块感知设备包括但不限于激光雷达、摄像头、毫米波雷达，所述感知设备获取各自的感知数据；

时间同步模块，所述时间同步模块用于将数据采集模块获得的感知数据做时间同步处理；

空间同步模块，所述空间同步模块用于将数据采集模块获得的感知数据做空间同步处理；

数据融合模块，所述数据融合模块用于在采集数据处理前将多个感知设备获得的数据融合；

标注模块，所述标注模块用于对目标进行融合数据的实例标注。

进一步地，所述标注模块标注得到的结果，应用到基于融合数据的算法应用中。

进一步地，所述数据融合模块融合的数据包含了由激光雷达和毫米波雷达输出的x,y,z的空间数据、摄像头输出的r,g,b的颜色数据、激光雷达和毫米波雷达输出的激光反射值数据、毫米波雷达输出的多普勒速度数据共八维数据。

本方案提出了一种基于多传感器前融合的实例标注方法，在原始层将激光雷达、摄像头、毫米波雷达等多种传感器的感知数据进行融合，得到一个8维的数据集，其中包括x、y、z的空间数据以及r、g、b的颜色数据、激光反射值数据和多普勒速度数据，增大了感知能力，能够更加准确的对行人车辆等进行识别；

在传感器融合提供的8维数据中，每个通道都是没有任何冗余信息，能够极大的提高整个系统的可靠性以及稳定性。

在前融合过程中，我们在原始层把多种传感器数据都融合在一起，融合好的数据就好比是一个超级传感器，而且这个传感器可以看到红外线，摄像头，三维信息以及lidar信息。在融合之后的数据中，我们开发自己的感知算法，最后会输出一个更精确的结果。

作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的基于多传感器前融合的实例标注方法实施更多或者更少的组件。

作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的目标检测的下边缘检测程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，例如运行的检测程序，以实现实施例中基于多传感器前融合的实例标注系统的功能。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现上述的方法中的步骤。

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘、服务器、app应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储基于多传感器前融合的实例标注程序，被处理器执行时实现实施例中的基于多传感器前融合的实例标注方法。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。