数据融合方法及装置与流程

本发明涉及信息融合，具体而言，涉及一种数据融合方法及装置。

背景技术：

1、随着车辆智能化水平的不断提高，车辆自动驾驶逐渐成为可能，而感知部分作为自动驾驶车辆获取道路信息的关键部分，其性能与自动驾驶车辆的安全性有着直接关系。当前，为了更加全面的获取道路信息，自动驾驶车辆对感知的需求正在由二维空间向三维空间转变。一种较为常见的思路是，激光雷达与相机相结合进行环境探测，具体地，通过将相机、激光雷达设置在自动驾驶车辆的相应位置，进而针对同一场景，相机采集二维图像数据，激光雷达采集三维点云数据，然后将二维图像数据和三维点云数据进行融合，使用融合后的数据来实现环境探测。

2、相关技术中，二维图像数据和三维点云数据的融合过程主要是在时间同步的情况下，针对两者输出的检测框进行融合，先通过将二维图像对应检测框所在的像素坐标系转换成三维点云对应检测框所在的世界坐标系，之后再进行点与点的匹配并输出数据融合结果。

3、通常情况下，二维图像数据的采集需要相机内参与相机外参，并根据相机内参与相机外参来确定像素坐标的转换矩阵和平移矩阵，进而将像素坐标系转换到世界坐标系。然而，相机外参是需要耗费人力去测量的，也就是说，当相机内参与外参未知的情况下，像素坐标系是无法转换成世界坐标系，进而无法执行数据融合的操作。

技术实现思路

1、本发明提供了一种数据融合方法及装置，通过对框选预先进行坐标匹配的区域估算出像素坐标对应的世界坐标，以实现对区域中二维图像数据与三维点云数据进行数据融合，从而解决了现有技术在相机内参与外参未知的情况下无法执行数据融合操作的问题。具体的技术方案如下：

2、第一方面，本发明实施例提供了一种数据融合方法，所述方法包括：

3、接收相机和激光雷达的检测结果，其中，相机的检测结果为基于相机采集二维图像数据识别得到的图像检测框，激光雷达的检测结果为基于激光雷达采集三维点云数据识别得到的点云检测框；

4、在接收到的检测结果中同时包括所述图像检测框和所述点云检测框时，计算所述图像检测框对应的中心点以及所述点云检测框对应的中心点；

5、遍历预先进行坐标配对的图像子区域与点云子区域，根据所述图像检测框对应的中心点以及所述点云检测框对应的中心点，确定所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域；

6、当所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域是互相坐标配对的一对区域时，将所述点云检测框作为数据融合结果进行输出，当所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域不是互相坐标配对的一对区域时，针对所述图像检测框所在的图像子区域，将所述图像检测框对应的中心点在坐标配对的点云子区域中的点云检测结果作为数据融合结果进行输出，针对所述点云检测框所在的点云子区域，将所述点云检测框作为数据融合结果进行输出。

7、在一种实施方式中，所述方法还包括：

8、预先对二维图像数据与三维点云数据进行区域划分，并将划分后二维图像数据中的图像子区域与划分后三维点云数据中的点云子区域进行信息匹配，得到互相坐标配对的多对区域，以使得所述图像子区域对应的像素坐标系与所述点云子区域对应的世界坐标系相统一。

9、在一种实施方式中，所述方法还包括：

10、计算所述图像检测框的时间戳与所述点云检测框的时间戳之差，所述图像检测框的时间戳为所述图像检测框对应的二维图像数据的时间戳，所述点云检测框的时间戳为所述点云检测框对应的三维点云数据的时间戳；

11、在计算出的时间戳之差小于预设时间阈值的情况下，执行计算所述图像检测框对应的中心点以及所述点云检测框对应的中心点的步骤，在计算出的时间戳之差大于等于预设时间阈值的情况下，将时间戳小的检测框作为数据融合结果输出；

12、其中，所述预设时间阈值根据数据采集频率确定。

13、在一种实施方式中，所述方法还包括：

14、在接收到的检测结果中包括两个所述二维图像数据对应的图像检测框时，则将时间戳小的检测框转换为世界坐标系下的检测框，并将世界坐标系下的检测框作为数据融合结果输出；

15、在接收到的检测结果中包括两个所述三维点云数据对应的点云检测框时，则获取时间戳小的检测框作为数据融合结果输出。

16、在一种实施方式中，所述方法还包括：

17、在接收到的检测结果中包括一个所述三维点云数据对应的点云检测框或者一个所述二维图像数据对应的图像检测框时，等待接收新的目标检测框，若所述目标检测框为新类型的检测框，则执行计算所述图像检测框的时间戳与所述点云检测框的时间戳之差的步骤；

18、若所述目标检测框不为新类型的检测框，则将前一次接收到的检测框作为数据融合结果输出。

19、在一种实施方式中，所述计算所述图像检测框对应的中心点以及所述点云检测框对应的中心点，包括：

20、根据所述图像检测框对应的顶点像素坐标结合调整系数计算图像检测框对应的中心点，所述调整系数为自定义值或根据图像采集设备对准方向与地平面形成的夹角确定；

21、根据所述点云检测框对应的顶点点云坐标计算点云检测框对应的中心点。

22、在一种实施方式中，所述根据所述图像检测框对应的顶点像素坐标结合调整系数计算图像检测框对应的中心点，包括：

23、根据所述图像检测框对应的顶点像素坐标，对处于斜对角的两个顶点像素坐标求平均，得到图像检测框对应的原始中心点；

24、计算调整系数和处于斜对角的两个顶点像素坐标的纵轴坐标差值的乘积，将所述原始中心点中纵轴坐标与所述乘积的和作为新的中心点中纵坐标，得到图像检测框对应的中心点。

25、在一种实施方式中，所述遍历预先进行坐标配对的图像子区域与点云子区域，根据所述图像检测框对应的中心点以及所述点云检测框对应的中心点，确定所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域，包括：

26、遍历预先进行坐标配对的图像子区域与点云子区域，将每个图像子区域对应的四边形划分成两个三角形，并计算两个三角形的面积之和得到图像子区域对应的第一面积值，将每个点云子区域对应的四边形划分成两个三角形，并计算两个三角形的面积之和得到点云子区域对应的第一面积值；

27、遍历预先进行坐标配对的图像子区域与点云子区域，针对每个图像子区域对应的四条边，结合所述图像检测框对应的中心点将每个图像子区域划分成四个三角形，并计算四个三角形的面积之和得到图像子区域对应的第二面积值，针对每个点云子区域对应的四条边，结合所述点云检测框对应的中心点将每个点云子区域划分成四个三角形，并计算四个三角形的面积之和得到点云子区域对应的第二面积值；

28、分别根据所述图像子区域对应的第一面积值与所述图像子区域对应的第二面积值形成的第一绝对差值、所述点云子区域对应的第一面积值与所述点云子区域对应的第二面积值形成的第二绝对差值，确定所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域。

29、在一种实施方式中，所述分别根据所述图像子区域对应的第一面积值与所述图像子区域对应的第二面积值形成的第一绝对差值、所述点云子区域对应的第一面积值与所述点云子区域对应的第二面积值形成的第二绝对差值，确定所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域，包括：

30、针对每个图像子区域，判断所述图像子区域对应的第一面积值与所述图像子区域对应的第二面积值形成的第一绝对差值是否小于第一预设阈值，若是，则确定所述图像检测框处于该图像子区域；

31、针对每个点云子区域，判断所述点云子区域对应的第一面积值与所述点云子区域对应的第二面积值形成的第二绝对差值是否小于第二预设阈值，若是，则确定所述点云检测框处于该点云子区域。

32、第三方面，本发明实施例提供了一种数据融合装置，所述装置包括：

33、接收单元，用于接收相机和激光雷达的检测结果，其中，相机的检测结果为基于相机采集二维图像数据识别得到的图像检测框，激光雷达的检测结果为基于激光雷达采集三维点云数据识别得到的点云检测框；

34、第一计算单元，用于在接收到的检测结果中同时包括所述图像检测框和所述点云检测框时，计算所述图像检测框对应的中心点以及所述点云检测框对应的中心点；

35、确定单元，用于遍历预先进行坐标配对的图像子区域与点云子区域，根据所述图像检测框对应的中心点以及所述点云检测框对应的中心点，确定所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域；

36、输出单元，用于当所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域是互相坐标配对的一对区域时，将所述点云检测框作为数据融合结果进行输出，当所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域不是互相坐标配对的一对区域时，针对所述图像检测框所在的图像子区域，将所述图像检测框对应的中心点在坐标配对的点云子区域中的点云检测结果作为数据融合结果进行输出，针对所述点云检测框所在的点云子区域，将所述点云检测框作为数据融合结果进行输出。

37、在一种实施方式中，所述装置还包括：

38、划分单元，用于预先对二维图像数据与三维点云数据进行区域划分，并将划分后二维图像数据中的图像子区域与划分后三维点云数据中的点云子区域进行信息匹配，得到互相坐标配对的多对区域，以使得所述图像子区域对应的像素坐标系与所述点云子区域对应的世界坐标系相统一。

39、在一种实施方式中，所述装置还包括：

40、第二计算单元，用于计算所述图像检测框的时间戳与所述点云检测框的时间戳之差，所述图像检测框的时间戳为所述图像检测框对应的二维图像数据的时间戳，所述点云检测框的时间戳为所述点云检测框对应的三维点云数据的时间戳；所述第二计算单元，具体还用于在计算出的时间戳之差小于预设时间阈值的情况下，执行计算所述图像检测框对应的中心点以及所述点云检测框对应的中心点的步骤，在计算出的时间戳之差大于等于预设时间阈值的情况下，将时间戳小的检测框作为数据融合结果输出；

41、其中，所述预设时间阈值根据数据采集频率确定。

42、在一种实施方式中，所述输出单元，还用于在接收到的检测结果中包括两个所述二维图像数据对应的图像检测框时，则将时间戳小的检测框转换为世界坐标系下的检测框，并将世界坐标系下的检测框作为数据融合结果输出；

43、所述输出单元，还用于在接收到的检测结果中包括两个所述三维点云数据对应的点云检测框时，则获取时间戳小的检测框作为数据融合结果输出。

44、在一种实施方式中，所述输出单元，还用于在接收到的检测结果中包括一个所述三维点云数据对应的点云检测框或者一个所述二维图像数据对应的图像检测框时，等待接收新的目标检测框，若所述目标检测框为新类型的检测框，则执行计算所述图像检测框的时间戳与所述点云检测框的时间戳之差的步骤；

45、所述输出单元，还用于若所述目标检测框不为新类型的检测框，则将前一次接收到的检测框作为数据融合结果输出。

46、在一种实施方式中，所述第一计算单元包括：

47、第一计算模块，用于根据所述图像检测框对应的顶点像素坐标结合调整系数计算图像检测框对应的中心点，所述调整系数为自定义值或根据图像采集设备对准方向与地平面形成的夹角确定；

48、第二计算模块，用于根据所述点云检测框对应的顶点点云坐标计算点云检测框对应的中心点。

49、在一种实施方式中，所述第一计算模块，具体用于根据所述图像检测框对应的顶点像素坐标，对处于斜对角的两个顶点像素坐标求平均，得到图像检测框对应的原始中心点；

50、所述第一计算模块，具体还用于计算调整系数和处于斜对角的两个顶点像素坐标的纵轴坐标差值的乘积，将所述原始中心点中纵轴坐标与所述乘积的和作为新的中心点中纵坐标，得到图像检测框对应的中心点。

51、在一种实施方式中，所述确定单元包括：

52、第一求和模块，用于遍历预先进行坐标配对的图像子区域与点云子区域，将每个图像子区域对应的四边形划分成两个三角形，并计算两个三角形的面积之和得到图像子区域对应的第一面积值，将每个点云子区域对应的四边形划分成两个三角形，并计算两个三角形的面积之和得到点云子区域对应的第一面积值；

53、第二求和模块，用于遍历预先进行坐标配对的图像子区域与点云子区域，针对每个图像子区域对应的四条边，结合所述图像检测框对应的中心点将每个图像子区域划分成四个三角形，并计算四个三角形的面积之和得到图像子区域对应的第二面积值，针对每个点云子区域对应的四条边，结合所述点云检测框对应的中心点将每个点云子区域划分成四个三角形，并计算四个三角形的面积之和得到点云子区域对应的第二面积值；

54、确定模块，用于分别根据所述图像子区域对应的第一面积值与所述图像子区域对应的第二面积值形成的第一绝对差值、所述点云子区域对应的第一面积值与所述点云子区域对应的第二面积值形成的第二绝对差值，确定所述图像检测框所在的图像子区域以及所述点云检测框所在的点云子区域。

55、在一种实施方式中，所述确定模块，具体用于针对每个图像子区域，判断所述图像子区域对应的第一面积值与所述图像子区域对应的第二面积值形成的第一绝对差值是否小于第一预设阈值，若是，则确定所述图像检测框处于该图像子区域；

56、所述确定模块，具体还用于针对每个点云子区域，判断所述点云子区域对应的第一面积值与所述点云子区域对应的第二面积值形成的第二绝对差值是否小于第二预设阈值，若是，则确定所述点云检测框处于该点云子区域。

57、第三方面，本发明实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面所述的方法。

58、第四方面，本发明实施例提供了一种数据融合设备，包括：

59、一个或多个处理器；

60、存储装置，用于存储一个或多个程序，

61、其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面所述的方法。

62、由上述内容可知，本发明实施例提供的数据融合方法及装置，能够接收相机和激光雷达的检测结果，其中，相机的检测结果为基于相机采集二维图像数据识别得到的图像检测框，激光雷达的检测结果为基于激光雷达采集三维点云数据识别得到的点云检测框，进而在接收到的检测结果中同时包括所述图像检测框和所述点云检测框时，计算图像检测框对应的中心点以及点云检测框对应的中心点，遍历预先进行坐标配对的图像子区域与点云子区域，根据图像检测框对应的中心点以及点云检测框对应的中心点，确定图像检测框所在的图像子区域以及点云检测框所在的点云子区域，当图像检测框所在的图像子区域以及点云检测框所在的点云子区域是互相坐标配对的一对区域时，将点云检测框作为数据融合结果进行输出，当图像检测框所在的图像子区域以及点云检测框所在的点云子区域不是互相坐标配对的一对区域时，针对图像检测框所在的图像子区域，将图像检测框对应的中心点在坐标配对的点云子区域中的点云检测结果作为数据融合结果进行输出，针对点云检测框所在的点云子区域，将点云检测框作为数据融合结果进行输出。由此可知，与现有数据融合过程需要人工获取相机外参来进行像素坐标与世界坐标变换的方式相比，本发明实施例通过对框选预先进行坐标匹配的区域估算出像素坐标对应的世界坐标，以实现对区域中二维图像数据与三维点云数据进行数据融合，从而解决了现有技术在相机内参与外参未知的情况下无法执行数据融合操作的问题。

63、此外，本实施例还可以实现的技术效果包括：

64、由于上述数据融合之前预先确定了坐标匹配的区域，使得数据融合过程只需针对坐标匹配的区域内的检测框进行判定，在相机内参与外参未知的情况下，能够准确估算出图像的检测框对应的激光点云坐标，从而提高了数据融合操作的灵活性。

65、当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。