目标对象匹配方法、装置及电子设备与流程

1.本发明涉及智慧交通领域，尤其涉及一种目标对象匹配方法、装置及电子设备。


背景技术：

2.目前车路协同中常用到雷达的点云数据和摄像机的像素数据之间的映射、匹配，可以建立3d目标与2d目标之间的匹配关系。
3.然而，在进行3d目标与2d目标之间的映射过程中，由于数据维度的减少，常常遇到多个3d目标映射到一个2d目标上，如果多个2d目标之间出现目标遮挡、重叠的情况，就无法准确建立3d目标与2d目标之间的匹配关系。


技术实现要素：

4.本发明实施例通过提供了一种目标对象匹配方法、装置及电子设备，至少在一定程度上解决了3d目标对象与2d目标对象之间匹配不准确的技术问题。
5.第一方面，本发明实施例提供了一种目标对象匹配方法，包括：建立同一视场范围内3d网格和2d网格之间的网格映射关系；确定3d目标对象所占m个目标3d网格的3d网格权重；根据所述网格映射关系确定与所述m个目标3d网格对应的m个目标2d网格的2d网格权重；根据所述网格映射关系、所述m个目标3d网格的3d网格权重和所述m个目标2d网格的2d网格权重，确定与所述3d目标对象匹配的2d目标对象。
6.可选地，所述确定3d目标对象所占m个目标3d网格的3d网格权重，包括：确定所述3d目标对象在当前帧的特征点信息；基于所述特征点信息和所述网格映射关系进行映射，得到所述3d目标对象中m个特征点各自所占的3d网格，以得到所述m个目标3d网格；根据所述3d目标对象所占网格的点云数量为所述m个目标3d网格分配权重。
7.可选地，所述根据所述3d目标对象所占网格的点云数量为所述m个目标3d网格分配权重，包括：将所述m个目标3d网格中每个目标3d网格分别作为当前3d网格，根据所述当前3d网格的点云数量与总点云数量，确定所述当前3d网格的3d网格权重，其中，所述总点云数量为所述3d目标对象所占各个3d网格的点云数之和。
8.可选地，所述根据所述网格映射关系确定与所述m个目标3d网格对应的m个目标2d网格的2d网格权重，包括：将所述m个目标3d网格中每个目标3d网格分别作为当前3d网格；针对所述当前3d网格，基于所述网格映射关系进行映射，得到与所述当前3d网格对应的目标2d网格；基于与所述当前3d网格对应的目标2d网格的2d目标对象重合度，对与所述当前3d网格对应的目标2d网格分配2d网格权重，其中，所述2d目标对象重合度与2d网格权重之间负相关。
9.可选地，所述根据所述网格映射关系、所述m个目标3d网格的3d网格权重和所述m个目标2d网格的2d网格权重，确定与所述3d目标对象匹配的2d目标对象，包括：根据所述网格映射关系，确定所述m个目标3d网格到所述m个目标2d网格的位置映射结果；基于所述位置映射结果、所述m个目标3d网格的3d网格权重和所述m个目标2d网格的2d网格权重进行加
权平均，预测出所述3d目标对象的2d坐标预测值；根据所述2d坐标预测值，从多个候选2d目标对象中确定与所述3d目标对象匹配的2d目标对象。
10.可选地，所述根据所述2d坐标预测值，从多个候选2d目标对象中确定与所述3d目标对象匹配的2d目标对象，包括：基于2d图像检测获得所述多个候选2d目标对象的2d位置坐标集合；基于所述2d位置坐标集合中每个2d位置坐标与所述2d坐标预测值之间的距离大小，确定与所述2d坐标预测值最近的2d位置坐标；将与所述2d坐标预测值最近的2d位置坐标所对应的候选2d目标对象，作为所述3d目标对象匹配的2d目标对象。
11.可选地，所述基于所述位置映射结果、所述m个目标3d网格的3d网格权重和所述m个目标2d网格的2d网格权重进行加权平均，预测出所述3d目标对象的2d坐标预测值，包括：所述m个目标3d网格分别作为当前3d网格，根据所述当前3d网格的3d网格权重，与所述当前3d网格到对应目标2d网格的位置映射结果、以及与所述当前3d网格到对应的目标2d网格的2d网格权重进行乘积计算，得到所述当前3d网格的乘积结果；将所述m个目标3d网格的乘积结果进行加和计算，得到加和结果；根据所述加和结果与所述3d目标对象包含的特征点数量，确定所述3d目标对象的2d坐标预测值。
12.可选地，在所述建立同一视场范围内3d网格和2d网格之间的网格映射关系之前，包括：获取当前帧3d点云数据和当前帧2d像素数据，所述当前帧3d点云数据和所述当前帧2d像素数据对应同一视场范围；将所述当前帧3d点云数据和当前帧2d像素数据分别进行二维网格化处理，形成同一视场范围内的3d网格和2d网格。
13.第二方面，本发明实施例提供了一种目标对象匹配装置，包括：网格映射建立单元，用于建立同一视场范围内3d网格和2d网格之间的网格映射关系；第一权重确定单元，用于确定3d目标对象所占m个目标3d网格的3d网格权重；第二权重确定单元，用于根据所述网格映射关系确定与所述m个目标3d网格对应的m个目标2d网格的2d网格权重；目标匹配单元，用于根据所述网格映射关系、所述m个目标3d网格的3d网格权重和所述m个目标2d网格的2d网格权重，确定与所述3d目标对象匹配的2d目标对象。
14.第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的代码，所述处理器执行所述代码时实现第一方面任一实施方式所述的方法。
15.本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
16.先通过建立同一视场范围内3d网格和2d网格之间的网格映射关系，使得的点云与像素点之间映射准确；确定3d目标对象所占m个目标3d网格的3d网格权重；根据网格映射关系确定与m个目标3d网格对应的m个目标2d网格的2d网格权重；根据网格映射关系、m个目标3d网格的3d网格权重和m个目标2d网格的2d网格权重，确定与3d目标对象匹配的2d目标对象。使得3d目标对象向2d目标对象映射时向具有显著特征的区域靠近，尽可能的远离多个2d目标对象有遮挡或重叠的区域，进而，使得3d目标对象向2d目标对象的匹配更为准确。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的
附图。
18.图1为本发明实施例中目标对象匹配方法的流程图；
19.图2为本发明实施例中3d网格与2d网格之间的网格映射关系；
20.图3为本发明实施例中目标对象匹配装置的结构示意图；
21.图4为本发明实施例中电子设备的结构示意图。
具体实施方式
22.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
23.首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
24.本发明实施例提供了一种目标对象匹配方法，可以应用于能够与3d传感设备和2d传感设备进行数据交互的电子设备，该电子设备可以是rsu(road side unit，路侧单元)，rsu是etc系统中安装在路侧，采用dsrc(dedicated short range communication)技术，与车载单元(obu，on board unit)进行通讯，以实现对车辆的身份识别、电子扣分等功能的装置。当然，目标对象匹配方法也可以应用于其他场景，在其他应用场景下，该电子设备也可以为车载单元。
25.参考图1所示，本发明实施例提供的目标对象匹配方法包括如下步骤：
26.s101：建立同一视场范围内3d网格和2d网格之间的网格映射关系。
27.在步骤s101中，可以根据映射矩阵matrix1，建立起同一视场范围内3d网格和2d网格之间的网格映射关系，相当于将每个3d网格映射到一个2d网格，以建立起3d网格和2d网格之间的网格映射关系。
28.需要说明的是，预先将对应同一视场范围的当前帧点云数据和当前帧2d像素数据进行网格划分，得到同一视场范围内的3d网格和2d网格。
29.具体的，可以在执行步骤s101之前，获取对应同一视场范围的当前帧3d点云数据和当前帧2d像素数据；将获取的当前帧3d点云数据和当前帧2d像素数据分别进行二维网格化处理，形成同一视场范围内的3d网格和2d网格。
30.根据预先定义的第一网格尺寸对当前帧3d点云数据进行二维网格化处理。对当前帧3d点云数据的二维网格化处理，就是先将当前帧3d点云数据进行二维坐标平面的投影，比如，投影到xoy坐标平面(不考虑z值的变化)，针对投影结果进行第一网格尺寸的等间隔划分，得到m*n个3d网格。
31.同样的，根据预设定义的第二网格尺寸对当前帧2d像素数据直接进行等间隔划分，得到m*n个2d网格。第一网格尺寸与第二网格尺寸可以相同或者不同。
32.需要说明的是，当前帧3d点云数据可以是来源于单个3d传感设备或者多个3d传感设备，当前帧2d像素数据可以是来源于单个2d传感设备或者多个传感设备。3d传感设备可以是lidar(lightlaser detection and ranging，激光雷达)、毫米波雷达(millimeter-waveradar)或者超声波雷达(ultrasonicradar)。2d传感设备一般是摄像头或者同样实现二维视觉传感的其他传感设备。
33.如果当前帧3d点云数据来源于多个3d传感设备，获取多个3d传感设备各自采集的原始点云数据；将各个3d传感设备各自采集的原始点云数据进行融合，形成当前帧3d点云数据。
34.如果当前帧2d像素数据来源于多个2d传感设备，获取多个2d传感设备各自采集的原始像素数据，将各个2d传感设备各自采集的原始像素数据进行融合，形成当前帧2d像素数据。
35.s102：确定3d目标对象所占m个目标3d网格的3d网格权重。
36.需要说明的是，一个3d目标对象以一个3d检测框对应进行标识，一个3d检测框对应实际场景中的一个物体，在本发明实施例中，该物体可以是车辆、行人等。
37.在步骤s102中，确定3d目标对象在当前帧的特征点信息，其中，特征点信息包括3d目标对象的m个特征点的位置信息。基于3d目标对象在当前帧的特征点信息和预先建立的网格映射关系进行映射，得到3d目标对象的m个特征点各自所占的3d网格，从而得到3d目标对象所占的m个目标3d网格；根据3d目标对象所占网格的点云数量为m个目标3d网格分配权重，以得到m个目标3d网格中每个3d网格的3d网格权重。
38.应当理解的是，每个目标3d网格的3d网格权重是基于3d目标对象所占每个3d网格所占的点云数量确定的，表征了对应目标3d网格的点云数量占比。
39.可以理解的是，通过对3d目标对象的轨迹追踪，预测3d目标对象的各个特征点在当前帧的位置信息以及3d目标对象在当前帧的尺寸参数；根据各个特征点在当前帧的位置信息以及3d目标对象在当前帧的尺寸参数在预先建立的网格映射关系进行映射，得到3d目标对象的m个特征点各自所在的3d网格，从而确定出3d目标对象所占的m个目标3d网格。
40.需要说明的是，以m个特征点包括中心点和角点为例，则需要根据网格映射关系进行映射得到3d目标对象的中心点和各个角点各自所在的3d网格，一个3d目标对象对应9个特征点(1个中心点和8个角点)，从而，可以确定出3d目标对象所占的9个目标3d网格。
41.在本发明实施例中，根据网格中点云数量为m个目标3d网格分配权重，的过程，包括：将m个目标3d网格中每个目标3d网格分别作为当前3d网格；根据当前3d网格的点云数量与总点云数量，确定当前3d网格的3d网格权重，其中，总点云数量为3d目标对象所占各个3d网格的点云数之和。具体来讲，当前3d网格的3d网格权重可以等于当前3d网格的点云数量除以总点云数量的结果。
42.当然在具体实施过程中，也可以在当前3d网格的点云数量除以总点云数量的相除计算结果基础上进行调整，以得到当前3d网格的3d网格权重。比如，可以预先划分多个数值区间，数值区间与3d网格权重一一对应配置，将当前3d网格的相除计算结果所在数值区间对应的3d网格权重，作为当前3d网格的3d网格权重。
43.s103：根据网格映射关系确定与m个目标3d网格对应的m个目标2d网格的2d网格权重。
44.可以理解的是，可以将m个目标3d网格中每个目标3d网格分别作为当前3d网格；基于网格映射关系进行映射，得到与当前3d网格对应的目标2d网格；基于与当前3d网格对应的目标2d网格的2d目标对象重合度，对与当前3d网格对应的目标2d网格分配2d网格权重，其中，2d目标对象重合度与2d网格权重之间负相关。也即2d网格内2d目标对象重合度越高，对应分配的2d网格权重就越小。
45.需要说明的是，每个目标2d网格的2d网格权重是基于与该目标2d网格重合的2d目标对象数量确定，具体的，2d网格权重是与该目标2d网格重合的2d目标对象数量正相关，在该目标2d网格重合的2d目标对象数量越多，2d网格权重越大，反之，2d网格权重越小。
46.在具体实施过程中，可以仅仅设置两种不同的2d网格权重，同一2d网格中包含有多个2d目标对象的图像特征，采用较小的2d网格权重，同一2d网格中包含一个2d目标对象的图像特征，采用较大的2d网格权重。举例来讲，如当前3d网格对应的目标2d网格中包含有多个2d目标对象的图像特征，表征2d目标对象重合度较高，则对该目标2d网格分配权重为a，若当前3d网格对应的目标2d网格中只包含一个2d目标对象的图像特征，表征2d目标对象重合度较低，则对该目标2d网格分配权重为b，a＜b。比如：a＝0.5，b＝1。
47.当然，在具体实施过程中，也可以根据2d目标对象重合度设置更多种不同的2d网格权重，以针对每个目标2d网格中更细化分配对应的2d网格权重。
48.在具体实施过程中，可以通过图像检测算法进行检测，以获得各个2d检测框，根据网格映射关系确定每个2d检测框所占哪些2d网格，即：2d检测框所占每个2d网格的位置坐标，针对与当前3d网格对应的目标2d网格，判断该目标2d网格所在位置的2d检测框个数，作为与当前3d网格对应的目标2d网格的2d目标对象重合度。
49.s104：根据网格映射关系、m个目标3d网格的3d网格权重和m个目标2d网格的2d网格权重，确定与3d目标对象匹配的2d目标对象。
50.可以理解的是，步骤s104可以包括如下步骤s1041～s1043：
51.s1041：根据网格映射关系，确定m个目标3d网格到m个目标2d网格的位置映射结果。
52.在本发明实施例中，m个目标2d网格的位置映射结果包括m个目标2d网格中每个目标2d网格的位置坐标。确定每个特征点所在的目标3d网格的位置坐标g
3di
；参考图2所示，针对每个目标3d网格，根据网格映射关系和该目标3d网格的位置坐标g
3di
，确定与该目标3d网格对应的目标2d网格的位置坐标g
2di
。
53.需要说明的是，每个目标3d网格的位置坐标g
3di
可以采用该3d网格的中心点位置的坐标来表示，类似的，每个目标2d网格的位置坐标g
2di
可以采用该2d网格的中心点位置的坐标来表示。
54.s1042：基于m个目标3d网格到m个目标2d网格的位置映射结果、m个目标3d网格的3d网格权重和m个目标2d网格的2d网格权重进行加权平均，预测出3d目标对象的2d坐标预测值。需要说明的是，2d坐标预测值表征3d目标对象映射到二维上可能的位置坐标。
55.将m个目标3d网格分别作为当前3d网格，根据当前3d网格的3d网格权重，与当前3d网格到对应目标2d网格的位置映射结果、以及与当前3d网格到对应的目标2d网格的2d网格权重进行乘积计算，得到当前3d网格的乘积结果。
56.为了提高预测准确性，可以加入调整系数来计算当前3d网格的乘积结果：g
2d
(x,y)*w
3d
*λ*β，其中，g
2d
(x,y)为当前3d网格的位置映射结果，w
3d
为当前3d网格的3d网格权重，λ为与当前3d网格对应的目标2d网格的2d网格权重，β为调整系数。在具体实施过程中，调整系数的数值大小依据实验数据、3d点云质量或2d图像质量确定，在此不进行限定。
57.在得到每个目标3d网格各自的乘积结果之后，将m个目标3d网格的乘积结果进行加和计算，得到加和结果；根据加和结果与3d目标对象包含的特征点数量，确定出3d目标对
象的2d坐标预测值。
58.在具体实施过程中，预测3d目标对象的2d坐标预测值，可以采用如下公式进行：
[0059][0060]
其中，g
2di
(xi,yi)为3d目标对象的第i个特征点所在目标3d网格的位置g
3di
进行位置映射，得到的目标2d网格的位置映射结果，w
3di
为第i个特征点所在目标3d网格的3d网格权重，λi为与第i个特征点所在目标3d网格对应的目标2d网格的2d网格权重，βi为对第i个特征点所在目标3d网格配置的调整系数，i为3d目标对象包含的特征点数量。
[0061]
s1043：根据3d目标对象的2d坐标预测值，确定与3d目标对象匹配的2d目标对象。
[0062]
在s1043中，通过2d图像检测获得n个2d目标对象，将n个2d目标对象中距离2d坐标预测值最近的一个2d目标对象作为与3d目标对象匹配的2d目标对象，n为正整数。
[0063]
具体来讲，通过2d图像检测算法处理当前帧2d像素数据，可以从当前帧2d像素数据识别出一个或者多个2d目标对象，比如：一个或者多个车辆。
[0064]
如果识别出多个2d目标对象且各个2d目标对象之间存在相互遮挡或重叠的区域，传统的匹方法无法准确的确定3d目标对象与2d目标对象之间的匹配关系。通过2d图像检测获得多个2d目标对象的2d位置坐标集合，2d位置坐标集合中包含每个从当前帧2d像素数据识别出的2d目标对象的2d位置坐标。对比2d位置坐标集合中每个2d位置坐标与2d坐标预测值之间的距离大小；基于距离大小，确定出与3d目标对象匹配的2d目标对象。
[0065]
具体来讲，对比2d位置坐标集合中，与2d坐标预测值之间距离最近的2d位置坐标所指的2d目标对象，作为与3d目标对象匹配的2d目标对象。使得3d目标对象向2d目标对象匹配时，向2d目标对象的具有显著特征的区域靠近，而尽可能的远离有遮挡或重叠的区域，从而规避了多个2d目标对象之间遮挡、重叠所导致的3d目标对象到2d目标对象的匹配不准确的问题，进而，使得3d目标对象向2d目标对象的匹配更为准确。
[0066]
基于同一发明构思，本发明实施例提供了一种目标对象匹配装置，参考图3所示，该目标对象匹配装置包括：网格映射建立单元201，用于建立同一视场范围内3d网格和2d网格之间的网格映射关系；第一权重确定单元202，用于确定3d目标对象所占m个目标3d网格的3d网格权重；第二权重确定单元203，用于根据所述网格映射关系确定与所述m个目标3d网格对应的m个目标2d网格的2d网格权重；目标匹配单元204，用于根据所述网格映射关系、所述m个目标3d网格的3d网格权重和所述m个目标2d网格的2d网格权重，确定与所述3d目标对象匹配的2d目标对象。
[0067]
在一些实施方式下，第一权重确定单元202包括：特征确定子单元，用于确定所述3d目标对象在当前帧的特征点信息；网格确定子单元，用于基于所述特征点信息和所述网格映射关系进行映射，得到所述3d目标对象中m个特征点各自所占的3d网格，以得到所述m个目标3d网格；第一权重分配子单元，用于根据所述3d目标对象所占网格的点云数量为所述m个目标3d网格分配权重。
[0068]
在一些实施方式下，第一权重分配子单元具体用于：将所述m个目标3d网格中每个目标3d网格分别作为当前3d网格，根据所述当前3d网格的点云数量与总点云数量，确定所述当前3d网格的3d网格权重，其中，所述总点云数量为所述3d目标对象所占各个3d网格的点云数之和。
[0069]
在一些实施方式下，第二权重确定单元包括：网格确定子单元，用于将所述m个目标3d网格中每个目标3d网格分别作为当前3d网格；映射子单元，用于针对所述当前3d网格，基于所述网格映射关系进行映射，得到与所述当前3d网格对应的目标2d网格；第二权重分配子单元，用于基于与所述当前3d网格对应的目标2d网格的2d目标对象重合度，对与所述当前3d网格对应的目标2d网格分配2d网格权重，其中，所述2d目标对象重合度与2d网格权重之间负相关。
[0070]
在一些实施方式下，目标匹配单元204，包括：位置映射子单元，用于根据所述网格映射关系，确定所述m个目标3d网格到所述m个目标2d网格的位置映射结果；位置预测子单元，用于基于所述位置映射结果、所述m个目标3d网格的3d网格权重和所述m个目标2d网格的2d网格权重进行加权平均，预测出所述3d目标对象的2d坐标预测值；匹配执行子单元，用于所述2d坐标预测值，从多个候选2d目标对象中确定与所述3d目标对象匹配的2d目标对象。
[0071]
在一些实施方式下，匹配执行子单元具体用于：基于2d图像检测获得所述多个候选2d目标对象的2d位置坐标集合；基于所述2d位置坐标集合中每个2d位置坐标与所述2d坐标预测值之间的距离大小，确定与所述2d坐标预测值最近的2d位置坐标；将与所述2d坐标预测值最近的2d位置坐标所对应的候选2d目标对象，作为与所述3d目标对象匹配的2d目标对象。
[0072]
在一些实施方式下，匹配执行子单元具体用于：所述m个目标3d网格分别作为当前3d网格，根据所述当前3d网格的3d网格权重，与所述当前3d网格到对应目标2d网格的位置映射结果、以及与所述当前3d网格到对应的目标2d网格的2d网格权重进行乘积计算，得到所述当前3d网格的乘积结果；将所述m个目标3d网格的乘积结果进行加和计算，得到加和结果；根据所述加和结果与所述3d目标对象包含的特征点数量，确定所述3d目标对象的2d坐标预测值。
[0073]
在一些实施方式下，该装置还包括：数据获取单元，用于获取当前帧3d点云数据和当前帧2d像素数据，所述当前帧3d点云数据和所述当前帧2d像素数据对应同一视场范围；网格化子单元，用于将所述当前帧3d点云数据和当前帧2d像素数据分别进行二维网格化处理，形成同一视场范围内的3d网格和2d网格。
[0074]
在一些实施方式下，该装置还包括数据融合单元，用于：获取多个3d传感设备的原始点云数据；获取多个2d传感设备的原始像素数据；将各个3d传感设备的原始点云数据进行融合，形成所述当前帧3d点云数据；将各个2d传感设备的原始像素数据进行融合，形成所述当前帧2d像素数据。
[0075]
关于上述装置，其中各个模块的具体功能已经在本说明书实施例提供的目标对象匹配方法实施例中进行了详细描述，此处将不做详细阐述说明。
[0076]
基于同一发明构思，本发明实施例提供了一种电子设备，参考图4所示，电子设备包括一个或多个存储器404、一个或多个处理器402及存储在存储器404上并可在处理器402上运行的至少一条计算机程序(程序代码)，处理器402执行所述计算机程序时实现如前所述目标对象匹配方法实施例中任一实施方式所述的方法。
[0077]
其中，在图4中，总线架构(用总线400来代表)，总线400可以包括任意数量的互联的总线和桥，总线400将包括由处理器402代表的一个或多个处理器和存储器404代表的存
储器的各种电路链接在一起。总线400还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口405在总线400和接收器401和发送器403之间提供接口。接收器401和发送器403可以是同一个元件，即收发机，提供用于在传输介质上与各种其它装置通信的单元。处理器402负责管理总线400和通常的处理，而存储器404可以被用于存储处理器402在执行操作时所使用的数据。
[0078]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0079]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。