标定参数确定方法、设备及计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种标定参数确定方法、设备及计算机可读存储介质。


背景技术：

2.在监控领域，研究方向正从单维度感知(如相机或雷达)逐步向多维度感知(如相机和雷达)转变。相机采集的图像帧具有丰富的纹理、色彩及形状等外部特征，可以进行分类、识别、语义分割等任务。雷达采集的雷达帧可以实现目标检测及定位任务，融合雷达和相机能够起到互相补偿的作用，获取到更丰富的目标属性，实现更丰富的任务。
3.在融合雷达和相机获取目标的属性之前，需要进行参数标定。然而，目前的标定参数确定方法要么确定的标定参数准确度不高，要么难以实施，要么复杂度高。


技术实现要素：

4.本技术提供一种标定参数确定方法、设备及计算机可读存储介质，能够解决现有的标定参数确定方法要么确定的标定参数准确度不高，要么难以实施，要么复杂度高的问题。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种标定参数确定方法。该方法包括：获取包含目标的帧匹配对，其中帧匹配对中包括分别由雷达和相机在相同的时刻采集得到的雷达帧和图像帧；分别对帧匹配对中的雷达帧和图像帧进行目标提取；以雷达和相机的视场重合区域为匹配约束条件进行目标匹配，以获得目标匹配对；将目标匹配对添加到目标匹配对集合；基于目标匹配对集合，获取雷达与相机之间的位置变换矩阵。
6.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种标定参数设备，该标定参数设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
7.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
8.通过上述方式，本技术对帧匹配对中的雷达帧和图像帧进行目标提取和目标匹配以得到目标匹配对，将目标匹配对添加到目标匹配对集合，基于目标匹配对集合获取雷达与相机之间的位置变换矩阵。由于目标匹配是以雷达和相机的视场重合区域为匹配约束条件进行的，得到的目标匹配对处在雷达和相机的视场重合区域，因此能够提高目标匹配对的准确度，将目标匹配对用于位置变换矩阵的计算，能够提高位置变换矩阵的准确度。并且，本技术提供的标定参数确定方法适用范围广、不需要依据特定的标定物，故更加容易实施。并且，本技术提供的标定参数确定方法流程简单，降低了复杂度。
附图说明
9.图1是标定依据的应用场景的示意图；
10.图2是本技术标定参数确定方法一实施例的流程示意图；
11.图3是图2中s15的具体流程示意图；
12.图4是图像帧中的视场重合区域示意图；
13.图5是预设几何分布的示意图；
14.图6是本技术标定参数确定方法另一实施例的流程示意图；
15.图7是图6中s25的具体流程示意图；
16.图8是本技术标定参数确定方法又一实施例的流程示意图；
17.图9是雷达帧和图像帧中的视场重合区域的示意图；
18.图10是本技术标定参数确定方法又一实施例的流程示意图；
19.图11是本技术标定参数确定方法又一实施例的流程示意图；
20.图12是实际场景、雷达和相机的视场重合区域的关系示意图；
21.图13是本技术标定参数确定方法又一实施例的流程示意图；
22.图14是图13中s61的具体流程示意图；
23.图15是本技术标定参数确定方法一具体实例的流程示意图；
24.图16是目标检测与融合系统的示意图；
25.图17是本技术标定参数确定设备一实施例的结构示意图；
26.图18是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
29.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
30.在介绍本技术提供的标定参数确定方法之前，先对标定依据的实际场景相关定义进行解释说明：
31.标定依据的实际场景可以是道路(车道、人行道)、传送带等等。实际场景包括若干个沿第一方向延伸且沿第二方向并排设置的运动通道，第一方向与所述第二方向垂直。理想情况下，实际场景中的一目标在一运动通道沿第一方向运动，目标可以是车辆、人、承载于传送带的物品等等。
32.结合图1对实际场景进行举例说明，如图1所示，实际场景为车道，车道包括四个沿第一方向延伸且沿第二方向并排设置的车道m1、m2、m3和m4，第一方向为m1/m2/m3/m4的延伸方向，第二方向垂直于m1/m2/m3/m4的延伸方向。
33.如下介绍本技术提供的标定参数确定方法：
34.图2是本技术标定参数确定方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施例可以包括：
35.s11：获取包含目标的帧匹配对。
36.其中帧匹配对中包括分别由雷达和相机在相同的时刻采集得到的雷达帧和图像帧。
37.本技术方法实施例的执行主体是标定参数确定设备，标定参数确定设备可以是雷达、相机、雷视设备、与雷达或相机建立通信连接的电子设备(例如电脑、手机)，还可以是服务器等等。
38.雷达可以是毫米波雷达、超声波雷达、激光雷达等等。雷达和相机的视场至少部分重合。雷达和相机可以是雷视设备中的不同模块，也可以是分别独立的设备。雷达帧和图像帧均包含目标。
39.s12：分别对帧匹配对中的雷达帧和图像帧进行目标提取。
40.对雷达帧进行目标提取，可以得到雷达帧中的目标，雷达帧中的目标可以包括雷达帧中目标的id、雷达帧中目标的位置(即目标在雷达帧的三维坐标系ox0y0z0下的位置o(ox，oy，oz))。基于已经获取到的若干雷达帧中目标的id和目标的位置可以得到雷达帧中各目标的轨迹。
41.对图像帧进行目标提取，可以得到图像帧中的目标，图像帧中的目标可以包括图像帧中目标的id、图像帧中目标的位置(即目标在图像帧的坐标系中目标的位置i(ix，iy))。基于已经获取到的若干图像帧中目标的id和目标的位置可以得到图像帧中各目标的轨迹。
42.s13：以雷达和相机的视场重合区域为匹配约束条件进行目标匹配，以获得目标匹配对。
43.目标匹配基于雷达帧和图像帧中目标的位置进行。在将s12中目标的位置应用于目标匹配之前，可以基于雷达帧中目标的位置拟合出一参考平面；将雷达帧中目标的位置从雷达的三维坐标系转换至参考平面的二维坐标系(也称雷达的二维坐标系)。参考平面即实际场景中的目标行驶的平面(地平面)。例如，可以根据oi(oxi，oyi，ozi)拟合出参考平面π，并得到π的法向量n，根据n作三维旋转平移变换，以将雷达帧中目标的位置从雷达帧的三维坐标系ox0y0z0转换至雷达的二维坐标系xryrzr，得到ri(rxi，ryi)：
44.ri(rxi，ryi，0)＝[r|t]*oi(oxi，oyi，ozi)。
[0045]
关于将雷达帧中目标的位置从雷达的三维坐标系转换至参考平面的二维坐标系的示意，可以参考后文提及的图12。
[0046]
以雷达和相机的视场重合区域为匹配约束条件进行目标匹配，是指将雷达帧和图像帧中的处在视场重合区域的目标进行匹配。一目标匹配对由一对雷达帧与图像帧中的处在视场重合区域且匹配的目标组成。
[0047]
雷达和相机的视场重合区域可以是先验视场重合区域，还可以是后验视场重合区
域。先验视场重合区域通过预先设置得到。后验视场重合区域基于目标匹配对集合计算得到，目标匹配对集合包括的目标匹配对数量大于或者等于第一数量阈值。即，在目标匹配对集合累积的目标匹配对数量大于或者等于第一数量阈值的情况下，基于目标匹配对集合计算后验视场重合区域。目标匹配对集合的详细描述请参考后面步骤的说明。
[0048]
s14：将目标匹配对添加到目标匹配对集合。
[0049]
目标匹配对集合中的目标匹配对是逐个帧匹配对累积的，也就是说，每获取到一帧匹配对，获取该帧匹配对中的目标匹配对之后，将目标匹配对添加到目标匹配对集合。目标匹配对集合由已经获取到的若干帧匹配对中的目标匹配对组成。
[0050]
s15：基于目标匹配对集合，获取雷达与相机之间的位置变换矩阵。
[0051]
位置变换矩阵是单应性矩阵。例如是单应性矩阵h，依据的计算公式可以如下：
[0052]
在一些实施例中，可以通过ransac算法选择最小模型进行多次迭代获取位置变换矩阵。
[0053]
在一些实施例中，结合参阅图3，s15可以包括以下子步骤：
[0054]
s151：从目标匹配对集合选择第二预设数量个目标匹配对。
[0055]
可以任意选择目标匹配对，也可以选择最靠近视场重合区域四个边缘(沿第一方向的下侧边缘和上侧边缘，沿第二方向的下侧边缘和上侧边缘)的目标匹配对。第二预设数量可以是4、5等等。
[0056]
在一些实施例中，第二预设数量为4，且第二预设数量个目标匹配对在图像帧中分别沿第一方向或第二方向具有极大值或极小值，即第二预设数量个目标匹配对包括的图像帧中的目标的位置，分别沿第一方向或第二方向具有极大值或极小值。或者，第二预设数量个目标匹配对在雷达帧中分别沿第一方向或第二方向具有极大值或极小值，即第二预设数量个目标匹配对包括的雷达帧中的目标的位置，分别沿第一方向或第二方向具有极大值或极小值。此时可以称选择的目标匹配对为极值目标匹配对。
[0057]
结合图4举例说明，图4是图像帧中的视场重合区域示意图，如图4所示，视场重合区域包括9个目标匹配对0～8。选择在图像帧中沿第一方向具有极小值、且在第二方向具有极小值的目标匹配对8，在图像帧中沿第一方向具有极小值、且在图像帧中沿第二方向具有极大值的目标匹配对7，在图像帧中沿第一方向具有极大值、且在图像帧中沿第二方向具有极小值的目标匹配对0，在图像帧中沿第一方向具有极大值、且在图像帧中沿第二方向具有极大值的目标匹配对2。
[0058]
s152：判断选择的第二预设数量个目标匹配对在图像帧中的位置分布以及在雷达帧中的位置分布，是否均符合预设位置分布。
[0059]
例如，将雷达帧中的目标称为雷达目标，将图像帧中的目标称为相机目标，选择的4个目标匹配对分别为目标匹配对1(相机目标1，雷达目标1)、目标匹配对2(相机目标2，雷达目标2)、目标匹配对3(相机目标3，雷达目标3)和目标匹配对4(相机目标4，雷达目标4)，则判断相机目标1～4的位置分布与雷达目标1～4的位置分布是否均符合预设位置分布。
[0060]
可以理解的是，预设位置分布可以体现为预设形状，如四边形、五边形，也可以体
现为预设方向，如顺时针方向、逆时针方向。位置分布符合预设位置分布，即位置分布与预设结合分布的相似度大于相似度阈值，意味着选择的第二预设数量个目标匹配对足够分散，用于获取位置变换矩阵，能够提高位置变换矩阵的鲁棒性。并且，相较于通过ransac获取位置变换矩阵的方式，能够降低耗时。
[0061]
若符合预设位置分布，则执行s153；若不符合预设位置分布，则执行s154。
[0062]
s153：基于选择的第二预设数量个目标匹配对获取位置变换矩阵。
[0063]
s154：将选择的第二预设数量个目标匹配对从目标匹配对集合滤除，并返回获取帧匹配对的步骤。
[0064]
即，在不符合预设几何分布的情况下，将选择的第二预设数量个目标匹配对滤除，且获取新的帧匹配对，以重复执行前述步骤，直至获取到位置变换矩阵。
[0065]
通过本实施例的实施，本技术对帧匹配对中的雷达帧和图像帧进行目标提取和目标匹配以得到目标匹配对，将目标匹配对添加到目标匹配对集合，基于目标匹配对集合获取雷达与相机之间的位置变换矩阵。由于目标匹配是以雷达和相机的视场重合区域为匹配约束条件进行的，得到的目标匹配对处在雷达和相机的视场重合区域，因此能够提高目标匹配对的准确度，将目标匹配对用于位置变换矩阵的计算，能够提高位置变换矩阵的准确度。
[0066]
另外，相关技术中的标定参数确定方法，需要在出厂前实验室环境(包含特定的标定物，例如棋盘格)下才能实现，且仅适用于相机和雷达为雷视设备的不同模块的情况。而本技术提供的标定参数确定方法，不仅适用于相机和雷达为雷视设备的不同模块的情况，还适用于相机和雷达独立设置的情况(例如道路上已经设置了相机，要在道路上设置雷达，出于成本的考虑，不是将相机直接更替为雷视设备，而是在道路上加设雷达)，因此适用范围广；并且，不需要依据特定的标定物即可实现，对标定的场景更加宽容。故，本技术提供的标定参数确定方法，更加容易实施。
[0067]
另外，相关技术中的标定参数确定方法，需要基于雷达的姿态数据、相机的姿态数据、相机的内部参数和雷视设备的安装高度实现标定，实现起来复杂度高。而本技术提供的标定参数确定方法，通过雷达和相机采集到的雷达帧和图像帧在视场重合区域的目标匹配对集合，就可以实现标定，因此流程简单，降低了复杂度。
[0068]
图6是本技术标定参数确定方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图6所示的流程顺序为限。本实施例是对s13的进一步扩展。如图6所示，本实施例可以包括：
[0069]
s21：判断是否存在后验视场重合区域。
[0070]
判断是否存在后验视场重合区域，是指判断是否已经基于处在先验视场重合区域的目标匹配点对，对先验视场重合区域修正得到后验视场重合区域。
[0071]
若存在后验视场重合区域，则执行s22。若不存在后验视场重合区域，则执行s23～s25。
[0072]
s22：基于后验视场重合区域进行目标匹配。
[0073]
基于后验视场重合区域进行目标匹配，是指对图像帧和雷达帧中的处在后验视场重合区域的目标进行匹配。
[0074]
s23：判断目标匹配对集合中的目标匹配对的数量是否大于或者等于第一数量阈
值。
[0075]
目标匹配对集合中的目标匹配对的数量，是指在已经获取到的若干个匹配帧对的基础上，累积且保留在目标匹配对集合中的目标匹配对的数量。若目标匹配对的数量小于第一数量阈值，意味着目标匹配对集合的代表性不足，不能用于对先验视场重合区域进行修正以得到后验视场重合区域。若目标匹配对的数量大于或等于第一数量阈值，意味着目标匹配对集合的代表性足够，能用于对先验视场重合区域进行修正以得到后验视场重合区域。
[0076]
若小于第一数量阈值，则执行s24；若大于或等于第一数量阈值，则执行s25。
[0077]
s24：基于预先设置的先验视场重合区域进行目标匹配。
[0078]
基于先验视场重合区域进行目标匹配，是指对图像帧和雷达帧中的处在先验视场重合区域的目标进行匹配。
[0079]
s25：基于目标匹配对集合对先验视场重合区域进行修正，得到后验视场重合区域。
[0080]
执行完s25之后可以返回获取帧匹配对的步骤。
[0081]
或者，执行完s25之后，可以对当前累积得到的帧匹配对进行噪声过滤之后用于获取位置变换矩阵。例如当前帧匹配对为帧匹配对5，基于帧匹配对1～5累积得到目标匹配对集合，基于目标匹配对集合对先验视场重合区域修正得到后验视场重合区域，基于后验视场重合区域将目标匹配对集合中处在后验视场重合区域之外的目标匹配对滤除，基于滤除之后的目标匹配对集合，获取位置变换矩阵。
[0082]
在一些实施例中，结合参阅图7，s25中对先验视场重合区域的修正，可以包括：
[0083]
s251：从目标匹配对集合中选择第一预设数量个目标匹配对。
[0084]
选择的目标匹配对在雷达帧中沿第一方向最靠近先验视场重合区域的同一侧边缘。
[0085]
目标匹配对在雷达帧中沿第一方向最靠近先验视场重合区域的同一侧边缘，是指包括的雷达帧中的目标，沿第一方向与雷达视场下先验视场重合区域的同一侧边缘的距离最小。
[0086]
先验视场重合区域沿第一方向具有下侧边缘和上侧边缘。相应地，可以选择在雷达帧中沿第一方向最靠近先验视场重合区域的下侧边缘的第一预设数量个目标匹配对，用于后续步骤以确定雷达视场下后验视场重合区域沿第一方向的下侧边缘位置、相机视场下后验视场重合区域沿第一方向的上侧边缘位置；可以选择在雷达帧中沿第一方向最靠近先验视场重合区域的上侧边缘的第一预设数量个目标匹配对，用于后续步骤以确定雷达视场下后验视场重合区域沿第一方向的上侧边缘位置、相机视场下后验视场重合区域沿第一方向的下侧边缘位置。
[0087]
s252：计算每个选择的目标匹配对在图像帧中沿第一方向与其他选择的目标匹配对之间的位置差值。
[0088]
不同目标匹配对在图像帧中沿第一方向的位置差值，是指不同目标匹配对包括的图像帧中的目标沿第一方向的位置的差值。
[0089]
s253：统计每个选择的目标匹配对的位置差值落在预设的第一差值范围内的次数。
[0090]
s254：基于次数最大的目标匹配对确定后验视场重合区域沿第一方向的边缘位置。
[0091]
可以将次数最大的目标匹配对包括的图像帧中的目标沿第一方向的位置，作为相机视场下后验视场重合区域沿第一方向的边缘位置；可以将次数最大的目标匹配对包括的雷达帧中的目标沿第一方向的位置，作为雷达视场下后验视场重合区域沿第一方向的边缘位置。
[0092]
其中，在第一预设数量个目标匹配对为在雷达帧中沿第一方向最靠近先验视场重合区域的下侧边缘的情况下，可以将次数最大的目标匹配对包括的雷达帧中的目标沿第一方向的位置，作为雷达视场下后验视场重合区域沿第一方向的下侧边缘位置，将次数最大的目标匹配对包括的图像帧中的目标沿第一方向的位置，作为相机视场下后验视场重合区域沿第一方向的上侧边缘位置。在第一预设数量个目标匹配对为在雷达帧中沿第一方向最靠近先验视场重合区域的上侧边缘的情况下，可以将次数最大的目标匹配对包括的雷达帧中的目标沿第一方向的位置，作为雷达视场下后验视场重合区域沿第一方向的上侧边缘位置，将次数最大的目标匹配对包括的图像帧中的目标沿第一方向的位置，作为相机视场下后验视场重合区域沿第一方向的下侧边缘位置。
[0093]
如下以一个例子的形式对s251～s254举例说明：
[0094]
目标匹配对集合包括目标匹配对i＝{ri(rix，riy)，ii(iix，iiy)}，i＝1～10，y表示第一方向，x表示第二方向，ri表示目标匹配对i包括的雷达帧中的目标，ii表示目标匹配对i包括的图像帧中的目标，ri(rix，riy)表示目标匹配对i包括的雷达帧中的目标的位置，rix表示沿第二方向的位置，riy表示沿第一方向的位置，ii(iix，iiy)表示目标匹配对i包括的图像帧中的目标的位置，iix表示沿第二方向的位置，iiy表示沿第一方向的位置。
[0095]
先验视场重合区域沿第一方向的下侧边缘位置和上侧边缘位置分别为y
l
和yh。其中，相机视场下先验视场重合区域沿第一方向的下侧边缘位置为y
il
，雷达视场下先验视场重合区域沿第一方向的下侧边缘位置为y
rl
；相机视场下先验视场重合区域沿第一方向的上侧边缘位置为y
ih
，雷达视场下先验视场重合区域沿第一方向的上侧边缘位置为y
rh
。
[0096]
1)选择riy到y
rl
的距离最小的第一预设数量(5)个目标匹配对1～5。
[0097]
2)计算ijy与imy的位置差值，j＝1～5，m＝1～5且m≠j，并统计位置差值落在第一差值范围内的次数，得到次数最大的目标匹配对1。
[0098]
3)将目标匹配对1包括的rjy确定为雷达视场下后验视场重合区域沿第一方向的下侧边缘位置；将目标匹配对1包括的ijy确定为相机视场下后验视场重合区域沿第一方向的上侧边缘位置。
[0099]
雷达视场下后验视场重合区域沿第一方向的上侧边缘位置、相机视场下后验视场重合区域沿第一方向的下侧边缘位置的确定与本例子中的1)～3)同理，在此不赘述。
[0100]
在其他实施例中，区别于s251～s254，也可以是基于图像帧选择第一预设数量个目标匹配对，再在第一预设数量个目标匹配对的基础上，基于雷达帧确定次数最多的目标匹配对，进而确定后验视场重合区域沿第一方向的边缘位置。
[0101]
图8是本技术标定参数确定方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。本实施例是对s13的进一步扩展。如图8所示，本实施例可以包括：
[0102]
s31：将雷达帧中的视场重合区域划分成第一子区域和第二子区域。
[0103]
第一子区域和第二子区域分别沿第一方向与视场重合区域的两侧边缘相邻且间隔设置，目标从第一子区域运动至第二子区域。
[0104]
即，第一子区域沿第一方向与视场重合区域的下侧边缘相邻，第二子区域沿第一方向与视场重合区域的上侧边缘相邻，且第一子区域和第二子区域间隔设置。
[0105]
s32：将图像帧中的视场重合区域划分成第三子区域和第四子区域。
[0106]
第三子区域和第四子区域分别沿第一方向与视场重合区域的两侧边缘相邻且间隔设置，目标从第三子区域运动至第四子区域。
[0107]
即，第三子区域沿第一方向与视场重合区域的下侧边缘相邻，第二子区域沿第一方向与视场重合区域的上侧边缘相邻，且第一子区域和第二子区域间隔设置。
[0108]
s33：判断从雷达帧和图像帧提取的待匹配目标对是否分别位于第一子区域和第四子区域，或者分别位于第二子区域和第三子区域。
[0109]
一待匹配目标对由雷达帧中的一待匹配目标和图像帧中的一待匹配目标组成。
[0110]
待匹配目标对分别位于第一子区域和第四子区域，是指待匹配目标对包括的雷达帧中的目标位于第一子区域、图像帧中的目标位于第四子区域。待匹配目标对分别位于第二子区域和第三子区域同理。
[0111]
若是，则执行s34；否则执行s35。
[0112]
s34：待匹配目标对为非目标匹配对。
[0113]
s35：待匹配目标对为目标匹配对。
[0114]
可以理解的是，目标到雷达的距离越近，相对雷达来说目标沿第一方向的位置越小(近处雷达目标)，反之越大(远处雷达目标)。目标到相机的距离越近，相对相机来说目标沿第一方向的位置越大(近处相机目标)，反之越小(远处相机目标)。因此，雷达的视场沿第一方向的下侧边缘和上侧边缘，与相机的视场沿第一方向的下侧边缘和上侧边缘是相反的，雷达帧中的视场重合区域沿第一方向的下侧边缘对应图像帧中的视场重合区域沿第一方向的上侧边缘，雷达帧中的视场重合区域沿第一方向的上侧边缘对应图像帧中的视场重合区域沿第一方向的下侧边缘，第一子区域对应第四子区域，第二子区域对应第三子区域。而相机的视场和雷达的视场可能不完全重合，相应地图像帧和雷达帧中的视场重合区域也可能不完全重合，因此将位于第二子区域的目标(远处雷达目标)，视为处在雷达帧中的视场重合区域、但未处在图像帧中的视场重合区域的目标，即雷达可见但相机不可见的目标，将位于第三子区域的目标(近处相机目标)，视为处在图像帧中的视场重合区域、但未处在雷达帧中的视场重合区域的目标，即相机可见但雷达不可见的目标。
[0115]
因此，将分别位于第二子区域和第三子区域的待匹配目标对、分别位于第一子区域和第四子区域的待匹配目标对视为非目标匹配对，能够避免因图像帧和雷达帧中的视场重合区域不一致而引起的误匹配的问题。
[0116]
结合图9举例说明，图9是雷达帧和图像帧中的视场重合区域的示意图，其中a表示雷达帧中的视场重合区域(沿第一方向的下侧边缘y
rl
和上侧边缘y
rh
)，a1表示第一子区域a2表示第二子区域b表示图像帧中的视场重合区
域(沿第一方向的下侧边缘y
il
和上侧边缘y
ih
)，b3表示第三子区域b4表示第四子区域目标运动方向为第一方向，图像帧中目标的运动方向为a1至a2，雷达帧中目标的运动方向为b3～b4。若a和b中的待匹配目标对分别出现在a1和b4，或者分别出现在a2和b3，则该待匹配目标对非匹配目标对，否则为匹配目标对。
[0117]
图10是本技术标定参数确定方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图10所示的流程顺序为限。本实施例是对上述实施例的进一步扩展，s41～s45是s13之前可以包括的步骤。如图10所示，本实施例可以包括：
[0118]
s41：判断雷达帧和图像帧中的目标的数量是否均为1。
[0119]
若雷达帧和图像帧中的目标的数量均为1，则执行s42；若雷达帧和图像帧中的目标的数量中的一个大于1，另一个大于或者等于1，则执行s43；否则执行s45。
[0120]
s42：确定雷达帧和图像帧中的目标为待匹配目标对。
[0121]
s43：判断雷达帧和图像帧中，沿第二方向最靠近视场重合区域的同一侧边缘的运动通道内的目标的数量是否均为1。
[0122]
即，判断雷达帧和图像帧中，沿第二方向最靠近视场重合区域的下侧边缘的运动通道内的目标的数量是否均为1，以及沿第二方向最靠近视场重合区域的上侧边缘的运动通道内的目标的数量是否均为1。
[0123]
可以确定雷达帧中各个目标处在的运动通道，从而确定雷达帧中沿第二方向最靠近视场重合区域的下侧边缘的运动通道和上侧边缘的运动通道，并确定包括的目标的数量。其中，可以通过雷达帧中的沿第二方向最靠近视场重合区域的下侧边缘的目标的位置、最靠近视场重合区域的上侧边缘的位置以及运动通道的宽度，确定雷达帧中各个目标处在的运动通道。
[0124]
可以确定图像帧中各个目标处在的运动通道，从而确定图像帧中沿第二方向最靠近视场重合区域的下侧边缘的运动通道和上侧边缘的运动通道，并确定包括的目标的数量。其中，可以通过预先划定的运动通道区域确定图像帧中各个目标处在的运动通道，预先划定的运动通道区域可以体现为各个运动通道的直线方程。
[0125]
若是，则执行s44；若否，则执行s45。
[0126]
s44：确定沿第二方向最靠近视场重合区域的同一侧边缘的运动通道内的目标为待匹配目标对。
[0127]
即，确定雷达帧和图像帧中，沿第二方向最靠近视场重合区域的下侧边缘的运动通道内的两个目标，为待匹配目标对，以及沿第二方向最靠近视场重合区域的上侧边缘的运动通道内的两个目标，为待匹配目标对。
[0128]
s45：确定雷达帧和图像帧中不存在目标匹配对。
[0129]
图11是本技术标定参数确定方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图11所示的流程顺序为限。本实施例是对上述实施例的进一步扩展，s51～s57是s15之后可以包括的步骤。如图11所示，本实施例可以包括：
[0130]
s51：利用当前计算的位置变换矩阵，将目标匹配对集合中的目标在雷达帧的位置重投影至图像帧，得到验证位置。
[0131]
s52：基于验证位置与目标在图像帧的位置计算重投影误差。
[0132]
s53：判断当前计算的位置变换矩阵的重投影误差，是否小于先前保留的位置变换矩阵的重投影误差。
[0133]
若小于，则执行s54；否则执行s55。
[0134]
s54：利用当前计算的位置变换矩阵更新先前保留的位置变换矩阵。
[0135]
执行完s54之后，执行s55。
[0136]
s55：判断是否满足标定结束条件。
[0137]
标定结束条件可以包括目标匹配对集合包括的目标匹配对数量大于目标匹配对数量阈值，迭代次数(即计算位置变换矩阵的次数)大于次数阈值，当前计算的位置变换矩阵的重投影误差小于误差阈值等等。
[0138]
若满足，则执行s56；否则执行s57。
[0139]
s56：结束标定，将最后一次保留的位置变换矩阵作为位置变换矩阵的标定结果。
[0140]
s57：返回获取帧匹配对的步骤。
[0141]
即，通过新的帧匹配对进行位置变换矩阵的新一次计算，直至满足标定结束条件。
[0142]
如下以一个例子的形式对s51～s57进行说明：
[0143]
1)利用当前计算的位置变换矩阵hk，将目标匹配对集合m中的目标在雷达帧的位置ri(rix，riy)重投影至图像帧，得到验证位置i
i’(iix’，iiy’)，计算目标在图像帧的位置ii(iix，iiy)与i
i’(iix’，iiy’)之间的欧式距离，对所有欧式距离求和再求平均，得到hk的重投影误差为ek。同理计算先前保留的位置变换矩阵h
k-1
的重投影误差e
k-1
。
[0144]
2)判断ek是否小于e
k-1
；若小于，则利用hk更新h
k-1
，且进入3)；否则不利用hk更新h
k-1
，而直接进入3)。
[0145]
3)判断迭代次数是否大于次数阈值；若大于，则结束标定且将最后一次保留的位置变换矩阵作为位置变换矩阵的标定结果；若不大于，则返回获取帧匹配度的步骤。
[0146]
通过本实施例的实施，本技术采用迭代择优的思想，在逐个帧匹配对累积目标匹配对的过程中，保留重投影误差最小的位置变换矩阵，直至满足标定结束条件，将最后一次保留的位置变换矩阵作为标定结果。从而，相较于通过ransac得到位置变换矩阵的标定结果的方式，能够在保证位置变换矩阵的标定结果的准确度的同时，降低计算耗时。进一步地，雷达的视场与相机的视场之间可能存在旋转，即具有偏转角，而目标匹配具有旋转不变性，因此如果直接将从雷达帧提取的目标应用于目标匹配，可能导致很差的匹配结果。结合图12进行说明，图12是实际场景、雷达和相机的视场重合区域的关系示意图。如图12所示，实际场景为包括四个运动通道的车道，相邻的两个运动通道通过车道线隔开。p为相机的视场示意，q为雷达的视场示意。θ表示雷达和相机的视场的偏转角。
[0147]
为此，可以在目标提取之后、目标匹配之前，减少甚至消除雷达的视场与相机的视场之间的旋转带来的误差。具体可以如下：
[0148]
图13是本技术标定参数确定方法又一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图13所示的流程顺序为限。本实施例是对上述实施例的进一步扩展，s61～s62是s12之后、s13之前可以包括的步骤。如图13所示，本实施例可以包括：
[0149]
s61：获取到雷达的视场相对相机的视场的偏转角。
[0150]
结合参阅图14，s61可以包括以下子步骤：
[0151]
s611：获取雷达帧中目标的运动方向相对于雷达帧中的第一方向的第一斜率，以及图像帧中目标的运动方向相对于图像帧中的第一方向的第二斜率。
[0152]
针对第一斜率：可以基于雷达帧中至少一个目标的轨迹得到第一斜率。或者，可以在雷达帧中的目标数量大于第二数量阈值的情况下，计算雷达帧中每个目标的第一斜率，与雷达帧中其他目标的第一斜率之间的第一斜率差值；统计雷达帧中每个所目标的第一斜率差值落在第二差值范围内的次数；将次数最大的雷达帧中目标的第一斜率，确定为雷达帧中目标的运动方向相对于雷达帧中的第一方向的第一斜率。雷达帧中的第一方向即雷达帧的坐标系中的第一方向坐标轴。
[0153]
对后者情况举例说明：
[0154]
雷达帧中各个目标的斜率构成集合c＝{ki}，i＝1～5，计算ki与kj之间的第一斜率差值，j＝1～5，且i≠j；统计ki的第一斜率差值落在第二差值范围内的次数ni；将ni最大时的ki的第一斜率，确定为雷达帧中目标的运动方向相对于雷达帧中的第一方向的第一斜率。
[0155]
可以理解的是，雷达帧中目标的第一斜率反映雷达帧中目标的运动方向，对应的次数越大，意味着越接近实际场景下目标的正确运动方向。因此，将次数最大的雷达帧中目标的第一斜率，确定为雷达帧中目标的运动方向相对于雷达帧中的第一方向的第一斜率，更能够反映实际场景下目标的正确运动方向。
[0156]
针对第二斜率：可以利用不同运动通道的分割线(如车道线)和相机安装高度信息获取得到。如果相机的视场正对实际场景，即相机的光轴在实际场景平面的投影向量近似平行于实际场景中行进通道的延伸方向，可以直接置第二斜率为0。
[0157]
s612：基于第一斜率和第二斜率确定偏转角。
[0158]
可以对第一斜率与第二斜率求差，对求差结果转换得到偏转角。
[0159]
s62：基于偏转角对目标在雷达帧的位置进行校正。
[0160]
校正依据的公式可以如下：
[0161]ri
(xj,yj)＝[cos(θ),sin(θ)；-sin(θ),cos(θ)]*r’i
(x’j
,y’j
)；
[0162]
其中，θ表示偏转角，r’i
(x’j
,y’j
)表示目标在雷达帧中的位置，ri(xj,yj)表示校正结果。
[0163]
通过本技术的标定参数确定方法，确定的标定参数可以包括位置变换矩阵，或者包括位置变换矩阵和偏转角。
[0164]
如下结合图15以一个例子的形式，对本技术提供的标定参数确定方法进行详细说明：
[0165]
相机正对实际场景，即相机的光轴在实际场景平面的投影向量近似平行于实际场景中行进通道的延伸方向。
[0166]
1)获取帧匹配对(雷达帧和图像帧)。
[0167]
2)分别对雷达帧和图像帧进行目标提取，得到雷达帧中的目标和图像帧中的目标。
[0168]
3)判断是否存在雷达和相机的视场之间的偏转角；若存在则进入7)；否则进入4)。
[0169]
4)判断已经获取到的雷达帧中的目标数量是否大于第二数量阈值；若大于第二数
量阈值，则进入5)～6)；否则返回1)。
[0170]
5)基于雷达帧中的目标获取偏转角。具体实现过程参考前面实施例的描述，在此不赘述。
[0171]
6)基于偏转角对雷达帧中的目标的位置进行校正。
[0172]
7)判断是否存在后验视场重合区域；若存在则进入11)；否则进入8)～10)。
[0173]
8)对雷达帧和图像帧中处在先验视场重合区域的目标进行匹配，得到目标匹配对；并将目标匹配对加入目标匹配对集合。
[0174]
9)判断目标匹配对集合中目标匹配对的数量是否大于第一数量阈值；若大于则进入10)；否则返回1)。
[0175]
10)基于目标匹配对集合对先验视场重合区域修正得到后验视场重合区域。执行完10)之后返回1)。
[0176]
11)对雷达帧和图像帧中处在后验视场重合区域的目标进行匹配，得到目标匹配对；并将目标匹配对加入目标匹配对集合。
[0177]
12)从目标匹配对集合选择4个极值目标匹配对。
[0178]
13)判断4个极值目标匹配对是否符合预设几何分布；若符合则进入15)；否则进入14)。
[0179]
14)将4个极值目标匹配对从目标匹配对集合滤除，并返回1)。
[0180]
15)基于4个极值目标匹配对得到当前计算的位置变换矩阵。
[0181]
16)获取当前计算的位置变换矩阵hk的重投影误差ek，并判断ek是否小于先前保留的位置变换矩阵h
k-1
的重投影误差e
k-1
；若小于则进入17)；否则进入18)。
[0182]
17)用hk更新h
k-1
。
[0183]
18)判断是否满足标定结束条件，若满足则结束标定，否则返回1)。
[0184]
如下结合图16以一个例子的形式，对标定之后的雷达和相机的目标检测与融合的应用场景进行说明：
[0185]
图16是目标检测与融合系统的示意图，如图16所示，目标检测与融合设备包括相机11、雷达12和目标检测与融合设备13。相机11用于采集图像帧，雷达12用于采集雷达帧，目标检测与融合设备13基于图像帧和雷达帧进行目标检测，分别得到目标的图像属性与雷达属性，再基于标定参数对两种属性进行融合。
[0186]
图17是本技术标定参数确定设备一实施例的结构示意图。如图17所示，该标定参数确定设备包括处理器21、与处理器21耦接的存储器22。
[0187]
其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为cpu(central processing unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0188]
标定参数确定设备可以是雷达、相机、雷视设备、与雷达或相机建立通信连接的电子设备(例如电脑、手机)，还可以是服务器等等。
[0189]
图18是本技术计算机可读存储介质一实施例的结构示意图。如图18所示，本技术
实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本技术上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0190]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0191]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。