基于多项式模型的视觉与毫米波雷达联合标定方法及装置与流程

1.本发明属于传感器系统坐标标定领域，具体是涉及到一种多项式模型的视觉与毫米波雷达联合标定方法、装置、终端设备及计算机可读介质。


背景技术：

2.随着车辆电子技术的发展和进步，高级驾驶辅助系统(adas)被大量应用以提升汽车的安全性能。adas通过分析各种车载传感器数据进行环境感知，从而提高车辆的主动安全性。目前adas系统中最常用的车载传感器为毫米波雷达和视觉摄像头，两种传感器的应用较为成熟。毫米波雷达抗天气干扰能力强、环境适应性好，能比较稳定的获取被测目标位置信息，但是无法智能的识别目标种类。视觉摄像头可以采集到环境图像信息，并且通过ai与图像识别算法，可以智能从图像信息提取出感兴趣的目标信息(如：行人或者车辆等)，但是容易受到如光照、雨雪、大雾等天气因素影响，同时，单视觉摄像头无法得到目标信息在三维物理空间中的位置信息。如果将毫米波雷达和视觉摄像头的优点进行融合，则能够得到更全面、准确、可靠的环境信息，大大提高adas系统的环境感知能力，对adas系统性能的提升起着至关重要的作用。
3.毫米波雷达和视觉摄像头的联合标定，可构建毫米波雷达与视觉摄像头的坐标映射关系，是毫米波雷达和视觉摄像头融合的关键步骤。
4.专利cn201910624873.2提出了一种基于lm算法的毫米波雷达与摄像头联合标定方法。该方法不但需要测量毫米波雷达与摄像头相对位置关系，而且还要计算视觉摄像头内参，外参等参数，并且构建毫米波雷达与视觉摄像头的三维坐标系以及计算二者的相对关系用于联合标定。由于毫米波雷达与摄像头相对空间位姿关系的测量难以保证测量的精度，标定误差较大。视觉摄像头内参，外参矩阵参数的标定大多采用zhang，z在期刊“tpami，22(11):1330-1334，2000”发表的“a flexible new technique for camera calibration”的成像系统标定方法。这种方法过程复杂，需要计算大量的中间矩阵变量，降低了联合标定结果的精度与鲁棒性。
5.罗逍在“清华大学学报(自然科学版)，2014年.第54卷.第3期”发表的“一种毫米波雷达和摄像头联合标定方法”中提出了以车辆纵向对称平面为基准的毫米波雷达和摄像头的联合标定方法，获取了必要的标定参数，并建立了毫米波雷达和视觉摄像头之间的坐标转换关系。该方法需要确定车辆纵向对称面，应用场景受限。同时，该方法需要通过测量工具校准毫米波雷达的空间安装姿态以及需要视觉摄像头的视觉摄像头内参，外参矩阵参数的标定。标定过程仍较为复杂，精度以及鲁棒性较低。
6.专利cn202010367064.0(一种基于机器视觉和毫米波雷达数据融合的环境感知方法)把视觉摄像头和毫米波雷达当做相互独立的设备进行计算，通过分别实时捕捉相同的目标物来实现视觉摄像头和毫米波雷达的坐标融合。该方法必须连续实时的分析前后帧的目标物的航迹信息进行视觉摄像头和毫米波雷达的坐标关联，因此，坐标融合的结果依赖于目标物的检测结果以及航迹信息关联程度的好坏，标定的偶然因素较大，标定鲁棒性低，
标定场景受限，融合步骤繁琐。
7.综上所述，现有的毫米波雷达和视觉摄像头的联合标定需要测量毫米波雷达与摄像头相对位置关系，而且还要计算视觉摄像头内参，外参等参数，并且构建毫米波雷达与视觉摄像头的三维坐标系以及计算二者的相对关系用于联合标定。而依赖目标物匹配的视觉摄像头和毫米波雷达的坐标融合结果依赖于目标物的检测结果以及航迹信息关联程度的好坏，标定的偶然因素较大，标定鲁棒性低，标定场景受限，融合步骤繁琐。


技术实现要素：

8.有鉴于此，本发明实施例提供一种基于多项式模型的视觉与毫米波雷达联合标定方法、装置、终端设备及计算机可读介质，能够简化标定过程、提高标定精度。
9.本发明实施例的第一方面提供了一种基于多项式模型的视觉与毫米波雷达联合标定方法，包括：获取毫米波雷达检测面的关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)；获取视觉系统的标定图像中与所述关键特征点对应的标定点的坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)；基于多元线性回归模型构建多项式方程，获取坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)与坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)的映射模型h，实现联合标定。
10.本发明实施例的第二方面提供了一种基于多项式模型的视觉与毫米波雷达联合标定装置，包括：毫米波雷达模块，用于获取毫米波雷达检测面的关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)；摄像头模块，用于获取视觉系统的标定图像中与所述关键特征点对应的标定点的坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)；融合模块，用于基于多元线性回归模型构建多项式方程，获取坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)与坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)的映射模型h，实现联合标定。
11.本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于多项式模型的视觉与毫米波雷达联合标定方法的步骤。
12.本发明实施例的第四方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述基于多项式模型的视觉与毫米波雷达联合标定方法的步骤。
13.本发明提供的一种基于单应映射模型的视觉与毫米波雷达联合标定方法不需要测量毫米波雷达与摄像头相对位置关系，降低了现场标定复杂度，同时降低了现场测量误差对标定误差的影响；该方法不需要专门的视觉摄像头标定，避免了繁琐的内，外参矩阵参数计算，简化了标定过程，同时精简了大量的中间变量，提高了整个系统的标定精度；该方法不依赖于目标物的检测结果以及航迹信息关联程度的好坏，提高了标定的鲁棒性，具有很好的应用价值。
附图说明
14.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
15.图1是本发明实施例提供的一种应用场景示意图；
16.图2是本发明实施例提供的基于多项式模型的视觉与毫米波雷达联合标定方法的流程图；
17.图3是本发明实施例提供的标定装置示意图；
18.图4是本发明实施例提供的的不同平面变换示意图(n＝4)；
19.图5是本发明实施例提供的基于多项式模型的视觉与毫米波雷达联合标定装置的结构框图；
20.图6是本发明实施例提供的终端设备的示意图。
具体实施方式
21.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
22.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
23.请参阅图1，为本发明实施例中一个具体应用场景。将毫米波雷达3与视觉摄像头2分别刚性固定于车辆的一端。其中，毫米波雷达3水平安装于车辆下部，视觉摄像头2安装于车辆上部，且毫米波雷达3的水平延长线与视觉摄像头2所构成的角度θ的取值区间为(0-90
°
)。为了获得较好的实验效果，角度θ的典型值有30
°
、45
°
、60
°
。
24.请参阅图2，图2是本发明实施例提供的基于多项式模型的视觉与毫米波雷达联合标定方法的流程图。如图2所示，本实施例的基于基于多项式模型的视觉与毫米波雷达联合标定方法包括以下步骤：
25.s101:获取毫米波雷达检测面的关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)。
26.在本发明实施例中，确定毫米波雷达检测面的关键特征点物理坐标具体方法可以为：
27.1)调整毫米波雷达检测面与标定装置(标定板)平面重合，所述标定装置包括普通光学标定板与金属感应点；
28.2)利用毫米波雷达进行金属感应点位置检测，分别获得毫米波雷达检测面的关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)；其中，(xn,yn)是毫米波雷达检测面上对应的标定装置金属感应点pn点的坐标。(单位：mm)
29.为实现基于多项式模型的视觉与毫米波雷达联合标定方法，需要标定装置。如图3示例，标定装置由普通光学标定板1与金属感应点p1、p2、p3、p4构成，它可以是棋盘格型的，也可以是实心圆阵列型的等。为了便于说明，这里使用3x3棋盘格标定板，黑白格宽度为w。四个金属感应点位置p1、p2、p3、p4分别在普通光学标定板1的四个内角点上。当然，根据需要，金属感应点p的个数不限，可以为n个自然数个。
30.s102:获取视觉系统的标定图像中与所述关键特征点对应的标定点的坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)。
31.本发明实施例中，获取视觉系统的标定图像中与所述关键特征点对应的标定点的
坐标，包括：
32.通过视觉摄像头捕捉标定装置的标定图像；
33.通过opencv计算标定图像中标定板的标定点qn坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)。其中，c表示标定图像的列，r表示标定图像的行。优选的，标定板的标定点为内角点。经过计算后的qn坐标分别与毫米波雷达检测面的关键特征点物理坐标pn一一对应。(单位：像素)。其中，opencv的全称是：open source computer vision library。opencv是intel开源计算机视觉库。它由一系列c函数和少量c++类构成，实现了图像处理和计算机视觉方面的很多通用算法。
34.由于关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)在毫米波雷达检测面上，内角点坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)在视觉摄像头成像面(标定图像)上，因此，关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)与内角点坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)的映射模型h，即为毫米波雷达检测面与视觉摄像头图像平面的映射关系，也是视觉摄像头与毫米波雷达联合标定模型。
35.s103:基于多元线性回归模型构建多项式方程，获取坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)与坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)的映射模型h，实现联合标定。
36.在本发明实施例中，设置标定装置具备n个金属感应点，构建毫米波雷达检测面的关键特征点物理坐标pn与标定图像中标定板内角点坐标qn的映射模型h，基于多元线性回归模型构建pn到qn(n＝1，2，3...n)映射模型h表达式如下：
37.xn(n＝1,2,3...n)的映射关系：
38.yn(n＝1,2,3...n)的映射关系：
39.其中，式(1)a
p
(p＝1,2,3...n)为映射模型h中xn(n＝1,2,3...n)的映射系数；
40.式(2)b
p
(p＝1,2,3...n)为映射模型h中yn(n＝1,2,3...n)的映射系数。n为不小于1的自然数。
41.本实施例中采用多项式拟合的方式来图像变换，对成像的位某些参数，如畸变更有适应性。特别对于一些长距离标定，可以不用分段，一次变换完成整个融合过程。
42.在本发明的实施例中，构建多项式方程方程为：
43.a
p
(p＝1,2,3...n)的多项式方程：
44.b
p
(p＝1,2,3...n)的多项式方程：
45.求解多项式方程式(3)、(4)，可得映射模型h：
[0046][0047][0048]
参照图4，以标定装置为例(n＝4)，构建毫米波雷达检测面a的关键特征点物理坐标p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)与标定图像b中标定板内角点坐标q1(c1,r1)，q2(c2,r2)，q3(c3,r3)，q4(c4,r4)的映射模型h，具体按照上述模型进行计算即可。当然，根据需要，n也可以为6、7等。
[0049]
本发明不需要测量毫米波雷达与摄像头相对位置关系，降低了现场标定复杂度，同时降低了现场测量误差对标定误差的影响；该方法不需要专门的视觉摄像头标定，避免了繁琐的内，外参矩阵参数计算，简化了标定过程，同时精简了大量的中间变量，提高了整个系统的标定精度；该方法不依赖于目标物的检测结果以及航迹信息关联程度的好坏，提高了标定的鲁棒性，具有很好的应用价值。
[0050]
请参照图5，图5是本发明实施例提供的一种基于基于多项式模型的视觉与毫米波雷达联合标定装置的结构框图。如图5所示，本实施例的基于基于多项式模型的视觉与毫米波雷达联合标定装置10包括毫米波雷达模块101、摄像头模块102、融合模块103。毫米波雷达模块101、摄像头模块102、融合模块103分别用于执行图2中的s101、s102和s103中的具体方法，详情可参见图2的相关介绍，在此仅作简单描述：
[0051]
毫米波雷达模块101，用于获取毫米波雷达检测面的关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)；
[0052]
摄像头模块102，用于获取视觉系统的标定图像中与所述关键特征点对应的标定点的坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)；
[0053]
融合模块103，用于基于多元线性回归模型构建多项式方程，获取坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)与坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)的映射模型h，实现联合标定。
[0054]
进一步地，可参见图5，融合模块103可具体包括第一处理模块1031、第二处理模块1032：
[0055]
第一处理模块1031，用于构建基于多元线性回归模型的映射模型h表达式，包括：
[0056]
xn(n＝1,2,3...n)的映射关系：
[0057]yn
(n＝1,2,3...n)的映射关系：
[0058]
式(1)和式(2)为pn到qn(n＝1，2，3...n)基于多元线性回归模型的映射模型h表达式；其中，式(1)a
p
(p＝1,2,3...n)为映射模型h中xn(n＝1,2,3...n)的映射系数；式(2)b
p
(p＝1,2,3...n)为映射模型h中yn(n＝1,2,3...n)的映射系数。
[0059]
第二处理模块1032，用于构建多项式方程方程，获得映射模型h，其中，
[0060]ap
(p＝1,2,3...n)的多项式方程：
[0061]bp
(p＝1,2,3...n)的多项式方程：
[0062]
求解多项式方程式(3)、(4)，可得映射模型h：
[0063][0064][0065]
本发明一种基于基于多项式模型的视觉与毫米波雷达联合标定装置不需要测量毫米波雷达与摄像头相对位置关系，降低了现场标定复杂度，同时降低了现场测量误差对标定误差的影响；该方法不需要专门的视觉摄像头标定，避免了繁琐的内，外参矩阵参数计算，简化了标定过程，采用多项式拟合的矩阵建模方式，精简了大量的中间变量，提高了整个系统的标定精度；该方法不依赖于目标物的检测结果以及航迹信息关联程度的好坏，提高了标定的鲁棒性，具有很好的应用价值。
[0066]
图6是本发明一实施例提供的终端设备的示意图。如图6所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如进行视频侦查的程序。所述处理器70执行所述计算机程序72时实现上述方法实施例中的步骤，例如，图1所示的s101至s103。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块101至103的功能。
[0067]
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在终端设备7中的执行过程。例如，所述计算机程序72可以被分割成毫米波雷达模块101、摄像头模块102、融合模块103。(虚拟装置中的模块)，各模块具体功能如下：
[0068]
毫米波雷达模块101，用于获取毫米波雷达检测面的关键特征点物理坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)；
[0069]
摄像头模块102，用于获取视觉系统的标定图像中与所述关键特征点对应的标定点的坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)；
[0070]
融合模块103，用于基于多元线性回归模型构建多项式方程，获取坐标p1(x1,y1)，p2(x2,y2)...pn(xn,yn)与坐标q1(c1,r1)，q2(c2,r2)...qn(cn,rn)的映射模型h，实现联合标定。所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图6仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0071]
所述处理器70可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0072]
所述存储器71可以是终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器71还可以既包括终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及终端设备7所需的其它程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
[0073]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0074]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0075]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0076]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置
或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0077]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0078]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0079]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0080]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。