双目相机外参数自动校正方法、系统、装置及存储介质与流程

本技术涉及机器视觉中的相机标定，尤其是涉及一种双目相机外参数自动校正方法、系统、装置及存储介质。

背景技术：

1、双目相机的标定或者校准是计算机视觉中的核心研究内容之一，是由二维图像对重建三维信息的关键技术。标定就是确立空间物点和其像素点的精确几何映射关系的过程。当前，常用的相机标定方法有以下几种。

2、1、张正友棋盘格标定法。该方法是将世界坐标系固定于棋盘格上，由于标定板的世界坐标系是人为事先定义好的，标定板上每一个格子的大小是已知的，可以计算得到每一个角点在世界坐标系下的物理坐标，以此来进行相机的标定，获得相机的内外参矩阵、畸变参数。但在标定过程中，存在需要人工（或者高精度机械臂）调整标定板的摆放位置和姿态，由人工判断图像状态等流程，不仅标定效率低，而且准确度由人为主观的影响因素存在。

3、2、立体标定场法。该方法是先获得标定点在空间中的三维坐标，该三维坐标通过人为设定或者通过高精度电子经纬仪测得，图像中的标定点的像素坐标通过相应的检测算法得到，根据得到的标定点的三维坐标以及像素坐标，计算得到相机的内外参矩阵和畸变系数。但该方法在标定前，需要事先设置或测量好每个标定点的精确三维坐标。

4、3、编码标志块法等。该方法是在物方标志块上加载唯一的身份信息（即编码），然后在图像中对每一个含编码信息的标志块进行识别（即解码）。同样地，编码标志块法也需要人工参与设计好每个标志块的图像，并精确测量每个标志块的三维坐标，该种标定方法的准确度同样由人为主观的影响因素存在。

5、由此可知，在使用环境复杂和测距精度要求高的工业场景中，如港口码头或者起重机等使用的相机设备，若继续使用上述的标定方法，则需要对相机设备进行频繁拆卸和安装，即在相机设备安装之前，可以使用以上的方法进行标定，而在安装固定之后，相机设备在外力影响下相机参数可能发生改变，甚至需要重复进行标定。所以使用现有的标定方法的效率低下，准确度也得不到保障。

技术实现思路

1、为了解决双目相机标定效率低的问题，本技术提供一种双目相机外参数自动校正方法、系统、装置及存储介质。

2、在本技术的第一方面，提供了一种双目相机外参数自动校正方法。该方法包括：

3、获取双目相机的初始相机参数和测试图像，所述测试图像包括左图像和右图像，所述左图像为左相机输出的图像，所述右图像为右相机输出的图像，所述左图像和所述右图像中均存在多个特征点；

4、根据所述初始相机参数确定初始外参数；

5、将所述左图像和所述右图像中同名的特征点作为一个点对，计算所述点对的拟合值；

6、根据所述初始相机参数和目标点对的拟合值，将所述初始外参数调整为目标外参数，所述目标点对根据拟合值的大小和拟合值出现的频次而得，所述目标外参数与所述目标点对的拟合值对应。

7、通过采用上述技术方案，一方面，本技术的方法无需标定板，也无需拆卸双目设备，全自动的双目校正能够提高双目校正效率。另一方面，本技术的校正方法中，首先获取双目相机的初始相机参数和测试图像，然后根据初始相机参数计算得到初始外参数，同时计算测试图像中点对的拟合值。最后，从多个点对中选择出一个目标点对，并根据目标点对确定目标外参数，再根据目标点对的拟合值调整初始相机参数，以使得初始外参数与目标外参数相同。由此可知，本技术依据双目相机所拍摄的测试图像实时调整双目相机的初始外参数，以实现提升校正效率的同时，也能够使校正的准确度不断提升。

8、在一种可能的实现方式中：所述初始相机参数包括双目相机基线的长度和多个初始角度值；

9、通过如下计算公式确定所述初始外参数，包括：

10、；

11、；

12、其中，为双目相机基线向量，βɩ、γɩ、αr、βr、γr分别为左相机在y方向上的旋转角度、左相机在z方向上的旋转角度、右相机在x方向上的旋转角度、右相机在y方向上的旋转角度、右相机在z方向上的旋转角度。

13、通过采用上述技术方案，初始外参数与双目相机基线的长度和多个初始角度值相关，而双目相机基线的长度可以通过测量而得，所以初始外参数实际是与多个初始角度值相关。因此，可以通过调整上述的多个初始角度值，来实现不断使初始外参数朝向目标外参数靠近的目的。

14、在一种可能的实现方式中：通过如下计算公式计算得到所述点对的拟合值，包括：

15、，

16、其中，f为基本矩阵，t表示矩阵转置，x1为物理空间中的特征点x在左图像中的投影点，x2为物理空间中的特征点x在右图像中的投影点，dsampson为左图像中的点x1与右图像中的点x2的拟合值，点x1和点x2为一个点对。

17、通过采用上述技术方案，点x1和点x2越相同，则上述的分母值越大，则dsampson值越小，所以一个点对的dsampson值小，则说明该点对的拟合程度越高。

18、在一种可能的实现方式中：所述根据所述初始相机参数和目标点对的拟合值，将所述初始外参数调整为目标外参数，包括：

19、统计所有点对的拟合值的频次分布，以拟合值的出现频次最高且频次最高的拟合值最小时，所对应的外参数为目标外参数；

20、调整所述初始相机参数，使得所述初始外参数与所述目标外参数相等。

21、通过采用上述技术方案，由于一个点对的dsampson值小，则说明该点对的拟合程度越高，所以本技术以拟合值的出现频次最高且拟合值最小所对应的外参数为目标外参数，并调整初始相机参数，使得初始外参数与目标外参数相等，从而提高校正的准确度。

22、在一种可能的实现方式中：所述将所述左图像和所述右图像中同名的特征点作为一个点对，包括：

23、提取所述左图像和所述右图像中的特征点；

24、匹配所述左图像和所述右图像中同名的特征点；

25、采用畸变系数对所述同名的特征点去畸变；

26、将所述去畸变后的同名的特征点作为一个点对。

27、通过采用上述技术方案，本技术提取左图像和右图像中的特征点，并匹配左图像和右图像中同名的特征点，再对同名的特征点去畸变，最后将去畸变后的同名的特征点作为一个点对，从而为计算得到准确的点对的拟合值提供技术支持，进而为得到准确的校正结果提供技术保障。

28、在一种可能的实现方式中：所述特征点包括标记点和角点；

29、所述提取所述左图像和所述右图像中的特征点，包括：

30、采用sfit算法和sur算法提取所述标记点和/或采用harris和shi-tomasi提取所述角点。

31、通过采用上述技术方案，采用多种特征提取算法来提取左图像和右图像中的特征点，从而为计算得到准确的点对的拟合值提供技术支持。

32、在一种可能的实现方式中：所述匹配所述左图像和所述右图像中同名的特征点，包括：采用暴力匹配方法和flann算法来匹配左图像和右图像中同名的特征点。

33、通过采用上述技术方案，采用多种特征匹配算法来匹配左图像和右图像中同名的特征点，进一步为计算得到准确的点对的拟合值提供技术支持。

34、在本技术的第二方面，提供了一种双目相机外参数自动校正系统。该系统包括：

35、数据获取模块，用于获取双目相机的初始相机参数和测试图像，所述测试图像包括左图像和右图像，所述左图像为左相机输出的图像，所述右图像为右相机输出的图像，所述左图像和所述右图像中均存在多个特征点；

36、数据确定模块，用于根据所述初始相机参数确定初始外参数：

37、数据计算模块，用于将所述左图像和所述右图像中同名的特征点作为一个点对，计算所述点对的拟合值；

38、数据处理模块，用于根据所述初始相机参数和目标点对的拟合值，将所述初始外参数调整为目标外参数，所述目标点对根据拟合值的大小和拟合值出现的频次而得，所述目标外参数与所述目标点对的拟合值对应。

39、在本技术的第三方面，提供了一种双目相机外参数自动校正装置。该装置包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现上述任一种双目相机外参自动校正方法。

40、在本技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一种双目相机外参自动校正方法。

41、综上所述，本技术包括以下至少一种有益技术效果：

42、一方面，本技术的方法无需标定板，也无需拆卸双目设备，即可动态实现全自动的双目校正，提高双目校正效率；

43、另一方面，本技术的校正方法中，首先获取双目相机的初始相机参数和测试图像，然后根据初始相机参数计算得到初始外参数，同时计算测试图像中点对的拟合值。最后，从多个点对中选择出一个目标点对，并根据目标点对确定目标外参数，再根据目标点对的拟合值调整初始相机参数，以使得初始外参数达到或者接近目标外参数。由此可知，本技术依据双目相机所拍摄的测试图像实时调整双目相机的初始外参数，以实现提升校正效率的同时，也能够使校正的准确度得到提升。