无重叠视场的视觉系统标定方法与流程

本发明涉及视觉系统标定的，具体涉及无重叠视场的视觉系统标定方法。

背景技术：

1、在冶金现场材料输送过程中，要使用到重载输送机，在长时间的送料中，由于现场环境复杂，其传动核心部件链条会受到剧烈的磨损、腐蚀，这会导致链条发生断裂，断链将使得整个重载输送机的工作立刻停摆；为了克服手工量具测量的缺陷，视觉测量技术被运用到特征点的间距检测中，构建了一套具有非重叠视场的四目相机系统对双侧链条的磨损情况进行实时监控；四目相机系统标定属于多目系统，超过了两目，多目视觉系统标定涉及标定板靶标解码算法、单目标定、非重叠视场下基于立体靶标的多目系统标定；

2、现有技术1，中国专利cn202211285876.6，基于多目视觉的无人工程车辆运动学参数辨识校准方法，基于多目视觉的无人工程车辆运动学参数辨识校准方法，第一步中多目视觉系统相机阵列规划步骤如下：(1)将无人工程车辆机械臂铲斗末端的运动约束在一个平面上，并确定其运动轨迹；(2)根据相机投影方程，获得每个相机视场在运动平面上的投影；(3)使用遗传算法对位姿进行编码，以轨迹覆盖面积最大为指标，保证待检测轨迹上的每一点至少位于两个相机视场的重叠范围之内，并减小相机和投影面的距离并增加相机视野的重叠程度，而提高测量精度，最终得到各相机的位姿信息；

3、现有技术2，中国专利cn202010131077.8，一种采用互拍法的多目相机外部方位参数标定方法，首先由第一测量相机、第二测量相机分别与辅助相机构成一个双目视觉系统，然后利用第一测量相机和辅助相机以及第二测量相机和辅助相机同时对棋盘格标定板进行拍摄，拍摄后进行空间特征点匹配，获得配对的空间特征点后计算本质矩阵，通过本质矩阵即可分解出外参矩阵中的旋转矩阵r与平移向量t；

4、现有技术1是通过利用相机投影方程，转换成一个平面向量进行位置校正和拼接，利用2维向量使用遗传算法对位姿进行编码；

5、现有技术2是第一测量相机、第二测量相机分别与辅助相机构成一个双目视觉系统，然后利用第一测量相机和辅助相机以及第二测量相机和辅助相机同时对棋盘格标定板进行拍摄，即是辅助相机分别参与1号2号相机的拍摄，并利用辅助相机的视场重叠部分进行位置标定；

6、但是现有技术1和现有技术2仍然没有解决非重叠视场的多目相机系统的系统标定。

技术实现思路

1、有鉴于此，针对现有技术的不足，本发明的目的在于基于活性炭双侧链条间距的在线监测，构建具有非重叠视场的四目相机系统，并通过设计立的体靶标完成系统标定，从而得到无重叠视场的视觉系统标定方法。

2、本技术旨在解决背景技术中的问题之一。

3、本发明所采用的技术方案为：为实现上述目的及其他相关目的，本发明提供无重叠视场的视觉系统标定方法；

4、无重叠视场的视觉系统标定方法，用于两个视觉系统获得的目标信息不在到同一坐标系下的视觉系统标定，对所有相机进行联合标定，所有的相机共同形成一个多目相机视觉系统，得到多目系统的参考相机坐标系；

5、包括如下步骤：

6、s1，立体靶标设计，立体靶标的尺寸是已知的，立体靶标的正反两面具有特征信息的编码靶标所组成的靶标阵列；特征信息的编码靶标包括定位区和编码识别区两部分，定位区用于提供靶标的位置信息，实现靶标的定位；编码识别区则用于提供编码数值信息；

7、立体靶标是一种视觉和立体视觉领域的目标检测和定位工具，由一组特殊设计的平面图案组成，这些图案在不同视角下具有特定的几何关系和颜色分布；在立体视觉中，通过观察不同角度下的立体靶标，可以推算出相机的内部参数和外部参数。

8、s2，单目标定；s3，多目标定。

9、优选的，s1中，选用最小二乘法椭圆拟合编码标志点的编码小圆中心坐标，根据已确定的编码标志点编码小圆中心点坐标，对单个编码标志点区域进行识别与提取，进而根据编码标志点的编码规则将编码标志点的id解码出来。

10、本技术的技术方案还包括如下技术特征：

11、优选的，s2中的标定算法包括：相机内参进行标定并求解畸变系数，完成单目标定。

12、畸变系数是指描述相机成像畸变情况的一组参数；畸变是指相机成像中由于相机光学元件和图像传感器等因素引起的成像质量损失，其中包括径向畸变和切向畸变；畸变系数通常用于对成像进行去畸变处理，以消除成像中的畸变影响，从而得到更加准确和精确的图像；

13、在径向畸变中，相机镜头的曲率半径不均匀导致成像中心和边缘的像素位置不准确，从而产生一种以成像中心为中心的径向扭曲变形；径向畸变系数通常用k1，k2参数来描述，反映了相机镜头的曲率半径不均匀度和成像中心的偏差程度；

14、在切向畸变中，相机镜头不垂直于成像平面，或者相机成像平面不平行于场景平面导致的成像畸变情况；切向畸变系数用p1，p2参数来描述，反映了相机成像平面和相机镜头的垂直度和平行度等因素对成像质量的影响程度；

15、畸变系数由相机制造商提供，或者通过相机标定实验测量得到；通过对畸变系数的获取和应用，可以对相机成像进行去畸变处理，从而得到更加准确和精确的图像。

16、优选的，s3中的标定算法包括：求解相机之间相对外参，利用重投影误差最小化优化外参，去除矩阵连乘带来的累计误差，完成非重叠视场下的多目系统标定。

17、优选的，s2中的单目标定包括坐标转换：利用张正友内参标定方法进行相机内参求解，得到相机的径向失真系数与切向失真系数，利用畸变参数对投影坐标进行矫正。

18、径向失真系数和切向失真系数是相机镜头畸变的两种主要表现形式，分别描述了相机成像时的径向和切向畸变情况；

19、径向失真是指由于相机镜头的曲率半径不均匀导致成像中心和边缘的像素位置不准确，从而产生一种以成像中心为中心的径向扭曲变形；径向失真用径向失真系数(k1，k2)来描述，反映了相机镜头的曲率半径不均匀度和成像中心的偏差程度；

20、切向失真是指由于相机镜头不垂直于成像平面，或者相机成像平面不平行于场景平面导致的成像畸变情况；切向失真通常可以用切向失真系数(p1，p2)来描述，反映了相机成像平面和相机镜头的垂直度和平行度等因素对成像质量的影响程度；

21、在相机成像后，可以通过对图像进行去畸变处理来消除径向和切向畸变的影响，从而得到更加准确和精确的图像；去畸变的方法基于相机模型和畸变系数，通过对图像的像素进行逆变换，将畸变后的像素坐标映射回畸变前的坐标系，从而实现去畸变。

22、优选的，s2中的单目标定时，改变标定板位姿至少一次，采集编码同心圆阵列图像，提取特征点坐标对，代入相机模型解算出相机初始内外参数以及畸变系数，完成单目标定。

23、优选的，s3中的多目标定为：基于单目相机标定得到的每个相机的内外参数和畸变系数，对每组双目相机分别进行标定，得到两组双目相机之间的相机的坐标系之间的转换关系。

24、优选的，s3中的多目标定的坐标转换为：通过靶标的几何结构关系得到两组双目相机对应的靶标之间的坐标系的转换矩阵，转换矩阵通过对靶标照片进行单应性矩阵或投影矩阵求解得到，通过联立解得具有非重叠视场的所有相机的转换矩阵，即得到的所有相机的坐标系到全局坐标系转换矩阵，完成四目系统标定；

25、单应性矩阵，也称为投影矩阵，用于描述两个平面之间的投影关系。

26、转换矩阵是指将一个坐标系中的向量或点转换到另一个坐标系中的向量或点的矩阵；在视觉和图形学中，转换矩阵用于实现从一个坐标系到另一个坐标系的变换，如平移、旋转、缩放等操作。

27、优选的，s2中的单目标定包括单目相机标定或单目视觉系统标定；s3中的多目标定包括多目相机标定或多目视觉系统标定。

28、由于待测量的目标为链条两侧的链条轴，其无法同时在同一相机视场下出现，因此，在链条两侧分别架设一组刚性连接的双目相机，用于对两侧的链条轴分别进行3d位置测量；这两组双目相机不具备重叠视场，无法将两侧的链条轴中心信息统一到同一个相机坐标系下；因此，基于这种非重叠视场的系统测量需求，设计立体靶标对四个相机进行联合标定，使得四个相机共同形成四目相机视觉系统，从而将两侧的链条轴中心信息统一到同一个相机坐标系下，即多目系统的参考相机坐标系下，系统的整体流程图为：立体靶标设计、单目标定、多目标定；

29、采用的立体靶标尺寸是精确已知的，正反两面不是传统的棋盘格，而是具有特征信息的编码靶标所组成的靶标阵列；其单个靶标设计原理为：靶标包括定位区和编码识别区两部分，定位区用于提供靶标的位置信息，实现靶标的定位；编码识别区则用于提供编码数值信息；选用最小二乘法椭圆拟合编码标志点的编码小圆中心坐标，根据已确定的编码标志点编码小圆中心点坐标，对单个编码标志点区域进行识别与提取，进而根据编码标志点的编码规则将编码标志点的id解码出来；

30、标定算法主要包括两个部分，首先，对相机内参进行标定并求解畸变系数，即进行单目标定；其次，求解相机之间相对外参，并利用重投影误差最小化来优化外参，避免矩阵连乘带来的累计误差，即进行非重叠视场下的多目系统标定；

31、单目标定涉及的坐标转换，具体来说，采用张正友内参标定方法进行相机内参求解，该方法克服了传统标定方法对标定物精度要求高的缺点，同时也解决了自标定方法的鲁棒性较差的问题；考虑到径向畸变以及切向畸变对图像造成的影响，还需得到相机的径向失真系数与切向失真系数，利用畸变参数对投影坐标进行矫正；标定时，多次改变标定板位姿，采集编码同心圆阵列图像，提取特征点坐标对，代入相机模型解算出相机初始内外参数以及畸变系数，从而完成单目标定；

32、四个相机构成的多目系统，其中，两个相邻的相机为刚性连接、具有重叠视场的双目相机，另外两个相邻的相机为另一组双目相机，两组双目相机的光轴方向相对，由于现场工况中待测目标的遮挡，两组双目相机之间不具备公共视场或公共视场非常小；通过对双目相机之间的公共视场进行标定，可获得两组双目相机之间的位姿关系，进而利用立体靶标自身的几何关系，将两组双目系统联合起来，完成非重叠视场下多目系统的标定；多目标定的具体操作为，首先，基于单目相机标定得到的每个摄像机的内外参数和畸变系数，可对两组双目相机分别进行标定，得到相机1坐标系和相机2坐标系之间的转换关系、相机3坐标系和相机4坐标系之间的转换关系；其次，由靶标的几何结构关系可求得靶标2坐标系到靶标1坐标系的转换矩阵；靶标1到相机1坐标系和靶标2到相机3坐标系的转换矩阵可通过对靶标照片时进行单应性矩阵求解得到，从而可以联立解得具有非重叠视场的相机3坐标系到相机1坐标系，即全局坐标系的转换矩阵，即完成四目系统标定。

33、全局坐标系是一个固定的坐标系，用于描述一个系统中所有对象的位置、方向和姿态等信息；在三维空间中，通常使用笛卡尔坐标系作为全局坐标系，也可以使用其他坐标系，例如极坐标系、球坐标系等；

34、全局坐标系通常用于描述场景中各个对象的位置和方向等信息；在三维建模中，可以使用全局坐标系来描述一个场景中所有物体的位置、大小、形状等信息；

35、全局坐标系还可以使用全局坐标系来描述机器人末端执行器的位置和姿态信息，方便进行精确控制和运动规划。

36、本发明，具有以下有益效果：

37、由于待测量的目标无法同时在同一相机视场下出现，基于这种非重叠视场的系统测量需求，设计立体靶标对四个相机进行联合标定，使得四个相机共同形成四目相机视觉系统，从而将两侧的链条轴中心信息统一到同一个相机坐标系下，即多目系统的参考相机坐标系下，标定算法主要包括两个部分，首先，本技术对相机内参进行标定并求解畸变系数，即进行单目标定；其次，求解相机之间相对外参，并利用重投影误差最小化来优化外参，避免矩阵连乘带来的累计误差，即进行非重叠视场下的多目系统标定。