一种基于双目立体视觉的实训平台快速调试方法与流程

1.本发明涉及计算机技术领域，具体涉及一种基于双目立体视觉的实训平台快速调试方法。


背景技术：

2.随着智能制造产业的快速发展，产线需要更多机器人调试操作员工，高等职业院校、社会实训机构等需要大量的实训平台设备来训练这些企业员工。实训平台模块较多，在生产过程中，由于各个模块相对位置组装不精准导致调试周期较长，无法将机器人预制程序或者plc预制程序直接拷入平台进行直接运行。
3.因此调试各个模块的安装位置至关重要，现有的调试方法主要有几种：一是调试工程师使用尺子测量各个模块的位置，这种方法时间长、精度低，且调试效果由于调试工程师的个体差异具有较大差别。
4.二是通过单目机器视觉进行调试，但单目机器视觉只能解决平面上各个模块的平移和旋转问题，无法得到各个模块整体三维位姿的偏移误差，而且由于景深问题，如果各个模块距离单目相机高低差别很大的话，单目相机无法进行精准成像，从而定位不准确。
5.三是通过双目视觉进行定位调试，现有双目视觉定位主要还是对单一物体的定位，当应用在具有多个模块的实训平台上时，会由于模块之间互相遮挡导致定位不准确从而影响调试结果。


技术实现要素：

6.针对现有技术的不足，本发明提出一种基于双目视觉的实训平台快速安装调试方法，能够快速对实训平台各个模块进行高精度快速识别并定位得出实训平台上各个模块的三维位姿信息，对调试过程中的各个模块进行实时位置纠偏信息反馈，指导调试人员的安装误差，从而提高实训平台调试效率、缩短调试时间、降低调试成本。
7.本发明的技术方案是这样实现的：一种基于双目立体视觉的实训平台快速调试方法，包括以下步骤：双目标定，对双目视觉系统中的单目相机相对位置进行标定矫正；在yolo v5网络中加入双注意力模型，设计轻量化yolo v5网络；制作实训平台模块位置数据集，所述模块位置数据集包括通过双目视觉系统拍摄的实训平台的第一特征图和第二特征图；将所述实训平台模块位置数据集输入所述轻量化yolo v5网络，定位所述实训平台上各个模块的目标区域；通过立体匹配方法对所述目标区域进行特征点提取操作，以获取第一特征点集和第二特征点集；通过欧氏距离匹配操作对第一特征点集和第二特征点集进行特征点匹配，从而得到匹配点对，对所述匹配点对进行极性约束判定；
根据三角成像原理，使用特征匹配点对计算公式则可计算出所述目标区域的待配点云；对所述待配点云进行点云配准操作，配准后的点云与预设置的模板点云对比，获取各个安装模块的偏移误差，将所述偏移误差导入可视化软件中，以输出指导调试信息。
8.优选地，所述双目标定中，还包括所述双目视觉系统中的左、右单目相机拍摄一系列棋盘格标定板图像并拟合出左、右单目相机的内部参数和外部参数；所述双目视觉系统中的左、右单目相机拍摄一系列棋盘格标定板图像；用harris角点检测方法寻找所述棋盘格标定板图像中的角点信息；根据所述角点信息拟合出左、右单目相机的内部参数和外部参数；将所述左、右单目相机采集到的图像通过内参矩阵进行相机坐标转换，通过旋转矩阵相乘，得到所述左、右单目相机新的坐标系。通过左右相机的去畸变操作对左右相机进行畸变矫正，并对图像进行左、右单目相机的极线验证。
9.优选地，所述双注意力模型包括通道注意力模块以及位置注意力模块；将所述双注意力模型加入yolo v5网络的backbone和neck中，以获得所述轻量化yolo v5网络。
10.优选地，使用截断icp方法对所述待配点云进行配准操作，所述待配点云呈升序排列并取前半的所述待配点云最小；利用截断率来选择符合要求的匹配点对；利用广义最小二乘法来解匹配点集之间的刚体变换；利用所述刚体变换更新所述截断率；利用更新后的截断率选择符合要求的匹配点对。
11.优选地，截断icp求解刚性变换的步骤包括构建残差度量函数；利用k-d树加速遍历求出所述模板点云和所述待配点云的最邻近点对；利用截断系数求出满足要求的最邻近点对；使用svd法根据满足要求的最邻近点对求出刚性变换。
12.优选地，所述立体匹配方法为通过surf特征点算子进在所述目标区域进行搜索，以获得所述第一特征点集和第二特征点集。
13.优选地，所述设计轻量化yolo v5网络包括采集实训平台俯视样本图数据集构建样本数据集，通过所述样本数据集训练所述轻量化yolo v5网络。
14.优选地，所述通道注意力模块为是一个residual+attention的结构，对特征图a分别做reshape与transpose，分别得到特征图r1和特征图rt1，将特征图r1和特征图rt1相乘通过softmax得到通道注意力特征图x，将特征图x和特征图a进行乘积再乘尺度系数再将其进行reshape，变为原来的形状，最后与特征图a相加得到输出特征图e。
15.优选地，所述位置注意力模块是一个residual+attention的结构，特征图a分别通过3个卷积核进行卷积得到3个特征图b、特征图c、特征图d，然后将特征图b进行reshape和transpose与特征图c 进行reshape后的矩阵进行乘积，并进行softmax得到特征图s，把特征图s与特征图d进行 reshape后的矩阵进行乘积再乘尺度系数后进行reshape，变为原来的形状，最后与特征图a相加得到最后的输出特征图e。
16.优选地，所述实训平台模块位置数据集包括：拍摄所述模块的随机摆放位置的照片；以及拍摄所述实训平台上机器人采取不同姿态的照片。
17.与现有技术相比，本发明具有以下优点。
18.本发明通过双目视觉系统对实训平台上各个模块进行高精度快速识别，并通过 yolo v5 网络进行模块的定位，并进行点云生成、点云配准等操作，得出实训平台上各个模块的三维位姿信息，通过该信息与基准版本的三维位姿信息对比，输出用于纠偏的各个模块的指导调试信息，便于调试人员调整，从而提高实训平台的调试效率、缩短调试时间、降低调试成本。
19.由于实训平台上模块种类繁多，各个模块之间经常存在遮挡问题，为使得目标特征提取更加准确，在定位各个模块时，使用轻量化yolo v5网络在yolov5模型中添加双注意力模块以解决遮挡问题，物体位置信息在具有遮挡的情况下依然保证底层特征信息不丢失，在不加重网络计算量的同时依然保证推理速度和准确性。
附图说明
20.为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明一种基于双目立体视觉的实训平台快速调试方法的流程示意图；图2为本发明实施方式中轻量化yolo v5网络的结构图；图3为本发明实施方式中通道注意力模块的结构图；图4为本发明实施方式中位置注意力模块的结构图；图5为本发明实施方式中针孔成像的模型示意图。
具体实施方式
22.下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
23.如图1至图4所示，本发明实施方式公开了一种基于双目立体视觉的实训平台快速调试方法，包括以下步骤：s01、双目标定，对双目视觉系统中的单目相机相对位置进行标定矫正；s02、训练轻量化yolo v5网络；原生的yolo v5网络是一种目标检测算法，通常用于检测画面中所需要的目标位置。
24.s03、制作实训平台模块位置数据集，所述模块位置数据集包括通过双目视觉系统拍摄的实训平台的第一特征图和第二特征图；s04、将所述实训平台模块位置数据集输入所述轻量化yolo v5网络，定位所述实训平台上各个模块的目标区域；s05、通过立体匹配方法对所述目标区域进行特征点提取操作，以获取第一特征点集和第二特征点集；s06、通过欧氏距离匹配操作对第一特征点集和第二特征点集进行特征点匹配，从
而得到匹配点对，对所述匹配点对进行极性约束判定；s07、根据三角成像原理，使用特征匹配点对计算公式则可计算出所述目标区域的待配点云；s08、对所述待配点云进行点云配准操作，配准后的点云与预设置的模板点云对比，获取各个安装模块的偏移误差，将所述偏移误差导入可视化软件中，以输出指导调试信息。其中偏移误差包括六个自由度的偏移误差数据。
25.具体地实施方式，在步骤s01中，还包括以下步骤：s11、首先双目视觉系统中的单目相机拍摄一系列含有棋盘格标定板的图像，本实施方式中为每个相机拍摄标定板不同角度的图片15张；s12、用harris角点检测方法寻找所述棋盘格标定板图像中的角点信息，具体公式如下：其中，为角点强度值，为图像像素坐标，为harris角点滑动窗口的滑动变量，为图像像素坐标的加权函数，为图像像素点的像素值，为像素点在滑动窗口上点的像素值。
26.s13、根据所述角点信息拟合出左、右单目相机的内部参数和外部参数；如图5所示，针孔成像模型是线性摄像机成像的过程模型，光源从物体表面某点p（xc， yc ，zc）发射进入相机透镜后形成投影点p（x，y），则得到比例关系：该式可以表示为:
ꢀꢀ
与上式相结合得到p点的世界坐标与其在图像上的投影坐标的关系：其中，m是一个3*4的投影矩阵；是与摄像机内部结构有关的内部参数，由摄像机相对于世界坐标系的方位决定的外部参数；为p点在世界坐标系下的齐次坐标，根
据已拍摄的多张棋盘格标定板图像利用最小二乘法拟合出相机的内部参数和外部参数。
27.s14、对双目视觉系统进行标定矫正，将左右相机采集到的图像通过内参矩阵进行相机坐标转换，通过旋转矩阵相乘，得到左、右弹幕相机的新的坐标系。通过左右相机的去畸变操作对左右相机进行畸变矫正，并对图像进行左右相机的极线验证。
28.具体地实施方式，步骤s03中，还包括下述步骤：s31、制作实训平台模块位置数据集，将双目视觉系统架设至实训平台正上方，让实训平台上所有的模块位于相机的视野范围中，并利用双目视觉系统中的左、右单目相机分别采集实训平台俯视图共2000张。其中包含各个模块随机位置的摆放、机器人不同的姿态等不同状态的照片，左单目相机生成第一特征图，右单目相机生成第二特征图。
29.s32、利用标注工具将实训平台上的喷涂模快、焊接模块、置物架模块、转台、绘图模块等进行边界框boundingbox和类别标注。
30.如图2所示，由于实训平台模块种类繁多，各个模块之间经常存在遮挡问题，例如机器人的摆臂在不同姿态下对模块的遮挡，为使双目视觉系统能够更加准确的提取目标特征，本实施方式中在yolov5模型中添加双注意力模块以解决遮挡问题，另外由于本矫正系统需要部署在实训平台的工控机上，该工控机考虑到集成成本，配置相对较低，所以采用原生的yolo v5无法满足系统的实时运行需求，本实施方式中利用双注意力机制来对yolo v5的backbone和neck进行改进，得到轻量化yolo v5网络能够提升对遮挡物体的识别精度和识别率；双注意力模块包含通道注意力模块和位置注意力模块，融合了双注意力机制的轻量化yolo v5网络结构如图2所示。
31.其中优选的实施方式，通道注意力模块如图3所示，通道注意力模块本身是一个residual+attention的结构，对特征图a分别做reshape和reshape与transpose，分别得到特征图和特征图，将和相乘通过softmax得到通道注意力特征图x，将x和特征图a进行乘积再乘尺度系数再将其reshape为原来的形状，最后与特征图a相加得到输出特征图e。
32.其中优选的实施方式，位置注意力模块如图4所示，位置注意力模块本身是一个residual+attention的结构，特征图a分别通过3个卷积核进行卷积得到3个特征图b、c、d，然后将b进行reshape和transpose与c reshape后的矩阵进行乘积，并进行softmax得到特征图s，把s与d reshape后的矩阵进行乘积再乘尺度系数后reshape为原来的形状，最后与a相加的到最后的输出特征图e。
33.如图2所示，在主干网络cbl层后加入双注意力模块(da)使得主干网络在提取主要特征的时候从通道和物体位置两个维度方面不丢失细节。在瓶颈层，从三个尺寸维度进行cbl后接入双注意力模块(da)，使得每个尺寸维度的物体位置信息在具有遮挡的情况下依然保证底层特征信息不丢失，在不加重网络计算量的同时依然保证推理速度和准确性。
34.具体地实施方式，s05、通过立体匹配方法对所述目标区域进行特征点提取操作，以获取第一特征点集和第二特征点集，具体地，根据步骤s03中获取的双目视觉系统中左、右单目相机拍摄的图像中各个模块的区域进行更加快速的点云提取，本实施方式中采用surf特征点算子进行立体匹配，在识别到的区域中搜索出的surf特征点如下：
其中，为第一特征图中第c个目标区域模块的特征点集，为第一特征点集中的第i点。为第二特征图中第c个目标区域模块的特征点集，为第二特征点集中的第i点。
35.具体的实施方式，步骤s06中，将和中的特征点先进行欧氏距离匹配，寻找欧氏距离最近的两个特征点对，欧式距离匹配公式如下：其中，为到的欧式距离，为第一特征点集中的第i点，为第二特征点集中的第i点，寻找到第c个区域中两个最匹配的特征点对如下：其中为第一、第二特征图中第c个区域中的匹配点对，对匹配点对进行极线约束判定，本实施方式中优选的设定阈值为60个像素，如果左右两个待匹配的特征点的行像素的极线距离相差60px，则将该匹配点对进行剔除。
36.步骤s07中，根据左右相机三角成像原理，利用特征匹配点对则可计算出第c个区域中的点云，点云计算公式如下：其中，分别为第c个区域中的点p的横坐标、纵坐标、深度坐标，f为相机焦距、两个相机的光心间距为d，为匹配点对的横坐标，为匹配点对纵坐标。
37.具体地实施方式，步骤s08中各个模块的点云配准还包括以下步骤：在获得第c个区域中的点云 (x,y,z)后，利用截断icp的方法对待配准点云进行配准，该算法的思想与icp方法的不同之处是传统的icp方法使用的是所有点对的残差平方和最小，而截断icp是使升序排列在前一半点对的残差平方和最小，这样做的目的是为了把升序排序在后面的点对作为异常点对来处理，减少噪声对icp法封闭解的影响。
38.截断icp estimator崩溃点的公式为：
其中，n为点对的个数，m为参数的个数，l为满足截断阈值的点对个数，由于m小于n，所以选择第一个公式来计算截断系数。当l=n/2时，崩溃点接近于0.5。
39.由于正确的点对占有量少于50%时，对一般的最小二乘估计是不理想的，在最初迭代的几步即便是截断系数是0.5的情况下，所得到的理论正确点对中也包含有很多错误点对。
40.因此，为了让使截断icp在保留结构收敛性的同时又具有鲁棒性，本实施方中，在每次icp迭代中都使用截断系数来处理错误点对，即首先利用截断率来选择符合要求的匹配点对，再利用广义最小二乘法来解匹配点集之间的刚体变换，利用所求得的变换更新模板匹配的点对，更新截断率φ，利用新的截断率来选择符合要求的点对，如此循环，直到最后收敛。迭代次数越多，截断率φ会越来越大，这样做的目的是为了让误匹配点占整个匹配点的比率越来越小。截断率的更新公式如下：其中，k为迭代次数。
41.截断icp求解目标函数的刚性变换步骤如下：s81、构建残差度量函数s82、利用k-d树加速遍历求出模板点云和待批准点云的最邻近点对。
42.s83、利用截断系数求出满足要求的最邻近点对。
43.s84、使用svd法根据满足要求的最邻近点对求出刚性变换。
44.在实训设备各个模块装配的过程中，利用双目立体视觉快速精确定位各个安装模块与基准版本的实训平台设备中的各个模块的偏移误差即，利用可视化软件指导安装调试工程师对平台上的相对位置进行调试。
45.本发明通过双目视觉系统对实训平台上各个模块进行高精度快速识别和定位得出实训平台上各个模块的三维位姿信息，并对调试过程中的各个模块进行实时位置纠偏信息反馈，指导调试人员的安装误差，从而提高实训平台的调试效率、缩短调试时间、降低调试成本、达到快速出货的目的。
46.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。