一种基于机器视觉的气密性检测中相机位姿检测方法及系统与流程

1.本发明设计机器视觉技术领域，具体涉及一种基于机器视觉的气密性检测中相机位姿检测方法及系统。


背景技术：

2.在民用工业中，人们对泄露检测和控制的意识逐日增强。近年来，随着航空、航天工业技术的进步，人们对气密性检测技术及装备的要求也走向一个新的高度。而对发动机气缸的气密性检测中，通常是在玻璃一侧固定好相机进行观察，相机的位姿不合适则会影响拍摄到的成像画面，进而会影响气密性检测结果。
3.目前相机固定的方式为根据人为经验来判断相机的位姿，这种相机位姿确定方法主观性比较强，准确性比较低。


技术实现要素：

4.为了解决上述技术问题，本发明的目的在于提供一种基于机器视觉的气密性检测中相机位姿检测方法及系统，所采用的技术方案具体如下：
5.第一方面，本发明实施例提供了一种基于机器视觉的气密性检测中相机位姿检测方法，该方法包括以下步骤：
6.通过相机获取不同的曝光强度下采集得到的气密性检测图像，所述气密性检测图像中包含竖直放置的矩形板，且所述矩形板的两个长边水平放置，两个短边竖直放置；
7.对所述气密性检测图像中的矩形板进行关键点提取，获取所述矩形板的四个关键点坐标，所述关键点为所述矩形板的四个角点；根据所述四个关键点坐标计算得到所述矩形板的第一偏转角，以及所述矩形板的第一灭点；
8.对所述气密性检测图像中的矩形板进行边缘检测，得到所述矩形板的边缘特征图；将所述边缘特征图进行霍夫空间变换，得到所述边缘特征图的上下两条边缘直线、所述矩形板的第二灭点和所述边缘直线的偏转角，作为所述矩形板的第二偏转角；
9.根据各所述气密性检测图像对应的第一灭点，获取所述第一灭点对应的第一凸包；根据各所述气密性检测图像对应的第二灭点，获取所述第二灭点对应的第二凸包；
10.获取所述第一凸包和所述第二凸包的重合区域，并获取所述重合区域内的灭点对，所述灭点对包括同属于一张气密性检测图像的第一灭点和第二灭点，得到各所述灭点对的第一目标灭点和第二目标灭点；
11.根据各所述第一目标灭点，得到第一距离方差，根据各所述第二目标灭点，得到第二距离方差；根据所述第一距离方差，得到第一权重，根据所述第二距离方差，得到第二权重；
12.根据各所述第一目标灭点对应的第一偏转角的均值、各所述第二目标灭点对应的第二偏转角的均值、所述第一权重和所述第二权重计算得到最终偏转角；
13.根据所述最终偏转角对所述相机的位姿进行调整。
14.优选的，所述对所述气密性检测图像中的矩形板进行关键点提取，获取所述矩形板的四个关键点坐标，包括：
15.构建encoder
‑
decoder网络；
16.获取样本集，所述样本集包括多个气密性检测样本图像，并对所述气密性检测样本图像中的矩形板的四个角点进行关键点标注；
17.将所述样本集输入到encoder
‑
decoder网络进行训练；
18.将所述气密性检测图像输入到训练好的encoder
‑
decoder网络中，获取所述矩形板的四个关键点坐标。
19.优选的，所述对所述气密性检测图像中的矩形板进行边缘检测，得到所述矩形板的边缘特征图，包括：
20.对所述气密性检测图像进行矩形板roi区域提取，得到矩形板roi区域；
21.对所述矩形板roi区域采用canny边缘检测算法进行计算，得到所述矩形板的边缘特征图。
22.优选的，所述将所述边缘特征图进行霍夫空间变换，得到所述边缘特征图的上下两条边缘直线，包括：
23.将所述边缘特征图变换到霍夫空间；
24.在所述霍夫空间中选择预设夹角范围内的高亮点；
25.根据预设像素值阈值，获取像素值大于所述预设像素值阈值的像素点，所有所述像素点对应的直线为所述边缘特征图的上下两条边缘直线。
26.优选的，所述根据所述第一距离方差，得到第一权重，根据所述第二距离方差，得到第二权重，包括：
27.所述第一权重w1的计算方法：
[0028][0029]
所述第二权重w2的计算方法：
[0030][0031]
其中，σ1表示所述第一距离方差，σ2表示所述第二距离方差。
[0032]
优选的，所述根据各所述第一目标灭点对应的第一偏转角的均值、各所述第二目标灭点对应的第二偏转角的均值、所述第一权重和所述第二权重计算得到最终偏转角，包括：
[0033]
将各所述第一目标灭点对应的第一偏转角的均值、各所述第二目标灭点对应的第二偏转角的均值、所述第一权重和所述第二权重进行加权求和得到所述最终偏转角。
[0034]
优选的，所述根据所述最终偏转角对所述相机的位姿进行调整，包括：
[0035]
所述相机的位姿的调整公式为：
[0036][0037]
其中，ω表示所述最终偏转角，表示相机位姿调整角度，α，β表示优化系数。
[0038]
第二方面，本发明实施例提供了一种基于机器视觉的气密性检测中相机位姿检测
系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于机器视觉的气密性检测中相机位姿检测方法。
[0039]
本发明的技术效果包括：首先获取不同曝光强度下的气密性检测图像，对各气密性检测图像进行两种不同的处理方法，第一种为：关键点提取，并根据关键点得到第一偏转角和第一灭点，第二种为：进行图像边缘检测，并利用霍夫直线检测算法得到边缘直线，最后得到第二偏转角和第二灭点，根据不同曝光强度下的所有第一灭点构成的第一凸包和所有第二灭点构成的第二凸包，获取第一凸包和第二凸包的重合区域中第一目标灭点和第二目标灭点；获取第一目标灭点的第一距离方差和第二目标灭点的第二距离方差，根据第一距离方差和第二距离方差得到第一权重和第二权重，对其进行权重分配，提升了结果的鲁棒性；对第一目标灭点对应的第一偏转角均值、第二灭点对应的第二偏转角均值、第一权重和第二权重进行分析得到最终偏转角，根据最终偏转角对相机的位姿进行调整，通过两种不同的图像处理方式对多个不同曝光强度下的气密性检测图像进行处理，整合两种处理方式得到最终偏转角，避免了人为调整相机位姿带来的误差，进而提升了相机位姿调整角度的准确性。
附图说明
[0040]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0041]
图1为本发明一个实施例所提供的一种基于机器视觉的气密性检测中相机位姿检测方法的方法流程图；
[0042]
图2为本发明一个实施例所涉及的通过关键点提取方式得到第一灭点的示意图；
[0043]
图3为本发明一个实施例所涉及的相机位姿有偏差情况下气密性检测图像中矩形板的四个角点的位置示意图；
[0044]
图4为本发明一个实施例所涉及的相机位姿正常情况下气密性检测图像中矩形板的四个角点的位置示意图。
具体实施方式
[0045]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于机器视觉的气密性检测中相机位姿检测方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0046]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0047]
本发明实施例提供了一种基于机器视觉的气密性检测中相机位姿检测方法及系统的具体实施方法，该方法实施例适用于气缸气密性检测场景。该场景中包括检测池，检测
池由透明玻璃制成，检测池用于气缸气密性检测，本实施例中，检测池为长方体结构。检测池中竖直固定设置有矩形板，其中，矩形板的大小以及长和宽由具体需要进行设置，本实施例中，矩形板的截面是标准的矩形，矩形板的厚度较小，可以等效于二维矩形。矩形板竖直粘贴在检测池的外侧壁上，且矩形板的两个长边水平，两个短边垂直。
[0048]
在采集气密性检测图像时，相机水平固定于对着检测池的设置矩形板的这一侧进行图像采集，采集到的是气密性检测图像包含垂直放置的矩形板的正视图。为了消除固定相机时相机位姿倾斜产生的误差的问题，本实施例利用边缘检测和关键点提取得到灭点的方式，对两种检测方式分配权重，达到了消除相机位姿倾斜产生误差的目的。
[0049]
请参阅图1，其示出了本发明一个实施例提供的基于机器视觉的气密性检测中相机位姿检测方法的方法流程图，该方法包括以下步骤：
[0050]
步骤s100，通过相机获取不同的曝光强度下采集得到的气密性检测图像，所述气密性检测图像中包含竖直放置的矩形板，且所述矩形板的两个长边水平放置，两个短边竖直放置。
[0051]
设置至少两个不同的曝光强度，通过相机获取不同的曝光强度下采集得到的气密性检测图像，那么，各气密性检测图像中均包含放置的矩形板。
[0052]
通过相机获取到的不同的曝光强度下的气密性检测图像均为rgb图像，在本发明实施例中可以
[0053]
将不同曝光强度下采集到的rgb图像进行hsv颜色空间的转换，具体转换过程为：
[0054]
1)将r、g、b的值分别除以255以使归一化。
[0055]
2)转换方程为：
[0056]
r’＝r/255；g’＝g/255；b’＝b/255；
[0057]
cmax＝max(r’，g’，b’)；cmin＝min(r’，g’，b’)；δ＝cmax
‑
cmin
[0058][0059]
其中，r’表示归一化后的r通道，g’表示归一化后的g通道，b’表示归一化后的b通道，h代表色调，s代表饱和度，v代表亮度信息。转换后的hsv图像，本发明中只需要提取亮度v数值即可，其中v的范围为0到1。
[0060]
步骤s200，对所述气密性检测图像中的矩形板进行关键点提取，获取所述矩形板的四个关键点坐标，所述关键点为所述矩形板的四个角点；根据所述四个关键点坐标计算得到所述矩形板的第一偏转角，以及所述矩形板的第一灭点。
[0061]
相机位姿正常情况下，通过相机拍摄得到的图像中，矩形板的上下两个边平行，参见图4所示。然而，在图像成像中，由于成像差异导致在实际气密性检测图像中呈现出来的矩形板上下两条边不平行，矩形板侧截面上下两条边关于中线对称，参见图3所示。而这两条实际中平行的直线由于成像原因导致的图像中的两条不平行直线，即矩形板的上下两个边，最终会交于一点，该类型的点被称为灭点，参见图2所示。
[0062]
需要说明的是，其成像差异的原因在于相机因位姿偏差导致的相机光轴与四个关
键点所在平面不垂直导致的。
[0063]
本发明中通过神经网络来检测矩形板的四个关键点继而得到对应的直线斜率作为矩形板的第一偏转角，神经网络dnn为encoder
‑
decoder的结构，具体训练内容如下：
[0064]
构建encoder
‑
decoder网络。
[0065]
获取样本集，样本集包括多个气密性检测样本图像，具体样本个数由实际需要进行设置，而且，各气密性检测样本图像中，可以只包含矩形板，也可以包含其他部分背景。应当理解，当气密性检测样本图像包含其他部分背景时，就需要对采集到的原始图像进行矩形板roi区域提取或者图像分割，得到矩形板图像。样本集中，可以随机选择样本集的80％作为训练集，剩余的20％作为验证集。
[0066]
并对气密性检测样本图像中的矩形板的四个角点进行关键点标注。关键点标注过程为先在气密性检测图像同等大小的单通道上标注出目标对应的位置点，而后使用高斯核进行处理，使其形成关键点热班。
[0067]
样本集所用标签为关键点标签，即在图像中使用关键点来标注出目标的位置。在本发明实施例中，需要检测的是参见图3所示的矩形板的四个角点。
[0068]
在本发明实施例中损失函数采用的是均方差损失函数。
[0069]
将气密性检测图像输入到训练好的encoder
‑
decoder网络中。
[0070]
获取矩形板的四个关键点坐标(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)后，即第一角点对应第一关键点(x1，y1)，第二角点对应第二关键点(x2，y2)，第三角点对应第三关键点(x3，y3)，第四角点对应第四关键点(x4，y4)。
[0071]
根据第二和第四关键点的坐标差可知，即第一偏转角即第一偏转角同理，也可以根据第一和第三关键点的坐标差计算第一偏转角θ。
[0072]
参见图3所示，根据矩形板上半部分的两个角点坐标(x1，y1)、(x3，y3)和下半部分的两个角点坐标(x2，y2)、(x4，y4)确定两条直线，两条直线的交点记为点p
i
，点p
i
为第一灭点。
[0073]
上述步骤虽然可以得到矩形板偏转角，并进而据此调整相机的位姿，但是仅由关键点提取所确定的矩形板偏转角来调整相机位姿，结果的鲁棒性并不稳定。因为首先关键点网络的检测准确率在单一曝光强度下也无法达到100％，其次在不同的曝光强度下关键点的检测存在不同的偏差。
[0074]
因此本发明实施例还通过另一种边缘检测的方式对矩形板继续进行检测，并通过分析不同曝光强度下两种检测方式的灭点进而得到对应的权重信息，来综合反映出置信度最高的矩形板的最终偏转角。
[0075]
步骤s300，对所述气密性检测图像中的矩形板进行边缘检测，得到所述矩形板的边缘特征图；将所述边缘特征图进行霍夫空间变换，得到所述边缘特征图的上下两条边缘直线、所述矩形板的第二灭点和所述边缘直线的偏转角，作为所述矩形板的第二偏转角。
[0076]
对气密性检测图像中的矩形板进行边缘检测，得到矩形板的边缘特征图，作为一种具体实施方式，先对气密性检测图像进行矩形板roi区域提取，得到矩形板roi区域。
[0077]
然后，对矩形板roi区域进行灰度图转换，采用canny边缘检测算法进行计算，得到
矩形板的边缘特征图。由于canny边缘检测算法是常规算法，以下简单进行介绍：
[0078]
1)使用高斯矩阵乘以图像中每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值。
[0079]
2)通过点乘一个sobel或其他算子得到不同方向的梯度值g
x
(m，n)，g
y
(m，n)。
[0080]
3)过滤非极大值。即过滤不是边缘的点，使边缘的宽度尽可能为一个像素点。如果一个像素点属于边缘则这个像素点在梯度方向上的梯度值是最大的，否则不是边缘，将其灰度值设为0。
[0081]
4)设置两个阈值，分别为maxval，minval。其中大于maxval的均视为边缘，而低于minval的均视为非边缘。对于中间的像素点，如果与确定为边缘的像素点邻接则定为边缘，否则为非边缘。
[0082]
此时，得到的边缘特征图中除了矩形板的边缘信息，还包含其他边缘信息，而本发明中仅需得到矩形板上下两侧的边缘信息。
[0083]
然后，将得到的边缘特征图中的像素点变换到霍夫空间，利用霍夫空间中的高亮点得到矩形图的上下两条边缘直线。具体的：
[0084]
将边缘特征图中的每个像素点变换到霍夫空间，即笛卡尔直角坐标系中的一点对应霍夫空间中的一条曲线。
[0085]
霍夫空间内曲线交点最亮的极坐标点(θ，r)即代表图像中的多个像素点位于同一条直线。
[0086]
边缘特征图转换到霍夫空间后，在霍夫空间中选择预设夹角范围内的高亮点，霍夫变换空间中的每个像素值的大小代表该参数确定的直线上像素点的多少。在本发明实施例中，预设夹角范围为0～45
°
范围内。
[0087]
预设像素值阈值u，根据预设像素值阈值u，获取像素值大于预设像素值阈值u的像素点，该像素值大于预设像素值阈值u的像素点表示确定的直线的像素点比较多，则所有大于预设像素值阈值u的像素点对应的直线为所需的边缘特征图的上下两条边缘直线。预设像素值阈值u由实际需要进行设置，在本发明实施例中，预设像素值阈值u由边缘特征图内所有边缘直线像素数目的均值确定。
[0088]
根据霍夫空间变换得到边缘特征图内的上下两条边缘直线的边缘直线对应的偏转角作为矩形板的第二偏转角，即确定得到的像素点的极坐标点中的θ为第二偏转角；上下两条边缘直线的相交点为矩形板的第二灭点，就可以得到第二灭点的坐标。
[0089]
因此，通过上述过程可以得到各气密性检测图像对应的第一灭点和第二灭点，以及第一偏转角和第二偏转角。
[0090]
步骤s400，根据各所述气密性检测图像对应的第一灭点，获取所述第一灭点对应的第一凸包；根据各所述气密性检测图像对应的第二灭点，获取所述第二灭点对应的第二凸包。
[0091]
根据已有的凸包获取算法，以及各气密性检测图像对应的第一灭点，得到第一灭点对应的第一凸包；同理，根据已有的凸包获取算法，以及各气密性检测图像对应的第二灭点，得到第二灭点对应的第二凸包。凸包获取算法为现有算法，不再赘述。应当理解，得到的凸包为包含对应灭点的最小凸包。
[0092]
步骤s500，获取所述第一凸包和所述第二凸包的重合区域，并获取所述重合区域
内的灭点对，所述灭点对包括同属于一张气密性检测图像的第一灭点和第二灭点，得到各所述灭点对的第一目标灭点和第二目标灭点。
[0093]
根据第一凸包和第二凸包，获取第一凸包和第二凸包的重合区域。对于任意一个气密性检测图像而言，对应有一个第一灭点和一个第二灭点，因此，将同属于一张气密性检测图像(即属于同一曝光强度下的气密性检测图像)的第一灭点和第二灭点称为一对灭点对。那么，重合区域中的各第一灭点和各第二灭点就会有两种情况：第一、第一灭点和第二灭点成对出现，第二、第一灭点或者第二灭点是不成对灭点。
[0094]
将重合区域中的不成对灭点进行舍弃(即在重合区域内如果某一个灭点对只有单独对应的第一灭点或者第二灭点，则将其舍弃)，将重合区域内的灭点对进行保留，就得到至少一个灭点对，重合区域内存在的各灭点对中的第一灭点定义为第一目标灭点，第二灭点定义为第二目标灭点。进一步剔除数据中不稳定的点，增加结果的鲁棒性。
[0095]
需要说明的是，获取重合区域是保证在重合区域下所对应的曝光强度是鲁棒性较好的范围，而超过该区域的其他曝光强度则会较大程度的降低结果的鲁棒性。重合区域外的灭点说明只能用两种检测方式中的一种才能准确计算出对应曝光强度下的偏转角，但是单一方式下的结果鲁棒性并不好。
[0096]
步骤s600，根据各所述第一目标灭点，得到第一距离方差，根据各所述第二目标灭点，得到第二距离方差；根据所述第一距离方差，得到第一权重，根据所述第二距离方差，得到第二权重。
[0097]
计算第一目标灭点的第一距离方差和第二目标灭点的第二距离方差。需要说明的是，方差越小说明对应的检测方式越稳定，所分配的权重越高。
[0098]
根据各第一目标灭点，得到第一目标灭点的第一距离方差，由于根据多个点的坐标计算这些点的距离方差的计算过程属于常规计算过程，不再赘述。同理，根据各第二目标灭点，得到第二目标灭点的第二距离方差。
[0099]
设关键点提取计算第一偏转角的方式下所求得的第一距离方差为σ1，边缘检测计算第二偏转角的方式下所求得的第二距离方差为σ2。根据第一距离方差σ1，得到第一权重，根据第二距离方差σ2，得到第二权重，其中
[0100]
第一权重w1的计算方法：
[0101][0102]
第二权重w2的计算方法：
[0103][0104]
步骤s700，根据各所述第一目标灭点对应的第一偏转角的均值、各所述第二目标灭点对应的第二偏转角的均值、所述第一权重和所述第二权重计算得到最终偏转角。
[0105]
由于一个第一目标灭点和一个第二目标灭点对应一个气密性检测图像，一个气密性检测图像对应一个第一偏转角和第二偏转角，则一个第一目标灭点对应一个第一偏转角，一个第二目标灭点对应一个第二偏转角，则计算第一目标灭点对应的第一偏转角的均值和第二目标灭点对应的第二偏转角的均值。
[0106]
将各第一目标灭点对应的第一偏转角的均值、各第二目标灭点对应的第二偏转角
的均值、第一权重和第二权重进行加权求和得到最终偏转角。
[0107]
最终偏转角ω的计算公式为：
[0108]
ω＝w1·
ω1+w2·
ω2[0109]
其中，w1表示第一权重，w2表示第二权重，ω1表示第一偏转角的均值，ω2表示第二偏转角的均值。
[0110]
步骤s800，根据所述最终偏转角对所述相机的位姿进行调整。
[0111]
将实际得到的最终偏转角ω输入到调整模型中，得到相机的位姿调整角度相机的位姿的调整模型为：
[0112][0113]
其中，ω表示最终偏转角，表示相机位姿调整角度，α、β表示优化系数。
[0114]
其中，α、β可以根据实际需要进行设置，或者，获取多组历史数据，多组历史数据包括历史最终偏转角和对应的相机位姿调整角度，通过多组历史数据进行曲线拟合，得到调整模型，也就得到了上述中的优化系数α、β。
[0115]
需要说明的是，本发明实施例中选取矩形板的偏转角来代表不同光照强度下的图像倾斜角。是因为首先矩形板位于气密性检测容器的中间部分，且相机也固定在该部位附近，对于图像倾斜角具有典型的代表性；其次光源也是固定在矩形板附近，因此对于反应图像亮度也有很强的代表性。
[0116]
最后根据最终偏转角ω的角度大小来进行相机的位姿调整，常用方法如直接根据图像偏转角度调整相机摆放角度等均为公知内容，不是本发明的重点，因此不再过多赘述。
[0117]
综上所述，本发明实施例利用机器视觉，利用关键点提取和边缘检测两种方法进行偏转角计算，分析两种提取方式的准确程度，对其进行权重分配，进而提升了结果的鲁棒性。根据所分配的权重和两种方式所获得的偏转角进行分析，得到最终偏转角，根据最终偏转角进行相机位姿调整，避免了人为调整相机位姿带来的误差，进而提升了相机位姿调整角度的准确性。
[0118]
一种基于机器视觉的气密性检测中相机位姿检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。由于一种基于机器视觉的气密性检测中相机位姿检测方法在上述给出了详细描述，不再赘述。
[0119]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0120]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0121]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。