一种基于单目相机的复杂场景下螺栓松动角度检测方法与流程

1.本发明属于智能检测技术领域，具体涉及一种基于单目相机的复杂场景下螺栓松动角度检测方法。


背景技术：

2.螺栓作为现代工业标准紧固件的典型，在航海船舶、作战坦克、航空航天等领域起着至关重要的作用。但由于所紧固结构件作业时的机械振动或铸造材料缺陷，难免会使螺栓产生松动的失效情况，造成难以估量的损失。为确保螺栓安全有效服役，有足够的预紧力实现紧固，对螺栓的松动检测显得尤为重要。相比于传统人工或接触式方法巡检检测，通过对存在螺栓结构的图像进行图像处理及分析方法定量检测螺栓松动情况，具有非接触、可追溯、智能化开发程度高等优势，符合国家对于智能制造的发展战略。在螺栓实际的服役场景中，由于被紧固的结构件上的螺栓目标本身可能具有不同的尺寸等级，紧固的方向随着所需施加力的方向而难以统一，检测场景复杂亦可能还存在不可避免的障碍物遮挡、杂乱背景、光照噪声干扰等缺陷，必然造成视觉识别及检修任务难度的陡然上升。现有技术领域在算法上通常采用的深度学习和一系列迭代算法存在计算成本高，程序设计复杂等劣势；现有的螺栓定位方法局限在二维平面，鲜有对螺栓三维空间的位姿识别研究；硬件门槛上通常使用的双目或深度相机等设备，也因为成本过高无法做到匹配智能工业检测低成本的行业优势。
3.其中，cn111932516a公开了基于图像处理的免标识物双螺母六角螺栓松弛检测系统，但该系统需要将图像采集器安装在待监测螺栓群的正上方，对应s6中识别圆形特征，检测场景单一且要求严苛，没有考虑到实际检测场景中螺栓方向不一的情况，缺少普适性。cn110910350a公开了一种用于风电塔筒的螺母松动检测方法，该方法未充分利用了螺栓形状中的几何特征，需要进行大量的模型训练过程，识别的复杂度高。
4.如何充分利用螺栓外形的几何特征，简化识别算法复杂度的同时增加检测场景的多样性，实现复杂场景下螺栓松动角度检测成为了目前急需解决的问题。


技术实现要素：

5.本发明针对现有研究对螺栓松动角度检测的不足提出了基于单目相机的复杂检测场景螺栓松动角度检测方法，其能够实现仅通过单目相机获取的二维图像下螺栓头部的圆弧形特征定量得到螺栓的三维位置及姿态，从而得到螺栓的松动角度。该发明可用于螺栓服役工况下存在螺栓未被遮挡或被遮挡等一系列复杂环境干扰下的螺栓松动角的定量或定性检测。
6.为了解决上述技术问题，本发明公开了一种基于单目相机的复杂检测场景螺栓松动角度检测方法，所述方法包括：
7.步骤(1)，利用单目相机取得螺栓松动前和松动后头部圆形特征未被遮挡或被遮挡的二维图像；
8.步骤(2)，采用弧支撑线段方法对步骤(1)获得的所述二维图像进行椭圆检测；
9.步骤(3)，结合步骤(2)检测得到的椭圆及标准的螺栓尺寸，对图像中螺栓头部特征圆进行空间圆重投影计算，得到空间圆相对相机坐标系的位姿；
10.步骤(4)，结合螺栓松动前和松动后，只存在沿轴向方向位移且法向量不变的特性，对螺栓位姿确定及螺栓出动量的求解，以解决步骤(3)计算得到的空间圆存在二义性的问题；
11.步骤(5)，结合步骤(4)得到的螺栓松动前和松动后相对相机坐标系的其头部特征圆姿态与中心点位置，并利用标准螺栓相对基座的出动量和实际转动量之间的定量关系，解算得到螺栓松动的角度。
12.进一步地，所述步骤(4)中所述螺栓位姿确定及螺栓出动量的求解包括如下步骤：
13.(4.1)记松动前螺栓坐标系为o
b-xbybzb，松动后螺栓坐标系为o
′
b-x
′by
′bz
′b，记松动前螺栓头部空间圆重投影计算得到的相对相机坐标系o
c-xcyczc位置及姿态分别为(x
fi
,y
fi
,z
fi
),(n
xfi
,n
yfi
,n
zfi
)，
14.记松动后螺栓头部空间圆重投影计算得到的相对相机坐标系o
c-xcyczc位置及姿态分别为(x
li
,y
li
,z
li
),(n
xli
,n
xli
,n
zli
)，其中，i取值为1或2；i取值1或2对应两组解，所述两组解中仅有一组解为真实解，另一组解为虚假解；
15.(4.2)在螺栓松动前坐标系o
b-xbybzb与螺栓松动后坐标系o
′
b-x
′by
′bz
′b仅存在沿zb的位移，记为将螺栓松动前和松动后的空间圆相对相机坐标系o
c-xcyczc的法向量关系表示为
16.(n
xfi
,n
yfi
,n
zfi
)＝k*(n
xli
,n
yli
,n
zli
),k≠0
17.验证o
c-xcyczc位置及姿态与o
c-xcyczc位置及姿态中的法向量是否符合o
c-xcyczc的法向量关系的约束条件，满足则记为真实解，不满足作为虚假解剔除；真实解中i值记为t，同样的螺栓松动前后坐标系相对相机坐标系的位置分别记为和
[0018][0019]
将真实解对应的法向量对应的姿态角记为式(18)：
[0020][0021]
(4.3)将螺栓松动前坐标系相对相机坐标系的位姿转换式表示为式(19)：
[0022][0023]
其中表示螺栓松动前坐标系在相机坐标系下的位置，由于螺栓松动前后仅存在沿zb轴正方向上的位移，即相对基座的出动量，记为δz,δz＞0，因此螺栓松动后坐标系原点o
′b在螺栓松动前坐标系o
b-xbybzb下的坐标记为式(20)：
[0024][0025]
螺栓松动前后坐标系相对相机坐标系的位置矢量与螺栓松动后坐标系相对螺栓松动前坐标系的位置矢量的关系记为式(21)：
[0026][0027]
将螺栓松动前坐标系o
b-xbybzb中原点ob代入螺栓松动前坐标系相对相机坐标系的位姿转换式中，得到式(22)，
[0028][0029]
将螺栓松动后坐标系中原点o
′b代入螺栓松动前坐标系相对相机坐标系的位姿转换式中，得到式(23)：
[0030][0031]
结合式(21)，将式(22)与式(23)相减得到式(24)：
[0032][0033]
结合螺栓坐标系相对于相机坐标系的姿态转换关系和式(18)将式(24)具体记为式(25)
[0034][0035]
将式(25)进行变换可得螺栓相对基座的出动量记为式(26)：
[0036][0037]
作为本发明的进一步限定方案，步骤(5)定量得到螺栓的松动角的具体步骤为：
[0038]
(5.1)待检测的螺栓为标准件，视为刚体，所述螺栓相对基座的出动量δz和绕自身轴线旋转的松动量δθ存在定量关系，记为式(27)：
[0039][0040]
其中d为螺距，螺距可对应由所检测螺栓的标准型号取得；
[0041]
(5.2)结合式(26)和式(27)得到螺栓的松动量为式(28)：
[0042][0043]
本发明具有如下有益效果：与传统的使用接触式方法测量螺栓松动角度相比，本发明所提出的方法仅采用单目相机采集螺栓头部圆弧特征图像的方式就可以确定螺栓位姿及松动前后的角度变化。与相关的基于视觉的检测螺栓松动角度的方法既保留了非接触式检测的相关优势，又结合螺栓的标准物理尺寸将松动量检测问题转化为出动量检测问题，降低了检测计算程序的复杂度，且仅利用单目相机采集的二维图像结合对应算法即可完成检测，极大得降低了设备的成本门槛。因此该方法对于检测效率、测量速度和测量范围都远远高于传统的接触式检测方法，且在计算成本、环境耐抗性和软硬件要求方面低于其余的视觉检测方法，这些对于螺栓安全稳定服役的检测闭环而言都是极为关键的改进。
附图说明
[0044]
图1是本发明一种基于单目相机的复杂场景下螺栓松动角度检测方法的整体流程图；
[0045]
图2是本发明一种基于单目相机的复杂场景下螺栓松动角度检测方法的图像采集示意图；
[0046]
图3是本发明一种基于单目相机的复杂场景下螺栓松动角度检测方法的椭圆检测流程图；
[0047]
图4是本发明一种基于单目相机的复杂场景下螺栓松动角度检测方法的椭圆检测结果示意图；
[0048]
图5是本发明一种基于单目相机的复杂场景下螺栓松动角度检测方法的圆锥曲线透视投影模型图；
[0049]
图6是本发明一种基于单目相机的复杂场景下螺栓松动角度检测方法的螺栓松动前后坐标系转换关系示意图；
[0050]
图7是本发明一种基于单目相机的复杂场景下螺栓松动角度检测方法的螺栓松动时出动量和转动量示意图；
具体实施方式
[0051]
下面通过实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
[0052]
应当理解，本文所使用的诸如“具有”，“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
[0053]
实施例1
[0054]
现结合附图对本发明作进一步描述，请参考图1-7所示，本发明基于单目相机的复杂场景下螺栓松动角度检测方法的主要步骤为：
[0055]
步骤1，请参考图2，利用单目相机取得螺栓松动前头部圆形特征未被遮挡或被遮挡的二维图像组image_former及松动后头部圆形特征未被遮挡或被遮挡的二维图像组image_latter。
[0056]
步骤2，采用弧支撑线段(arc-support line segments,简称asls)方法对进行步骤1图像组进行椭圆检测。
[0057]
步骤2-1，由于原理上均是对图像中的椭圆进行识别检测，则可先对一单一图像中的椭圆检测，之后可参照测检测方法对其余的图片进行椭圆检测。将步骤1取得的螺栓头部圆形特征通过弧支撑线段(arc-support line segments,简称asls)方法进行处理，算法流程如图3所示(具体实现步骤见：arc-support line segments revisited:an efficient andhigh-quality ellipse detection)。椭圆检测结果请参考图4。
[0058]
步骤2-2，取得步骤2-1处理后识别得到的椭圆e，并标出其中心及长短轴，并得到其相对像素坐标系的方程为
[0059]
g(u,v)＝au2+bv2+cuv+du+ev+f＝0 (1)
[0060]
步骤3，结合步骤2检测得到的椭圆和标准的螺栓尺寸，对图像中螺栓头部圆特征进行空间圆重投影计算，得到空间圆相对相机坐标系的位置及姿态。
[0061]
步骤3-1，为了研究的方便，请参考图5，建立圆锥曲线透视投影模型，建立螺栓坐标系o
b-xbybzb，其中令螺栓头部圆特征的法向量(几何上即为螺栓的轴线)为螺栓坐标系o
b-xbybzb中的zb轴，相机坐标系o
c-xcyczc，图像坐标系o-xy，像素坐标系o
p-uv，相机成像平面m。
[0062]
步骤3-2，请参考图5，获取由步骤2得到的椭圆e在像素坐标系下的参数方程为
[0063]
g(u,v)＝au2+bv2+cuv+du+ev+f＝0
ꢀꢀ
(2)
[0064]
将像素坐标系下椭圆e结合相机坐标系，代入如下投影变换
[0065][0066]
其中(u0,v0)为像素坐标系的中心位置，(f
x
,fy)是图像坐标系x与y方向的焦距。得到过相机坐标系中心oc与椭圆e构造唯一确定的圆锥曲面c，参数方程为
[0067][0068]
其中
[0069][0070]
步骤3-2，将式(4)以二次型形式表示得到
[0071][0072]
由于q是一个是对称矩阵，于是可将其分解为下式
[0073][0074]
其中，p是标准正交矩阵，构成其的列向量{e
1 e
2 e3}对应q的特征矩阵；λ为对角矩阵，其对角线上的元素对应q的特征值。
[0075]
步骤3-3，令[x
′
c y
′
c z
′c]＝[x
c y
c zc]p，相当于将相机坐标系以p为旋转矩阵绕相机坐标系原点旋转至一个新的坐标系o
c-xcyczc，在此坐标系下，圆锥曲面的表达式为：
[0076]
c(x
′
c2
,y
′
c2
,z
′
c2
)＝λ1x
′
c2
+λ2y
′
c2
+λ3z
′
c2
＝0
ꢀꢀꢀꢀꢀ
(8)
[0077]
由于新坐标系下的圆锥曲面c与椭圆锥标准方程
[0078][0079]
类似，因此结合标准椭圆锥的性质与标准螺栓头部空间圆的真实半径r得到相对o
′
c-x
′cy
′cz
′c坐标系下椭圆e对应的空间圆圆心及法向量为：
[0080][0081]
步骤3-4，将步骤3-3求得的相对o
′
c-x
′cy
′cz
′c坐标系下椭圆e对应的空间圆圆心及法向量转换至相机坐标系o
c-xcyczc，转换关系如下：
[0082][0083]
步骤3-5，由于法向量与螺栓坐标系中的zb重合，结合式(11)中的法向量，与螺栓坐标系相对于相机坐标系的姿态转换关系(由于空间圆的对称性，忽略自身对称轴的偏航角)
[0084]
[0085]
其中，是螺栓坐标系到相机坐标系的姿态转换矩阵，θ为俯仰角，为滚转角。以俯仰角θ与滚转角来描述步骤3-4中空间圆的姿态角为
[0086][0087]
步骤4，结合螺栓松动前后，只存在沿轴向方向位移且法向量不变的特性，去除步骤3计算得到的空间圆存在二义性的问题。
[0088]
步骤4-1，请参考图6，记松动前螺栓坐标系为o
b-xbybzb，松动后螺栓坐标系为ob′‑
xb′
yb′
zb′
，记松动前螺栓头部空间圆重投影计算得到的相对相机坐标系o
c-xcyczc位置及姿态为
[0089][0090]
，存在两组解。记松动后螺栓头部空间圆重投影计算得到的相对相机坐标系o
c-xcyczc位置及姿态为
[0091][0092]
需要注意的是式(14)与式(15)中的解一一对应，即式(14)中的solution1与式(15)中的solution1对应可作为螺栓松动前后的位姿的一组解，两组解中仅有一组解为真实解，另一组解为虚假解，下文中的解亦是如此。
[0093]
步骤4-2，由于螺栓松动前后仅存在相对其轴线的位移，在相机坐标系o
c-xcyczc中即空间圆仅存在相对其法向量的位移，在螺栓松动前坐标系o
b-xbybzb与螺栓松动后坐标系ob′‑
xb′
yb′
zb′
仅存在沿zb的位移，记为而空间圆相对相机坐标系o
c-xcyczc的姿态未发生改变，即其变化前后的法向量平行，则不妨可将螺栓松动前后其上的空间圆相对相机坐标系o
c-xcyczc的法向量关系表示为
[0094]
(n
xf1
,n
yf1
,n
zf1
)＝k*(n
xl1
,n
yl1
,n
zl1
),k≠0 (16)
[0095]
验证式(14)与式(15)中的法向量是否符合条件式(16)的约束条件，若满足则solution1作为真实解，solution2作为虚假解剔除；若不满足则，solution1作为虚假解剔除，solution2作为真实解。为后续表述方便不妨设solution1作为真实解。同样的螺栓松动前后坐标系相对相机坐标系的位置
[0096][0097]
并结合式(13)将真实法向量对应的姿态角记为
[0098][0099]
步骤4-3，由于螺栓松动前坐标系相对相机坐标系不仅存在姿态变换，亦存在平移变换，则可将螺栓松动前坐标系相对相机坐标系的位姿转换表示为
[0100][0101]
其中表示螺栓松动前坐标系在相机坐标系下的位置。由于螺栓松动前后仅存在沿zb轴正反向上的位移，即相对基座的出动量，记为δz＞0，因此螺栓松动后坐标系原点ob′
在螺栓松动前坐标系o
b-xbybzb下的坐标可记为
[0102][0103]
请参考图4，得到螺栓松动前后坐标系相对相机坐标系的位置矢量，与螺栓松动后坐标系相对螺栓松动前坐标系的位置矢量的关系为
[0104][0105]
将螺栓松动前坐标系o
b-xbybzb中原点ob代入式(19)中，有
[0106][0107]
将螺栓松动后坐标系中原点ob′
代入式(19)中，有
[0108][0109]
结合式(21)，将式(22)与式(23)相减得到
[0110][0111]
结合式(12)和式(18)将式(24)具体写为
[0112][0113]
将式(25)进行变换可得螺栓相对基座的出动量为
[0114][0115]
步骤5，结合步骤4得到的螺栓松动前后相对相机坐标系的其头部圆形特征姿态与中心点位置，并利用标准螺栓相对基座的出动量和实际转动量之间的定量关系，解算得到螺栓松动的角度。
[0116]
步骤5-1，请参考图7，首先由于所检测的螺栓为标准件，且可视为刚体，其相对基座的出动量δz和绕自身轴线旋转的松动量δθ存在定量关系，记为
[0117][0118]
其中d为螺距。螺距可对应由所检测螺栓的标准型号取得。因此可对螺栓的松动量检测问题转换为螺栓的出动量检测问题，结合了螺栓的标准尺寸，简化了检测过程。
[0119]
步骤5-2，结合式(26)和式(27)得到螺栓的松动量为
[0120][0121]
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的实施例。