一种基于单目RGB图像的螺栓姿态估计方法

本发明属于计算机视觉领域，特别涉及一种基于单目rgb图像的螺栓姿态估计方法。

背景技术：

1、《“十四五”智能制造发展规划》指出，深入实施智能制造工程，发展智能制造系统解决方案，构建虚实融合、知识驱动、动态优化、安全高效的智能制造系统。在制造业中，计算机视觉专注于创建可以捕获、处理并因此理解来自物理世界视觉输入的人工系统，以引发适当的反应并协助人类完成各种与生产相关的任务，为操作人员或控制机构提供导航、抓取和其它与环境交互相关的位置信息。

2、在离散制造生产线中，控制机械臂抓取并旋扭螺栓是一项相对复杂的任务。机械臂在运动过程中需要计算机视觉信息进行导航，并实时向控制端提供目标螺栓的位置与姿态信息，因而需要一种可部署于工业制造场景的螺栓姿态检测算法。目前，基于物体二维关键点的单目rgb姿态检测方法已经取得了长足的进展。这类方法首先检测物体所有二维关键点的位置，然后通过待检测目标的cad模型与dlt(直接线性变换)算法建立2d-3d对应关系，实现对物体六自由度姿态的检测。但是，这类方法在应用于螺栓目标时仍然面临挑战:①螺栓目标尺寸较小，在分辨率为400×400的图像中最小占比可达40×40像素，其特征提取过程易受到背景信息和下采样操作影响，现有的方法无法有效利用其图像中的语义信息。②现有的姿态检测方法往往将目标定位作为上游任务，而将关键点检测作为对应下游任务。当图中出现多个目标物体时，由于推理过程中缺少关键点与其所属物体之间的联系，这一流程不利于将关键点与其所属物体进行正确匹配。③对于形如六角螺栓等具有多重旋转对称性的物体，由于从不同方位可能产生相同的观察结果，如何唯一地预测对称物体的姿态是这类算法所面临的主要问题之一。

技术实现思路

1、针对以上现有技术存在的缺陷和不足，提供一种基于单目rgb图像的螺栓姿态估计方法，解决现有相关姿态检测方法对于多目标、小型目标检测效果差，以及无法处理具有对称性的物体的问题。

2、本发明申请所提解决方案如下：

3、一种基于单目rgb图像的螺栓姿态估计方法，该方法的步骤包括：

4、s11，获取8k-10k张分辨率为400×400的包含螺栓目标的rgb图像，同时将包含螺栓目标的rgb图像中的每个螺栓相对于相机坐标系的旋转矩阵、平移矩阵以及对应二维关键点坐标作为姿态真实值，以图像-姿态标签对的形式保存，作为网络训练数据集；每张图像中分别包含不多于10个的随机数量、位姿的螺栓目标，用于网络训练；

5、s12，将步骤s11中获取的rgb图像输入至特征提取网络中得到大小为128×50×50的高维特征图；

6、将rgb图像输入至特征提取网络中得到低维特征图，低维特征图经过特征提取网络中的每一个特征模块时进行通道升维卷积、通道注意力筛选、通道降维卷积，低维特征图在前向传播过程中与旁路输出的深层特征进行特征融合；

7、s13，将步骤s12得到的高维特征图输入卷积姿态网络模块中，得到螺栓目标对应二维关键点的9张置信图与16张亲和力图，置信图中的峰值出现的位置为候选关键点；

8、所述螺栓目标的9个关键点分别对应一张置信图，螺栓目标除中心点以外的8个关键点分别对应两张亲和力图，置信图与亲和力图共同作为从rgb图像中提取的二维关键点特征；

9、将高维特征图输入卷积姿态网络模块中时，卷积姿态网络模块通过姿态标签生成的二维关键点置信图的真实值与亲和力图真实值计算网络损失，将计算得到的网络损失反向传播并更新网络参数；

10、s14，结合步骤s13中得到的亲和力图对得到的候选关键点使用启发式算法进行搜索，得到螺栓目标的二维关键点坐标；

11、s15，将步骤s14搜索到的螺栓目标的二维关键点坐标与已知待检测螺栓cad模型通过直接线性变换算法求解螺栓目标关键点的2d-3d对应关系，得到螺栓目标的6自由度姿态，螺栓目标的6自由度姿态表示为螺栓目标相对于相机坐标系的旋转矩阵与平移矩阵，完成基于单目rgb图像的螺栓姿态估计；

12、所述的步骤s12中，特征提取网络用于提取输入的rgb图像的特征，特征提取网络由5个特征模块m1、5个特征模块m2、特征模块bottom和特征模块top组成；

13、特征模块m1由3个升降通道卷积模块与1个通道注意力模块串联构成，3个升降通道卷积模块分别为升降通道卷积模块1-1、升降通道卷积模块1-2和升降通道卷积模块1-3，3个升降通道卷积模块与1个通道注意力模块串联时的顺序为升降通道卷积模块1-1、升降通道卷积模块1-2、通道注意力模块、升降通道卷积模块1-3；

14、特征模块m2由3个升降通道卷积模块与1个通道注意力模块串联构成，3个升降通道卷积模块分别为升降通道卷积模块2-1、升降通道卷积模块2-2和升降通道卷积模块2-3，3个升降通道卷积模块与1个通道注意力模块串联时的顺序为升降通道卷积模块2-1、升降通道卷积模块2-2、通道注意力模块、升降通道卷积模块2-3；

15、特征模块bottom由3个升降通道卷积模块与1个通道注意力模块串联构成，3个升降通道卷积模块分别为升降通道卷积模块3-1、升降通道卷积模块3-2和升降通道卷积模块3-3，3个升降通道卷积模块与1个通道注意力模块串联时的顺序为升降通道卷积模块3-1、升降通道卷积模块3-2、通道注意力模块、升降通道卷积模块3-3；

16、特征模块top为升降通道卷积模块；

17、特征提取网络的构建方法为：

18、特征模块bottom是特征提取网络的首个特征模块，特征模块bottom与第一个特征模块m1相连接。5个特征模块m1在纵向进行堆叠，每个特征模块m1在横向串联一个特征模块m2，每个特征模块m2均会输出深层特征信息，输出的深层特征信息与对应的特征模块m1的输出进行元素级相加作为下一个特征模块m1的输入特征图；最后一个特征模块m1与特征模块top相连，特征模块top作为特征提取网络的末端特征模块；

19、所述升降通道卷积模块由卷积层、批归一化层与swish激活函数串联构成，作为特征模块的基本结构；

20、所述通道注意力模块用于对当前输入特征图进行全局池化得到尺寸为1×1通道数的特征向量，并将特征向量作为通道权重与当前输入特征图相乘达到通道筛选效果；

21、所述升降通道卷积层1-1、升降通道卷积层2-1、升降通道卷积层3-1用于增加特征通道数，所述升降通道卷积层1-3、升降通道卷积层2-3、升降通道卷积层3-3用于减少特征通道数；

22、所述的步骤s13中，卷积姿态网络模块用于预测螺栓目标的二维关键点的置信图与亲和力图，卷积姿态网络模块中包括5个关键点预测模块，分别为关键点预测模块1、关键点预测模块2、关键点预测模块3、关键点预测模块4、关键点预测模块5，关键点预测模块1包括两个预测通道，分别用于预测二维关键点置信图与亲和力图，每个预测通道均包括2个特征模块m1。关键点预测模块2包括两个预测通道，分别用于预测二维关键点置信图与亲和力图，每个预测通道均包括4个特征模块m1。关键点预测模块2、关键点预测模块3、关键点预测模块4和关键点预测模块5的结构相同；

23、将高维特征图分别输入至5个关键点预测模块中，均输出尺寸为9×50×50的置信图与尺寸为16×50×50的亲和力图，将第一个关键点预测模块的输出与特征提取网络输出的高维特征图进行元素级相加，共同作为下一个关键点预测模块的输入特征，将最后一个关键点预测模块输出的信念图与亲和力图作为最终预测结果；

24、所述的置信图表示螺栓目标2d关键点位置的概率分布；

25、所述的螺栓目标二维关键点置信图的真实值以螺栓目标二维关键点位置为基础生成，生成方法为：

26、初始化第k个关键点置信图的真实值为：

27、

28、令表示坐标(i,j)处与第n个螺栓目标的第k个关键点(i(k,n),j(k,n))的相关性大小，ε＝8为超参数；令遍历关键点置信图mkblf中的元素；

29、重复上述步骤，直至获得9个关键点的置信图的真实值m1blf,m2blf…m9blf；

30、所述的亲和力图是螺栓目标二维关键点对于该二维关键点所属螺栓目标的二维中心点的特征表示，亲和力图真实值的构建方法为：

31、初始化第k个关键点对应的两张关键点亲和力图真实值为：

32、

33、获取所有螺栓目标的第k个关键点构成的点集：

34、

35、其中,表示第n个螺栓目标的第k个关键点坐标，令表示第n个螺栓目标中心点坐标，所述亲和力图的真实值表示为：

36、

37、

38、重复上述步骤，得到共16张亲和力图真实值

39、所述的步骤s13中，训练过程网络损失由所述卷积姿态网络模块5个输出的置信图与亲和力图计算得到，计算网络损失的方法为：

40、网络损失函数表示为：

41、

42、其中，分别表示在第q个卷积姿态网络模块上的置信图与亲和力场损失，对于每个卷积姿态网络模块，与的计算方式为：

43、

44、

45、

46、

47、其中，分别表示网络对于第k个关键点置信图的预测值与置信图真实值；分别表示网络对于第k个关键点对应的亲和力图的预测值与真实值，表示第k个关键点对应的两张亲和力图的预测值，表示第k个关键点对应的两张亲和力图的真实值，k＝1,2,…,9，γ＝50为置信图与亲和力图的分辨率，表示物体第k个3d关键点绕螺栓目标|θ|重对称轴旋转的λ倍后在二维平面上投影对应的置信图，表示物体第k个3d关键点绕螺栓目标|θ|重对称轴旋转的λ倍后在二维平面上投影对应的的两张亲和力图。对于螺栓目标，对称轴重数|θ|＝6，取最后一个阶段输出的置信图作为结果，将该图上置信度峰值出现的位置标记为候选关键点；

48、所述的步骤s14中，对所述候选关键点进行启发式搜索，并将候选关键点分配至对应所属螺栓目标，启发式搜索方法为：

49、获取所述卷积姿态网络模块对第k个关键点预测结果的全部m个候选关键点集合：

50、

51、获取候选关键点在亲和力图预测结果中相应位置的特征向量：

52、

53、其中，表示第m个候选点坐标在对应的两张亲和力图中相应位置的特征值构成的特征向量；

54、对于第n个螺栓目标，第k个关键点坐标为：

55、

56、其中，表示所述卷积姿态网络模块对第n个螺栓目标中心点的预测结果，δ＝0.5为超参数；

57、重复上述步骤，直至获取所有n个螺栓目标的k个关键点坐标；

58、一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现基于单目rgb图像的螺栓姿态估计方法。

59、一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现基于单目rgb图像的螺栓姿态估计方法。

60、有益效果

61、(1)本技术提出一种基于单目rgb图像的螺栓姿态估计方法，该方法改善了目前相关方法在螺栓姿态检测过程中存在的缺陷。

62、(2)针对现有姿态检测方法普遍对小目标特征提取效果较差的问题，设计了具有高分辨率和通道注意力机制的特征提取网络模块。为融合不同深度特征层之间的语义信息，网络的主干部分在前向传播中通过横向连接组成网状结构。为避免网络前向传播时存在大量无关冗余特征图，使网络关注于检测目标本身，在网络中引入了通道注意力模块。该模块使用一个旁路网络获取输入特征中每个通道的重要程度，并依据重要性赋予每个通道权重。并且，为了保持特征分辨率，网络尽量避免使用下采样操作(如步长为2的卷积层或池化层)，使特征图分辨率在整个网络模块计算过程中始终不低于50×50。相较于resnet、vgg等基准特征提取网络，本技术所提网络结构可明显提高模型对于螺栓目标语义信息的利用率。

63、(3)现有方法普遍缺少有效的关键点与其所属物体匹配策略。针对该问题，本技术提出通过卷积姿态网络预测关键点的亲和力图。亲和力图是关键点与其对应螺栓中心点之间的特征表示，用于筛选和判断检测到的关键点的物体归属。对于关键点(i,j)与其所属螺栓中心点(i0,j0)，其亲和力特征表示为当前螺栓二维中心点指向该关键点的向量(i-i0,j-j0)，分别将该向量的两个特征值保存在该关键点对应的两张亲和力图中的对应位置。在预测过程中，使用该特征表示配合前述启发式搜索算法可正确有效地将关键点与其所属螺栓进行匹配，避免多目标场景中不同螺栓之间的关键点产生错误的联系，进而导致算法难以恢复螺栓的6d姿态。

64、(4)针对现有方法无法稳定检测旋转对称物体的问题，本技术提出一种考虑物体所有潜在对称姿态的网络损失函数。在网络训练计算损失函数时，分别将螺栓沿其旋转对称轴旋转6次(与对称轴重数一致)，将网络所预测的置信图与螺栓每个对称姿态在二维平面上的投影计算损失并取最小值，当网络对螺栓任一对称姿态做出正确预测时即可使网络损失降至最低。该损失函数可显著改善网络在训练过程中的收敛性，消除由于螺栓对称性导致网络关键点置信图出现多峰值的现象，提高了关键点定位准确度。

65、(5)本发明公开了一种基于单目rgb图像的螺栓姿态估计方法、设备，可应用于工业生产与智能制造领域。该方法包括：将单目rgb图像或视频帧输入至预设的特征提取网络，得到待检测图像或视频帧的高维特征图；将得到的高维特征图输入卷积姿态网络，预测螺栓的二维关键点置信图与亲和力图；将预测结果在螺栓所有潜在对称姿态中搜索最优匹配并计算网络损失以更新网络参数；使用启发式算法在置信图和亲和力图预测结果中进行搜索，获取所有螺栓关键点二维坐标；使用直接线性变换算法建立螺栓2d-3d关键点之间的联系，计算待测螺栓的6d姿态。在本发明所提姿态检测方法中，提出一种高分辨率的特征提取网络结构，改善了网络对于螺栓等小型目标的语义信息提取能力。提出一种使用螺栓目标亲和力特征辅助匹配其关键点与所属物体的方法，提高了算法在多目标场景时的鲁棒性。此外，由于螺栓具有旋转对称性，在不同角度可能对其产生相同的观察结果，本方法提出一种可用于训练对称物体的损失函数，在训练过程中针对螺栓的所有对称姿态最小化网络损失，消除了螺栓旋转对称性在二维关键点预测过程中引起的歧义。本方法旨在利用单目rgb图像信息检测螺栓姿态，对多目标场景鲁棒性较强，具有一定泛用性。