基于深度学习的单帧正交条纹标靶图像的特征点检测方法

本发明属于三维视觉测量，具体地说，本发明涉及基于深度学习的单帧正交条纹标靶图像的特征点检测方法。

背景技术：

1、三维视觉测量技术作为一种高速、非接触的测量技术，被广泛应用于航空航天、智能制造和智慧交通等领域。相机标定技术是三维视觉测量的基础，它建立世界坐标和图像坐标之间的变换模型，其精度决定了测量的准确性。一般，相机标定对象可采用三维、二维和一维模式，但是三维标定对象的制造复杂而且昂贵，一维图案的标定方法需要依赖于一定的约束运动，因此基于二维对象的平面标定方法应用较广泛。

2、通常，平面标定采用棋盘格作为拍摄对象，称为标靶。通过拍摄多角度标靶，利用角点作为特征检测点，从而计算出世界坐标和图像坐标的映射关系矩阵。然而，当拍摄距离与相机焦距区别较大时，图像会出现离焦的现象，极易造成角点检测不准，甚至检测不到，从而使得标定不准确。因此，从离焦图像中准确地提取特征点成为离焦标定的关键。

3、近年来，利用离焦图像并不改变相位信息的特点，国内外学者设计了多种相位标靶进行离焦时的相机标定。

4、ma以条纹图案作为相位标靶，采用三步相移算法计算水平和垂直方向的折叠相位，然后求取特征点(optik,2014,125(2):671-674)。这种标定方法虽然具有较高的精度，但需要同时采集三张水平相移条纹图像和三幅竖直相移条纹图像，具有一定的局限性，并且标定效率较低。

5、juarez-salazar通过傅里叶变换解码图像完整的相位信息(appl.optics,54(2015):4895–4906)。该方法实现单帧图像的相位解码，但当标定板具有较大的旋转和倾斜时，傅里叶反变换不能准确地恢复相位信息。

6、huo应用了一种相位编码的圆形标定模板，通过相位恢复网络实现了相位求解，从而进行特征点检测(measurement,188(2022):110563)，该方法实现了单帧圆形条纹标靶的相位求解，避免了拍摄多幅相移图像，但当标定板倾斜时，圆心的投影不再是椭圆的几何中心。因此，需要进一步修正椭圆几何中心的偏心误差。

7、综上所述，如何从离焦的单帧相位编码图像中直接、准确地获取所拍摄标靶的特征点依然是值得关注的问题。

技术实现思路

1、本发明提供基于深度学习的单帧正交条纹标靶图像的特征点检测方法，以解决上述背景技术中存在的问题。

2、为了实现上述目的，本发明采取的技术方案为：基于深度学习的单帧正交条纹标靶图像的特征点检测方法，具体包括以下步骤：

3、步骤s1：设计同频率的12步相移的正交条纹标靶图案jo(u,v)和12步相同频率相同相移的竖直条纹图案jv(u,v)，并依次显示于液晶屏幕上；

4、步骤s2：保持相机和液晶屏幕的位置、角度和姿态固定，采集一组相移的正交条纹图像io(u,v)和一组相同相移的竖直条纹图像iv(u,v)，所述一组正交条纹图像io(u,v)和一组相同相移的竖直条纹图像iv(u,v)都包含12幅，然后，变换液晶屏幕的位置、角度和姿态，采集多组具有不同离焦程度、角度和姿态的图像，以形成多样化数据；

5、步骤s3：利用12步相移法求解步骤s2中采集的每一组相移的竖直条纹图像的截断相位图像φ(u,v)；

6、步骤s4：对步骤s2中采集的每一组相移的正交条纹图像io(u,v)添加噪声，并将其裁剪成像素分辨率为224×224的图像块形成图像数据集，同时将步骤s3中求解的相移的竖直条纹图像的截断相位图像φ(u,v)裁剪成像素分辨率为224×224的图像块形成标签数据集；将两个数据集合并，并按8：1：1的比例划分为训练数据集、测试数据集和验证数据集；

7、步骤s5：建立深度神经网络，包含2个残差模块，3个卷积模块，2个反卷积解码模块、2个池化层、2个dropout层和2个串联层，并且在输出层自定义一个损失函数为平均绝对误差(mean absolute error,mae)的回归层；

8、步骤s6：将步骤s4中的训练数据集进行增广，并采用adam算法对网络进行像素至像素的回归训练；

9、步骤s7：采集10幅不同位置、角度和姿态的标定用正交条纹图像i1(u,v)，利用训练好的网络对采集的标定用正交条纹图像i1(u,v)进行相位恢复计算，输出竖直截断相位图像lv(u,v)，对标定用正交条纹图像i1(u,v)进行转置，利用训练好的网络求解转置图像的竖直截断图像，并转置得到水平截断相位图像lh(u,v)；

10、步骤s8：利用边缘检测方法找出水平截断相位图像lh(u,v)和竖直截断相位图像lv(u,v)的相位同为π的点作为特征点，用于相机标定。

11、优选的，所述步骤s1中，所述12步相移正交条纹标靶图案jo(u,v)可表示为：

12、

13、12步相同频率相同相移的竖直条纹图案jv(u,v)可表示为：

14、

15、其中：(u,v)代表像素坐标；a为平均背景强度；b为强度调制；f为相移条纹的频率；n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。

16、优选的，所述步骤s2中，一组相移的正交条纹图像io(u,v)可表示为：

17、

18、所述步骤s2中，对应的一组相移的竖直条纹图像iv(u,v)可表示为：

19、

20、其中：φ(u,v)是一组相移的竖直条纹图像的截断相位图像；ion(u,v)表示相移指数为n的正交条纹图像；ivn(u,v)表示相移指数为n的竖直条纹图像；n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。

21、优选的，所述步骤s3中，一组相移的竖直条纹图像的截断相位图像φ(u,v)的求解方程可表示为：

22、

23、其中：n为相移的步数，本文取12；n为相移指数，n＝0,1,2,3...n-1。

24、优选的，所述步骤s5中，回归层的损失函数为平均绝对误差(mae)，可表示为：

25、

26、其中：m为样本的数目，为预测值，yi为真实值。

27、采用以上技术方案的有益效果是：

28、1、本发明提供的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，本发明的技术方案所设计的网络经多质量样本训练后，即使在离焦模糊情况下仍能够计算单帧正交条纹的截断相位，从而准确提取特征点，因此在标定时可适应不同的焦距，自适应性强，灵活性高，对噪声的鲁棒性强。

技术特征：

1.基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：具体包括以下步骤：

2.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s1中，所述12步相移正交条纹标靶图案jo(u,v)可表示为：

3.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s2中，一组相移的正交条纹图像io(u,v)可表示为：

4.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s3中，一组相移的竖直条纹图像的截断相位图像φ(u,v)的求解方程可表示为：

5.根据权利要求1所述的基于深度学习的单帧正交条纹标靶图像的特征点检测方法，其特征在于：所述步骤s5中，回归层的损失函数为平均绝对误差(mae)，可表示为：

技术总结
本发明公开了基于深度学习的单帧正交条纹标靶图像的特征点检测方法，构建单帧正交条纹图像的相位解码网络，采用具有残差模块的深层网络，以解决网络加深带来的训练难题；优化损失函数，以提高网络的解码精度，获取准确的截断相位，从而准确地检测标靶特征点；所设计的网络经多质量样本训练后，即使在离焦模糊情况下仍能够计算单帧正交条纹的截断相位，从而准确提取特征点，因此在标定时可适应不同的焦距，自适应性强，灵活性高，对噪声的鲁棒性强。

技术研发人员：侯文慧,朱浩杰,周传起,王玉伟,张大山,刘路
受保护的技术使用者：安徽农业大学
技术研发日：
技术公布日：2024/1/13