基于相位靶和双向径基函数神经网络的单目相机标定方法与流程

本发明涉及机器视觉，具体涉及基于相位靶和双向径基函数神经网络的单目相机标定方法。

背景技术：

1、相机标定在计算机视觉和机器视觉等领域具有重要应用，例如姿态估计、三维重建、深度估计等。目前，在摄像机标定方法主要是通过对棋盘格的角点和圆形标记点的圆心进行特征点提取，然后通过特征点坐标与相机的空间坐标的几何映射关系进行标定。无论是使用棋盘格还是圆形标记点，其最后的标定精度很大程度取决于特征点的提取精度，这些标定方法都需要预定义精确的数学模型，并且使用前还需要提前预设相机的许多参数，在相机校准参数过程还容易出错。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的基于相位靶和双向径基函数神经网络的单目相机标定方法解决了现有的单目相机参数标定精度低，容易出错的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：基于相位靶和双向径基函数神经网络的单目相机标定方法，包括以下步骤：

3、s1、获取单目相机相位靶特征的绝对相位图；

4、s2、将绝对相位图中相位靶特征点承载的绝对相位转换到三维空间中，建立特征点图像坐标与世界坐标之间的对应关系；

5、s3、基于图像坐标与世界坐标之间的对应关系，将二维图像坐标输入至完成训练的双rbf神经网络，完成二维图像坐标到三维空间坐标的直接映射，实现单目相机标定。

6、进一步地，所述步骤s1具体为：

7、s11、将单目相机相位靶特征分为水平和竖直移相条纹的两相图；

8、s12、使用三步移相法和多频法结合的特征提取方法，对两相图进行特征提取，解算出初步绝对相位图；

9、s13、在初步绝对相位图上筛选满足ψu＝2πm和ψv＝2πn的绝对相位图，作为单位相机相位靶特征的绝对相位图；

10、其中，ψu，ψv分别表示水平和竖直条纹解算出的绝对相位图，m，n均为整数，π为弧度值。

11、进一步地，所述步骤s12中，三步移相法的表达式为：

12、i1(u,v)＝i′(u,v)+i″(u,v)cosθ

13、i2(u,v)＝i′(u,v)+i″(u,v)cos(θ+2/3π)

14、i3(u,v)＝i′(u,v)+i″(u,v)cos(θ+3/4π)

15、式中，i1,i2,i3表示相位图的灰度值，(u,v)表示二维图像坐标，i′表示条纹光强的背景值，i″表示调制光强的调制强度，θ表示相位主值；

16、

17、所述步骤s12中，使用多频法对包裹相位使用多个频率的相位图分级进行相位解包裹，获得连续的绝对相位，进而获得初步绝对相位图，其表达式为：

18、

19、ψ(u,v)＝θh+2πk(u,v)

20、式中，k(u,v)表示条纹级次，ψ表示高频条纹的连续相位，θ1表示低频条纹的连续相位，θh表示高频条纹的截断相位，f1、fh分别表示θ1和θh的频率，round表示最接近返回的整数值；

21、所述步骤s13中，筛选满足ψu＝2πm和ψv＝2πn的绝对相位图时，满足像素点作为替代特征点，选取|ψu-2πm|+|ψv-2πn|的最小值作为所需特征点，利用最小二乘线性插值进行亚像素优化，进而获得单目相机相位靶特征的绝对相位图；其中，ε是人为设置阈值。

22、进一步地，所述步骤s2中，特征点图像坐标与世界坐标之间的对应关系为：

23、

24、式中，q表示像素间距，p表示lcd显示器上每个条纹周期的像素数，(x,y)表示表示水平方向的世界坐标。

25、进一步地，所述步骤s3中，所述双rbf神经网络包括第一ga-lms-rbf神经网络和第二ga-lms-rbf神经网络；

26、所述双rbf神经网络的世界坐标输出，采用深度方向成像函数模型约束，将成像模型分化为两个函数fxz和fyz，分别对应第一ga-lms-rbf神经网络和第二ga-lms-rbf神经网络；

27、其中，第一ga-lms-rbf神经网络通过函数fxz对输入二维图像坐标进行处理得到输出世界坐标(xw,zw)，所述第二ga-lms-rbf神经网络通过函数fyz对输入二维图像坐标进行处理得到输出世界坐标(yw,zw)。

28、进一步地，深度方向成像函数模型的表达式为：

29、

30、

31、

32、p＝r-1t

33、zw＝zck(3,1)-p(3,1)

34、

35、式中，zc为相机坐标系下深度方向数值，u、v分别为输入二维图像的横纵坐标，m1为内参数矩阵，r为旋转矩阵，xw、yw、zw为世界坐标的z、y和z轴坐标，t为平移矩阵，k为中间参数矩阵，p均为3×1的矩阵，k(3,1)，p(3,1)表示k,p矩阵的第三行第一列。

36、进一步地，所述双rbf神经网络的目标函数ξ为：

37、

38、式中，n为双rbf神经网络的n个训练样本，ew为输出期望值，e'w为实际输出值。

39、进一步地，所述双rbf神经网络在rbf神经网络的基础上加入遗传算法对宽度参数进行迭代寻优并使用改进的最小均方学习规则防止过度计算，其实现方法为：

40、a1、评估每条染色体所对应个体的适应度；

41、a2、从种群中选择两个个体作为父方和母方；

42、a3、抽取父母双方的染色体，进行交叉，产生子代；

43、a4、对子代的染色体进行变异；

44、a5、重复步骤a2～a4，直到新种群产生，作为最优的宽度参数个体；

45、s26、得到优化的宽度参数个体后，使用最小二乘法对双rbf神经网络中的连接权值进行计算，同时采用改进的最小均方学习规则进行网络训练。

46、进一步地，采用k-means+模型计算最优聚类数目和最优聚类中心的方法来确定所述双rbf神经网络中的隐含层神经元个数。

47、本发明的有益效果为：

48、(1)本发明结合神经网络的相机标定方法省略了传统标定方法繁琐的标定过程，只需要考虑数据质量、网络结构和参数设置。

49、(2)本发明中的整个神经网络标定采取双神经网络并行标定的方法，并采用基于ga-lms(遗传-最小均方)的rbf神经网络算法，提高了标定精度。

50、(3)实验结果表明，本发明提出的标定方法较传统bp神经网络的预测效果更好，同时在深度方向较其他标定靶具有更高的精度，更适合应用于单摄标定领域中，具有较高的可行性。

技术特征：

1.基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于相位靶和双向径基函数神经网络的单位相机标定方法，其特征在于，所述步骤s1具体为：

3.根据权利要求2所述的基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，所述步骤s12中，三步移相法的表达式为：

4.根据权利要求2所述的基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，所述步骤s2中，特征点图像坐标与世界坐标之间的对应关系为：

5.根据权利要求2所述的基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，所述步骤s3中，所述双rbf神经网络包括第一ga-lms-rbf神经网络和第二ga-lms-rbf神经网络；

6.根据权利要求5所述的基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，深度方向成像函数模型的表达式为：

7.根据权利要求5所述的基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，所述双rbf神经网络的目标函数ξ为：

8.根据权利要求5所述的基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，所述双rbf神经网络在rbf神经网络的基础上加入遗传算法对宽度参数进行迭代寻优并使用改进的最小均方学习规则防止过度计算，其实现方法为：

9.根据权利要求5所述的基于相位靶和双向径基函数神经网络的单目相机标定方法，其特征在于，采用k-means+模型计算最优聚类数目和最优聚类中心的方法来确定所述双rbf神经网络中的隐含层神经元个数。

技术总结
本发明公开了一种基于相位靶和双向径基函数神经网络的单目相机标定方法，采用三步相移法的特征提取方法，并使用多频法计算绝对相位，将相位靶特征点承载的绝对相位转换到三维空间，建立特征点图像坐标与世界坐标之间的对应关系，最后使用双RBF神经网络完成二维图像坐标到三维空间坐标的直接映射，整个RBF神经网络采用遗传算法对宽度参数进行迭代寻优并使用改进的最小均方学习规则防止过度计算。同时在深度方向使用函数模型进行约束，提高了单目相机标定方法的便捷性与准确性，在复杂畸变环境下依然可以满足相机标定的需求。

技术研发人员：苏飏,董秀成,张党成,杨陈成,田箫源,刘俊君
受保护的技术使用者：四川华控图形科技有限公司
技术研发日：
技术公布日：2024/3/17