涡旋光测距协同的水下双目视觉系统动态标定方法

本发明涉及水下环境感知，涉及一种涡旋光测距协同的水下双目视觉系统动态标定方法。

背景技术：

1、水下双目视觉感知技术利用两个光学相机从不同视角获取同一个水下场景的两幅图像，还原场景的真实三维空间信息，实现目标距离、尺寸等关键数据的测量，是获取水下三维信息、实现目标精细化探测的重要手段。该技术具有成像分辨率高、细节信息丰富等优点，常被用于在浅水、近距离作业场景中实现地形侦测、工程建设与检修、资源勘测等功能，具有重要的学术研究与工程应用价值。

2、双目视觉系统参数的标定是实现水下三维信息感知的关键步骤。由于水下双目相机通常需要加装一层防水装置，使得水下目标表面反射的光线在被相机感光元件捕获前经过了水体、防水材料、空气三种不同介质的折射。因此，水下双目视觉系统的标定不仅需要获取双目相机的内外参数，还需要根据水体、防水材料、空气三种不同介质的折射率求解防水材料厚度、平面法向量等折射参数。然而，基于折射模型的水下双目视觉系统参数标定方法将水体折射率视为已知常数，在河流、湖泊等水体折射率动态变化的实际应用场景中难以适用，导致水下三维信息感知精度的大幅下降。因此，亟需研究新的水下双目视觉系统标定参数估计方法，提高水下双目视觉三维信息感知精度，为水下工程检测、水下资源探测等领域提供理论依据与技术支持，对推动我国水下探测技术的发展、提高我国海洋领域的科技水平和竞争力具有重要意义。

技术实现思路

1、针对现有技术中水下双目相机标定参数无法适应水体中折射率的变化、导致三维信息感知精度下降的问题，本发明提供了一种涡旋光测距协同的水下双目视觉系统动态标定方法，能够克服水体环境变化对水下三维信息感知精度的影响，实现对水下双目相机标定参数的准确测算，并提高双目视觉在动态变化水体环境中三维空间点的定位精度。

2、为实现上述目的，本发明提供如下技术方案：

3、涡旋光测距协同的水下双目视觉系统动态标定方法，包括以下步骤：

4、步骤s1：在空气中求解双目相机自身的基本参数；

5、步骤s2：在清澈静态水体中，利用水下光线折射模型求解双目视觉系统的初始标定参数；

6、步骤s3：在实际水体中，利用涡旋激光测距实时获取目标区域的距离信息，辅助水下双目视觉系统检测探测区域的水体折射率变化并优化双目视觉系统的标定参数，在动态变化的水体环境中实时获取准确的标定参数。

7、进一步地，在所述步骤s1之前还包括搭建一组水下涡旋激光测距与双目相机同步信息采集装置，所述采集装置包括涡旋激光测距模块、双目相机、处理器以及防水外壳，所述涡旋激光测距模块包括涡旋激光调制系统和接收探测系统；所述涡旋激光调制系统包括激光器与电光调制器，所述电光调制器包括依次设置的第一整形光学系统和第一螺旋相位板，激光器产生高斯光，并将该高斯光发射到第一整形光学系统，再经过第一螺旋相位板将其调制为涡旋激光并向水下目标发射；所述涡旋激光由水下目标反射至接收探测系统，所述接收探测系统包括第二整形光学系统、第二螺旋相位板、遮光片、解调系统、滤噪光阑、光电探测系统以及相位差测距系统，所述整形光学系统对反射光束进行整形，经过与第二螺旋相位板后，通过解调系统对涡旋圆环上的信号进行解调，通过滤噪光阑对信号中的背景噪声进行滤噪处理，经过滤噪后的信号最终到达光电探测系统并被系统识别和检测，传入相位差测距系统，所述相位差测距系统用于分析回波信号与发射信号的相位差，进而得到水下目标的距离。

8、进一步地，所述步骤s1的具体方法为：将水下涡旋激光测距与双目相机同步信息采集装置放置于空气中，在前方放置一块棋盘格标定板，从不同角度、距离拍摄na组标定板双目图像，利用张氏标定法，求解双目相机自身的基本参数，所述基本参数包括左目相机内参al、右目相机内参ar、左目相机与右目相机之间的旋转矩阵rrl与平移向量trl。

9、进一步地，所述步骤s2的具体方法为：将水下涡旋激光测距与双目相机同步信息采集装置放置于清澈静态的水体中，在装置前方放置棋盘格标定板，从不同角度、距离拍摄nw组标定板双目图像，利用张氏标定法，利用光线折射模型求解水下双目视觉系统初始折射参数，所述初始折射参数包括左目相机光心与防水玻璃上界面的垂直距离dl、右目相机光心与防水玻璃上界面的垂直距离dr、玻璃的厚度h、玻璃平面的法向量n。

10、进一步地，所述步骤s2包括以下步骤：

11、步骤s21：建立水下双目视觉光线折射模型；

12、步骤s22：建立折射参数优化模型；

13、步骤s23：基于所述步骤s21和步骤s22，提出水下双目相机折射参数求解方法，推导水下双目视觉系统的非线性折射函数，求解初始折射参数；

14、步骤s24：将所述步骤s1得到的基本参数与所述步骤s23中得到的初始折射参数作为双目视觉系统的初始标定参数。

15、进一步地，所述步骤s21中光线折射模型的建立方法为：

16、假设左目相机坐标系与世界坐标系重合，π1、π2为防水玻璃平面，即折射平面，n(nx,ny,nz)为其法向量，h为防水玻璃的厚度，dl为左目相机光心与π1的垂直距离；na、ng、nw分别为空气、玻璃与水的相对折射率；对于水下目标p，物体表面的反射光线经过两次折射后，成像点分别为pl(xl,yl)、pr(xl,yl)；pil、pol分别为左折射光路与π1平面、π2平面的交点，pir、por分别为右折射光路与π1、π2的交点；左路折射光线由组成，其对应的单位向量分别为分别表示在左路从空气到防水玻璃的入射光线及其入射角度；分别表示左路光线进入防水玻璃产生的折射光线及其折射角度；分别表示左路光线从防水玻璃出射到水体中的折射光线及其折射角度；根据折射光线的共面约束条件，通过折射面的光线满足下式。

17、

18、根据上式，得出光线与π1、π2交点pil、pol的坐标；

19、

20、同上，右目相机中水下目标p的折射光路由组成，其对应的单位向量分别为右折射光路与π1平面、π2平面的交点分别为pir、por；

21、利用双目相机间的旋转矩阵rrl与平移向量trl，将pir、por转换至世界坐标系中，得到新的

22、

23、其中，分别为世界坐标系中右目相机中对应水下目标p的右折射光线单位向量；为右折射光线与π1、π2的交点pir、por在世界坐标系中的坐标；则左目相机与右目相机在水中的折射光线为

24、由于经过相机光心的两次折射光线向量与交点均共面，则空间中存在一个同时与垂直的矢量且矢量与l1、l2的交点分别为m1与m2，则m1与m2的坐标通过如下公式计算得到；

25、

26、对应水下目标p的三维坐标可通过最小化m1与m2的距离确定，即：

27、

28、进一步地，所述步骤s22中折射参数优化模型的建立方法为：

29、假设棋盘格的尺寸与相对位置能够提前确定，假设棋盘格共有h×w'个内角点，每个棋盘格的尺寸为w'，ci,j表示棋盘格第i行第j列的内角点三维坐标，i＝1,2,3......,w'，j＝1,2,3……,h；若根据标定参数准确，根据棋盘格角点的二维图像坐标确定的三维空间坐标应满足以下条件：

30、条件一：相邻角点之间的距离一致，即相邻角点之间的距离均为w'；

31、条件二：同方向上的角点共线，因此，某个角点ci,j与其相邻角点ci+1,j、ci,j+1组成的向量相互垂直，且向量之间夹角应该趋近于

32、条件三：同方向角点所处直线相互平行，即任意角点到右边相邻角点形成的向量应该平行于棋盘的水平方向；同时，该角点到下方的相邻角点形成的向量应该平行于棋盘的垂直方向；

33、利用上述相邻角点之间的距离一致、同方向上的角点共线、同方向角点所处直线相互平行的先验信息，分别建立以下三项目标函数：

34、

35、其中，f1为相邻角点距离差，用于测量重建出的相邻内角点之间的平均距离与真实距离w之间的差距；f2为相邻角点位置差，用于表示重建内角点形成向量的夹角与真实夹角的误差；f3为平行方向角度差，用于计算水平或垂直两个方向上角点形成的直线之间角度的差异；

36、建立总目标函数fg，fg＝f1+f2+f3，通过最小化fg能够获取折射参数(n,dl,dr,h)，其中，n＝(nx,ny,nz)，由此可知，折射参数量为6项；为了提高计算效率，通过参数间的约束关系将目标函数进一步简化；

37、所述约束关系为：和

38、简化后的目标函数中的待确定参数减少为4项，包含(nx,ny,dl,h)；设定求解范围nx∈[-0.3,0.3]，ny∈[-0.3,0.3]，并假设dl与h的手动测量值为d′l、h′，则设定dl与h的求解范围为dl∈[0.5·d′l,1.5·d′l]，h∈[0.5·h′,1.5·h′l]。

39、进一步地，所述步骤s23中水下双目相机折射参数求解方法为：

40、步骤s231：确定种族规模为nnsga，种群中第t个个体采用连续实数编码初始化为xt＝{xt1,xt2,xt3,xt4},t∈[1,nnsga]，生成第一代种群p0，(xt1,xt2,xt3,xt4)分别对应(nx,ny,dl,h)；

41、步骤s232：对初始种群中的个体进行交叉、变异操作，产生规模为nnsga的子代种群q0，计算当前种群对应参数的目标函数值，并采用非支配排序方法，根据代价数值将种群p0∪q0中的个体根据支配关系划分为至少2个非支配层级(g1,g2,......,gl)，且g1,g2,......,gl优先级依次减小；

42、步骤s232：从g1层级开始按优先级选取非支配集保留到下一代中，直至下一代的个数等于nnsga或第一次超过nnsga，并假设当前所处的非支配层级为gl，则gl+1层的个体将被全部淘汰，l＝1,2，…，nso，nso为下一代的总个数；假设g1∪...gl-1的个数为nl-1，且nl-1＜nnsga，则进一步采用参照点法在gl层级中进一步选择nnsga-nl-1个个体，组成新的规模为nnsga的进化种群；

43、步骤s234：循环迭代所述步骤s232和步骤s233，直至到达最大迭代次数，并获得折射参数的最优解集合，并从中选取其中对应三项目标代价数值方差最小的个体作为最终的水下相机的折射参数。

44、进一步地，所述步骤s3的具体步骤为：

45、步骤s31：利用涡旋激光测距模块发射涡旋激光，并根据涡旋激光信号发射与返回的相位差获取高精度的目标距离测量结果d；

46、步骤s32：提取双目图像中涡旋激光光斑的中心匹配点对，分析左目图像iml与右目图像imr的灰度波动性，根据灰度波动情况以及光束的成像颜色特征，检测并提取双目图像中的高亮的涡旋激光斑点区域，定位左右视角中激光光斑的中心点作为匹配点对；

47、步骤s33：将双目图像中涡旋激光的匹配点对、静态水体中预先获取的双目相机初始折射参数、步骤s31中涡旋激光获取的目标距离信息导入步骤s21建立水下双目视觉光线折射模型，重新推导当前水体的折射参数，动态反演当前测量目标区域的水体折射率，实现水下双目视觉系统标定参数的动态优化。

48、进一步地，所述步骤s32中匹配点对的定位方法为：

49、将左目图像iml与右目图像imr分别转为加权灰度图像imlg、imrg，计算方式如下，其中iml(r)、iml(g)、iml(b)分别为iml的红色图像通道、蓝绿图像通道与绿色通道，其中imr(r)、imr(g)、imr(b)分别为imr的红色图像通道、蓝绿图像通道与绿色通道；

50、

51、设定阈值αp，αp∈(0,255)，利用该阈值对imlg、imrg进行二值化，得到二值化图像roil与roir，分别为左目图像与右目图像中的涡旋激光斑点初始区域，再通过形态学处理，得到包含光斑区域的新的二值化图像roil′与roir′；

52、利用新的二值化图像roil′与roir′，分割出左目图像iml与右目图像imr中的激光光斑图像iml′与imr′；提取左目图像iml′激光光斑的中心点plcl，分别对iml′与imr′做census变换并得到csl与csr，并计算分割光斑区域中每个点之间的census变换比特串之间的汉明距离，imr′中与plcl点对应census变换比特串距离最近的点plcr，即为plcl的匹配点。

53、进一步地，所述步骤s33中当前测量目标区域的水体折射率的计算方法为：

54、将步骤s21中的参数水体的折射率nw设为待优化变量，假设分别为nw的最低值与最高值，在范围内，从低至高以步长为stn进行取值，为第q个值，int(·)符号表示向下取整。

55、将激光光斑中心点匹配点对(plcl、plcr)与依次代入步骤s21中重新计算水涡旋激光光斑中心点的三维坐标pcq，计算pcq在z轴上的坐标与测距数据d之间的深度误差值依次遍历计算深度误差值结束后，取深度误差值最小情况对应的待优化变量值作为当前测量目标区域的水体折射率完成不同水下环境中水体折射率的更新。

56、与现有技术相比，本发明提供了一种涡旋光测距协同的水下双目视觉系统动态标定方法，具备以下有益效果：

57、本发明的标定参数动态优化方法通过构建水下双目视觉折射模型，获取初步标定参数，利用涡旋激光测距获取的高精度距离信息实时推导探测区域的水体折射率，动态调整双目视觉系统的标定参数，可解决水体折射率变化导致的水下双目视觉系统参数不适用、三维信息感知精度下降的问题，为水下三维空间点的高精度定位提供可靠依据。