一种特殊环境下目标实时识别定位方法

本发明涉及目标实时识别，特别涉及一种特殊环境下目标实时识别定位方法。

背景技术：

1、随着各国对海洋探索的不断发展，水下机器人开始应用于深海科考、资源勘探以及水下打捞工作。水下机器人典型的应用场景为海底样本采集、海底打捞、水下目标抓取等。目前国内外水下机器人作业多为人工摇杆操作，需要配合多组摄像头形成多视角观察，对操作人员技术水平要求较高，不利于水下科考、水下勘探工作的开展。

2、水下双目视觉定位系统可以辅助科研人员操作机器人进行水下样本采集作业。通过双目摄像机对待采集样本进行拍照，实现目标自主定位并实时反馈目标坐标信息至机器人端，实现自主抓取，有效减轻水下人员作业强度和难度，在海洋研究探测和资源开发方面具有重要应用价值。

3、现有技术的不足之处在于，水下目标实时精确识别定位是抓取工作的重要环节。由于目标在作业前是未知的，缺乏足够的图像数据训练稳健的目标识别神经网络模型，深度学习目标识别方法不适用于水下环境抓取作业。传统的目标识别定位方法包括灰度相关的模板匹配、几何特征的模板匹配、边缘梯度提取等，受限于水下环境和目标背景的复杂性，目标实时识别鲁棒性较差。prats等人通过目标识别与目标跟踪两步实现目标识别定位。双目视觉系统首先了解目标外观信息，将其生成包括颜色直方图以及一个多边形的对象检测模型，用于目标检测。跟踪算法是基于模板的，具体为高效的二阶最小化方法(efficientsecond-order minimization method,esm)用于训练目标探测器。一旦模板在图像中被正确匹配，即可计算出模板图像与实际图像之间的单应性矩阵，进而计算目标在三维空间下的位姿信息。重点在于提取算法对目标旋转、尺度缩放、亮度变化、视角变化、仿射变换、噪声干扰情况下的识别具有一定的稳定性，也可以用于深海水下复杂背景环境下目标识别定位。以上方法可以满足水下环境目标定位，但需要耗费大量的计算资源，难以实现目标实时定位的需求。

技术实现思路

1、本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种特殊环境下目标实时识别定位方法，以解决上述背景技术中提出的问题。

2、一种特殊环境下目标实时识别定位方法，包括：

3、步骤s1、在水下环境对双目摄像机进行标定获取左右相机内外参数，建立水下双相机模型；

4、步骤s2、基于标定得到的左右相机内外参数对水下图像采集的左右图像进行预处理，得到共面的左右图像；

5、步骤s3、在采集到的左右图像中选取待抓取目标，基于选取目标图像区域初始化目标跟踪算法，生成目标识别模型；

6、步骤s4、在图像采集过程中，基于目标识别模型定位目标在左右图像中的范围，进行粗定位目标；

7、步骤s5、基于对目标进行特征匹配筛选得到匹配特征点，并对匹配得到的多组特征点进行融合，得到目标参考点；

8、步骤s6、基于融合后的目标参考点对目标进行三维坐标计算，得到精准定位目标。

9、作为本发明的进一步的方案：所述步骤s1中的具体步骤包括：

10、在水下环境对双目摄像机进行标定，计算水下双目摄像机内参数和外参数；

11、所述双目摄像机内参数包括内参矩阵和畸变向量；

12、内参矩阵为：

13、畸变向量为d＝(k1,k2,p1,p2)；

14、其中，f表示摄像机焦距，dx、dy分别表示摄像机像元尺寸u0和v0表示图像中心点；

15、所述双目摄像机外参数包括右摄像机到左摄像机的旋转矩阵r3×3，以及右摄像机到左摄像机的平移向量t3×1。

16、作为本发明的进一步的方案：所述步骤s2中的具体步骤包括：

17、通过双目摄像机进行水下图像采集，得到左右图像；

18、再基于标定得到的双目摄像机获取的左右相机内外参数对采集得到的左右图像进行畸变矫正和极线矫正，得到共面的左右图像。

19、作为本发明的进一步的方案：所述步骤s3中的具体步骤包括：

20、获取预处理后共面的左右图像；

21、在存在目标的左右图像的初始帧中框选目标图像区域，并基于局部图像训练根据目标跟踪算法，生成目标识别模型modelobject。

22、作为本发明的进一步的方案：所述步骤s4中的具体步骤包括：

23、根据生成的目标识别模型在后续图像采集过程中，实时跟踪识别目标在左右图像中的范围roil,roir。

24、作为本发明的进一步的方案：所述步骤s5中的具体步骤包括：

25、步骤s51、目标特征提取：

26、根据识别目标在左右图像中获取的范围，并对目标所在左右图像的范围进行裁剪，缩小特征提取范围；

27、再基于orb算法分别对左右图像的目标进行关键的特征点提取，通过匹配算法对目标的左右图像中特征点进行特征匹配，得到同名特征点集fl(ui,vi),(i＝1,2,…,m)，fr(uj,vj),(j＝1,2,…,n)；

28、采用算法对匹配点对进行处理和筛选，剔除误匹配点对，保留正确匹配的左右图像块特征点对fl(uk,vk)、fr(uk,vk)其中k≤min(m,n)；

29、基于筛选后的特征点计算左右图像单应性矩阵h，并通过结合特征点在图像中得位置，剔除远离目标roi中心点且z向深度较大的点集，保留部分目标特征点集fl(uh,vh)、fr(uh,vh)，其中(h≤k)；

30、步骤s52、目标特征融合：

31、根据得到的目标特征点集fl(uk,vk)、fr(uk,vk)，其中k≤min(m,n)，求取平均坐标点作为目标参考点，计算公式为：

32、

33、

34、其中，rl(ul,vl)、rr(ur,vr)分别为目标在左右图像上的参考点，h为目标左右匹配同源点个数。

35、作为本发明的进一步的方案：所述步骤s6中的具体步骤包括：

36、根据得到目标参考点，并基于标定得到的左右相机内外参数对目标进行三维坐标计算；

37、获取参考点的三维空间坐标为p(xc,yc,zc)，通过双目标定方法获得左右摄像机都得投影矩阵为f＝nm,则：

38、

39、

40、式中，nij和mij表示左右摄像机参数矩阵的第i行和第j列，zcl＝zcr＝zc，则：

41、(uln31-n11)xc+(uln32+n12)yc+(uln33-n13)zc＝n14-uln34

42、(vln31-n21)xc+(vln32-n22)yc+(v1n33-n23)zc＝n24-vln34

43、(urm31-m11)xc+(urm32+m12)yc+(urm33-m13)zc＝m14-urm34

44、(vrm31-m21)xc+(vrm32-m22)yc+(vrm33-m23)zc＝m24-vrm34

45、基于最小二乘法求解p(xc,yc,zc)，转换得到：

46、

47、令：

48、

49、由最小二乘法可得：

50、x＝(ata)-1atb

51、三维坐标x＝(xc,yc,zc)，即目标参考点的三维空间坐标。

52、与现有技术相比，本发明存在以下技术效果：

53、采用上述的技术方案，通过在没有对目标预先建模的情况下，通过选取(检测)目标，对目标图像进行学习并建立分类器，目标定位算法基于该分类器定位目标在图像上所在范围(roi)，基于左右图像目标范围对目标进行特征点匹配，实现目标视差计算，进而计算目标三维坐标信息。该水下双目视觉实时定位目标过程不需要设置复杂的参数即可对目标进行图像坐标定位、三维坐标定位，在保证能够精准定位目标的同时，降低了系统操作难度，为深海水下探测工作提供了高效方法。