深海网箱渔网水下距离测量装置、方法、电子设备及介质与流程

1.本发明属水下作业技术领域，尤其涉及一种深海网箱渔网水下距离测量、方法、电子设备及介质。


背景技术：

2.万物生存的地球上有着71％的区域被一望无际的海洋所覆盖，是人类赖以生存和发展的四大战略空间中，继陆地之后的第二大空间，更是能源、生物资源、进出资源的战略开发基地。人类面临着陆地资源日益紧张的压力而海洋这一区域即将成为人类可持续发展的重要基地，更是人类未来发展的希望。海洋经济正在成为国民经济的新增长点，具有更大的发展潜力。养殖业更是如此，目前，养殖业的发展已经不仅仅局限于陆地和人造池塘等传统形式，正在逐步形成以深海网箱为核心的鱼类养殖产业。
3.但由于在深海中，水下情况瞬息万变，并且渔网多是采用聚乙烯，尼龙等原料进行加工，99％以上用合成纤维加工而成。而这类材料在海水中不但要受到海水的自然腐蚀还会面临海洋微生物的损害，这样的环境中上时间使用大大降低了渔网强度，耐冲击性、耐磨性、网目尺寸稳定性和柔软性等各方面的性能，导致养殖者需要定期对渔网进行检查和维修。
4.若直接将渔网打捞上岸进行维修实施难度大且损失巨大，而人工潜入水下却由于水下环境复杂令人望而却步。现在传统方法是利用水下巡检机器人完成水下维修工作。目前，水下巡检机器人大多采用单目视觉、激光定位等原理完成。单目视觉的方法由于水对光的散射和吸收、水下介质与空气的折射率不同出现的折射以及水体浑浊等问题，无法获取清晰的图像，更无法准确的判定水下巡检机器人到渔网的距离。同样，激光定位的方法由于水下情况复杂以及渔网的网状结构，接收器更无法获得从渔网反射回来的信号，自然也无法准确的测量出水下巡检机器人到渔网的距离。


技术实现要素：

5.本发明实施例的目的是提供一种深海网箱渔网水下距离测量、方法、电子设备及介质，以解决传统方法中由于无法准确判定水下巡检机器人到渔网的距离的问题。
6.根据本申请实施例的第一方面，提供一种深海网箱渔网水下距离测量装置，包括：激光器，所述激光器用于在待测渔网上呈现网络状激光点阵；摄像机模块，所述摄像机模块包括第一摄像机和第二摄像机，所述第一摄像机和第二摄像机关于所述激光器对称放置，且分别获取同一待测渔网的第一图像和第二图像，所述第一图像和第二图像获取的角度不同；处理单元，所述处理单元用于对所述第一图像和第二图像进行预处理，对预处理后的所述第一图像和第二图像进行立体匹配，并获得深度参数，从而建立图像特征向量之间的相互对应关系，利用摄像机标定后得到的图像坐标系和世界坐标系之间的对应关系以及图像特征向量之间的相互对应关系，将处理后的第一图像和第二图像通过坐标变换，重建出待测水域的三维信息，从而获得深海渔网水下的距离。
7.进一步地，所述激光器、第一摄像机、第二摄像机均搭载于丝杆上，且处于同一平面且位置固定。
8.进一步地，所述第一摄像机、第二摄像机两者光轴平行，成像平面为空间内的同一个平面，同时第一摄像机、第二摄像机两者所获取的待测水域图像的图像坐标系相互平行。
9.进一步地，所述立体匹配采用scharstein和szelisk立体匹配算法相结合。
10.进一步地，所述摄像机优选采用高清摄像机。
11.进一步地，所述高清摄像机的分辨率为1920*1080。
12.根据本申请实施例的第二方面，提供一种深海网箱渔网水下距离测量方法，包括：分别获取同一待测渔网的第一图像和第二图像，所述第一图像和第二图像获取的角度不同，所述待测渔网上投射有网络状激光点阵；对所述第一图像和第二图像进行预处理，对预处理后的所述第一图像和第二图像进行立体匹配，并获得深度参数，从而建立图像特征向量之间的相互对应关系；利用摄像机标定后得到的图像坐标系和世界坐标系之间的对应关系以及图像特征向量之间的相互对应关系，将处理后的第一图像和第二图像通过坐标变换，重建出待测水域的三维信息，从而获得深海渔网水下的距离。
13.根据本申请实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
14.根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如第一方面所述方法的步骤。
15.根据以上技术方案，本发明实施例的有益效果如下：
16.在本实例中，通过利用双目立体视觉的方法，达到使用二维数字图像得到场景中三维信息。双目视觉系统使用两个摄像头捕捉相同的场景，由于摄像机与场景的相对位置不同，所以采集到的图像存在视差，而立体匹配算法就是要根据图像信息得到的视差对应关系，根据得出的对应关系对图像中场景进行三维重建，大大增加了水下巡检机器人与渔网之间的距离测定的时效性和准确性。
17.在本实例中，所述双目立体视觉是机器视觉的一种重要形式，其具有效率高、精度合适、系统结构简单、成本低等优点，适用于非接触产品检测同时，对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。
18.在本实例中，通过使用激光器，引入激光条纹的辅助作用，可在渔网上呈现出了具有高亮度激光点，这将大大减小双目视觉法中三维重建的误差。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
20.图1是根据一示例性实施例示出的一种深海网箱渔网水下距离测量装置实际使用立体示意图。
21.图2是根据一示例性实施例示出的一种深海网箱渔网水下距离测量装置平面结构示意图。
22.图3是根据一示例性实施例示出的理想状态下平行双目视觉系统成像模型示意图，图中两台摄像机成像平面共面，图像坐标系平行，光轴平行。
23.图4是根据一示例性实施例示出的双目立体视觉图像处理的时差和深度信息几何关系模型。
24.图5是根据一示例性实施例示出的一种深海网箱渔网水下距离测量方法的流程图。
25.图中的附图标记有：其中1是丝杆，2是第一摄像机，3是激光器，4第二摄像机，5是水下渔网。
具体实施方式
26.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
27.在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
28.图1是根据一示例性实施例示出的一种深海网箱渔网水下距离测量装置实际使用立体示意图。图2是根据一示例性实施例示出的一种深海网箱渔网水下距离测量装置平面结构示意图。该装置，包括：激光器3，所述激光器3用于在待测渔网上呈现网络状激光点阵；摄像机模块，所述摄像机模块包括第一摄像机2和第二摄像机4，所述第一摄像机2和第二摄像机4关于所述激光器3对称放置，且分别获取同一待测渔网的第一图像和第二图像，所述第一图像和第二图像获取的角度不同；处理单元，所述处理单元用于对所述第一图像和第二图像进行预处理，对预处理后的所述第一图像和第二图像进行立体匹配，并获得深度参数，从而建立图像特征向量之间的相互对应关系，利用摄像机标定后得到的图像坐标系和世界坐标系之间的对应关系以及图像特征向量之间的相互对应关系，将处理后的第一图像和第二图像通过坐标变换，重建出待测水域的三维信息，从而获得深海渔网水下的距离。
29.本发明利用第一摄像机2与第二摄像机4形成双目立体视觉系统的基本硬件结构，每次拍摄过程形成两幅从不同角度观察同一个场景，所采集到的图像存在视差，本发明采用立体匹配算法，即根据图像信息得到的视察对应关系，然后根据得出的对应关系对图像中场景进行三维重建。所述第一摄像机2和第二摄像机4关于所述激光器3对称放置，可以克服水下环境的干扰；在渔网上呈现网络状激光点阵，达到减小测量误差的目的。
30.本实施例中，所述激光器3、第一摄像机2、第二摄像机4均搭载于丝杆1上，且处于同一平面且位置固定。进一步地，所述第一摄像机2、第二摄像机4两者光轴平行，成像平面为空间内的同一个平面，同时第一摄像机2、第二摄像机4两者所获取的待测水域图像的图像坐标系相互平行。理想状态下，两台摄像机成像平面共面，图像坐标系平行，光轴平行。本实例根据如图3所示的双目立体视觉坐标系关系模型，图像上对应点的三维坐标可以根据几何关系得出第一摄像机2所获得图像的图像坐标系上一点pl(xl，yl)在第二摄像机4所获
的图像的图像坐标系上对应点为pr(xr，yr)，如图3所示，理想状态下的双目视觉系统两台摄像机光轴严格平行，所以yl＝yr＝y。设两台摄像机之间光心间距为b，摄像机焦距为f，由图4所示的视差与深度信息的几何关系模型几何模型可得出pl(xl，yl)对应的空间点的三维信息，根据三角形相似得到：可以得到故可以利用双目视觉的方法利用所得的两幅图像得到距离信息。
31.在本实例中，考虑到水下巡检机器人的位于水下的工作环境，本实例创新性的在两个摄像头的中间加入激光器3。利用激光穿透性强、精度高的优点，改善利用水下双目立体视觉测量距离时，由于图像采集环节受水对光的吸收、不同介质传递速率不同等导致采集的图像的清晰度不够，后续三维重建过程误差大，精度难以提高。
32.进一步地，为了提高精度，所述摄像机优选采用高清摄像机，所述高清摄像机的分辨率为1920*1080。
33.图5是根据一示例性实施例示出的一种深海网箱渔网水下距离测量方法的流程图。本实施例还提供一种深海网箱渔网水下距离测量方法，包括：
34.步骤s101，分别获取同一待测渔网的第一图像和第二图像，所述第一图像和第二图像获取的角度不同，所述待测渔网上投射有网络状激光点阵；
35.步骤s102，对所述第一图像和第二图像进行预处理，对预处理后的所述第一图像和第二图像进行立体匹配，并获得深度参数，从而建立图像特征向量之间的相互对应关系；
36.步骤s103，利用摄像机标定后得到的图像坐标系和世界坐标系之间的对应关系以及图像特征向量之间的相互对应关系，将处理后的第一图像和第二图像通过坐标变换，重建出待测水域的三维信息，从而获得深海渔网水下的距离。
37.本实施例中，将第一摄像机2、第二摄像机4所获取的彩色rgb图像进行灰度化、二值化处理。本实例中，通过图像预处理，去除在彩色图片中的冗余信息，大大提高了图像处理的速度以及精度。
38.本实施例中，摄像机标定使用标定参数，获得图像坐标系和世界坐标系之间的对应关系。
39.本实施例中，所述立体匹配，包括匹配速度和匹配精度。本发明采用scharstein和szelisk立体匹配算法相结合，完成高精度测量水下巡检机器人到深海渔网之间的距离，并且高准确度还原深海渔网的水下姿态。在本实例中，所述立体匹配算法具体包括计算匹配代价和视差计算：
40.其中，所述计算匹配代价具体是获得第一摄像机2所获得的待测水域图像的像素数据与第二摄像机4所获得的待测水域图像的像素数据的相关性，在本案例中，计算匹配代价时会给算法设定一个阈值来达到降低错误匹配率的目的并且以窗口内部数据代替待匹配点像素进行相似度计算，同时基于灰度信息的局部匹配算法，依靠代价聚合提高算法的可靠性。局部匹配算法采用wta策略，即选择相似度最高的点作为最佳匹配点，此时视差为像素视差。
41.其中，所述视差计算具体是使用计算匹配代价所得到的参数来确定第一摄像机2所获待测水域的图像与第二摄像机4所获的待测水域的图像中的待匹配点对应的最佳匹配点，并且得出视差值。立体匹配综合整体图像信息筛选最佳视差，在计算过程中构造能量函
数进行视差优化。
42.所述立体匹配得到的视差信息提供了深度信息，对于场景的直观描述借助三维重建。根据摄像机参数进行三维重建，可以获得水下渔网5的形态的重构图。因此就可以判断水下巡检机器人距离渔网的距离达到及时检查和维修深海网箱的目的，提高海底网箱的养殖效率并且大大降低养殖成本和人工成本。
43.在本实例中，考虑到由于拍摄环境、摄像机镜头畸变的因素，得到的视差图上会存在一些错误。为达到高精度的测量结果，在本案例还采用中值滤波的方式，第一摄像机2和第二摄像机4一致性检测的方法对视差图进行后续的精细化处理。
44.在本实例中，三维重建是利用摄像机标定后得到的图像坐标系和世界坐标系之间的对应关系以及图像特征向量之间的相互对应关系，对第一摄像机2、第二摄像机4所获得的彩色图片经过图像预处理后得到的二值化图像信息通过坐标变化的放法重建出待测水域的三维信息。
45.本发明为改善传统单目测距和激光测距无法准确测量到渔网的距离的缺陷，创新性的将水下双目立体视觉技术和激光条纹表征相结合，经过是摄像机标定、图像预处理、立体匹配和三维重建等过程，在获取水下高清图像的同时，可以使得工作人员准确获得到水下巡检机器人与深海渔网之间距离以及深海渔网的水下姿态。
46.通过本发明提供的一种深海网箱渔网水下距离测量方法能够完成深海渔网水下距离的精确测量，也能获取水下渔姿态的实时图像。
47.通过利用双目立体视觉的方法，达到使用二维数字图像得到场景中三维信息。双目视觉系统使用两个摄像头捕捉相同的场景，由于摄像机与场景的相对位置不同，所以采集到的图像存在视差，而立体匹配算法就是要根据图像信息得到的视差对应关系，根据得出的对应关系对图像中场景进行三维重建，大大增加了水下巡检机器人与渔网之间的距离测定的时效性和准确性。
48.在本实例中，所述双目立体视觉是机器视觉的一种重要形式，其具有效率高、精度合适、系统结构简单、成本低等优点，适用于非接触产品检测同时，对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。
49.在本实例中，通过使用激光器3，引入激光条纹的辅助作用，可在渔网上呈现出了具有高亮度激光点，这将大大减小双目视觉法中三维重建的误差。
50.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
51.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
52.在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
53.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
54.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
55.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
56.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。