海洋鱼类三维图像获取及处理方法、装置、设备及介质与流程

本发明实施例涉及图像处理技术，尤其涉及一种海洋鱼类三维图像获取及处理方法、装置、设备及介质。

背景技术：

海洋生态质量评价对海洋生物学科的研究、环境保护和渔业发展有重要意义。获取鱼群分布信息是进行海洋生态质量评价的重要参数。

目前，主要是通过人工在定点捕捞鱼类，以获取鱼群分布信息。

但是，人工捕捞方式浪费大量人力物力，并且，鱼类对捕捞设备的趋避性使得根据捕捞获取到的鱼群分布信息难以代表整体海域分布。因此，目前获取鱼群分布信息的方式成本较高，并且，准确率较低。

技术实现要素：

本发明提供一种海洋鱼类三维图像获取及处理方法、装置、设备及介质，以解决目前获取鱼群分布信息的方式成本较高以及准确率较低的技术问题。

第一方面，本发明实施例提供了一种海洋鱼类三维图像获取及处理方法，包括：

通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；

根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；

根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；

根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；

采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。

第二方面，本发明实施例还提供了一种海洋鱼类三维图像获取及处理装置，该装置包括：

第一获取模块，用于通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；

第二获取模块，用于根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；

第三获取模块，用于根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；

第一确定模块，用于根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；

第二确定模块，用于采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

水下成像装置，用于采集目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的海洋鱼类三维图像获取及处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的海洋鱼类三维图像获取及处理方法。

本发明实施例提供的海洋鱼类三维图像获取及处理方法、装置、设备及介质，通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，根据第一二维图像以及第二二维图像获取视差图，根据第三二维图像对深度图进行校正，获取校正后的深度图，根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像，采用深度学习方法，根据目标图像，确定各条鱼的属性，一方面，实现了通过包括双目相机、深度相机以及灯光补偿模块的水下成像装置获取图像，不再需要人工参与获取鱼群分布信息，不仅降低了鱼群分布信息获取的成本，而且消除了水下环境对光线的影响，使得获取到的各个图像不受水下环境的影响，另一方面，对深度图进行了校正，并根据视差图和校正后的深度图对鱼的深度信息进行校正，减少由于第一二维图像和第二二维图像信息不足和水下光线散射造成的深度测量误差，使得最终获取到的各条鱼的校正后的深度信息更为准确，从而，提高了鱼群分布信息获取的准确率。因此，本实施例可以降低鱼群分布信息获取的成本，提高鱼群分布信息获取的准确率。

附图说明

图1为本发明提供的海洋鱼类三维图像获取及处理方法实施例一的流程示意图；

图2a为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的主视图；

图2b为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的俯视图；

图3为海洋鱼类三维图像获取及处理方法实施例一中的左目相机的畸变后的标定板的示意图和右目相机的畸变后的标定板的示意图；

图4为kinect深度相机成像的第三二维图以及深度图匹配对齐的三维图；

图5为本发明提供的海洋鱼类三维图像获取及处理方法实施例二的流程示意图；

图6为海洋鱼类三维图像获取及处理方法实施例二中的一种训练目标检测网络的流程示意图；

图7为海洋鱼类三维图像获取及处理方法实施例二中的显示界面的示意图；

图8为本发明提供的海洋鱼类三维图像获取及处理装置实施例一的流程示意图；

图9为本发明提供的海洋鱼类三维图像获取及处理装置实施例二的流程示意图

图10为本发明提供的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明提供的海洋鱼类三维图像获取及处理方法实施例一的流程示意图。本实施例可适用于获取海洋鱼类三维图像并对该图像进行处理以识别图像中鱼的属性的情况，该方法可以由海洋鱼类三维图像获取及处理装置来执行。海洋鱼类三维图像获取及处理装置可以通过硬件和/或软件的方式实现。如图1所示，具体包括如下步骤：

步骤101：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图。

其中，水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块。第一二维图像为通过左目相机获取的图像，第二二维图像为通过右目相机获取的图像。第三二维图以及深度图为通过深度相机获取的图像。

具体地，本实施例中的水下成像装置为同时设置有双目相机和深度相机的装置。之所以需要同时设置双目相机和深度相机的原因如下：在水下时，深度相机发出的红外光会强烈衰减，远距离成像会造成图像雾化；由于海底光线的折射，相对于陆上成型的相机标定体系，双目相机水下成像需要重新建立标定体系，标定参数过程相对复杂，两视图包含信息较少，不足以完整而细致地恢复出深度变化丰富的场景，在水下由于受光线散射限制，通过视差图计算深度会有一定的误差。由于深度相机和双目相机在水下成像时，各有利弊，因此，本实施例中，结合双目相机和深度相机，设计了一种水下成像装置，以实现精确地获取海洋鱼类三维图像。

图2a为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的主视图。图2b为海洋鱼类三维图像获取及处理方法实施例一中的水下成像装置的俯视图。请同时参照图2a与图2b，本实施例中的水下成像装置包括左目相机12、右目相机13、深度相机14以及灯光补偿模块15。可选地，左目相机12与右目相机13设置在同一水平线上，深度相机14设置在左目相机12与右目相机13连线的下方。更具体地，深度相机14可以设置在左目相机12与右目相机13连线的中点处的下方。左目相机12、右目相机13以及深度相机14可以设置在防水壳体11中。由于海底环境光线昏暗，采集到的图片亮度低且噪声大。本实施例中，在水下成像装置中设置灯光补偿模块15，以实现在海底补充光线。可选地，本实施例中的灯光补偿模块15为两个，分别设置在防水壳体11正面的左右两侧。灯光补偿模块15中可以包括红外光源151和白光光源152。红外光源151和白光光源152可以是上下设置，也可以是左右设置。图2a与图2b以红外光源151和白光光源152上下设置为例进行说明。进一步地，为了便于将该水下成像装置在水下进行固定，本实施例中的水下成像装置中还设置有安装板16，以通过安装板16将该水下成像装置固定在特定位置或者特定部件上。

本实施例中的深度相机可以是kinect深度相机。kinect深度相机通过发射光与反射光之间的时间差确定深度信息。双目相机利用相似三角形原理，利用左右视图的视差确定深度信息。

本实施例中，在步骤101之前，需要确定包含左目相机和右目相机的双目相机的相机标定参数。目前，普遍认为最基本的摄像机成像模型是简化的数学模型：一条光线由空间的某个场景或物体反射或者发射过来，这条光线来自于物体的某一个点，通过针孔，到达成像平面，这样物体上的一个点就投影到成像平面上了，同样，当无数条光线由物体上的各个点发出，投影到成像平面，成像平面就获得该物体的完整图像，这就是基本成像模型。

在水下成像中，空间点投射到成像平面，共涉及四个坐标系的转换：世界坐标系-摄像机坐标系-成像平面坐标系-图像像素坐标系。通过旋转矩阵和平移矩阵实现将界坐标系转换到摄像机坐标系的转换。通过透视投影实现摄像机坐标系到成像平面坐标系的转换。通过相机标定分别得到左目相机和右目相机的内外参数后，还需要确定左目相机与右目相机之间的位置关系。确定左目相机和右目相机之间的位置关系的过程叫做立体标定。左目相机与右目相机之间的位置关系实际上是指两个相机之间的位置关系，这与相机标定中世界坐标系与摄像机坐标系的转换关系类似，同样可以用一个旋转矩阵和平移矩阵实现确定两个相机之间的位置关系。

可选地，本实施例采用matlab的计算机视觉工具箱和opencv3.4.0第三方库实现双目相机标定和立体标定。本实施例在进行双目相机标定和立体标定时，采用双目相机标定算法和常用的matlab标定工具箱实现，求出左目相机与右目相机之间的转换关系：旋转矩阵r和平移矩阵t。确定出的旋转矩阵r和平移矩阵t的结果如下所示：

图3为海洋鱼类三维图像获取及处理方法实施例一中的左目相机的畸变后的标定板的示意图和右目相机的畸变后的标定板的示意图。如图3所示，a图为左目相机的畸变后的标定板的示意图，b图为右目相机的畸变后的标定板的示意图。

在对深度相机进行标定时，由于深度相机可以自动生成深度图，只需要根据所拍摄的标定板图像进行参数系数调整即可。水下环境对红外虽有吸收作用，但对近距离成像的深度图获取影响不大。

在完成双目相机标定、立体标定和深度相机标定后，将水下成像装置固定在目标海洋区域中。通过水下成像装置获取目标海洋区域的图像。本实施例中，通过左目相机获取到第一二维图像，通过右目相机获取到第二二维图像，通过深度相机获取到第三二维图像和深度图。

步骤102：根据第一二维图像以及第二二维图像获取视差图。

其中，视差图用于指示目标海洋区域中的各条鱼的深度信息。

具体地，本实施例中，通过双目相机获取到第一二维图像和第二二维图，再根据第一二维图像和第二二维图像获取视差图。可以根据视差图确定目标海洋区域中各条鱼的深度信息。

需要说明的是，这里的目标海洋区域中的各条鱼指的是目标海洋区域中，被双目相机采集到的各条鱼。

根据第一二维图像和第二二维图像获取视差图的原理是找出这两个图像之间的对应关系，再根据三角测量原理，得到视差图。可选地，可以采用matlab程序获取视差图。

步骤103：根据第三二维图像对深度图进行校正，获取校正后的深度图。

具体地，可以采用匹配算法，将第三二维图像和深度图对齐。kinect相机自带三维映射函数，可以实现将第三二维图像和深度图对齐。图4为kinect深度相机成像的第三二维图以及深度图匹配对齐的三维图。

一种可能的实现方式为：将深度图映射到第三二维图像中，采用畸变系数修正深度图中的各条鱼的深度信息，获取校正后的深度图。其中，畸变系数是预先设置的，或者，是根据深度相机中的标定板以及畸变后的标定板确定的。

本实施例中，畸变系数有两种获取方式：一种是深度相机中预先设置的，另一种是根据深度相机中的标定板以及畸变后的标定板确定的。

校正后的深度图用于指示目标海洋区域中的各条鱼的深度信息。

步骤104：根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像。

其中，各条鱼的三维信息包括各条鱼的校正后的深度信息。

具体地，由于在搭建水下成像装置时，已经将双目相机和深度相机的成像视角调整一致，因此，双目相机和深度相机采集的二维图像中，视野范围一致。

在根据视差图和校正后的深度图，对各条鱼的深度信息进行校正时，一种可能的实现方式为：分别识别出视差图以及校正后的深度图中的各条鱼的位置；针对同一位置的目标鱼，当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息相同时，确定目标鱼的校正后的深度信息为校正后的深度图中目标鱼的深度信息或者视差图中目标鱼的深度信息；当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息不同时，将视差图中目标鱼的深度信息以及校正后的深度图中目标鱼的深度信息的加权平均值确定为目标鱼的校正后的深度信息。

换句话说，识别出视差图中各条鱼的位置，识别出校正后的深度图中各条鱼的位置。对于同一位置的一条鱼来说：如果视差图中该条鱼的深度信息与校正后的深度图中该条鱼的深度信息相同或者差值在预设范围内时，确定该条鱼的校正后的深度信息为校正后的深度图中该条鱼的深度信息或者视差图中该条鱼的深度信息；如果视差图中该条鱼的深度信息与校正后的深度图中该条鱼的深度信息不相同或者差值大于预设范围时，确定该条鱼的校正后的深度信息为校正后的深度图中该条鱼的深度信息与视差图中该条鱼的深度信息的加权平均值。

在识别校正后的深度图中各条鱼的位置时，可以选取校正后的深度图中成像较为清晰的部分对应的第三二维图像区域，利用目标检测网络，例如，faster-rcnn网络，识别各条鱼的位置。

在根据视差图和校正后的深度图，对各条鱼的深度信息进行校正时，另一种可能的实现方式为：选取校正后的深度图中成像较为清晰的部分对应的第三二维图像区域，利用目标检测网络与相对应的双目相机采集到的第一二维图像或者第二二维图像进行匹配，选取匹配到的像素点，比较视差图中该匹配到的像素点的深度信息与校正后的深度图中该匹配到的像素点的深度信息，根据比较结果，确定该匹配到的像素点的校正后的深度信息。

可选地，在确定出各条鱼的校正后的深度信息后，可以根据校正后的深度信息对双目相机的视差图中的深度信息进行校正，将校正后的视差图作为目标图像。该目标图像具有各条鱼的三维信息。

步骤105：采用深度学习方法，根据目标图像，确定各条鱼的属性。

具体地，在确定出目标图像后，可以通过深度学习方法，确定各条鱼的属性，以实现确定鱼群分布信息，对海洋生态质量进行评价。如何通过深度学习方法，确定各条鱼的属性的方案将在实施例二中进行详细说明。

本实施例提供的海洋鱼类三维图像获取及处理方法，通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，根据第一二维图像以及第二二维图像获取视差图，根据第三二维图像对深度图进行校正，获取校正后的深度图，根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像，采用深度学习方法，根据目标图像，确定各条鱼的属性，一方面，实现了通过包括双目相机、深度相机以及灯光补偿模块的水下成像装置获取图像，不再需要人工参与获取鱼群分布信息，不仅降低了鱼群分布信息获取的成本，而且消除了水下环境对光线的影响，使得获取到的各个图像不受水下环境的影响，另一方面，对深度图进行了校正，并根据视差图和校正后的深度图对鱼的深度信息进行校正，减少由于第一二维图像和第二二维图像信息不足和水下光线散射造成的深度测量误差，使得最终获取到的各条鱼的校正后的深度信息更为准确，从而，提高了鱼群分布信息获取的准确率。因此，本实施例可以降低鱼群分布信息获取的成本，提高鱼群分布信息获取的准确率。

图5为本发明提供的海洋鱼类三维图像获取及处理方法实施例二的流程示意图。本实施例在实施例一提供的各种可选方案的基础上，对如何确定各条鱼的属性的方案作一详细说明。如图5所示，本实施例提供的海洋鱼类三维图像获取及处理方法包括如下步骤：

步骤501：通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图。

其中，水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，第一二维图像为通过左目相机获取的图像，第二二维图像为通过右目相机获取的图像，第三二维图以及深度图为通过深度相机获取的图像。

步骤501与步骤101的实现过程和技术原理类似，此处不再赘述。

步骤502：根据第一二维图像以及第二二维图像获取视差图。

其中，视差图用于指示目标海洋区域中的各条鱼的深度信息。

步骤502与步骤102的实现过程和技术原理类似，此处不再赘述。

步骤503：根据第三二维图像对深度图进行校正，获取校正后的深度图。

步骤503与步骤103的实现过程和技术原理类似，此处不再赘述。

步骤504：根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像。

其中，各条鱼的三维信息包括各条鱼的校正后的深度信息。

步骤504与步骤104的实现过程和技术原理类似，此处不再赘述。

步骤505：根据测试图像训练目标检测网络。

具体地，本实施例中的目标检测网络可以是faster-rcnn网络。

图6为海洋鱼类三维图像获取及处理方法实施例二中的一种训练目标检测网络的流程示意图。如图6所示，训练过程如下：

1)向卷积神经网络(convolutionalneuralnetwork，cnn)中，输入任意测试图像，其中，cnn是基于vgg-16网络预训练的；

2)经过cnn前向传播至共享卷积层，在经过共享卷积层之后，一方面得到区域推荐网络(regionproposalnetwork，rpn)输入的特征图，另一方面继续前向传播至特有卷积层，产生更高维特征图；

3)供rpn输入的特征图经过rpn得到区域建议和区域得分，并对区域得分采用非极大值抑制，示例性地，阈值可以为0.7，输出有得分的区域建议给兴趣区域(regionofinterest，roi)池化层；

4)将第2步得到的高维特征图和第3步得到的区域建议同时输入roi池化层，提取对应区域建议的特征；

5)将第4步得到的区域建议特征通过全连接层后，输出该区域的分类得分以及回归后的bounding-box圈出鱼类位置。

进一步地，为了提高目标检测网络识别鱼类位置的准确性，可以将测试图像中鱼的侧面图像剔除，保留鱼的正面图像，形成校正后的测试图像；根据校正后的测试图像训练目标检测网络。其中，鱼的正面图像中鱼头和鱼尾的深度信息相同，鱼的侧面图像中鱼头和鱼尾的深度信息不同。

步骤506：将目标图像输入训练后的目标检测网络中，确定各条鱼的种类以及头尾长度。

具体地，本实施例中的鱼的属性包括鱼的头尾长度以及种类。在将目标图像输入训练后的目标检测网络中后，训练后的目标检测网络可以圈出鱼的位置。在圈出鱼位置之后，映射对应像素点的空间三维坐标，匹配出鱼的头尾长度以及鱼的种类。

之后，可以根据目标海洋区域中各条鱼的头尾长度以及鱼的种类，确定鱼群分布信息，进行海洋生态质量评价。

图7为海洋鱼类三维图像获取及处理方法实施例二中的显示界面的示意图。如图7所示，本实施例中可以可视化显示鱼的头尾长度以及种类。

本实施例提供的海洋鱼类三维图像获取及处理方法，通过根据测试图像训练目标检测网络，将目标图像输入训练后的目标检测网络中，确定各条鱼的种类以及头尾长度，实现了根据训练后的目标检测网络确定各条鱼的种类以及头尾长度，进而获取鱼群分布信息，进一步提高了鱼群分布信息获取的准确率。

图8为本发明提供的海洋鱼类三维图像获取及处理装置实施例一的流程示意图。如图8所示，本实施例提供的海洋鱼类三维图像获取及处理装置包括如下模块：第一获取模块81、第二获取模块82、第三获取模块83、第一确定模块84以及第二确定模块85。

第一获取模块81，用于通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图。

其中，水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，第一二维图像为通过左目相机获取的图像，第二二维图像为通过右目相机获取的图像，第三二维图以及深度图为通过深度相机获取的图像。

第二获取模块82，用于根据第一二维图像以及第二二维图像获取视差图。

其中，视差图用于指示目标海洋区域中的各条鱼的深度信息；

第三获取模块83，用于根据第三二维图像对深度图进行校正，获取校正后的深度图。

可选地，第三获取模块83具体用于：将深度图映射到第三二维图像中，采用畸变系数修正深度图中的各条鱼的深度信息，获取校正后的深度图。其中，畸变系数是预先设置的，或者，是根据深度相机中的标定板以及畸变后的标定板确定的。

第一确定模块84，用于根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息，并获取包括各条鱼的三维信息的目标图像。

其中，各条鱼的三维信息包括各条鱼的校正后的深度信息。

可选地，在根据视差图以及校正后的深度图，对各条鱼的深度信息进行校正，确定各条鱼的校正后的深度信息的方面，第一确定模块84具体用于：分别识别出视差图以及校正后的深度图中的各条鱼的位置；针对同一位置的目标鱼，当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息相同时，确定目标鱼的校正后的深度信息为校正后的深度图中目标鱼的深度信息或者视差图中目标鱼的深度信息；当视差图中目标鱼的深度信息与校正后的深度图中目标鱼的深度信息不同时，将视差图中目标鱼的深度信息以及校正后的深度图中目标鱼的深度信息的加权平均值确定为目标鱼的校正后的深度信息。

第二确定模块85，用于采用深度学习方法，根据目标图像，确定各条鱼的属性。

本发明实施例所提供的海洋鱼类三维图像获取及处理装置可执行本发明海洋鱼类三维图像获取及处理方法实施例一的步骤，具备执行方法相应的功能模块和有益效果。

图9为本发明提供的海洋鱼类三维图像获取及处理装置实施例二的流程示意图。本实施例中，鱼的属性包括鱼的头尾长度以及种类。如图9所示，本实施例提供的海洋鱼类三维图像获取及处理装置中，第二确定模块85包括：训练子模块851和确定子模块852。

训练子模块851，用于根据测试图像训练目标检测网络。

可选地，训练子模块851具体用于：将测试图像中鱼的侧面图像剔除，保留鱼的正面图像，形成校正后的测试图像；根据校正后的测试图像训练目标检测网络。其中，鱼的正面图像中鱼头和鱼尾的深度信息相同，鱼的侧面图像中鱼头和鱼尾的深度信息不同。

确定子模块852，用于将目标图像输入训练后的目标检测网络中，确定各条鱼的种类以及头尾长度。

本发明实施例所提供的海洋鱼类三维图像获取及处理装置可执行本发明海洋鱼类三维图像获取及处理方法实施例二的步骤，具备执行方法相应的功能模块和有益效果。

图10为本发明提供的电子设备的结构示意图。如图10所示，该电子设备包括处理器70、存储器71和水下成像装置72。电子设备中处理器70的数量可以是一个或多个，图10中以一个处理器70为例；电子设备中的处理器70、存储器71和水下成像装置72可以通过总线或其他方式连接，图10中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的海洋鱼类三维图像获取及处理方法对应的程序指令/模块(例如，海洋鱼类三维图像获取及处理装置中的第一获取模块81、第二获取模块82、第三获取模块83、第一确定模块84以及第二确定模块85)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的海洋鱼类三维图像获取及处理方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

水下成像装置72，用于采集目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图，并发送给存储器71和处理器70。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种海洋鱼类三维图像获取及处理方法，该方法包括：

通过水下成像装置获取目标海洋区域的第一二维图像、第二二维图像、第三二维图像以及深度图；其中，所述水下成像装置包括左目相机、右目相机、深度相机以及灯光补偿模块，所述第一二维图像为通过所述左目相机获取的图像，所述第二二维图像为通过所述右目相机获取的图像，所述第三二维图以及所述深度图为通过所述深度相机获取的图像；

根据所述第一二维图像以及所述第二二维图像获取视差图；其中，所述视差图用于指示所述目标海洋区域中的各条鱼的深度信息；

根据所述第三二维图像对所述深度图进行校正，获取校正后的深度图；

根据所述视差图以及所述校正后的深度图，对各条所述鱼的深度信息进行校正，确定各条所述鱼的校正后的深度信息，并获取包括各条所述鱼的三维信息的目标图像；其中，所述各条所述鱼的三维信息包括各条所述鱼的校正后的深度信息；

采用深度学习方法，根据所述目标图像，确定各条所述鱼的属性。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的海洋鱼类三维图像获取及处理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述海洋鱼类三维图像获取及处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。