本发明涉及图像处理技术领域，更具体地，涉及一种基于深度学习的鱼类定位检测和识别方法及系统。
背景技术
由于海水养殖产业受高温、风灾等自然灾害影响大，抵御风险能力弱，许多暴露的场所与操作方法依靠人工巡查并不方便。水下机器人作为水下监测的辅助工具可以帮助养殖户快速完成日常的监测任务，实时传输回有价值的信息，从而改善渔产养殖质量，省时又省力。
水下机器人携带的摄像头把水下的图像通过实时传送设备直接传送到水面上进行图像识别。传统的图像识别一般采用人工提取图像特征的方法，操作者必须具有丰富的先验作支撑。处理步骤包括：图像的滤波去躁、边缘增强、图像区域分割、基于直观的自然特征，如亮度、边缘、纹理、色彩；基于变换或者处理才能得到的特征，如矩、直方图以及主成分。此外，传统的图像识别方法都是基于人工手动选择特征，手动选择特征的方法不仅效率低下，还会导致遗漏重要的特征，导致分类准确率低。
随着计算机性能的大幅提升，一些开源的gpu集群并行计算框架相继出现，比较有代表性有google的tensorflow、facebook的torch、加州大学伯克利的phd贾扬清开发的caffe等，这样使得快速开发构建深度学习模型成为可能。1990年，lecun等在研究手写体数字识别问题时，首先提出来使用梯度反向传播算法训练的卷积神经网络模(lenet5)，并在mnist手写数字数据集上表现出了好的性能,以后对卷积神经网络的研究突飞猛进。2012年，alex获得imagenet冠军，其所用的alexnet5个卷积层3个pool层和2个全连接层。2014年获得imagenet的googlenet，使用了59个卷积层，16个pool层和2个全连接层。2016年微软的resnet深度残差网络，用了152层的架构，由此可见卷积神经网络迅猛发展。
深度学习在图像分类领域日益展现出了出色的性能。有鉴于此，本发明针对鱼类定位检测和识别，提供一种基于深度学习的鱼类定位检测和识别方法及系统。
技术实现要素：
本发明为了克服传统图像识别中通过人工提取和选择特征所导致的识别结果不准确且效率低下的问题，提供一种基于深度学习的鱼类定位检测和识别方法及系统。
一方面，本发明提供一种基于深度学习的鱼类定位检测和识别方法，包括：
将待识别图像输入第一预设神经网络，根据所述第一预设神经网络的输出结果，获得所述待识别图像中每条鱼对应的目标框；
将每个所述目标框对应的图像输入第二预设神经网络，根据所述第二神经网络的输出结果，获得每个所述目标框中鱼的种类；
其中，所述第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得；所述第二预设神经网络是根据带有种类标记的样本图像进行训练后获得。
优选地，所述将待识别图像输入第一预设神经网络，根据所述第一预设神经网络的输出结果，获得所述待识别图像中每条鱼对应的目标框，具体为：
将所述待识别图像输入所述第一预设神经网络的卷积层和池化层，获得所述待识别图像对应的特征图；
将所述特征图输入所述第一预设神经网络的回归层，利用所述回归层在所述特征图上定位目标框，将所述特征图上的目标框映射到所述待识别图像上，获得所述待识别图像中每条鱼对应的目标框。
优选地，利用所述回归层在所述特征图上定位目标框，具体为：
利用所述回归层对所述特征图进行网格划分，在每个网格中预测固定数量的候选框，并获取每个所述候选框的位置参数和前景概率；
计算每两个所述候选框之间的交并比，保留所述交并比达到第一预设阈值的两个候选框中前景概率大的候选框；
获取每个所述候选框的置信度，将所述置信度达到第二预设阈值的候选框作为所述目标框。
优选地，所述将每个所述目标框对应的图像输入第二预设神经网络，根据所述第二神经网络的输出结果，获得每个所述目标框中鱼的种类，具体为：
将每个所述目标框对应的图像输入所述第二预设神经网络的卷积层和池化层，获得每个所述目标框对应的特征向量；
将所述特征向量输入所述第二预设神经网络的分类层，获得每个所述目标框中鱼的种类。
优选地，所述将待识别图像输入第一预设神经网络，之前还包括：
在所述第一预设神经网络的每个卷积层之后添加batchnormalization。
优选地，所述将每个所述目标框对应的图像输入第二预设神经网络，之前还包括：
将多类别交叉熵作为所述第二预设神经网络的损失函数，并在所述损失函数上添加混合参数的正则化项。
优选地，所述获得每个所述目标框中鱼的种类，之后还包括：
获取所有所述目标框对应的连通区域，拟合所述连通区域对应的多边形，并计算所述多边形的面积；
统计所有所述目标框中鱼的种类总数，根据所述面积和所述种类总数获得所述待识别图像中鱼的种类密度。
一方面，本发明提供一种基于深度学习的鱼类定位检测和识别系统，包括：
定位检测模块，用于将待识别图像输入第一预设神经网络，根据所述第一预设神经网络的输出结果，获得所述待识别图像中每条鱼对应的目标框；
种类识别模块，用于将每个所述目标框对应的图像输入第二预设神经网络，根据所述第二神经网络的输出结果，获得每个所述目标框中鱼的种类；
其中，所述第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得；所述第二预设神经网络是根据带有种类标记的样本图像进行训练后获得。
一方面，本发明提供一种基于深度学习的鱼类定位检测和识别方法的设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述任一所述的方法。
一方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一所述的方法
本发明提供的一种基于深度学习的鱼类定位检测和识别方法及系统，将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类。该方法及系统采用深度学习中的神经网络结构，通过训练获得的第一预设神经网络和第二神经网络分别对待识别图像中的鱼类进行准确定位检测和种类识别，有效确保了检测结果和识别结果的准确性，具有良好的抗干扰性和鲁棒性；避免了传统图像识别中通过人工提取和选择特征所导致的识别结果不准确且效率低下的问题；可以广泛应用于海水养殖产业，有利于改善渔产养殖质量，省时又省力。
附图说明
图1为本发明实施例的一种基于深度学习的鱼类定位检测和识别方法的整体流程示意图；
图2为本发明实施例的待识别图像中鱼类定位检测方法的具体流程示意图；
图3为本发明实施例的待识别图像中鱼类种类识别方法的具体流程示意图；
图4为本发明实施例的一种基于深度学习的鱼类定位检测和识别系统的整体结构示意图；
图5为本发明实施例的一种基于深度学习的鱼类定位检测和识别方法的设备的结构框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例的一种基于深度学习的鱼类定位检测和识别方法的整体流程示意图，如图1所示，本发明提供一种基于深度学习的鱼类定位检测和识别方法，包括：
s1，将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；
具体地，通过水下机器人携带的摄像头采集水下图像，水下图像中包含待识别的鱼类，将该水下图像输入第一预设神经网络，通过第一预设神经网络对待识别图像进行特征提取，获得待识别图像对应的特征图，并在特征图上定位出每条鱼对应的目标框。由此，可将特征图上的目标框映射到待识别图像上，获得待识别图像中每条鱼对应的目标框。其中，第一预设神经网络可以为yolo网络模型等，本实施例中具体采用yolov2网络模型对待识别图像进行处理，获得待识别图像中每条鱼对应的目标框。在其他实施例中，第一预设神经网络还可以设置为其他网络模型，可以根据实际需求进行设置，此处不做具体限定。
此外，在将待识别图像输入第一预设神经网络之前，还需对第一神经网络模型进行训练。本实施例中，第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得的。具体地，将采集的水下图像进行手动目标分割，并在分割出的每个切片中手动标注包含鱼的目标框，以标注切片中鱼的确切位置，获得带有目标框标记的样本图像。将带有目标框标记的样本图像输入第一预设神经网络，根据第一预设神经网络的输出结果中目标框位置与样本图像中手动标注的目标框位置之间的偏差不断修正第一预设神经网络，直至第一预设神经网络的输出结果中目标框位置逼近样本图像中手动标注的目标框位置。
s2，将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类；
其中，第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得；第二预设神经网络是根据带有种类标记的样本图像进行训练后获得。
具体地，在获得待识别图像中每条鱼对应的目标框之后，获取每个目标框对应的图像，将每个目标框对应的图像输入第二预设神经网络，利用第二预设神经网络对每个目标框对应的图像进行特征提，获得每个目标框对应的特征向量，最终根据每个目标框对应的特征向量获得每个目标框中鱼的种类。其中，第二预设神经网络可以为vgg-16网络，在其他实施例中，第二预设神经网络还可以为其他类型的网络，可以根据实际需求进行设置，此处不做具体限定。
此外，在将每个目标框对应的图像输入第二预设神经网络之前，还需对第二预设神经网络进行训练。本实施例中，第二预设神经网络是根据带有类别标记的样本图像进行训练后获得的。具体地，使用爬虫工具在百度图片上爬取相关种类鱼的图片。针对每张图片，标记每张图片中包含鱼的种类，获得带有种类标记的样本图像。将带有种类标记的样本图像输入第二预设神经网络，根据第二预设神经网络输出的种类与样本图像中标记的种类之间的偏差不断修正第二预设神经网络，直至第二预设神经网络输出的种类逼近样本图像中标记的种类。
此外，在对第一预设神经网络和第二预设神经网络进行训练之前，还可以对样本图像进行预处理，其中预处理包括去噪处理、边缘增强、图像锐化、图像尺度缩放、平移、旋转和适度裁剪等。同时，对于图像照度不均匀的样本图像，可以通过gamma校正，将图像整体亮度提高或降低。此外，由于样本图像中相邻像素之间具有很强的相关性，有鉴于此，本实施例中使用白化降低样本图像中的冗余性。在其他实施例中，还可以采用其他方式对样本图像进行预处理，可以根据实际需求进行设置，此处不做具体限定。
本发明提供的一种基于深度学习的鱼类定位检测和识别方法，将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类。该方法采用深度学习中的神经网络结构，通过训练获得的第一预设神经网络和第二神经网络分别对待识别图像中的鱼类进行准确定位检测和种类识别，有效确保了检测结果和识别结果的准确性，具有良好的抗干扰性和鲁棒性；避免了传统图像识别中通过人工提取和选择特征所导致的识别结果不准确且效率低下的问题；可以广泛应用于海水养殖产业，有利于改善渔产养殖质量，省时又省力。
基于上述任一实施例，提供一种基于深度学习的鱼类定位检测和识别方法，如图2所示，将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框，具体为：
s11，将待识别图像输入第一预设神经网络的卷积层和池化层，获得待识别图像对应的特征图；
具体地，将待识别图像输入第一预设神经网络的卷积层和池化层，由卷积层和池化层交替对输入的待识别图像进行卷积和池化，获得待识别图像对应的特征图。
本实施例中，第一预设神经网络可以为yolov2网络模型，该yolov2网络模型总共包括22个卷积层和5个池化层，每一层由多个二维平面组成，而每个平面又由多个独立神经元组成。其中，卷积层中每一个神经元只与上一层的一块局部接收域相连；池化层中每一个神经元仍然只与上一层的一块局部接收域相连，对上一层的特征图进行池化，降低空间分辨率，这样可以充分利用图像的局部相关性，在减少数据处理量的同时保留有用信息。在其他实施例中，第一预设神经网络的结构可以根据实际需求进行构建，此处不做具体限定。
s12，将特征图输入第一预设神经网络的回归层，利用回归层在特征图上定位目标框，将特征图上的目标框映射到待识别图像上，获得待识别图像中每条鱼对应的目标框。
具体地，将最后一个卷积层输出的特征图输入第一预设神经网络的回归层。回归层在特征图像上滑动，在每个特征点上产生预设数量的候选框，每个候选框中包含一条待识别的鱼。根据一定的选择机制，从候选框中选择确定目标框，进而可在特征图上获得多个目标框。最终，将特征图上的目标框映射到待识别图像上，在待识别图像中获得每条鱼对应的目标框。
本实施例中，第一预设神经网络可以为yolov2网络模型，yolov2网络模型中去掉了全连接层，并借鉴了fasterr-cnn中的anchor思想，在回归层采用anchorboxes在特征图上进行滑窗操作，在特征图上预测多个候选框。再根据一定的选择机制，从多个候选框中选择确定目标框，进而可在特征图上获得多个目标框。
本发明提供的一种基于深度学习的鱼类定位检测和识别方法，将待识别图像输入第一预设神经网络的卷积层和池化层，获得待识别图像对应的特征图；将特征图输入第一预设神经网络的回归层，利用回归层在特征图上定位目标框，将特征图上的目标框映射到待识别图像上，获得待识别图像中每条鱼对应的目标框。该方法能够在待识别图像中准确定位出每条鱼对应的目标框，有利于后续对待识别图像中每条鱼的种类进行识别。
基于上述任一实施例，提供一种基于深度学习的鱼类定位检测和识别方法，利用回归层在特征图上定位目标框，具体为：利用回归层对特征图进行网格划分，在每个网格中预测固定数量的候选框，并获取每个候选框的位置参数和前景概率；计算每两个候选框之间的交并比，保留交并比达到第一预设阈值的两个候选框中前景概率大的候选框；获取每个候选框的置信度，将置信度达到第二预设阈值的候选框作为目标框。
具体地，在获得待识别图像对应的特征图之后，将特征图输入第一预设神经网络的回归层，在回归层中，将特征图进行网格划分，可以按照预先的设置将特征图划分为n×n个网格。针对每个网格，预测固定数量的候选框，其中固定数量可以根据实际需求进行设置，此处不做具体限定。此外，对于预测的每个候选框，获取每个候选框的位置参数和前景概率，其中，位置参数用于表征该候选框在待识别图像中的具体位置；前景概率用于表征该候选框中包含目标(鱼)的概率。
由于预测出的多个候选框可能同时检测到同一条鱼，即每两个候选框之间可能存在交集。有鉴于此，本实施例中，针对预测出的多个候选框，计算获得每两个候选框之间的交并比，其中交并比为两个候选框之间交集和并集的比值。在此基础上，若两个候选框之间的交并比未达到第一预设阈值，则将两个候选框舍弃；若两个候选框之间的交并比达到第一预设阈值，则保留两个候选框中前景概率大的候选框，并将另一个候选框舍弃。最终，获取每个候选框的置信度，根据候选框的数量及其置信度设置置信度阈值，即第二预设阈值。在此基础上，将置信度达到第二预设阈值的候选框作为目标框，即确定该候选框中存在目标(鱼)，而将置信度未达到第二预设阈值的候选框舍弃。由此，可在特征图中定位并显示出多个目标框。
本实施例中，第一预设神经网络可以为yolov2网络模型，现以yolov2网络模型为例进行说明。待识别图像输入yolov2网络模型后，通过yolov2网络模型中的卷积层和池化层进行卷积和池化后，可获得13×13的特征图，将特征图输入回归层，在回归层中对13×13特征图中的每个cell预测5个anchor_box，每一个anchor_box包含5个值[pr，bx，by，bw，bh]，pr为anchor_box包含物体的概率，bx，by分别表示边框中心在水平和竖直方向上相对于cell的偏移，bw，bh分别表示边框的宽度和高度，通过如下公式计算各参数：
bx＝σ(tx)+cx
by＝σ(ty)+cy
pr(object)×iou(b,object)＝σ(to)
其中，tx表示水平平移量；ty表示竖直平移量；(cx,cy)表示每个格子左上角的坐标；pw表示每个格子的宽度；ph表示每个格子的高度；tw表示宽度上的缩放；th表示竖直上的缩放；iou表示交并比；to表示置信度。
在此基础上，本实施例中，设置第一预设阈值为0.5，即保留交并比达到0.5的两个候选框中前景概率大的候选框，并舍弃其他候选框。再根据候选框的数量及其置信度设置置信度阈值，即第二预设阈值，可以根据实际需求进行设置，此处不做具体限定。在此基础上，将置信度达到第二预设阈值的候选框作为目标框。由此，可在特征图中定位并显示出多个目标框。
本发明提供的一种基于深度学习的鱼类定位检测和识别方法，利用回归层对特征图进行网格划分，在每个网格中预测固定数量的候选框，并获取每个候选框的位置参数和前景概率；计算每两个候选框之间的交并比，保留交并比达到第一预设阈值的两个候选框中前景概率大的候选框；获取每个候选框的置信度，将置信度达到第二预设阈值的候选框作为目标框。该方法能够在待识别图像中准确定位出每条鱼对应的目标框，有利于后续对待识别图像中每条鱼的种类进行识别。
基于上述任一实施例，提供一种基于深度学习的鱼类定位检测和识别方法，如图3所示，将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类，具体为：
s21，将每个目标框对应的图像输入第二预设神经网络的卷积层和池化层，获得每个目标框对应的特征向量；
具体地，在待识别图像中定位出目标框之后，将每个目标框对应的图像输入第二预设神经网络的卷积层和池化层，由卷积层和池化层交替对输入的每个目标框对应的图像进行卷积和池化，获得每个目标框对应的特征向量。
s22，将特征向量输入第二预设神经网络的分类层，获得每个目标框中鱼的种类。
具体地，在获得每个目标框对应的特征向量之后，可以对特征向量进行降维，再将降维后的特征向量输入第二预设神经网络的分类层，通过分类层对特征向量进行分类，获得每个目标框中鱼的种类。
在其他实施例中，第一预设神经网络和第二预设神经网络还可以共享卷积层，即仅需对待识别图像进行一次特征提取，有利于提高待识别图像的整体识别效率。此外，针对待识别图像中每个目标框对应的特征向量，可以将特征向量导入基于核的svm分类器pipe中，给出分类的结果。
本发明提供的一种基于深度学习的鱼类定位检测和识别方法，将每个目标框对应的图像输入第二预设神经网络的卷积层和池化层，获得每个目标框对应的特征向量；将特征向量输入第二预设神经网络的分类层，获得每个目标框中鱼的种类。该方法在第一预设神经网络之后设置第二预设神经网络，通过第二预设神经网络对每个目标框中的鱼的种类进行识别，有效实现了待识别图像中鱼类的定位检测和识别。
基于上述任一实施例，提供一种基于深度学习的鱼类定位检测和识别的方法，将待识别图像输入第一预设神经网络，之前还包括：在第一预设神经网络的每个卷积层之后添加batchnormalization。
具体地，由于卷积神经网络在训练过程中网络每层输入的分布一直在改变会使训练过程难度加大，可以通过normalize每层的输入解决这个问题。有鉴于此，本实施例中，在第一预设神经网络的每个卷积层之后添加batchnormalization，batchnormalization有助于规范化模型，可以在舍弃dropout优化后依然不会过拟合。
本发明提供的一种基于深度学习的鱼类定位检测和识别方法，在第一预设神经网络的每个卷积层之后添加batchnormalization，有助于规范化模型，可以在舍弃dropout优化后依然不会过拟合。
基于上述任一实施例，提供一种基于深度学习的鱼类定位检测和识别的方法，将每个目标框对应的图像输入第二预设神经网络，之前还包括：将多类别交叉熵作为第二预设神经网络的损失函数，并在损失函数上添加混合参数的正则化项。
具体地，本实施例中，将多类别交叉熵作为第二预设神经网络的损失函数loss，具体为：
其中，yt为标注的真实值，采用one-hot编码，即(1，0，0，0，0，0，0，0)，yp为经过卷积神经网络得到的预测值；为了防止模型过拟合，在损失函数中加入混合参数的正则化项，具体为：
其中，wi，j为第i层神经元与第j层神经元全连接权重矩阵，α为调节因子。
本发明提供的一种基于深度学习的鱼类定位检测和识别方法，将多类别交叉熵作为第二预设神经网络的损失函数，并在损失函数上添加混合参数的正则化项，有效解决了模型过拟合的问题。
基于上述任一实施例，提供一种基于深度学习的鱼类定位检测和识别的方法，获得每个目标框中鱼的种类，之后还包括：获取所有目标框对应的连通区域，拟合连通区域对应的多边形，并计算多边形的面积；统计所有目标框中鱼的种类总数，根据面积和种类总数获得待识别图像中鱼的种类密度。
具体地，在获得每个目标框中鱼的种类之后，所有目标框组成了一个连通区域，获取所有目标框对应的连通区域，并拟合连通区域对应的多边形。本实施例中，利用拉格朗日函数拟合连通区域对应的多边形，在其他实施例中，也可以采用其他方法拟合连通区域对应的多边形，可以根据实际需求进行设置，此处不做具体限定。在此基础上，针对拟合的多边形，计算获得该多边形的面积，即获得待识别图像中鱼类所占的总面积。
此外，根据第二预设神经网络的输出结果，统计所有目标框中鱼的种类总数，即统计待识别图像中包含鱼的种类。最终，根据计算获得的面积和统计出的种类总数获得待识别图像中鱼的种类密度，即根据待识别图像中鱼类所占的总面积和鱼类的种类总数获得待识别图像中鱼的种类密度。
本发明提供的一种基于深度学习的鱼类定位检测和识别方法，在获得每个目标框中鱼的种类之后，获取所有目标框对应的连通区域，拟合连通区域对应的多边形，并计算多边形的面积；统计所有目标框中鱼的种类总数，根据面积和种类总数获得待识别图像中鱼的种类密度。该方法能够准确检测出待识别图像中鱼类的种类密度，可以广泛应用于海水养殖产业，有利于养殖户准确掌握鱼类的分布情况。
图4为本发明实施例的一种基于深度学习的鱼类定位检测和识别系统的整体结构示意图，如图4所示，基于上述任一实施例，提供一种基于深度学习的鱼类定位检测和识别系统，包括：
定位检测模块1，用于将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；
具体地，通过水下机器人携带的摄像头采集水下图像，水下图像中包含待识别的鱼类，利用定位检测模块1将该水下图像输入第一预设神经网络，通过第一预设神经网络对待识别图像进行特征提取，获得待识别图像对应的特征图，并在特征图上定位出每条鱼对应的目标框。由此，可将特征图上的目标框映射到待识别图像上，获得待识别图像中每条鱼对应的目标框。其中，第一预设神经网络可以为yolo网络模型等，本实施例中具体采用yolov2网络模型对待识别图像进行处理，获得待识别图像中每条鱼对应的目标框。在其他实施例中，第一预设神经网络还可以设置为其他网络模型，可以根据实际需求进行设置，此处不做具体限定。
此外，在将待识别图像输入第一预设神经网络之前，还需对第一神经网络模型进行训练。本实施例中，第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得的。具体地，将采集的水下图像进行手动目标分割，并在分割出的每个切片中手动标注包含鱼的目标框，以标注切片中鱼的确切位置，获得带有目标框标记的样本图像。将带有目标框标记的样本图像输入第一预设神经网络，根据第一预设神经网络的输出结果中目标框位置与样本图像中手动标注的目标框位置之间的偏差不断修正第一预设神经网络，直至第一预设神经网络的输出结果中目标框位置逼近样本图像中手动标注的目标框位置。
种类识别模块2，用于将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类；
其中，第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得；第二预设神经网络是根据带有种类标记的样本图像进行训练后获得。
具体地，在获得待识别图像中每条鱼对应的目标框之后，获取每个目标框对应的图像，利用种类识别模块2将每个目标框对应的图像输入第二预设神经网络，利用第二预设神经网络对每个目标框对应的图像进行特征提，获得每个目标框对应的特征向量，最终根据每个目标框对应的特征向量获得每个目标框中鱼的种类。其中，第二预设神经网络可以为vgg-16网络，在其他实施例中，第二预设神经网络还可以为其他类型的网络，可以根据实际需求进行设置，此处不做具体限定。
此外，在将每个目标框对应的图像输入第二预设神经网络之前，还需对第二预设神经网络进行训练。本实施例中，第二预设神经网络是根据带有类别标记的样本图像进行训练后获得的。具体地，使用爬虫工具在百度图片上爬取相关种类鱼的图片。针对每张图片，标记每张图片中包含鱼的种类，获得带有种类标记的样本图像。将带有种类标记的样本图像输入第二预设神经网络，根据第二预设神经网络输出的种类与样本图像中标记的种类之间的偏差不断修正第二预设神经网络，直至第二预设神经网络输出的种类逼近样本图像中标记的种类。
本发明提供的一种基于深度学习的鱼类定位检测和识别系统，将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类。该系统采用深度学习中的神经网络结构，通过训练获得的第一预设神经网络和第二神经网络分别对待识别图像中的鱼类进行准确定位检测和种类识别，有效确保了检测结果和识别结果的准确性，具有良好的抗干扰性和鲁棒性；避免了传统图像识别中通过人工提取和选择特征所导致的识别结果不准确且效率低下的问题；可以广泛应用于海水养殖产业，有利于改善渔产养殖质量，省时又省力。
图5示出本发明实施例的一种基于深度学习的鱼类定位检测和识别方法的设备的结构框图。参照图5，所述基于深度学习的鱼类定位检测和识别方法的设备，包括：处理器(processor)51、存储器(memory)52和总线53；其中，所述处理器51和存储器52通过所述总线53完成相互间的通信；所述处理器51用于调用所述存储器52中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类；其中，第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得；第二预设神经网络是根据带有种类标记的样本图像进行训练后获得。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类；其中，第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得；第二预设神经网络是根据带有种类标记的样本图像进行训练后获得。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：将待识别图像输入第一预设神经网络，根据第一预设神经网络的输出结果，获得待识别图像中每条鱼对应的目标框；将每个目标框对应的图像输入第二预设神经网络，根据第二神经网络的输出结果，获得每个目标框中鱼的种类；其中，第一预设神经网络是根据带有目标框标记的样本图像进行训练后获得；第二预设神经网络是根据带有种类标记的样本图像进行训练后获得。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的基于深度学习的鱼类定位检测和识别方法的设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。