一种基于特征库的鱼群识别方法、装置、设备及存储介质与流程

本发明属于图像识别技术领域，具体地说，涉及一种基于特征库的鱼群识别方法、装置、设备及存储介质。

背景技术：

在海洋渔业生产过程中，海上移动鱼群的搜索主要依靠船上人员通过望远镜观察，或者通过直升机上的人员俯视观察海面搜索鱼群。依靠鱼群泛起的浪花、聚集的海鸟、浮木等辨别鱼群。然而，鱼群特征不明显，完全依赖观察员的经验，可靠性及效率都很低。现有技术中，助渔仪器经常使用的是声呐技术，它通过声音传播和放射来确定物体距离和形状、探测和识别水里物体和轮廓。但通过声呐技术只能获取目标鱼群的大致轮廓，并不能得到较为准确的目标鱼群信息，且现有助渔仪器作用范围在几公里到十几公里之间，而远洋捕捞需要在50到100公里的范围去侦察鱼群，助渔仪器满足不了远洋捕捞的需求。

现在人们逐渐意识到，基于深度学习网络模型的水下鱼群研究，通过智能视觉物联网来降低人工、电力成本的开销，及时反映鱼群情况。例如中国专利申请号为201510434598.x，公开了一种基于深度学习网络模型的鱼群异常行为识别方法，利用互信息提取最具代表性的图像分块改进深度学习模型，结合时空卷积，对鱼群的行为进行判断，得到鱼群所处的状态。本发明提供的方法可以监控水下鱼群的生长状况，根据深度学习网络输出反馈鱼群所处行为，进行针对性处理，为水产养殖的监控与预警提供重要的方法和手段。但是该方法只是用来监控水下鱼群的生长状况，对于海洋捕鱼过程并不适用，无法判断鱼群是否存在，以及鱼群的位置信息。

技术实现要素：

1、要解决的问题

针对现有的海上移动鱼群的搜索主要依靠观察员经验判断，不够智能的问题，本发明提供一种基于特征库的鱼群识别方法，该方法通过构建鱼群特征的特征库，所述特征库使用多组训练数据训练出来的，所述多组中的训练数据中的每一组训练数据均包括：鱼群的照片和用来标识该鱼群的特征信息；将待识别的图片输入所述特征库中，提取图像中待识别的鱼群中的特征信息，与所述特征库进行特征匹配，输出信息，其中所述输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。将观察员的经验知识固化、能够自动完成海洋鱼群的识别，从而代替观察员长时间的海面观察，做到可靠、高效的海洋鱼群识别，则能大大提高海面渔业的生产效率。

2、技术方案

为解决上述问题，本发明采用如下的技术方案。

本发明第一方面提供一种基于特征库的鱼群识别方法，包括：

s100：构建鱼群特征的特征库，所述特征库使用多组训练数据训练出来的，所述多组中的训练数据中的每一组训练数据均包括：鱼群的照片和用来标识该鱼群的特征信息；

s200：将待识别的图片输入所述特征库中，提取图像中待识别的鱼群中的特征信息，与所述特征库进行特征匹配，输出信息，其中所述输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。

优选的，所述步骤s100中包括：

获取鱼群视频信息，提取所述鱼群视频中每一帧图像，对所述图像中的鱼群区域进行标注；

提取所述图像以及标注的鱼群区域的图像的orb特征；

通过k最近邻算法匹配所述图像以及标注的鱼群区域的图像的orb特征，将匹配成功后的特征作为鱼群特征存储到特征库中，并设置初始权重为0，构建初始特征库。

优选的，所述步骤s100中还包括：

将训练数据输入所述初始特征库中，验证所述输出结果；

根据所述验证结果，调整特征库中各orb特征权重，得到最终特征库。

优选的，当验证所述输出结果错误时，将对应的orb特征在特征库中的权重减少；当验证所述输出结果正确时，将对应的orb特征在特征库中的权重增加。

优选的，当orb特征在特征库中的权重发生变化时，对初始特征库的每个orb特征根据权重进行排序，在之后的每次特征匹配过程中，优先匹配权重值较高的orb特征进行比对。

优选的，所述步骤s200中还包括：当提取图像中待识别的鱼群中的特征信息与所述特征库特征匹配的特征数量大于阈值，则输出所述待测的图像中存在鱼群信息，并在图像中通过矩形线框标识出鱼群的位置。

优选的，所述的特征库为关系型数据库或非关系型数据库。

本发明第二方面提供一种基于特征库的鱼群识别装置，包括：

训练模块，用于构建鱼群特征的特征库，所述特征库使用多组训练数据训练出来的，所述多组中的训练数据中的每一组训练数据均包括：鱼群的照片和用来标识该鱼群的特征信息；及

识别模块，用于将待识别的图片输入所述特征库中，提取图像中待识别的鱼群中的特征信息，与所述特征库进行特征匹配，输出信息，其中所述输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。

本发明第三方面提供一种电子设备，包括：

存储器；

一个或多个处理器；以及

一个或多个模块，所述一个或多个模块被存储在所述存储器中并被配置成由所述一个或多个处理器控制，所述一个或多个模块用于执行上述的方法。

本发明第四方面提供一种非暂态计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。

3、有益效果

相比于现有技术，本发明的有益效果为：

(1)本发明提供一种基于特征库的鱼群识别方法，通过构建鱼群特征的特征库，所述特征库使用多组训练数据训练出来的，所述多组中的训练数据中的每一组训练数据均包括：鱼群的照片和用来标识该鱼群的特征信息；将待识别的图片输入所述特征库中，提取图像中待识别的鱼群中的特征信息，与所述特征库进行特征匹配，输出信息，其中所述输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。将观察员的经验知识固化、能够自动完成海洋鱼群的识别，从而代替观察员长时间的海面观察，做到可靠、高效的海洋鱼群识别，则能大大提高海面渔业的生产效率；

(2)本发明综合运用机器学习、图像识别、数据库技术，实现了在极少样本甚至零样本的情况下，经过不断的人工介入、匹配判定，逐步迭代形成特征库，实现海洋鱼群的自动识别，从而减少人工成本，提高生产效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。附图中：

图1为本发明实施例所提供的一种基于特征库的鱼群识别方法的流程示意图a；

图2为本发明实施例所提供的一种基于特征库的鱼群识别装置结构示意图；

图3为本发明实施例所提供的一种基于特征库的鱼群识别方法的流程示意图b。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

申请概述

文中部分专业术语释义：

k最近邻算法，即k-nearestneighbors，简称knn，是一种分类算法，1968年由cover和hart提出，应用场景有字符识别、文本分类、图像识别等领域。该算法的思想是：一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。

orb特征提取算法，orb即orientedfastandrotatedbrief，是一种快速特征点提取和描述的算法。orb特征提取算法分为两部分，分别是特征点提取和特征点描述。特征提取是由fast算法发展来的，特征点描述是根据brief特征描述算法改进的，orb特征提取算法是将fast特征点的检测方法与brief特征描述子结合起来，并在它们原来的基础上做了改进与优化。

本领域技术人员应当理解，在海洋渔业生产过程中，海上移动鱼群的搜索主要依靠船上人员通过望远镜观察，或者通过直升机上的人员俯视观察海面搜索鱼群。依靠鱼群泛起的浪花、聚集的海鸟、浮木等辨别鱼群。然而，鱼群特征不明显，完全依赖观察员的经验，因此本发明主要用于协助海上渔船找鱼，从渔船上放飞无人机，拍摄附近海域海面，将视频实时回传到渔船上，渔船上接收到海面视频后，通过本发明实时识别海面是否有鱼群，如果识别有鱼群则给出提醒，由船上人员判断是否需要将船开过去捕捞。具体的，通过构建鱼群特征的特征库，所述特征库使用多组训练数据训练出来的，所述多组中的训练数据中的每一组训练数据均包括：鱼群的照片和用来标识该鱼群的特征信息；将待识别的图片输入所述特征库中，提取图像中待识别的鱼群中的特征信息，与所述特征库进行特征匹配，输出信息，其中所述输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。将观察员的经验知识固化、能够自动完成海洋鱼群的识别，从而代替观察员长时间的海面观察，做到可靠、高效的海洋鱼群识别，则能大大提高海面渔业的生产效率。

示例性方法

以下结合具体情况说明本发明的示例性方法，如图1、3所示，本实施例提供一种基于特征库的鱼群识别方法：

s100：构建鱼群特征的特征库，所述特征库使用多组训练数据训练出来的，所述多组中的训练数据中的每一组训练数据均包括：鱼群的照片和用来标识该鱼群的特征信息。所述的特征库可以是关系型数据库或非关系型数据库，本实例的特征库使用已mongodb作为存储特征库的数据库。所述步骤s100包括：

s110：获取鱼群视频信息，提取所述鱼群视频中每一帧图像，对所述图像中的鱼群区域进行标注。

具体的，针对已有的包含海洋鱼群视频，遴选出部分片段含有海洋鱼群视频i、视频ii等多个视频，分别进行采样或剪裁，提取含有海洋鱼群的视频片段，如片段i、片段ii、片段iii、片段iv等。对片段i、片段ii、片段iii、片段iv等的视频片段的每一帧图像进行提取，标注出每一帧图像中的鱼群区域，获取多个训练图像。

s120：提取所述图像以及标注的鱼群区域的图像的orb特征；

具体的，这里的特征，实际指特征点，一个像素点是否能作为特征点，是根据这个像素点与其周围128个像素点的灰度值差值是否大于我们设定的一个阈值，如果大于阈值则视为是一个特征点，对这个特征点的描述是一串二进制码；以三个图像为例，提取对个训练图像图像的orb特征，例如在第一个图像中提取了特征a、特征b、特征c、特征d、特征e、特征f’、特征g’、特征h’等特征；

在第二个图像中提取了特征a’、特征b’、特征c’、特征d’、特征e、特征f、特征g、特征h等特征；

在第三个图像中提取了特征a、特征b、特征c、特征d、特征e’、特征f、特征g、特征h等特征；

s130：通过k最近邻算法匹配所述图像以及标注的鱼群区域的图像的orb特征，将匹配成功后的特征作为鱼群特征存储到特征库中，并设置初始权重为0，构建初始特征库。

具体的，将第一个图像与第二个图像之间进行k最近邻算法匹配，确定可加入鱼群特征库的特征e、特征f、特征g、特征h；将第一个图像与第三个图像之间进行k最近邻算法匹配，确定可加入鱼群特征库的特征a、特征b、特征c、特征d；将第二个图像与第三个图像之间进行k最近邻算法匹配，确定可加入鱼群特征库的特征f、特征g、特征h；以此类推，对每两个图像之间逐一进行k最近邻算法匹配，最终确定特征库，表示为：【特征a(0)，特征b(0)，特征c(0)，特征d(0)，特征e(0)，...特征v(0)，特征w(0)】，此特征库为初始特征库，特征a、特征b、特征c、...特征v、特征w的权重均为0，该初始特征库的每个特征均具有相同的优先权。

作为一个变化例，将训练数据输入所述初始特征库中，验证所述输出结果；根据所述验证结果，修正特征库中各orb特征权重，得到最终特征库。当验证所述输出结果错误时，将对应的orb特征在特征库中的权重减少；当验证所述输出结果正确时，将对应的orb特征在特征库中的权重增加。

具体的，对于验证视频片段x1中是否正确的识别出鱼群，人工验证识别正确，则将特征a、特征b、特征c、特征d、特征e、特征f在初始特征库中的权重加1，则特征库表示为：【特征a(1)，特征b(1)，特征c(1)，特征d(1)，特征e(1)，特征f(1)...特征v(0)，特征w(0)】。

重复进行上述的步骤识别多个视频片段中鱼群，对识别结果进行验证并修正特征库中各特征的权重。假设，经过数次重复过程后的特征库为：【特征a(6)，特征b(6)，特征c(5)，特征d(3)，特征e(2)，特征f(4)，特征g(0)...特征v(0)，特征w(0)】。

此时，若发生了鱼群识别错误的情况：则采集需要识别海洋鱼群的视频，进行采样或剪裁，提取含有海洋鱼群的视频片段x2；对视频片段x2的每一帧图像进行orb特征提取，提取出特征a’、特征b、特征c、特征d、特征e、特征f、特征g、特征h’的特征集。

将视频片段x2的特征a’、特征b、特征c、特征d、特征e、特征f、特征g、特征h’的特征集与特征库【特征a(6)，特征b(6)，特征c(5)，特征d(3)，特征e(2)，特征f(4)，特征g(0)...特征v(0)，特征w(0)】进行k最近邻算法的特征匹配，匹配成功的特征为：特征b、特征c、特征d、特征e、特征f、特征g，匹配特征数为6，因此可得出结论：视频片段x2中存在海洋鱼群。

当验证视频片段x2中是否正确的识别出鱼群，人工验证识别错误，则将特征b、特征c、特征d、特征e、特征f、特征g在特征库中的权重减1，则特征库表示为：【特征a(6)，特征b(5)，特征c(4)，特征d(2)，特征e(1)，特征f(3)，特征g(-1)...特征v(0)，特征w(0)】。

当发生未识别出鱼群但人工验证发现视频片段x3中存在鱼群的情况：采集需要识别海洋鱼群的视频，进行采样或剪裁，提取含有海洋鱼群的视频片段x3；对视频片段x3的每一帧图像进行orb特征提取，提取出特征a’、特征b、特征c、特征d、特征e、特征x、特征y、特征z的特征集；将视频片段x3的特征a’、特征b、特征c、特征d、特征e、特征x、特征y、特征z的特征集与特征库【特征a(6)，特征b(5)，特征c(4)，特征d(2)，特征e(1)，特征f(3)，特征g(-1)...特征v(0)，特征w(0)】进行k最近邻算法的特征匹配，匹配成功的特征为：特征b、特征c、特征d、特征e，匹配特征数为4，因此可得出结论：视频片段x3中不存在海洋鱼群。

当进行人工识别视频片段x3中存在鱼群，则将视频片段x3的特征a’、特征b、特征c、特征d、特征e、特征x、特征y、特征z加入特征库中，则特征库表示为：【特征a(6)，特征b(5)，特征c(4)，特征d(2)，特征e(1)，特征f(3)，特征g(-1)...特征v(0)，特征w(0)，特征x(0)，特征y(0)，特征z(0)】。

当人工识别存在鱼群作为一次判定特征匹配成功，增加相应特征权重到特征库，此时特征库表示为：【特征a(6)，特征b(6)，特征c(5)，特征d(3)，特征e(2)，特征f(3)，特征g(-1)...特征v(0)，特征w(0)，特征x(1)，特征y(1)，特征z(1)】。

当在每次修正特征库后，对特征库的每个特征根据权重进行排序，上述特征库也可记录为：【特征a(6)，特征b(6)，特征c(5)，特征d(3)，特征f(3)，特征e(2)，特征x(1)，特征y(1)，特征z(1)，特征g(-1)...特征v(0)，特征w(0)，】。

进一步，在之后的每次特征匹配过程中，优先匹配权重值较高的特征，大大减少匹配运算的时间，增加匹配运算效率。在特征提取阶段，也可以优选提取特征库中排名靠前的特征种类，减少特征提取时间，增加特征提取效率。重复上述的过程多次，经过不断的人工介入、匹配判定，逐步完善特征库，实现海洋鱼群的自动识别，从而减少人工成本，提高生产效率。

s200：将待识别的图片输入所述特征库中，提取图像中待识别的鱼群中的特征信息，与所述特征库进行特征匹配，输出信息，其中所述输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。

当提取图像中待识别的鱼群中的特征信息与所述特征库特征匹配的特征数量大于阈值，则输出所述待测的图像中存在鱼群信息，并在图像中通过矩形线框标识出鱼群的位置。获取图像中匹配成功的特征点的x轴、y轴坐标，以所有特征点的最小x轴、最小y轴坐标为左顶点，以所有特征点的最大x轴坐标减去最小x轴坐标作为宽度，以所有特征点的最大y轴坐标减去最小y轴坐标作为高度画一个矩形框，矩形框中的区域即为识别出有鱼群的区域；将阈值设为5。

具体的，通过在渔船上放飞无人机，拍摄附近海域海面，将视频实时回传到渔船上，渔船上接收到海面视频y后，可以将视频片段y的特征a、特征b、特征c、特征d、特征e、特征f、特征g’、特征h’的特征集与最终特征库的特征进行k最近邻算法的特征匹配，匹配成功的特征为：特征a、特征b、特征c、特征d、特征e、特征f，匹配特征数为6，因此可得出结论：视频片段y中存在海洋鱼群，之后圈定鱼群区域：获取图像中匹配成功的特征点(特征a、特征b、特征c、特征d、特征e、特征f)的x轴、y轴坐标，以所有特征点的最小x轴、最小y轴坐标为左顶点(假设为特征a所在点)，以所有特征点的最大x轴坐标减去最小x轴坐标作为宽度，以所有特征点的最大y轴坐标减去最小y轴坐标作为高度画一个矩形框，矩形框中的区域即为识别出有鱼群的区域。

示例性装置

如图2所示，一种基于特征库的鱼群识别装置包括：

训练模块10，用于构建鱼群特征的特征库，所述特征库使用多组训练数据训练出来的，所述多组中的训练数据中的每一组训练数据均包括：鱼群的照片和用来标识该鱼群的特征信息；及

识别模块20，用于将待识别的图片输入所述特征库中，提取图像中待识别的鱼群中的特征信息，与所述特征库进行特征匹配，输出信息，其中所述输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。

示例性电子设备

下面描述根据本申请实施例的电子设备，包括：存储器；一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中并被配置成由所述一个或多个处理器控制，所述一个或多个模块用于执行上述的方法。该电子设备可以是可移动设备本身，或与其独立的单机设备，该单机设备可以与可移动设备进行通信，以从它们接收所采集到的输入信号，并向其输出输出信息包括所述图像中待识别的鱼群的位置信息以及存在信息。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。