一种水下视频鱼类识别方法、系统及存储介质与流程

本发明涉及生物影像识别技术领域，尤其涉及一种水下视频鱼类识别方法、系统及存储介质。

背景技术：

随着人类对海洋资源需求的日益增加，海洋渔业资源开发越来越受到重视。渔业资源调查和评估工作是合理开发海洋渔业资源的重要基础，这就迫切地需要具备对鱼的种类进行快速识别的能力。

传统的鱼类资源调查方法主要是以拖网捕捞法为主，与传统的拖网捕捞识别等方法相比，近年来采用声学诱导的方法也日益推广，声学方法具有快速方便、生物资源损坏风险小的优势；但是采用声学的方式一定程度上还是会对鱼类群体产生干扰，而随着当前水下摄影技术的日益提升，若是能够直接以摄像的方式结合影像识别进行辅助鱼类识别，那么能够将对鱼类的干扰降到最低，同时，还能够从云端服务器中汇集海量的数据进行识别和记录。

技术实现要素：

有鉴于此，本发明的目的在于提出一种实施可靠、处理效率高、使用体验佳的水下视频鱼类识别方法、系统及存储介质。

为了实现上述的技术目的，本发明所采用的技术方案为：

一种水下视频鱼类识别方法，包括：

s01、构建鱼类影像数据库；

s02、获取水下视频影像；

s03、将水下视频影像分割成图像帧文件，然后将其导入图像识别系统内进行识别处理，输出带有框选标记的检测图像帧；

s04、提取检测图像帧内带有框选标记的区域，将其导入鱼类影像数据库内进行匹配处理，输出图像匹配结果；

s05、当图像匹配结果满足预设条件时，输出鱼类信息。

其中，作为一种可能的实施方式，进一步，所述带有框选标记的检测图像帧为对图像帧内的鱼类整体、鱼头、鱼身、鱼鳍和鱼尾进行分别框选标记；

所述鱼类影像数据库所存储的数据包括不同鱼类的多视角整体图像数据和将鱼类的鱼头、鱼身、鱼鳍及鱼尾进行多视角单独分割存储的局部图像数据。

作为一种较优的实施选择，优选的，所述的图像匹配结果还经归一化处理后，获得1×2的矩阵数据结果(x1，y1)，其中，x1+y1＝1，x1为匹配符合概率，y1为匹配不符合概率。

作为一种较优的实施选择，优选的，将水下视频影像分割成图像帧文件的方法为：

将水下视频影像中的视频流转换成图像帧，然后按预设时间间隔抽取对应的图像帧，生成检测图像帧，其用于导入图像识别系统内进行识别处理。

在匹配处理方面，不同的匹配机制所带来的效率有所差异，因此，本方案还提供了两种数据匹配机制，具体为如下：

作为匹配机制之一，优选的，所述鱼类影像数据库中的鱼类数据还依据鱼类的体形比例特征和鱼类的头部特征进行分类并建立索引库，所述的体形比例特征为依据鱼的长度和其腹部至背部的高度比例范围确定，该体形比例特征数值区间至少包括：[0，1]、[1，2]、[2，5]、[5，10]、[10，15]、[15，30]、[30，+∞]；

所述检测图像帧导入鱼类影像数据库内进行匹配时，采用边缘检测算法提取检测图像帧内的鱼类整体轮廓，对鱼类的高度、长度进行估算，并求取长高比值，将该长高比值对应到鱼类影像数据库的索引库，然后在对应的体形比例特征数值区间下属的数据集进行匹配，并实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据，将该鱼类数据的匹配符合概率设为第一数据；

当第一数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息；

当第一数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第一数据大于第二预设值或鱼类数据库遍历匹配完毕；

其中，对应体形比例特征数值区间下属的数据集匹配结束后，根据体形比例特征数值区间的起始值与当前检测图像帧内鱼类长高比值的差值由小至大顺序对其余体形比例特征数值区间下属的数据集进行匹配。

作为一种较优的实施选择，优选的，所述的边缘检测算法为canny边缘检测算法或scharr边缘检测算法。

作为匹配机制之二，优选的，所述检测图像帧导入鱼类影像数据库内进行匹配时，还采用检测神经网络算法对检测图像帧内带有框选标记的区域进行判断，然后将检测图像帧按照是否体现有鱼头、鱼身进行分类成具有鱼头影像信息的第一检测集，无鱼头且有鱼身信息的第二检测集，无鱼头且无鱼身的第三检测集；

其中，

第一检测集中的检测图像采用遍历的方式将检测图像帧内框选标记有鱼头的区域与鱼类影像数据库中的鱼头数据进行匹配处理，当匹配符合概率大于预设值时，提取检测图像帧内框选标记有鱼类整体的区域与该鱼头数据对应鱼类的多视角整体图像数据进行进一步匹配，实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据，设为第二数据；

当第二数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息，

当第二数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第二数据大于第二预设值或鱼类数据库遍历匹配完毕；

第二检测集中的检测图像采用遍历的方式将检测图像帧内框选标记有鱼身的区域与鱼类影像数据库中的鱼身数据进行匹配处理，当匹配符合概率大于预设值时，提取检测图像帧内框选标记有鱼类整体的区域与该鱼身数据对应鱼类的多视角整体图像数据进行进一步匹配，实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据，设为第三数据；

当第三数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息，

当第三数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第三数据大于第二预设值或鱼类数据库遍历匹配完毕；

第三检测集中的检测图像采用遍历的方式将检测图像帧内框选标记有鱼类整体的区域与鱼类影像数据库中的鱼类的多视角整体图像数据进行匹配，实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据，设为第四数据；

当第四数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息，

当第四数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第四数据大于第二预设值或鱼类数据库遍历匹配完毕。

作为一种较优的实施选择，优选的，所述的鱼类影像数据库内还存储有鱼类皮肤病图像数据和鱼类异常姿态图像数据，所述的输出的图像匹配结果包括：鱼类信息、皮肤病信息和异常状态信息。

作为一种较优的实施选择，优选的，当匹配结果满足预设条件时，采用可视化方式输出鱼类信息；

其中，可视化方式输出鱼类信息的方法包括：对检测图像帧中框选标记的鱼类整体区域进行实时引出标线，同时在标线末端位置进行文字输出鱼类信息。

基于上述的方法方案，本方案还提供了一种水下视频鱼类识别系统，包括：

存储单元，用于存储鱼类影像数据库；

影像摄取单元，用于获取水下视频；

影像处理单元，用于对水下视频进行分割成图像帧文件；

图像识别单元，用于获取影像处理单元分割的图像帧文件，输出带有框选标记的检测图像帧；

图像对比单元，用于获取检测图像帧和调取存储单元内存储的鱼类影像数据库，且将二者进行匹配和输出图像匹配结果；

判断单元，用于对图像匹配结果进行判定，且生成是否输出鱼类信息的执行指令。

作为一种较优的实施选择，优选的，本方案还包括与判断单元连接的可视化输出单元，通过可视化输出单元可以进行直观输出鱼类信息，同时还可以进一步将视频流同步显示或者以图像帧的形式进行显示输出。

基于上述的方法方案，本方案还提供了一种存储介质，所述的存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述的至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行实现上述所述的水下视频鱼类识别方法。

采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：本方案巧妙性通过构建鱼类影像数据库的形式，将水下视频影像进行分割成图像帧，然后进行图像识别框选出视频中鱼类的身体部分，通过将框选标记的区域进行与鱼类影像数据库内进行匹配，能够在尽可能节约算力的情况下，获得较优、较快的图像匹配结果，通过对匹配结果进行设置判断条件来获得置信度较高的匹配结果进行输出，获得识别的鱼类信息，该方式不仅实施可靠、处理效率高，而且使用体验佳。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明识别方法的简要流程示意图；

图2为本发明识别方法处理过程中输出的带有框选标记的检测图像帧的简要示意图；

图3为本发明识别方法运行过程中，数据的传递流程示意图；

图4为作为本发明识别方法的匹配机制之一的简要示意图，其中，仅示出鱼类影像数据库和图像对比单元之间数据传递的示意，其余部分与图3所示大致相同；

图5为作为本发明识别方法的匹配机制之一的简要数据判定示意图，其中，未示出环节部分与图3所示大致相同；

图6为作为本发明识别方法的匹配机制之二的简要示意图，其中，仅图像检测帧至图像对比单元之间的数据传递有所变化，其余部分与图3所示大致相同；

图7为本发明水下视频鱼类识别系统的简要示意图之一；

图8为本发明水下视频鱼类识别系统的简要示意图之二。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，本发明一种水下视频鱼类识别方法，包括：

s01、构建鱼类影像数据库；

s02、获取水下视频影像；

s03、将水下视频影像分割成图像帧文件，然后将其导入图像识别系统内进行识别处理，输出带有框选标记的检测图像帧；

s04、提取检测图像帧内带有框选标记的区域，将其导入鱼类影像数据库内进行匹配处理，输出图像匹配结果；

s05、当图像匹配结果满足预设条件时，输出鱼类信息。

其中，参考图2所示，作为一种可能的实施方式，进一步，所述带有框选标记的检测图像帧为对图像帧内的鱼类整体、鱼头、鱼身、鱼鳍和鱼尾进行分别框选标记；

所述鱼类影像数据库所存储的数据包括不同鱼类的多视角整体图像数据和将鱼类的鱼头、鱼身、鱼鳍及鱼尾进行多视角单独分割存储的局部图像数据。

作为一种较优的实施选择，优选的，所述的图像匹配结果还经归一化处理后，获得1×2的矩阵数据结果(x1，y1)，其中，x1+y1＝1，x1为匹配符合概率，y1为匹配不符合概率。

结合图3所示，作为一种较优的实施选择，优选的，将水下视频影像分割成图像帧文件的方法为：

将水下视频影像中的视频流转换成图像帧，然后按预设时间间隔抽取对应的图像帧，生成检测图像帧，其用于导入图像识别系统内进行识别处理，当图像匹配结果的概率大于预设值时，输出鱼类信息，而采用遍历的方式若是鱼类数据库内没有匹配到大于预设值时，则直接结束匹配。

在匹配处理方面，不同的匹配机制所带来的效率有所差异，因此，本方案还提供了两种数据匹配机制，具体为如下：

在图1至图3所示的基础上，进一步结合图4，作为匹配机制之一，优选的，所述鱼类影像数据库中的鱼类数据还依据鱼类的体形比例特征和鱼类的头部特征进行分类并建立索引库，所述的体形比例特征为依据鱼的长度和其腹部至背部的高度比例范围确定，该体形比例特征数值区间至少包括：[0，1]、[1，2]、[2，5]、[5，10]、[10，15]、[15，30]、[30，+∞]，通过索引库的方式，可以使得鱼类影像数据库中的数据被分类划分索引，能够克服传统遍历匹配时的局限性，如：匹配针对性弱、数据处理量大的问题。

进一步结合图5所示，在本方案的匹配机制中，所述检测图像帧导入鱼类影像数据库内进行匹配时，采用边缘检测算法提取检测图像帧内的鱼类整体轮廓，对鱼类的高度、长度进行估算，并求取长高比值，将该长高比值对应到鱼类影像数据库的索引库，然后在对应的体形比例特征数值区间下属的数据集进行匹配，并实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据(即临时图像匹配结果)，将该鱼类数据的匹配符合概率设为第一数据；

当第一数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息；

当第一数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第一数据大于第二预设值或鱼类数据库遍历匹配完毕；

其中，对应体形比例特征数值区间下属的数据集匹配结束后，根据体形比例特征数值区间的起始值与当前检测图像帧内鱼类长高比值的差值由小至大顺序对其余体形比例特征数值区间下属的数据集进行匹配。

作为一种较优的实施选择，优选的，所述的边缘检测算法为canny边缘检测算法或scharr边缘检测算法。

在图1至图3的基础上，参考图5所示，进一步结合图6，作为匹配机制之二，优选的，所述检测图像帧导入鱼类影像数据库内进行匹配时，还采用检测神经网络算法对检测图像帧内带有框选标记的区域进行判断，然后将检测图像帧按照是否体现有鱼头、鱼身进行分类成具有鱼头影像信息的第一检测集，无鱼头且有鱼身信息的第二检测集，无鱼头且无鱼身的第三检测集；

其中，

第一检测集中的检测图像采用遍历的方式将检测图像帧内框选标记有鱼头的区域与鱼类影像数据库中的鱼头数据进行匹配处理，当匹配符合概率大于预设值时，提取检测图像帧内框选标记有鱼类整体的区域与该鱼头数据对应鱼类的多视角整体图像数据进行进一步匹配，实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据，设为第二数据；

当第二数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息，

当第二数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第二数据大于第二预设值或鱼类数据库遍历匹配完毕；

第二检测集中的检测图像采用遍历的方式将检测图像帧内框选标记有鱼身的区域与鱼类影像数据库中的鱼身数据进行匹配处理，当匹配符合概率大于预设值时，提取检测图像帧内框选标记有鱼类整体的区域与该鱼身数据对应鱼类的多视角整体图像数据进行进一步匹配，实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据，设为第三数据；

当第三数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息，

当第三数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第三数据大于第二预设值或鱼类数据库遍历匹配完毕；

第三检测集中的检测图像采用遍历的方式将检测图像帧内框选标记有鱼类整体的区域与鱼类影像数据库中的鱼类的多视角整体图像数据进行匹配，实时获得与该检测图像帧内鱼类匹配符合概率最高的鱼类数据，设为第四数据；

当第四数据大于第一预设值时，将其作为临时图像匹配结果进行先行输出，然后在其满足预设条件下，输出鱼类信息，

当第四数据小于第二预设值时，继续执行调用鱼类数据库中的数据进行匹配，直至第四数据大于第二预设值或鱼类数据库遍历匹配完毕。

作为一种较优的实施选择，优选的，所述的鱼类影像数据库内还存储有鱼类皮肤病图像数据和鱼类异常姿态图像数据，所述的输出的图像匹配结果包括：鱼类信息、皮肤病信息和异常状态信息。

作为一种较优的实施选择，优选的，当匹配结果满足预设条件时，采用可视化方式输出鱼类信息；

其中，可视化方式输出鱼类信息的方法包括：对检测图像帧中框选标记的鱼类整体区域进行实时引出标线，同时在标线末端位置进行文字输出鱼类信息。

如图7所示，基于上述的方法方案，本方案还提供了一种水下视频鱼类识别系统，包括：

存储单元，用于存储鱼类影像数据库；

影像摄取单元，用于获取水下视频；

影像处理单元，用于对水下视频进行分割成图像帧文件；

图像识别单元，用于获取影像处理单元分割的图像帧文件，输出带有框选标记的检测图像帧；

图像对比单元，用于获取检测图像帧和调取存储单元内存储的鱼类影像数据库，且将二者进行匹配和输出图像匹配结果；

判断单元，用于对图像匹配结果进行判定，且生成是否输出鱼类信息的执行指令。

其中，如图8所示，作为一种延伸方案，优选的，本方案还包括与判断单元连接的可视化输出单元，通过可视化输出单元可以进行直观输出鱼类信息，同时还可以进一步将视频流同步显示或者以图像帧的形式进行显示输出。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。