一种基于深层特征融合的鱼类智能分选方法及系统

1.本发明涉及图像识别和机械装置设计的技术领域，特别是涉及一种基于深层特征融合的鱼类智能分选方法及系统。


背景技术：

2.为最大限度利用养殖水体提高养殖效率，人工养殖鱼类时通常会实行多品种混养。而在河流、海洋中的鱼类也是多种多样。因此，无论是在人工养殖环境下还是在野外自然水体中进行捕捞均涉及鱼类的分选。目前，主要依靠技术工人来进行不同鱼种类的识别和分选。人工识别分选存在以下缺陷：1、劳动强度大，分选效率低，出错率高；2、鱼类识别分拣暴露的时间长，鱼类易死亡或损伤；3、由于依赖技术工人的经验，技术工人水平的高低决定了分选正确率，识别分选效率不稳定。虽然目前也出现了鱼类自动识别和分拣技术，但存在如下问题：(1)识别分选是在非水环境下进行，容易造成鱼体死亡或损伤；(2)识别技术较为原始，识别准确率不够；(3)多使用各种推进器进行鱼类的分拣，推进器和鱼体之间的碰撞也极易造成鱼体损伤，影响鱼的存活率和品质。


技术实现要素：

3.本发明的目的在于提供一种基于深层特征融合的鱼类智能分选方法及系统。
4.根据本发明的一个方面，提供了一种基于深层特征融合的鱼类智能分选方法，包括以下：
5.(1)获取待识别鱼的图像，通过图像预处理定位算法，对图像进行预处理，并对待识别鱼进行实时位置定位；
6.(2)通过深度学习算法对预处理后的图像进行特征提取，将提取的特征输入预先训练好的基于深层特征融合的卷积神经网络模型中，对图像进行分类，得到待识别鱼的种类，输出识别结果；
7.(3)鱼类智能分选系统根据识别结果将待识别鱼按照种类进行暂时存放，完成分选。
8.在一些实施方式中，步骤(1)中，图像预处理定位算法采用背景差分法，采用高斯混合模型对图像的背景进行实时更新，包括以下具体步骤：
9.(1a)获取摄像头捕获的第一帧图像，作为初始化背景图像；
10.(1b)调用opencv图像处理库中的cv.createbackgroundsubtractormog2()函数建立高斯混合模型，模型中方差阈值设定为25；
11.(1c)将待识别鱼的图像与初始化背景图像进行像素减运算，得到目标图像；
12.(1d)对目标图像进行开运算去噪点，闭运算填充内部空洞；
13.(1e)调用opencv图像库中的cv.findcontours()函数找出最大连通域，并画出目标位置的最小矩形框，完成对待识别鱼的图像的预处理。
14.在一些实施方式中，步骤(2)中，深度学习算法采用基于深层特征融合的卷积神经
网络，包括具体以下步骤：
15.(2a)建立n个种类的鱼群原始数据集，将鱼群原始数据集进行划分，其中80％作为训练集，剩余20％作为测试集，鱼群原始数据集的建立，包括以下步骤：
16.s1.鱼群原始数据集中共有n种鱼类，各个鱼类图像不少于500张，共有n
×
500张原始图像，其中，图像的色彩通道数为3；
17.s2.对原始图像数据进行形状缩放，图像大小统一调整至256
×
256；
18.s3.进行图像数据增强，对图像进行随机旋转、平移、剪裁；
19.(2b)搭建基于深层特征融合的卷积神经网络，包含7层卷积层，4层池化层，1层反卷积层，2层上采样层，1层特征拼接层，1层特征融合层；
20.(2c)将训练集输入到上述卷积神经网络中，并使用梯度反向传播的方法进行网络参数更新，将网络输出预测值与真实标签做差，得到差值，并使用差值的平方作为网络损失函数，梯度优化方法采用aadm优化器进行优化。
21.在一些实施方式中，卷积神经网络的结构包括：
22.(1)第一卷积层，有16个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
23.(2)第二卷积层，有32个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；第一最大池化层，池化核大小为2
×
2，步长为2，边缘填充数量为0；
24.(3)第一反卷积层，将第二卷积层的输出作为输入，有16个大小为3
×
3的卷积核，步长为2，边缘填充数量为0；第二最大池化层，池化核大小为2
×
2，步长为2，边缘填充数量为0；
25.(4)第三卷积层，有64个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
26.(5)第四卷积层，有128个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；第三最大池化层，池化核大小为2
×
2，步长为2，边缘填充数量为0；
27.(6)第一上采样层，采用双线性插值方法上采样，将第四卷积层的输出放大为原来的2倍；第1层特征拼接层，将反卷积层的输出与第四上采样层的输出特征按图像通道拼接在一起；
28.(7)第五卷积层，有256个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
29.(8)第六卷积层，有512个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
30.(9)第七卷积层，有144个大小为1
×
1的卷积核，步长为1，边缘填充数量为1；第四最大池化层，池化核大小为5
×
5，步长为3，边缘填充数量为0；
31.(10)第二上采样层，采用双线性插值方法上采样，将第七卷积层的输出缩放为128
×
128；特征融合层将第七卷积层上采样的输出特征与拼接层的输出特征直接相加，得到最终的融合特征；
32.经过上述卷积神经网络，图像由输入尺寸3
×
256
×
256变为输出尺寸为144
×
42
×
42，将图像打平后连接两层全连接神经网络，最终输出神经元个数为n，输出类别为n，即代表n类鱼群。本发明中卷积神经网络结构将深层卷积提取特征进行上采样，同时与浅层特征反卷积融合，有效结合了图像的深层边缘细节信息和浅层特征，增强了卷积神经网络的特征提取能力，在保证运算速度的同时，具有更高的识别率。
33.在一些实施方式中，一种基于深层特征融合的鱼类智能分选系统，包括用于盛放待识别鱼的储鱼池、阀门、输送管、鱼类识别模块和收集模块，鱼类识别模块包括识别池、用
于识别鱼种类的识别器和控制器，收集模块包括收集管、收集箱和电机，阀门分别与储鱼池和输送管相连通，输送管与识别池相连通，识别器安装于识别池内，电机安装于收集箱内，电机的输出端与收集箱门相连接，控制器分别与识别器、电机、阀门相信号连接，收集管的两端与识别池、收集箱相连通，阀门和输送管仅容纳一条鱼游过。阀门控制待识别鱼从储鱼池进入输送管。设置识别池便于识别器对待识别鱼进行拍照识别。电机用于控制收集箱箱门的开启和关闭。收集箱用于暂存已经完成识别的鱼。控制器用于接收识别器的信号，并对电机发出信号，控制阀门、收集箱的开启和关闭。
34.在一些实施方式中，识别器包括摄像头和人工智能算法处理器，人工智能算法处理器分别与摄像头和控制器相信号连接，人工智能算法处理器内设置有对鱼类进行种类识别的算法，算法包括图像预处理定位算法、基于深层特征融合的卷积神经网络，算法通过人工智能算法处理器使用权利要求1的分选方法中步骤(1)至(2)对待识别鱼进行进行种类识别，得到待识别鱼的种类。人工智能算法处理器通过训练好的算法和卷积神经网络，对待识别鱼进行种类识别。摄像头对待识别鱼进行拍照。
35.在一些实施方式中，收集模块还包括暂存池，暂存池的两端分别与收集管、收集箱相连通，暂存池为圆形，输送管为具有一定倾斜度的圆形管道，识别池的高度低于储鱼池的高度。
36.在一些实施方式中，收集模块还包括激光传感器，激光传感器安装于收集箱内，激光传感器与控制器相信号连接。激光传感器用于对收集箱内进行监测，便于及时确定已识别鱼是否游入相对应的收集箱内。
37.在一些实施方式中，收集箱包括单一类别收集箱和其他类别收集箱，单一类别收集箱为n个，n个单一类别收集箱和其他类别收集箱分别与暂存池相连通，其他类别收集箱的数量为1。每个单一类别的收集箱对应一个种类，用于暂时存放相应种类的鱼。其他类别收集箱用于暂时存放这n个种类以外品种的鱼。
38.在一些实施方式中，电机为n+1个，n+1个电机分别一一对应安装于其他类别收集箱、n个单一类别收集箱内，n+1个电机的输出端分别与其他类别收集箱的箱门、n个单一类别收集箱的箱门相一一对应连接，n+1个电机分别与控制器相信号连接。每个电机对应安装于每个收集箱内，电机的输出端伸出或收回，用于控制对应种类收集箱的开启和关闭，用于将已识别鱼装入相对应种类的收集箱内。
39.本发明的有益效果：本发明的智能分选方法采用基于深层特征融合的卷积神经网络，在深层卷积层加入了上采样层，同时与第二层反卷积层特征进行拼接融合，结合了图像深层的边缘细节信息和浅层轮廓特征，使网络具备更强特征捕捉能力，全面挖掘出图像的特征，提升了水环境下鱼类识别的准确率；本发明的智能分选系统将图像识别技术与自动控制的收集箱联合，形成全过程自动识别自动分选的无人智能系统。本发明的分选过程全程在水环境下进行识别与分拣同时避免了鱼类长时间暴露在水体外损伤或死亡的问题。
附图说明
40.图1为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选系统的结构示意图。
41.图2为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选系统的方
框图。
42.图3为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选方法的卷积神经网络的网络结构图。
43.图4为本发明的一种实施方式的一种基于深层特征融合的鱼类智能分选系统的使用方法的流程图。
具体实施方式
44.下面结合实施例，对本发明作进一步详细的说明。
45.实施例1
46.本发明的一种基于深层特征融合的鱼类智能分选系统，包括用于盛放待识别鱼的储鱼池1、阀门2、输送管3、鱼类识别模块4和收集模块5。鱼类识别模块4包括识别池41、用于识别鱼种类的识别器42和控制器43。阀门2的一端与储鱼池1底部相连通，另一端与输送管3的一端相连通。输送管3为圆形管道，输送管3的另一端与识别池41相连通。储鱼池1的高度高于识别池41的高度。阀门2和输送管3的管径只允许一条鱼通过，保证每次阀门2打开后，储鱼池1内只有一条鱼通过阀门2进入输送管3和识别池41进行识别。
47.识别器42包括摄像头421和人工智能算法处理器422。摄像头421为水下摄像头，安装于识别池41内，位于水面以下用于拍摄待识别鱼的图像。摄像头421、人工智能算法处理器422、控制器43相依次信号连接。控制器43分别与n+1个电机44相信号连接。控制器43用于接收人工智能算法处理器422发出的分类信号，同时将分类信号转换为控制信号传递给相应种类的电机44。
48.收集模块5包括收集管51、暂存池52、收集箱53、n+1个电机44和n+1个激光传感器54。收集箱53设有箱门533。收集箱53的箱门533一端嵌装入暂存池52内，收集箱53通过箱门533与暂存池52相连通。收集箱53包括其他类别收集箱531和n个单一类别收集箱532。识别池41、收集管51、暂存池52相依次连通。暂存池52为圆形，其他类别收集箱531和n个单一类别收集箱532分别与暂存池52相连通。其他类别收集箱531和n个单一类别收集箱532均位于暂存池52的一侧，并呈扇形分布。n+1个电机44一一对应安装于其他类别收集箱531和n个单一类别收集箱532内。电机44的输出端分别与其他类别收集箱531的箱门533和n个单一类别收集箱532的箱门533相焊接连接。电机44的输出端伸出，将收集箱53的箱门533打开，便于已识别鱼游入收集箱53内。电机44的输出端收回，将收集箱53的箱门533关闭，将已识别鱼关闭在收集箱53内。相应种类的单一类别收集箱532内的电机44接收到控制信号，按照控制信号的要求将相应种类的单一类别收集箱532打开和关闭，将完成识别的鱼装入对应种类的单一类别收集箱中532。
49.n+1个激光传感器54一一对应安装于其他类别收集箱531和n个单一类别收集箱532内。激光传感器54对已经识别种类的鱼进行监测，确保暂存池52内的鱼游入对应的收集箱53内。
50.实施例2
51.本发明的一种基于深层特征融合的鱼类智能分选方法，包括以下：
52.(1)摄像头421拍摄识别池41内待识别鱼的图像，将待识别鱼的图像发送给人工智能算法处理器422，人工智能算法处理器422获取待识别鱼的图像，通过图像预处理定位算
法，对图像进行预处理，并对待识别鱼进行实时位置定位。图像预处理定位算法采用背景差分法，采用高斯混合模型对图像的背景进行实时更新，包括以下具体步骤：
53.(1a)获取摄像头421捕获的第一帧图像，作为初始化背景图像；
54.(1b)调用opencv图像处理库中的cv.createbackgroundsubtractormog2()函数建立高斯混合模型，模型中方差阈值设定为25；
55.(1c)将待识别鱼的图像与初始化背景图像进行像素减运算，得到目标图像；
56.(1d)对目标图像进行开运算去噪点，闭运算填充内部空洞；
57.(1e)调用opencv图像库中的cv.findcontours()函数找出最大连通域，并画出目标位置的最小矩形框，完成对待识别鱼的图像的预处理。
58.(2)通过深度学习算法对预处理后的图像进行特征提取，将提取的特征输入预先训练好的网络模型中，对图像进行分类，得到待识别鱼的种类，输出识别结果。具体包括以下步骤：
59.(2a)根据方法应用地实际情况，设定原始鱼群类别数为n，则建立n个种类的鱼群原始数据集，将鱼群原始数据集进行划分，其中80％作为训练集，剩余20％作为测试集，鱼群原始数据集的建立，包括以下步骤：
60.s1.鱼群原始数据集中共有n种鱼类，各个鱼类图像不少于500张，共有n
×
500张原始图像，其中，图像的色彩通道数为3；
61.s2.对原始图像数据进行形状缩放，图像大小统一调整至256
×
256；
62.s3.进行图像数据增强，对图像进行随机旋转、平移、剪裁。
63.(2b)搭建基于深层特征融合的卷积神经网络，包含7层卷积层，4层池化层，1层反卷积层，2层上采样层，1层特征拼接层，1层特征融合层。
64.卷积神经网络的具体结构为：
65.(1)第一卷积层，有16个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
66.(2)第二卷积层，有32个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；第一最大池化层，池化核大小为2
×
2，步长为2，边缘填充数量为0；
67.(3)第一反卷积层，将第二卷积层的输出作为输入，有16个大小为3
×
3的卷积核，步长为2，边缘填充数量为0；第二最大池化层，池化核大小为2
×
2，步长为2，边缘填充数量为0；
68.(4)第三卷积层，有64个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
69.(5)第四卷积层，有128个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；第三最大池化层，池化核大小为2
×
2，步长为2，边缘填充数量为0；
70.(6)第一上采样层，采用双线性插值方法上采样，将第四卷积层的输出放大为原来的2倍；第1层特征拼接层，将反卷积层的输出与第四上采样层的输出特征按图像通道拼接在一起；
71.(7)第五卷积层，有256个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
72.(8)第六卷积层，有512个大小为3
×
3的卷积核，步长为1，边缘填充数量为1；
73.(9)第七卷积层，有144个大小为1
×
1的卷积核，步长为1，边缘填充数量为1；第四最大池化层，池化核大小为5
×
5，步长为3，边缘填充数量为0；
74.(10)第二上采样层，采用双线性插值方法上采样，将第七卷积层的输出缩放为128
×
128；特征融合层将第七卷积层上采样的输出特征与拼接层的输出特征直接相加，得到最终的融合特征；
75.经过上述卷积神经网络，图像由输入尺寸3
×
256
×
256变为输出尺寸为144
×
42
×
42，将图像打平后连接两层全连接神经网络，最终输出神经元个数为n，输出类别为n，即n类鱼群；
76.(2c)将训练集输入到卷积神经网络中，并使用梯度反向传播的方法进行网络参数更新，将网络输出预测值与真实标签做差，得到差值，并使用差值的平方作为网络损失函数，梯度反向传播方法采用aadm优化器进行优化。
77.优化的具体步骤为：
78.设置学习率为0.003，学习率每经过50次迭代变为原来的0.85倍；
79.全连接神经元网络层的输出值和图像真实真是标签值计算交叉熵平方误差，将平方误差作为损失函数，并将交叉熵进行反向传播，更新网络中的权重大小和阈值大小；
80.本发明的上述基于深层特征融合的卷积神经网络模型训练终止条件为最终误差小于5％，总共训练次数为5000次，直至识别率达到预定要求为止；
81.本发明的上述基于深层特征融合的卷积神经网络模型训练好后部署到人工智能算法处理器422中，摄像头421进行图像的实时收集，图像经过上述识别方法进行识别，得到待识别鱼的种类，并传递给后面连接的控制器；
82.上述算法仿真运行平台信息：操作系统为windows10，opencv版本为3.4.4，所搭建分类网络框架使用pytorch1.5.1，所使用gpu为tesla p10016g。
83.具体训练操作时：将n
×
500
×
80％随机挑选的鱼类图像设置为训练集，剩余20％的图像设置为测试集；将输入图像灰度化，并使用高斯混合模型定位出鱼的位置，再将其二值化，保留鱼的定位矩形框；将鱼类的定位图像进行缩放至256
×
256大小，并进行随机的平移、旋转和裁剪以实现增强数据；将训练图像输入所提出的基于深层特征融合的卷积神经网络当中；使用pytorch设置好adam优化器优化梯度，并调用torch.optim.lr_scheduler.steplr()函数设定好衰减率；损失函数使用真实值和预测值之间的平方误差。
84.以具有10类鱼群的基于深层特征融合的卷积神经网络模型为例(即n＝10)进行本算法效果验证，以鱼群分类准确率作为评价指标，其中分类准确率计算公式如下；
[0085][0086]
实验结果显示最终测试集的鱼群分类准确率为95.2％，达到预期效果。
[0087]
(3)鱼类智能分选系统根据识别结果将已识别鱼按照种类进行暂时存放，完成分选。
[0088]
实施例3
[0089]
本发明的一种基于深层特征融合的鱼类智能分选系统的使用方法，包括以下：
[0090]
步骤1，将网捕到的鱼放入储鱼池内，捕鱼网的网眼较大，在捕鱼过程中，将较小的鱼从网眼中漏掉；
[0091]
步骤2，控制器43启动阀门2，储鱼池1内的待识别鱼通过阀门2游入输送管3内，阀门2关闭。待识别鱼沿输送管3游入识别池41内，摄像头421拍摄待识别鱼的图像，发送到人工智能算法处理器422；
[0092]
步骤3，人工智能算法处理器422接收到待识别鱼的图像，对图像进行预处理，并对待识别鱼进行实时位置定位，通过深度学习算法对图像进行特征提取，将提取的特征输入预先训练好的卷积神经网络模型中，得到待识别鱼的种类，并向控制器43输出识别结果，待识别鱼转变为已识别鱼；
[0093]
步骤4，控制器43接收到识别结果，向相应种类的单一类别收集箱532内的电机44发出控制信号。已识别鱼沿收集管51游入暂存池52内。相应种类的单一类别收集箱532内的电机44启动，电机44的输出端收回，将相应种类的单一类别收集箱532的箱门打开，暂存池52内的已识别鱼游入相应种类的单一类别收集箱532内。单一类别收集箱532内的激光传感器54感应到有鱼游入箱内，向控制器43发出信号。控制器43接收到激光传感器54的信号，向电机44发出信号，电机44收回输出端，将相应种类的单一类别收集箱532的箱门关闭，完成分选；
[0094]
步骤5，控制器43向阀门2发出信号，阀门2开启，储鱼池1内其他的待识别鱼通过阀门1进入输送管3内，重复上述步骤2～4的识别过程。人工智能算法处理器422识别出待识别鱼不属于鱼群原始数据集中的n种鱼类。控制器43接收到识别结果，向其他类别收集箱531内的电机44发出控制信号。已识别鱼沿收集管51游入暂存池52内。其他类别收集箱531内电机44启动，电机44的输出端收回，将其他类别收集箱531的箱门打开，暂存池52内的已识别鱼游入其他类别收集箱531内。其他类别收集箱531内的激光传感器54感应到有鱼游入箱内，向控制器43发出信号。控制器43接收到激光传感器54的信号，控制器向电机发出信号，电机44收回输出端，将其他类别收集箱531的箱门关闭，完成分选。重复上述步骤2～4的识别过程，对储鱼池内的其他待识别鱼依次进行分选。
[0095]
本发明的智能分选系统的使用方法中，摄像头421拍摄到识别池41内待识别鱼的图像，将图像发送给人工智能算法处理器422。人工智能算法处理器422获得待识别鱼的图像，按照实施例2中的智能分选方法对待识别鱼进行进行种类识别，即定位出待识别鱼的实时位置，通过图像定位算法对拍摄到的每一帧图像进行待识别鱼的定位处理；定位成功后，通过内嵌的深度学习算法对待识别鱼的种类进行分类，通过卷积神经网络对待识别鱼的图像进行特征提取，将提取到的特征输入预先训练好的卷积神经网络模型中，输出分类信号，传递给控制器43。
[0096]
本发明的智能分选系统为基于人工智能图像识别技术的自动化机械分拣装置，相较于传统的人工分拣，减少了人力；所采用基于深层特征融合的卷积神经网络，在深层卷积层加入了上采样层，同时与第二层反卷积浅层特征进行拼接融合，结合了图像深层的边缘细节信息和浅层轮廓特征，使网络具备更强特征捕捉能力，全面挖掘出图像的特征，提升了水环境下鱼类识别的准确率；全过程在水环境下进行识别与分拣，同时避免了鱼类长时间暴露在水体外损伤或死亡的问题。
[0097]
以上所述的仅是本发明的一些实施方式，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。