一种基于深度学习的多特征融合鱼类异常行为检测方法

1.本发明属于计算机视觉和深度学习技术领域，具体涉及一种基于深度学习的多特征融合鱼类异常行为检测方法。


背景技术：

2.鱼群行为可分为异常行为和正常行为，由于鱼群异常行为的检测可以为鱼群健康监测和预警提供重要依据，所以有助于分析量化鱼群的摄食活动强度进行精准投喂。而人工现场识别鱼群异常行为成本较高，时间消耗多，且受观测者能力限制。因此，许多鱼群异常行为检测方法不断被提出。
3.但现有的鱼群异常行为检测方法中存在如下问题：1)由于鱼群生活的水质相对浑浊，鱼群密度较高，易出现遮挡现象，从而导致跟踪提取鱼群目标位置的过程困难；2)经过复杂度较高的深度卷积神经网络dcnn进行鱼群特征提取而构建行为分类模型，并没有获得理想的分类效果，且在模型训练过程中，需要至少几十万的数据样本，时间和资源消耗多，计算成本高，而样本数量较少则会导致网络出现过拟合现象；3)鱼群纹理特征会随鱼群行为的变化而变化，若仅采用纹理特征或行为特征，则在鱼群数量过多或过少时会对异常行为产生误判；4)通常采用分类器进行鱼群异常行为的识别，但是不同的分类器拥有不同程度的鲁棒性，且会存在各种各样的分类错误，在实际应用中，单一分类器的准确度较低。因此，鉴于人们对于鱼群异常行为检测方法的准确率、收敛速度、执行效率有了更高的要求，本技术提出一种基于深度学习的多特征融合鱼类异常行为检测方法。


技术实现要素：

4.本发明的目的在于针对上述问题，提出一种基于深度学习的多特征融合鱼类异常行为检测方法，该方法通过多特征融合提高了鱼群异常行为检测模型的性能和准确率，并运用迁移学习策略，使模型具有适用于小数据集和高精度的双重优势，减少了过拟合现象并加快神经网络的训练和收敛速度，进一步提高鱼群异常行为识别准确率和执行效率。
5.为实现上述目的，本发明所采取的技术方案为：
6.本发明提出的一种基于深度学习的多特征融合鱼类异常行为检测方法，包括如下步骤：
7.s1、获取鱼群图像数据集，鱼群图像数据集包括正常行为图像和异常行为图像；
8.s2、对鱼群图像数据集中的图像进行预处理；
9.s3、对预处理后的图像进行特征提取，具体如下：
10.s31、采用dcnn迁移学习模型对图像进行鱼群评分特征提取，dcnn迁移学习模型获取如下：
11.s311、利用imagenet数据集中的图像对dcnn神经网络模型进行预训练，dcnn神经网络模型采用inception-v3模型，包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一池化层、第四卷积层、第五卷积层、第六卷积层、第一特征提取模块、第二特征提取模
块、第三特征提取模块、第二池化层、dropout层和全连接层，第一特征提取模块包括三个inception模块，第二特征提取模块包括五个inception模块，第三特征提取模块包括两个inception模块；
12.s312、基于预处理后的图像对预训练的dcnn神经网络模型的全连接层进行训练，微调全连接层的参数，获得dcnn迁移学习模型；
13.s32、采用灰度共生矩阵对图像进行鱼群纹理特征提取；
14.s33、采用lk光流法对图像进行鱼群行为特征提取；
15.s4、分别对鱼群评分特征、鱼群纹理特征和鱼群行为特征数据进行归一化处理；
16.s5、将每帧图像归一化处理后的鱼群评分特征、鱼群纹理特征和鱼群行为特征作为特征向量输入xgboost模型进行训练，获得鱼群异常行为检测模型；
17.s6、对鱼群异常行为检测模型进行性能评估，获得最终鱼群异常行为检测模型。
18.优选地，步骤s2中，预处理具体如下：
19.s21、采用加权平均法对图像进行灰度化处理，公式如下：
20.f(x,y)＝0.3r(x,y)+0.59g(x,y)+0.11b(x,y)
21.其中，f(x,y)为坐标为(x,y)的像素点的灰度值，r(x,y)、g(x,y)、b(x,y)依次对应为坐标为(x,y)的像素点的红色分量值、绿色分量值和蓝色分量值；
22.s22、将灰度化处理后的图像的灰度按照灰度级频率排序，并进行直方图均衡化，公式如下：
[0023][0024][0025]
其中，pr(rk)为灰度级rk在图像中出现的概率；nk为灰度级rk的像素个数；n为图像的像素总数；l为图像的灰度级总数；sk为直方图均衡化映射函数；
[0026]
s23、对直方图均衡化处理后的图像进行中值滤波。
[0027]
优选地，步骤s23中，中值滤波的滤波窗口大小为6*6。
[0028]
优选地，步骤s32中，鱼群纹理特征包括对比度c1、相关性c2、能量e1、熵e1和同质性c3，公式如下：
[0029]
1)对比度：
[0030][0031]
2)相关性：
[0032][0033]
3)能量：
[0034][0035]
4)熵：
[0036][0037]
5)同质性：
[0038][0039]
其中，灰度共生矩阵pd(i,j)表示灰度为i和j的两个像素具有空间位置关系d出现的次数，l为图像的灰度级总数，的次数，l为图像的灰度级总数，
[0040]
优选地，步骤s33中，采用lk光流法对图像进行鱼群行为特征提取，具体如下：
[0041]
s331、采用等距采样法选取图像特征点，并计算特征点的光流，其满足约束方程：
[0042]
i(x,y,t)＝i(x+δx,y+δy,t+δt)
[0043]
s332、令根据泰勒公式得：
[0044]ix
u+iyv+i
t
＝0
[0045]
s333、设定速度和转角的范围，将速度范围划分为a个区间，转角范围划分为b个区间，计算速度和转角的联合概率分布p(w,θ)：
[0046]
h(w,θ)＝{k
w,θ
，0＜w≤a，0＜θ≤b}
[0047][0048]
s334、计算速度和转角的联合信息熵h(x,y)，即为鱼群行为特征：
[0049][0050]
其中，i(x,y,t)为t时刻图像坐标为(x,y)的像素点的亮度值，i(x+δx,y+δy,t+δt)为t+δt时刻图像坐标为(x+δx,y+δy)的像素点的亮度值，i
x
为图像中像素点的灰度沿x方向的偏导数，iy为图像中像素点的灰度沿y方向的偏导数，i
t
为图像中像素点的灰度对t的偏导数，u为沿x方向的光流速度分量，v为沿y方向的光流速度分量，则(u,v)即为光流运动矢量，n为每帧图像光流运动矢量的总数，h(w,θ)为每帧图像速度和转角的联合统计，k
w,θ
为速度在范围w内同时落入转角范围θ的鱼群运动矢量个数，x为速度的随机矢量，y为转角的随机矢量。
[0051]
优选地，步骤s4中，归一化处理采用min-max标准化，公式如下：
[0052][0053]
其中，q*为归一化处理后的特征数据；q为归一化处理前的特征数据；q
min
为对应特征数据样本的最小值；q
max
为对应特征数据样本的最大值。
[0054]
优选地，步骤s6中，采用正确率acc、召回率rec、准确率pre、f
1-score对鱼群异常行为检测模型进行性能评估。
[0055]
与现有技术相比，本发明的有益效果为：该方法将鱼群评分特征、鱼群纹理特征和鱼群行为特征融合并结合xgboost模型建立了多特征融合模型，避免了单一分类受不同数据的特殊性和分类器偏好的限制，提高了鱼群异常行为检测模型的性能和准确率；并运用迁移学习策略，通过对作为迁移学习框架的inception-v3模型进行改进，用大型数据集训练除全连接层之外的网络层次，用数量较少的鱼群图像训练全连接层，使模型具有适用于小数据集和高精度的双重优势，并可减少因训练样本不足而产生的过拟合现象，同时，通过调节神经网络中的网络深度和宽度，减少参数数量来控制计算成本，加快了神经网络的训练和收敛速度，进一步提高鱼群异常行为识别准确率和执行效率。
附图说明
[0056]
图1为本发明基于深度学习的多特征融合鱼类异常行为检测方法的流程图；
[0057]
图2为本发明的第一特征提取模块的inception模块结构示意图；
[0058]
图3为本发明的第二特征提取模块的inception模块结构示意图；
[0059]
图4为本发明的第三特征提取模块的inception模块结构示意图。
具体实施方式
[0060]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0061]
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0062]
如图1-4所示，一种基于深度学习的多特征融合鱼类异常行为检测方法，包括如下步骤：
[0063]
s1、获取鱼群图像数据集，鱼群图像数据集包括正常行为图像和异常行为图像。
[0064]
其中，鱼群图像数据集可通过摄像机获取，摄像机对搭建好的养殖鱼缸进行拍摄并将拍摄视频实时传送至计算机，且为提供良好的拍摄环境，养殖鱼缸附近可安装照明装置进行照明。如摄像机以25帧/s进行视频拍摄，获得视频图像，再对采集到的视频以每隔0.5s截取一帧进行剪辑，分别选用3000张正常行为图像和异常行为图像作为鱼群图像数据集。
[0065]
s2、对鱼群图像数据集中的图像进行预处理。可减小图像所占内存，加快运行速度。
[0066]
在一实施例中，步骤s2中，预处理具体如下：
[0067]
s21、采用加权平均法对图像进行灰度化处理，公式如下：
[0068]
f(x,y)＝0.3r(x,y)+0.59g(x,y)+0.11b(x,y)
[0069]
其中，f(x,y)为坐标为(x,y)的像素点的灰度值，r(x,y)、g(x,y)、b(x,y)依次对应为坐标为(x,y)的像素点的红色分量值、绿色分量值和蓝色分量值；
[0070]
需要说明的是，对图像进行灰度化处理还可采用现有技术中的其他方法，如最大
值法、平均值法等。
[0071]
s22、将灰度化处理后的图像的灰度按照灰度级频率排序，并进行直方图均衡化，公式如下：
[0072][0073][0074]
其中，pr(rk)为灰度级rk在图像中出现的概率；nk为灰度级rk的像素个数；n为图像的像素总数；l为图像的灰度级总数；sk为直方图均衡化映射函数；
[0075]
对灰度图像进行直方图均衡化，可消除同类图像之间的差异。
[0076]
s23、对直方图均衡化处理后的图像进行中值滤波。可降低噪声影响，中值滤波是对一个滑动窗口内的像素灰度值进行排序，用中值代替窗口中心像素的灰度值，以局部中值代替局部均值的滤波方法，为本领域技术人员惯用手段，在此不再赘述。
[0077]
在一实施例中，步骤s23中，中值滤波的滤波窗口大小为6*6。采用6*6的滤波窗口对图像进行中值滤波，可去除大部分噪声，且图像不易失真。
[0078]
s3、对预处理后的图像进行特征提取，具体如下：
[0079]
s31、采用dcnn迁移学习模型对图像进行鱼群评分特征提取，dcnn迁移学习模型获取如下：
[0080]
s311、利用imagenet数据集中的图像对dcnn神经网络模型进行预训练，dcnn神经网络模型采用inception-v3模型，包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一池化层、第四卷积层、第五卷积层、第六卷积层、第一特征提取模块、第二特征提取模块、第三特征提取模块、第二池化层、dropout层和全连接层，第一特征提取模块包括三个inception模块，第二特征提取模块包括五个inception模块，第三特征提取模块包括两个inception模块；
[0081]
s312、基于预处理后的图像对预训练的dcnn神经网络模型的全连接层进行训练，微调全连接层的参数，获得dcnn迁移学习模型。
[0082]
采用dcnn迁移学习模型对图像进行鱼群评分特征提取。迁移学习是使用大规模数据集进行网络训练，如利用imagenet数据集中的图像对dcnn神经网络模型进行预训练，再使用数量较少的鱼群图像数据集对预训练好的dcnn神经网络模型进行微调，使模型具有适用于小数据集和高精度的双重优势。本技术选择inception-v3作为迁移学习框架，其inception-v3模型如表1所示：
[0083]
表1 inception-v3模型
[0084][0085]
本技术仅改变inception-v3模型的全连接层的参数，使用鱼群图像数据集中的图像训练获得dcnn迁移学习模型。将鱼群图像数据集中的图像输入到dcnn迁移学习模型中，输出的分类结果即分类评分，作为鱼群评分特征。
[0086]
其中，各inception模块均采用现有技术中的模块。如图2所示，第一特征提取模块的inception模块采用两个3
×
3卷积核代替5
×
5卷积核，3
×
3的卷积相对5
×
5的卷积能减少更多的参数，表达能力不会减弱，但参数却减少很多。如图3所示，第二特征提取模块的inception模块通过非对称取代，将n
×
n结构分解为1
×
n和n
×
1的叠加，能大幅减少计算量。如图4所示，第三特征提取模块的inception模块增加滤波器输出的模块，以此来产生高维的稀疏特征。且为了减少因训练样本不足而产生网络过拟合现象，在网络层次中添加了dropout层。该inception-v3模型有助于提高网络训练的速度，减少计算量，防止过拟合。
[0087]
s32、采用灰度共生矩阵对图像进行鱼群纹理特征提取。灰度共生矩阵通过像素灰度的空间分布关系来描述图像的纹理特征。
[0088]
在一实施例中，步骤s32中，鱼群纹理特征包括对比度c1、相关性c2、能量e1、熵e1和同质性c3，公式如下：
[0089]
1)对比度：
[0090][0091]
2)相关性：
[0092][0093]
3)能量：
[0094][0095]
4)熵：
[0096][0097]
5)同质性：
[0098][0099]
其中，灰度共生矩阵pd(i,j)表示灰度为i和j的两个像素具有空间位置关系d出现的次数，l为图像的灰度级总数，的次数，l为图像的灰度级总数，
[0100]
本实施例中，为了计算方便有效，采用0
°
、45
°
、90
°
、135
°
四个位置，可表示4种不同的灰度共生矩阵，并用灰度共生矩阵提取图像的对比度、相关性、能量、熵、同质性这5种鱼群纹理特征。其中，对比度描述图像的整体清晰度和目标对象纹理凹凸的程度，对比度越大，图像越清晰，沟纹越深。相关性描述相邻像素间的线性关系即相似度，灰度共生矩阵各元素的值相差越大，相关性越小。能量描述图像灰度分布的均匀程度，灰度共生矩阵各元素值相差越大，能量越大。熵描述鱼群图像纹理的非均匀程度和复杂度，熵值越大，纹理越复杂。同质性描述图像的局部平滑性。
[0101]
s33、采用lk光流法对图像进行鱼群行为特征提取。
[0102]
在一实施例中，步骤s33中，采用lk光流法对图像进行鱼群行为特征提取，具体如下：
[0103]
s331、采用等距采样法选取图像特征点，并计算特征点的光流，其满足约束方程：
[0104]
i(x,y,t)＝i(x+δx,y+δy,t+δt)
[0105]
s332、令根据泰勒公式得：
[0106]ix
u+iyv+i
t
＝0
[0107]
s333、设定速度和转角的范围，将速度范围划分为a个区间，转角范围划分为b个区间，计算速度和转角的联合概率分布p(w,θ)：
[0108]
h(w,θ)＝{k
w,θ
，0＜w≤a，0＜θ≤b}
[0109][0110]
s334、计算速度和转角的联合信息熵h(x,y)，即为鱼群行为特征：
[0111][0112]
其中，i(x,y,t)为t时刻图像坐标为(x,y)的像素点的亮度值，i(x+δx,y+δy,t+δt)为t+δt时刻图像坐标为(x+δx,y+δy)的像素点的亮度值，i
x
为图像中像素点的灰度沿x方向的偏导数，iy为图像中像素点的灰度沿y方向的偏导数，i
t
为图像中像素点的灰度对t的偏导数，u为沿x方向的光流速度分量，v为沿y方向的光流速度分量，则(u,v)即为光流运动矢量，n为每帧图像光流运动矢量的总数，h(w,θ)为每帧图像速度和转角的联合统计，k
w,θ
为速度在范围w内同时落入转角范围θ的鱼群运动矢量个数，x为速度的随机矢量，y为转角的随机矢量。
[0113]
由于lk光流法获得鱼群运动矢量(u,v)包含幅度的大小和方向，因此利用转角和速度信息描述鱼群行为特征。本方法对图像的转角和速度两个特征进行联合统计计算出联合信息熵作为鱼群行为特征。利用速度和转角联合分布直方图可得到每帧图像的速度和转角的联合概率分布p(w,θ)，转角范围和速度范围可根据实际需求选取，如速度范围限定在0～1.2bl/s，每隔0.02bl/s进行一次统计，即a＝60，转角范围限定在-80
°
～80
°
，每隔1
°
进行一次统计，即b＝160，这样每个速度与转角联合统计直方图均为60
×
160＝9600维的数据向量。
[0114]
s4、分别对鱼群评分特征、鱼群纹理特征和鱼群行为特征数据进行归一化处理。
[0115]
在一实施例中，步骤s4中，归一化处理采用min-max标准化，公式如下：
[0116][0117]
其中，q*为归一化处理后的特征数据；q为归一化处理前的特征数据；q
min
为对应特征数据样本的最小值；q
max
为对应特征数据样本的最大值。
[0118]
为防止数据特征差异过大，分别对鱼群评分特征、鱼群纹理特征和鱼群行为特征数据映射到[-1,0]区间上，进行归一化处理。
[0119]
s5、将每帧图像归一化处理后的鱼群评分特征、鱼群纹理特征和鱼群行为特征作为特征向量输入xgboost模型进行训练，获得鱼群异常行为检测模型。
[0120]
其中，xgboost模型是经过优化的集成树算法，核心是不断进行特征分裂生长成多棵回归树，每次生成的树是一个新函数用来拟合上次的残差，使预测值更加接近真实值。当不满足分裂条件时，停止分裂回归树，最后将每个叶子节点的计算值相加即为最终的预测结果。将图像的鱼群评分特征、鱼群纹理特征和鱼群行为特征作为特征向量输入到xgboost模型中进行训练，得到基于多特征融合的鱼群异常行为检测模型。
[0121]
s6、对鱼群异常行为检测模型进行性能评估，获得最终鱼群异常行为检测模型。
[0122]
在一实施例中，步骤s6中，采用正确率(accuracy，acc)、召回率(recall，rec)、准确率(precision，pre)、f
1-score对鱼群异常行为检测模型进行性能评估。
[0123]
首先生成鱼群正常行为和异常行为的混淆矩阵，得到真阳性、真阴性、假阳性和假阴性的数量，然后利用混淆矩阵计算acc、rec、pre、f
1-score，公式如下：
[0124][0125][0126][0127][0128]
其中，k为类别个数，即真阳性、真阴性、假阳性和假阴性这四类，tp
l
为正确分到第l类的数据对象个数，fp
l
为不属于l类但被误分到l类的个数，fn
l
为属于l类但未被分到l类的个数。
[0129]
根据acc、rec、pre、f
1-score综合评价鱼群异常行为检测模型的性能，可根据实际需求选取鱼群异常行为检测模型作为最终鱼群异常行为检测模型。
[0130]
将待检测的鱼群图像进行预处理、特征提取并归一化，然后将归一化处理后的鱼群评分特征、鱼群纹理特征和鱼群行为特征融合为特征向量，最后将该特征向量输入最终鱼群异常行为检测模型进行检测识别，即可判断出是否存在鱼类异常行为，并可针对当前情况及时进行处理。
[0131]
需要说明的是，可将预处理后的图像分为训练集、测试集和验证集，如分别为60％、20％和20％。利用训练集、测试集和验证集完成对模型的训练、测试和验证，得到满足条件的模型作为最终鱼群异常行为检测模型。其中，利用训练集、测试集和验证集对神经网络进行训练为神经网络技术领域的常规操作，本实施例中不再展开描述。
[0132]
该方法将鱼群评分特征、鱼群纹理特征和鱼群行为特征融合并结合xgboost模型建立了多特征融合模型，避免了单一分类受不同数据的特殊性和分类器偏好的限制，提高了鱼群异常行为检测模型的性能和准确率；并运用迁移学习策略，通过对作为迁移学习框架的inception-v3模型进行改进，用大型数据集训练除全连接层之外的网络层次，用数量较少的鱼群图像训练全连接层，使模型具有适用于小数据集和高精度的双重优势，并可减少因训练样本不足而产生的过拟合现象，同时，通过调节神经网络中的网络深度和宽度，减少参数数量来控制计算成本，加快了神经网络的训练和收敛速度，进一步提高鱼群异常行为识别准确率和执行效率。
[0133]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0134]
以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。