本发明属于视频图像理解,涉及肉牛行为,具体涉及一种基于时刻偏移损失的肉牛异常行为视频时序定位方法。
背景技术:
1、肉牛养殖过程中,饲喂人员需要随时监测、及时发现肉牛的异常状况,进而对肉牛圈舍环境、饲料等进行调整。传统养殖环节依赖人力开展巡场工作,监测肉牛的异常行为。该方式耗时耗力,成本较高,且难以实现圈舍全天候监测。
2、随着养殖场监控设施的普及和计算机视觉技术的发展,结合深度学习技术,构建肉牛异常行为时序定位方法,使得实现肉牛异常行为全天候监测成为可能。近年来,基于深度学习技术和计算机视觉的动物行为识别方法取得了较快的发展。例如,王少华等人在文献“基于改进yolo v3模型的奶牛发情行为识别研究”提出了一种基于改进yolo v3模型的奶牛发情行为识别方法,引入密集模块,并使用中心点距离融合交并比的边界框损失函数,实现了复杂养殖场景下对奶牛爬跨行为的识别。例如,wang等人在文献“e3d:an efficient3d cnn for the recognition of dairy cow's basic motion behavior.”提出了一种基于三维卷积神经网络的奶牛基础行为识别方法,通过融合深度可分离卷积和高效通道模块提取单牛的行为视频时空特征,实现了对奶牛躺卧、站立、行走、饮水、进食等行为的识别。以上方法均只涉及牛行为识别,针对牛行为时序定位的方法尚处于初步研究阶段。牛行为时序定位方法不仅要预测视频中包含了哪些异常行为,还需要预测行为的开始时间和结束时刻,更符合真实养殖场场景下,肉牛精准管理需要掌握行为发生的准确时间的需求。例如,ma等人在文献“basic motion behavior recognition of singledairy cow based onimproved rexnet 3d network.”提出了一种基于rexnet改进的三维卷积神经网络识别单只牛的躺卧、站立和行走行为,并在此基础利用滑动窗口策略实现了单只牛躺卧、站立、行走行为的时序定位。
3、现有的采用滑动窗口策略的牛行为时序定位方法仅针对单一目标,时序定位结果的准确性较差,难以满足实际大规模养殖下肉牛行为时序定位的需求。因此设计一种针对养殖场监控视频视野范围内的肉牛异常行为时序定位方法,来实现高精度肉牛异常行为时序定位是非常有必要的。
技术实现思路
1、针对现有技术存在的不足,本发明的目的在于,提供一种基于时刻偏移损失的肉牛异常行为视频时序定位方法,以解决现有技术中的时序定位方法仅针对单一目标且准确性差的技术问题。
2、为了解决上述技术问题,本发明采用如下技术方案予以实现:
3、一种基于时刻偏移损失的肉牛异常行为视频时序定位方法,该方法包括以下步骤:
4、步骤s1,构建肉牛异常行为时序定位数据集:
5、收集真实养殖场监控视角下包含肉牛异常行为的视频,所述的肉牛异常行为包括爬跨行为、奔跑行为和打斗行为;标注每段视频中的异常行为时序片段;每段视频包含多个异常行为时序标签,每个异常行为时序标签包含行为起始时刻、行为结束时刻和行为类别。
6、步骤s2,提取肉牛异常行为视频特征:
7、将长度为l帧的视频每间隔4帧进行采样,输入双分支频谱通道时空聚合与激励模型,提取视频帧的特征,每个视频帧表示为长度2048的特征向量,最终每个视频表示为一个维度为l/4×2048的特征向量。
8、步骤s3,实现肉牛异常行为时序定位方法:
9、采用基于聚合可扩展粒度金字塔的多头时序定位模型构建肉牛异常行为时序定位模型,所述的肉牛异常行为时序定位模型包括主干网络、聚合可扩展粒度感知金字塔以及边界定位多分支预测头;采用肉牛异常行为时序定位模型实现肉牛异常行为时序定位方法。
10、步骤s4,基于步骤s1得到的肉牛异常行为时序定位数据集,利用中心点-始末时刻偏移损失函数和焦点损失函数训练步骤s3中得到的肉牛异常行为时序定位模型。
11、具体的,步骤s4中包括:
12、步骤s401,使用中心点-始末时刻偏移损失函数计算模型的时序预测值和真实值的损失:
13、
14、式中:
15、iou为预测序列和真实序列计算的交并比;
16、c为预测序列和真实序列最小外接序列长度;
17、cp为模型预测的异常行为的中心时刻;
18、cg为真实的异常行为的中心时刻;
19、lp为模型预测的异常行为的起始时刻;
20、lg为真实的异常行为的起始时刻;
21、rop为模型预测的异常行为的结束时刻;
22、rg为真实的异常行为的结束时刻。
23、步骤s402,使用焦点损失函数计算模型的分类损失lc:
24、lc=-αt(1-pt)γlog(pt)
25、式中:
26、αt表示不同类别的权重;
27、pt表示模型预测的类别概率;
28、γ表示用于抑制简单样本的损失贡献,促进难样本的损失贡献;
29、步骤s403,将lcsed和lc求和得到损失l,通过反向传播l,调整肉牛异常行为时序定位模型参数,直至迭代次数达到预设初始值完成训练。
30、步骤s5,肉牛异常行为时序定位:
31、将真实场景下的肉牛监控视频输入步骤s4中训练完成的肉牛异常行为时序定位模型,识别肉牛异常行为,并定位异常行为的发生时间和结束时刻。
32、本发明还具有如下技术特征:
33、优选的,步骤s1中,所述的视频的时长涵盖30秒,60秒,120秒和300秒。
34、优选的,步骤s3中,所述的肉牛异常行为时序定位模型中,预设的输入特征向量最大长度lmax为2304,当l/4≤lmax时,在下标区间[l/4,lmax]位置补0;当l/4>lmax时,舍弃下标区间[lmax,l/4]的特征,从而获得形状为[2048,2304]的特征向量。
35、优选的,步骤s3中,所述的主干网络由2个编码卷积模块和1个聚合可扩展粒度感知模块堆叠构成。
36、优选的,步骤s3中,所述的聚合可扩展粒度感知金字塔由6层聚合可扩展粒度感知模块和层归一化操作构成。
37、优选的,步骤s3中,所述的边界定位多分支预测头包含一个分类头、一个起始时刻预测头、一个中心时刻预测头和一个结束时刻预测头;经聚合可扩展粒度感知金字塔提取的视频特征分别输入至分类头、起始时刻预测头、中心时刻预测头和结束时刻预测头,完成对异常行为类别、起始时刻、中心时刻和结束时刻的预测。
38、本发明与现有技术相比,具有如下技术效果:
39、(ⅰ)本发明提出一种计算行为发生、结束和中心时刻偏移量的损失函数——中心点-始末时刻偏移损失函数,构建基于聚合可扩展粒度金字塔的多头时序定位模型,实现基于时刻偏移损失的肉牛异常行为视频时序定位方法。该方法通过构建聚合可扩展粒度感知的多头异常行为时序定位模型,首先以视频帧特征为输入,通过主干网络初步提取;接着通过聚合可扩展粒度感知金字塔融合特征,充分感知不同通道、尺度的肉牛异常行为特征;继而使用边界定位多分支预测头实现对异常行为起始时刻、结束时刻、中心时刻和行为类别的预测;模型训练过程中,利用中心点-始末时刻偏移损失函数计算时序定位损失,从而实现更精准的异常行为时序边界预测;最终训练结束后,模型实现养殖圈舍监控视频中肉牛异常行为的时序定位。
40、(ⅱ)针对现有时序定位方法仅针对单一目标且准确性差的问题,本发明提出一种计算行为发生和结束时刻偏移量的损失函数——中心点-始末时刻偏移损失函数,构建基于时刻偏移损失的肉牛异常行为视频时序定位方法,实现监控视频中肉牛异常行为的时序定位,以满足真实养殖场景下肉牛精准管理时获取异常行为发生时间的需求。