一种猪只跟踪与检测健康状态的方法

本发明涉及目标检测、识别与跟踪的，尤其是指一种猪只跟踪与检测健康状态的方法。

背景技术：

1、猪只健康与众多因素相关，传统的猪只健康监测依赖于在生产过程中由饲养员人工巡检观察畜禽的进食、饮水、排泄和姿态表情等，如发现有异常则借助体温测量、抽血等生理化验手段来进一步诊断猪只的健康状况，高度依赖饲养员的个人经验，缺少智能化的管理手段。猪的行为是猪的语言，是诊断它是否健康的依据之一。在正常的环境条件下，猪表现出正常的行为，如进食、饮水和排泄猪只生病时除了在生理数据上出现异常表征外，其日常行为也会出现相应变化，如饮水采食会出现偏差、排泄次数增加等表现。猪只的行为自动化识别技术，主要应用的技术包括传感器技术、rfid技术及视频监控技术。穿戴式传感器存在易脱落、导致猪只受伤等问题；无线射频技术(rfid)可通过无线电讯号识别特定目标并读写数据，可借助rfid技术对固定饮水、进食这些固定位置进行检测，但它易对猪只造成刺激，甚至因为猪只碰撞导致设备损坏。

技术实现思路

1、本发明的目的在于克服现有技术的缺点与不足，提出了一种猪只跟踪与检测健康状态的方法，可提高猪只识别跟踪过程中识别率和跟踪效果，并且能够检测猪只健康状态，具有一定的实用性。

2、为实现上述目的，本发明所提供的技术方案为：一种猪只跟踪与检测健康状态的方法，该方法是基于改进yolov5网络实现猪只的精准识别，然后将识别结果送入改进ocsort多目标跟踪算法中进行跟踪并判断健康状态；其中，改进yolov5网络是对传统yolov5网络的特征提取网络和检测网络进行改进；对特征提取网络的改进是：在cspx模块后添加coordattention模块，该模块能够提高对特征的提取能力；对检测网络的改进是：将原有的detect模块替换为asff_decet模块，目的是抑制不同层级的特征之间的冲突信息，提高特征融合效果；改进ocsort多目标跟踪算法是将原有的外观信息嵌入到跟踪模型时，提供一个灵活的加权因子α来调整来自历史和当前时间的视觉嵌入的比率，提高对相似的目标的跟踪效果；

3、该方法的具体实施包括以下步骤：

4、s1、获取猪只的初始图像，对初始图像中的猪只和行为进行标注，得到带有标注框的猪只图像数据，再对猪只图像数据进行数据增强处理，保证图像尺寸和网络输入尺寸相同，将处理后的猪只图像数据划分训练集、验证集和测试集；

5、s2、将训练集和验证集输入改进yolov5网络进行训练和验证，经过训练和验证完成后，得到一个能够自动对图像中的猪只进行目标检测和行为检测的最优网络；

6、s3、将测试集输入到最优网络中，得到带有检测信息的猪只视频，再将其输入到改进ocsort多目标跟踪算法中，帧与帧之间的相同猪只会通过该改进ocsort多目标跟踪算法进行自动跟踪；

7、s4、在跟踪过程中会获得一系列的猪只行走、饮食和躺卧信息作为跟踪结果，对跟踪结果进行健康判断，最终实现猪只的实时健康检测。

8、进一步，所述步骤s1包括以下步骤：

9、s101、获取猪只图像数据的初始图像，由人工拍照或视频监控收集；

10、s102、使用labelimg这一个数据集格式制作软件对初始图像的猪只对象进行标注，其中行为标注分为站立、饮食和躺卧，并将标注以yolo的图像标注格式保存，得到带有标注框的猪只图像数据；

11、s103、对猪只图像数据进行数据增强处理，保证图像尺寸和网络输入尺寸相同，最后，将处理后的猪只图像数据进行分割生成供训练使用的训练集、供训练期间验证的验证集和供训练后测试的测试集。

12、进一步，在步骤s2中，所述改进yolov5网络包括：特征提取网络、特征融合层网络和检测网络，具体情况如下：

13、①特征提取网络：包含cspx模块和coordattention模块；cspx模块包含多个cbs模块，cbs模块是将输入特征依次经过卷积层、归一化层、激活函数，得到输出层，cbs模块由一个conv层、一个bn层以及一个silu激活函数组成，conv是普通卷积层，bn是归一化处理，表示为：

14、

15、式中，x为输入，y为输出，e为样本均值，var为样本方差，ε是为了数值稳定性而添加的值，γ和β为bn的权重，*为卷积计算；

16、silu激活函数是swish激活函数的变体；表示为：

17、

18、

19、式中，为输入，sigmoid指激活函数，β′为权重；

20、cspx模块在特征提取网络中分为两个部分，一个部分是经过cbs模块和res unit模块，另一部分是经过cbs模块，二者通过全连接层连接后再通过cbs模块输出；其中resunit模块由输入特征通过两个连续的cbs模块和原输入特征对应通道进行信息融合；coordattention模块通过将位置信息嵌入到通道注意力中，使得轻量级网络能够在更大的区域上进行注意力，同时避免产生大量的计算开销，分为两个步骤：坐标信息嵌入和坐标注意力生成；对于坐标信息嵌入，具体是：对c通道的输入xc，使用两个尺寸分别为(h,1)和(1,w)的池化核沿着水平坐标w方向和竖直坐标h方向对每个通道进行编码，即高度为h的第c个通道的输出表示为：

21、

22、式中，xc(h,j)是通道c维度为(h,j)的二维空间核；宽度为w的第c个通道的输出表示为：

23、

24、式中，xc(i,w)是通道c维度为(i,w)的二维空间核；

25、上述两个输出和分别沿着两个空间方向进行特征聚合，最后返回一对方向感知特征图；

26、对于坐标注意力生成，基于坐标信息嵌入生成的一对方向感知特征图，接着用一个共享的1×1卷积进行变换，标记为f1，表示为：

27、f＝δ(f1([zh,zw]))

28、式中，f是在水平方向和垂直方向编码空间信息的中间特征图，δ是非线性激活函数，zh代表高度为h的所有通道上的输出，zw代表宽度为w的所有通道上的输出；接着，f切分为两个维度的特征图fh和fw，再利用两个1×1卷积进行变换，标记为fh和fw，将特征图fh和fw变换到和输入同样的通道数，用gh和gw代表两个维度上的输出，表示为：

29、gh＝σ(fh(fh))

30、gw＝σ(fw(fw))

31、式中，σ是激活函数；接着，对gh和gw进行拓展，即作为注意力权重，其中0≤i≤h，0≤j≤w，将注意力权重与输入进行融合计算，coordattention模块的最终输出yc(i,j)，表示为：

32、

33、式中，xc(i,j)表示输入x在通道c维度为(i,j)；

34、②特征融合层网络：将特征金字塔通过多层上采样和下采样特征提取与拼接，输出不同层提取结果；

35、③检测网络：将不同层的输出结果通过asff_decet模块，该asff_decet模块包括：恒等缩放和自适应融合两个部分；其中，恒等缩放是指，第m层的特征图分辨率写为xm，将其它层的特征图改变大小和m层一致；对于上采样，用1×1的卷积层去压缩通道和第m层相似，然后用插值法上采样到第m层的分辨率；下采样只是用3×3的卷积层去调整特征图的尺寸和通道；自适应融合是指，设宽度a的范围是0到h，高度b的范围是0到w，设是融合后空间位置(a,b)处在m层分辨率的向量，它是融合前三个特征图在(a,b)处的向量的加权融合，特征图的空间重要性权重是由网络自适应学习到的，该空间重要性权重在所有通道间是共享的，表示为：

36、

37、式中，和分别是空间位置(a,b)处在1-＞m、2-＞m和3-＞m层分辨率和这三层特征图的向量权重，且这三个参数能够自适应地被网络学习；

38、在经过asff_decet模块后，得到不同采样倍数下的置信分数和回归系数，输出目标检测结果。

39、进一步，在步骤s3中，所述改进ocsort多目标跟踪算法的改进包括：加入灵活的加权因子α，具体情况为：用于描述轨迹的视觉嵌入情况是由逐帧的检测嵌入情况的指数移动平均值，即ema给出；在每帧的基础上根据检测器的置信度修改ema的加权因子α，这种灵活的α仅允许在高质量的情况下选择性地将原有的外观信息嵌入到跟踪模型中，同时使用低检测器置信度作为代理来识别由于遮挡或模糊导致的图像退化，从而拒绝使结果更差的嵌入；设et为t时刻嵌入的轨迹，et-1为t-1时刻嵌入的轨迹，那么标准的ema表示为：

40、et＝αet-1+(1-α)enew

41、式中，enew是添加到跟踪模型中的匹配检测的外观值；当α随时间t变化时，记为αt，表示为：

42、

43、式中，sdet是检测器的置信度，σ′是用于过滤噪声检测的检测置信度阈值，αf是一个能修改的变量；当对于sdet＝σ′，得αt＝1，这样新的外观嵌入完全被忽略；相比之下，sdet＝1意味着αt＝αt-1，αt-1为前一时刻的加权因子，并且enew被最大化地添加到轨迹视觉嵌入的更新中，该值与检测器置信度成线性比例。

44、进一步，在步骤s4中，对跟踪结果进行健康判断，具体是判断猪只的饮食次数是否低于阈值或运动量是否低于阈值，其中饮食次数和运动量的阈值是历史数据的一个平均值，在平均值的一个范围内视为正常，若不正常则发出警告，从而判断猪只健康异常。

45、本发明与现有技术相比，具有如下优点与有益效果：

46、1、本发明对拍摄的猪只视频进行增添标注和数据增强工作，提升了识别方法鲁棒性。

47、2、本发明在yolov5网络的基础上添加了coordattention模块，提高了对特征的提取能力，提升了识别的正确率。

48、3、本发明在yolov5网络的基础上将decet模块替换为asff_decet模块，抑制融合时本身存在不同层级的特征之间的冲突信息，提高融合效果，进而提高目标检测的效果。

49、4、本发明对ocsort多目标跟踪算法基础上提供了加权因子α来调整来自历史和当前时间的视觉嵌入的比率，能提高对相似的目标的跟踪效果。

50、5、本发明在跟踪结果数据上进行了健康状态检测，具有实用性。