本发明涉及机器视觉、模式识别、动物行为分析等技术，具体涉及一种俯视状态下监控视频中群养猪攻击行为分析方法。
背景技术：
由于在密集型农业中群养猪面临受限的空间容量，贫瘠的环境，低纤维的饮食和反复改变的群组构成，它们比在自然环境下表现出更高等级的攻击。猪之间的攻击可能导致皮肤的外伤和感染，甚至是致命的伤害。受伤的猪更难获得食物，因而其生长率变低，影响猪肉产量。攻击被认为是现代生产系统中最重要的健康、福利和经济问题之一。目前，群养猪攻击识别主要依靠人工观测和监控视频，这些方式耗时费力且具有滞后性，难以实现大规模养殖场中攻击的实时检测。基于机器视觉的攻击行为识别有助于提高识别效率，增加动物福利，减少养殖场经济损失。
本发明给出一种采用机器视觉技术识别群养猪攻击行为的方法。本方法从所有运动个体中分离出攻击猪个体且通过分析相邻帧间它们的加速度自动识别攻击行为，也为其他家畜的基于加速运动的异常行为检测提供了参考。
技术实现要素：
本发明的目的是对俯视状态下群养猪监控视频中的攻击行为进行识别。通过对视频帧做图像预处理，接着根据连通域面积和粘连指数提取攻击关键帧序列和定位攻击猪，然后将攻击猪看成整体矩形从而提取加速度特征。通过对加速度数据进行训练从而计算加速度阈值，根据加速度阈值将图像帧分类为高等、中等和非攻击帧。最后设定攻击识别的最小单元，根据此单元内攻击帧的比例识别群养猪的高等、中等和非攻击。
本发明采用的技术方案是：
一种采用机器视觉技术识别群养猪攻击行为的分析方法，包含以下步骤：
步骤1，获取俯视状态下群养猪视频序列，从视频中提取攻击关键帧序列和定位攻击猪；步骤2，将攻击猪看作整体进行加速度特征的提取；步骤3，对加速度数据进行训练获取加速度阈值，根据阈值将关键帧分类为高等、中等和非攻击帧；步骤4，设定攻击识别的最小单元，根据此单元内攻击帧的比例分类群养猪的高等、中等和非攻击。
进一步，所述步骤1具体包括：
首先改建实验用猪舍，在猪舍正上方安装拍摄俯视视频的图像采集系统，获取包含猪攻击的视频片段。然后对单帧图像做直方图均衡化、百分比阈值分割和形态学处理，完成图像帧初始分割；攻击开始时、过程中和结束时的行为特点被分析用来提取可能存在攻击的关键帧序列和定位攻击猪。
进一步，所述提取攻击关键帧序列和定位攻击猪的具体方法是：
步骤1.1，在攻击发生的一瞬间，由于应激反应非攻击猪开始逃窜，由于受限空间从而产生在很短时间内3个以上非攻击猪的扎堆和其他非攻击猪散落在猪栏边缘的现象；在攻击开始时总能找到仅有一组两粘连猪的帧，即使两组以上两粘连猪同时存在一帧中也会很快变成仅有一组两粘连猪，这为首帧的确定和首帧中攻击猪的定位提供了条件。基于这一性质，仅含有一个面积在1.7到2.3倍猪标准面积的连通域的帧被定义为关键帧序列的首帧，此连通域被用来提取首帧中攻击猪；为了在最小区域内去除攻击猪的拖影，所提取攻击猪的外接矩形被用作二次分割的兴趣区域。直方图均衡化和最大熵阈值分割被用来二次分割兴趣区域内图像。
步骤1.2，攻击过程中相邻帧间攻击范围不会超过半径为0.6倍攻击猪整体外接矩形对角线长度的圆形区域。在此区域内，为了去除非攻击猪的部分身体，大于0.9倍和小于2.3倍猪标准像素面积的连通域被检测用来提取粘连或非粘连的攻击猪。
步骤1.3，当猪站得太近，在5s内它们将作出攻击或逃离的反应，帧率为4fps。因此，连续的不带有粘连的20帧被认为是攻击停止，此20帧被去除作为关键帧序列的结尾。
步骤1.4，根据攻击猪大比例粘连的特点，粘连帧占关键帧序列总帧的比例被定义为粘连指数pad，粘连指数范围[rmin,rmax]被设定用来进一步去除非攻击片段。
进一步，所述步骤2具体包括：
攻击猪被看成一个整体矩形，此整体在相邻帧间的加速度被作为特征。一方面，虽然攻击中两猪的几何形状和位移具有突变性，但它们始终保持粘连或很小距离，故攻击猪可以作为整体进行运动分析。另一方面，虽然两攻击猪之间可能产生相对静止，但是它们相对于地面总是保持快速运动。在相邻图像帧中，两个攻击猪的外接矩形的速度代表了两猪相对于地面的速度而不是两猪的相对速度。因此，基于此速度所得的加速度具有很强的区分度。为了量化相邻帧间攻击猪的位移变化，矩形四边的速度之和被用来计算猪的速度vi。相邻帧间矩形的速度改变被用来计算猪的加速度ai。
进一步，所述步骤3的具体过程为：
步骤3.1，攻击中正加速度比其他行为中正加速度具有较大区分度，然而攻击中负加速度比其他行为中负加速度具有较小区分度。因此，只有正的加速度被用来设定阈值。根据加速度数据的规律性分布和低维数的特点，层次聚类函数被用来训练加速度数据。
步骤3.2，为了提高阈值精度，在去除数据中异常点后同类加速度的均值被作为阈值，得到中等加速度阈值a1和高等加速度阈值a2。
步骤3.3，定义满足a∈[a1,a2)的当前帧为中等攻击帧，满足a∈[a2,+∞)的当前帧为高等攻击帧，其余的为非攻击帧。
进一步，所述步骤4的具体过程为：
步骤4.1，为了在最短时间或者最少帧数内判断是否攻击存在于一段视频中，最小识别单元需要被定义。通过分析所有关键帧序列中的加速度发现，加速度表现出正负交替的规律。连续的负、正、负加速度间的最大帧间距被定义为最小识别单元(mru)，这保证了正加速度必须出现在mru中用于识别。
步骤4.2，为了防止由非攻击的突然加速运动(如追逐、探索等)引起的误识别和确定具有两类攻击帧的mru的类型，具有大于一定数量q的相同攻击帧的mru被分类为带有此类攻击的mru，其余的mru被分类为非攻击mru。
本发明的有益效果是：
本发明对群养猪攻击行为进行识别，从而分析猪群中存在攻击的等级。本发明从猪群中连续提取攻击个体，因此所提取特征精确。本发明中采用关键帧技术大量去除非攻击片段，减少了数据量和算法运行时间。在潜在应用方面，在固定时间内每类攻击发生的频次能够被统计用来研究猪攻击的规律。如攻击猪组合、攻击发生和持续时间、攻击帧数等大量信息能够被用来做伤害等级评估和攻击行为预测，为猪只健康与福利和猪场经济效益提供保障。此外，由于加速运动存在于很多其他动物的攻击或异常行为中，此具有较强适用性的特征(加速度)可用于其他动物的行为研究。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细说明：
图1是基于机器视觉的群养猪攻击行为分析的流程。
图2是原始图像初始分割过程的示例。
图3是关键帧首帧中攻击猪二次精确分割过程的示例。
图4是关键帧后续每帧中攻击猪提取过程的示例。
图5是相邻帧间加速度提取的示例。
图6是最小识别单元的示例。
具体实施方式
图1为基于机器视觉的群养猪攻击行为分析的流程图，下面结合该图，进一步说明具体涉及的各部分具体实施方式。
步骤1：改建猪舍，获取俯视状态下群养猪视频序列，从视频帧图像中提取攻击关键帧序列和定位攻击猪。
具体方法是：(1)在猪舍(长*宽*高＝3.5m*3m*1m)正上方3m处，安装拍摄俯视视频的图像采集系统，获取包含群养猪攻击的视频片段。然后对单帧图像做直方图均衡化、百分比阈值分割和形态学处理，完成图像帧初始分割，如图2所示。
(2)在攻击发生的一瞬间，由于应激反应非攻击猪开始逃窜，由于受限空间从而产生在很短时间内3个以上非攻击猪的扎堆和其他非攻击猪散落在猪栏边缘的现象。利用在攻击开始时总能找到仅有一组两粘连猪的帧这一性质，仅含有一个面积在1.7到2.3倍猪标准面积的连通域的帧被定义为关键帧序列的首帧，此连通域被用来提取首帧中攻击猪。为了在最小区域内去除攻击猪的拖影，所提取攻击猪的外接矩形被用作二次分割的兴趣区域。直方图均衡化和最大熵阈值分割被用来二次分割兴趣区域内图像，如图3所示。
(3)攻击过程中，相邻帧间攻击范围不会超过半径为0.6倍攻击猪整体外接矩形对角线长度的圆形区域，攻击范围半径r计算公式如式(1)：
其中，点(xmin,ymin)和点(xmax,ymax)为两个攻击猪的矩形对角线的两个端点。o是矩形中心也是圆心。外接矩形由四条边(x＝xmin，x＝xmax，y＝ymin和y＝ymax)围成。其中，xmin是攻击猪所有像素的最小横坐标，xmax是其最大横坐标，ymin是其最小纵坐标，ymax是其最大纵坐标。在此区域内，为了去除非攻击猪的部分身体，大于0.9倍和小于2.3倍猪标准像素面积的连通域被检测用来提取粘连或非粘连的攻击猪，如图4所示。
(4)当猪站得太近，在5s内它们将作出攻击或逃离的反应，帧率为4fps。因此，连续的不带有粘连的20帧被认为是攻击停止，此20帧被去除作为关键帧序列的结尾。
(5)根据攻击猪大比例粘连的特点，粘连帧占关键帧序列总帧的比例被定义为粘连指数pad，计算公式如式(2)：
pad＝nad/nsum(2)
其中，nad是一个关键帧序列中粘连帧的数量，nsum是在此关键帧序列中的总帧数。通过统计分析标记的攻击片段，粘连指数范围[rmin,rmax]被设定用来进一步去除非攻击片段。
步骤2：将攻击猪看作整体进行加速度特征的提取，如图5所示。攻击猪被看成一个整体矩形，此整体在相邻帧间的加速度被作为特征。一方面，虽然攻击中两猪的几何形状和位移具有突变性，但它们始终保持粘连或很小距离，故攻击猪可以作为整体进行运动分析。另一方面，虽然两攻击猪之间可能产生相对静止，但是它们相对于地面总是保持快速运动。在相邻图像帧中，两个攻击猪的外接矩形的速度代表了两猪相对于地面的速度而不是两猪的相对速度。因此，基于此速度所得的加速度具有很强的区分度。
(1)位移的提取
第i帧和第i+1帧间矩形框第n条边的位移dn,i的计算公式如式(3)：
其中，lpigsty是猪圈地面的实际长度，limage是猪圈地面的像素长度，i＝1,2,...,n。
(2)速度的提取
为了量化相邻帧间攻击猪的位移变化，矩形四边的速度之和被用来计算猪的速度，计算公式如式(4)：
vi＝v1,i+v2,i+v3,i+v4，i＝f(d1,i+d2,i+d3,i+d4,i)(4)
其中，v1,i,v2,i,v3,i和v4,i分别为攻击猪整体在第i帧的水平和垂直方向上的速度，f为原始图像的帧频。
(3)加速度的提取
相邻帧间矩形的速度改变被用来计算猪的加速度，计算公式如式(5)：
ai＝dv/dt＝δv/δt＝(vi+1-vi)/(1/f)＝f(vi+1-vi)(5)
其中，1/f为相邻帧间的时间间隔。
步骤3：对加速度数据进行训练获取加速度阈值，根据阈值将关键帧分类为高等、中等和非攻击帧。
具体方法是：(1)攻击中正加速度比其他行为中正加速度具有较大区分度，然而攻击中负加速度比其他行为中负加速度具有较小区分度。因此，只有正的加速度被用来设定阈值。根据加速度数据的规律性分布和低维数的特点，层次聚类函数被用来训练加速度数据。
(2)为了提高阈值精度，在去除数据中异常点后同类加速度的均值被作为阈值，得到中等加速度阈值a1和高等加速度阈值a2。
(3)定义满足a∈[a1,a2)的当前帧为中等攻击帧，满足a∈[a2,+∞)的当前帧为高等攻击帧，其余的为非攻击帧。
步骤4：设定攻击识别的最小单元，根据此单元内攻击帧的比例分类群养猪的高等、中等和非攻击。
具体方法是：(1)为了在最短时间或者最少帧数内判断是否攻击存在于一段视频中，最小识别单元需要被定义。通过分析所有关键帧序列中的加速度发现，加速度表现出正负交替的规律，如图6所示。连续的负、正、负加速度间的最大帧间距被定义为最小识别单元(mru)，这保证了正加速度必须出现在mru中用于识别。
(2)为了防止由非攻击的突然加速运动(如追逐、探索等)引起的误识别和确定具有两类攻击帧的mru的类型，具有大于一定数量q的相同攻击帧的mru被分类为带有此类攻击的mru，其余的mru被分类为非攻击mru。
优选实施例：
本发明的一个最优具体实施方式：改建猪舍，在猪舍(长*宽*高＝3.5m*3m*1m)正上方3m处，安装拍摄俯视视频的图像采集系统，获取包含7头左右猪的攻击视频片段，图像分辨率为1760×1840像素。对单帧图像做直方图均衡化、百分比阈值分割和形态学处理，完成图像帧初始分割；攻击开始时，将仅含有一个面积在1.7到2.3倍猪标准面积的连通域的帧定义为关键帧序列的首帧，此连通域被用来提取首帧中攻击猪；所提取攻击猪的外接矩形被用作二次分割的兴趣区域，直方图均衡化和最大熵阈值分割被用来二次分割，从而去除攻击猪的拖影；攻击过程中，设定攻击范围半径为0.6倍攻击猪整体外接矩形对角线长度。在此区域内，大于0.9倍和小于2.3倍猪标准像素面积的连通域被检测用来提取粘连或非粘连的攻击猪且去除非攻击猪的部分身体；将连续的不带有粘连的20帧去除作为关键帧序列的结尾；粘连指数范围[0.8,1]被设定用来进一步去除非攻击片段。矩形四边的速度之和被用来计算猪的速度vi，相邻帧间矩形的速度改变被用来计算猪的加速度ai。层次聚类函数被用来训练加速度数据；在去除数据中异常点后同类加速度的均值被作为阈值，从而获取中等加速度阈值a1和高等加速度阈值a2；定义满足a∈[a1,a2)的当前帧为中等攻击帧，满足a∈[a2,+∞)的当前帧为高等攻击帧，其余的为非攻击帧。连续的负、正、负加速度间的最大帧间距被定义为最小识别单元(mru)；具有大于一定数量q的相同攻击帧的mru被分类为带有此类攻击的mru，其余的mru被分类为非攻击mru。其中，mru取11帧(2.75s)，q取3。经过上述步骤，最终实现了俯视群养猪的攻击行为识别。
综上所述，本发明的一种采用机器视觉技术识别群养猪攻击行为的分析方法，首先是从俯视群养猪视频中提取攻击关键帧序列和定位攻击猪；接着将攻击猪看作整体进行加速度特征的提取；然后对加速度数据进行训练获取加速度阈值，根据阈值将关键帧分类为高等、中等和非攻击帧；最后设定攻击识别的最小单元，根据此单元内攻击帧的比例分类群养猪的高等、中等和非攻击。该项研究是基于机器视觉技术对群养猪进行攻击行为识别，为探索攻击规律、评定伤害等级和确定人工干预提供了理论依据，也为其他家畜的基于加速运动的异常行为检测提供了参考。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。