一种计算机视觉的母猪哺乳行为识别方法与流程

本发明涉及计算机视觉视频分析和交互行为识别的
技术领域：
，尤其是指一种计算机视觉的母猪哺乳行为识别方法。
背景技术：
：据统计，仔猪断奶前死亡率高达25-33％，影响到整个猪场的经济效益。母猪哺乳时长和哺乳频率关系到仔猪成长，健康和福利状况，因此对母猪哺乳行为的监测显得尤为重要。目前，主要通过人工监测母猪哺乳状态，记录哺乳信息，为进一步人工干预提供决策依据。然而该方法耗时、耗力且主观性强。利用计算机视觉自动监测技术替代人工监测方式成为猪场管理必须解决的一个课题。当前基于计算机视觉技术对动物的行为识别的方法已被广泛应用。其通常包括两个方式：1)采用图像处理手段分析物体几何形状和空间距离。公开号cn107437069公开了一种基于轮廓的猪只饮水行为识别方法。该类方式没有把运动信息纳入行为分析中，无法反映行为的时序运动特征，且识别结果依赖高精度的前景分割；2)采用时序信息分析运动状态，根据前后帧物体的位置变化获取物体运动信息，并描述物体运动状态。公开号cn107679463a专利公开了一种采用机器视觉技术识别群体猪攻击行为的分析方法，将物体运动的加速度作为物体运动特征识别猪只攻击行为。公开号cn108491807a公开了一种奶牛发情行为实时监测方法及系统，采用光流特征和轮廓特征识别奶牛发情行为。母猪哺乳行为是一种母猪和猪群的交互行为，当前基于视频的对母猪的哺乳行为识别的研究鲜有报道。鉴于此，亟需提供一种母猪哺乳行为自动识别方法，以实现对母猪哺乳行为的准确监测。本发明提供一种基于空间分布和时序运动特征的母猪哺乳行为识别方法，将物体空间关系和运动特征结合起来，并提出一种新的光流特征，自动识别母猪哺乳行为，为猪场管理决策提供数据支持，提高猪只健康状况和猪场经济效益。技术实现要素：本发明的目的在于克服现有技术的缺点与不足，提出了一种计算机视觉的母猪哺乳行为识别方法，克服传统人工监测耗时、耗力的问题，自动识别哺乳行为，为进一步管理决策提供数据支持，提高猪只健康状况和猪场经济效益。能够在母猪和仔猪体型不一、花色不均且与背景颜色对比度不大和照明条件改变等复杂因素干扰下，实现较高精度的母猪哺乳行为视频识别。为实现上述目的，本发明所提供的技术方案为：一种计算机视觉的母猪哺乳行为识别方法，包括以下步骤：1)采集哺乳期母猪和仔猪的俯视视频，并获取光流图像序列；2)根据每帧的光流分布特征，计算哺乳运动像素的运动强度、占空比和空间聚集度，提取关键帧；3)采用deeplab深度网络分割关键帧中的母猪和仔猪，并利用形状匹配算法及母猪和仔猪空间分布特征，自动定位出哺乳的时空感兴趣区域；4)在时空感兴趣区域中设置识别单元，提取识别单元中仔猪的运动特征，特征包括仔猪运动分布指数特征和基于母猪腹线的法线方向光流的仔猪吸吮运动特征；5)将识别单元中提取的仔猪运动特征输入svm分类模型，实现母猪哺乳行为自动识别。在步骤1)中，采集哺乳期母猪和仔猪的俯视视频，并获取光流图像序列，包括以下步骤：1.1)在猪舍正上方安装摄像头，摄像头安装高度为2.5-2.7m处，获取包含1只母猪和9-13头仔猪的哺乳期母猪和仔猪的俯视视频，视频帧分辨率为960×540像素，帧率为5帧/秒；1.2)利用光流法计算原始图像序列的光流图像序列。在步骤2)中，根据每帧的光流分布特征，计算哺乳运动像素的运动强度、占空比和空间聚集度，提取关键帧，包括以下步骤：2.1)母猪与仔猪哺乳运动像素点光流强度阈值设定：利用直方图法统计哺乳及非哺乳像素光流特征强度，获得哺乳运动像素点光流强度inur≥2且inur≤30；2.2)计算哺乳运动像素占空比onur，公式如下：式中，nnur表示哺乳运动像素点个数，ntotal表示该光流图像所有运动像素点个数；2.3)计算运动像素点个数低阈值和高阈值公式如下：式中，表示所有仔猪标准像素面积，npiglets表示仔猪个数，nsow表示母猪标准像素面积；2.4)计算运动聚集程度指数：计算所有运动像素之间的欧式距离的平均；2.5)时间序列关键帧提取：如果某视频帧的哺乳运动像素占空比onur＞0.86且运动聚集程度指数ag＜3.0×105且运动像素点个数满足则该帧为关键帧。在步骤3)中，采用deeplab深度网络分割关键帧中的母猪和仔猪，并利用形状匹配算法及母猪和仔猪空间分布特征，自动定位出符合哺乳时母猪和仔猪空间分布的时空感兴趣区域，包括以下步骤：3.1)将关键帧序列输入预设的deeplab深度网络，实现所述关键帧中母猪和仔猪的分割与分类；其中，在将关键帧序列输入预设的deeplab深度网络之前，需先对预设的deeplab深度网络进行训练，具体如下：获取带有像素类别标记的原始视频帧；将带有像素类别标记的原始视频帧和对应的原始视频帧输入预设的deeplab深度网络，对预设的deeplab深度网络进行训练；3.2)计算分割结果中的母猪身体的质心位置，并以该质心位置为中心，获取包含母猪身体的外围矩形区域；3.3)采用形状匹配算法，并根据预设带有乳腺区域标识的侧卧母猪形状模板，在上述矩形区域中进行形状匹配，并根据输出的匹配个数和位置坐标、角度参数，获取满足侧卧形状的视频帧；其中，预设带有乳腺区域标识的侧卧母猪形状模板是指构建的母猪侧卧时的形状模板，并人工记录模板中乳腺区域的位置；3.4)在提取的侧卧视频帧中，根据上述获取的位置坐标、角度以及匹配模板中的乳腺区域标识，定位出母猪侧卧帧中的母猪乳腺区域，并通过最小二乘法拟合母猪腹部曲线，获取乳腺区域母猪的腹部曲线；3.5)将拟合的母猪腹部曲线向外扩充，扩充宽度为仔猪身体长度的一半，扩充的区域即为时空感兴趣区域。在步骤4)中，在时空感兴趣区域中设置识别单元，提取识别单元中仔猪的运动特征，特征包括仔猪运动分布指数特征和基于母猪腹线的法线方向光流的仔猪吸吮运动特征，包括以下步骤：4.1)在原始哺乳母猪视频中依次设置识别单元，若连续30s中至少有15s的视频帧中存在感兴趣区域，则将其设置为一个识别单元；4.2)将感兴趣区域中的仔猪看作一个整体，计算感兴趣区域中仔猪运动像素个数npiglets，即为感兴趣区域中光流强度不小于2且属于仔猪的像素点个数；4.3)计算仔猪运动像素分布指数其中，nall_piglets为所有仔猪的像素点个数；4.4)按照上述计算仔猪运动像素分布指数公式，依次计算识别单元中每一个感兴趣区域中的仔猪运动像素分布指数，并取其中值作为识别单元中的仔猪运动像素分布指数特征ounit；4.5)将感兴趣区域等分成3个子区域，分别选取每个子区域的腹线的中点，并计算中点的法线；4.6)统计与法线方向夹角小于或等于±45°扇形区域中“向下”的像素个数ndown，与法线反方向夹角小于或等于±45°区域中“向上”的像素个数nup，及剩余其它方向的像素点个数nhorizon；4.7)分别将3个子区域的nup求和，得到整个感兴趣区域“向上”的像素个数nup，类似地，得到整个感兴趣区域“向下”和水平的像素个数ndown和nhorizon，并将nup，ndown和nhorizon中的最大者所在扇区方向作为感兴趣区域中仔猪运动的全局方向；4.8)依次统计识别单元中感兴趣区域的仔猪运动方向，获取仔猪运动方向变化向量其中，di表示具有相同仔猪运动方向的连续感兴趣区域个数，n表示识别单元中仔猪运动方向变化次数；4.9)计算仔猪运动方向变化向量的方差作为识别单元的基于母猪腹线的法线方向光流的仔猪吸吮运动特征dunit。在步骤5)中，将识别单元中提取的仔猪运动特征输入预设的svm分类模型，实现母猪哺乳行为自动识别，包括以下步骤：5.1)先对预设svm分类模型进行训练，具体如下：获取带有行为标记的识别单元；对带有行为标记的识别单元中的光流图像序列样本进行特征提取，获得与所述带有行为标记的识别单元中的光流图像序列样本对应的光流特征；将所述光流特征输入预设的svm分类模型，对预设的svm分类模型进行训练；5.2)将识别单元中提取的仔猪运动特征输入svm分类模型，并根据svm分类模型的输出结果对母猪哺乳行为进行识别。本发明与现有技术相比，具有如下优点与有益效果：1、本发明首次实现了母猪哺乳行为自动监测，克服传统人工监测方式耗时、耗力的缺点。2、本发明通过使用自动监测技术，获取母猪哺乳信息并引导猪场管理者进行管理决策。3、本发明提出了新的光流特征，用以描述仔猪吸吮运动模式，该特征具有尺度不变性，可用于整个哺乳期母猪行为自动识别。4、本发明结合了交互物体的空间分布和时序运动特征，提高了行为识别的准确率，为探索畜的行为识别方法提供了新思路。附图说明图1为本发明逻辑流程示意图。图2为视频采集和光流图。图3为deeplab分割网络的分割结果示意图。图4为侧卧母猪形状模型和感兴趣区域获取示意图。图5为感兴趣区域仔猪运动方向示意图。具体实施方式下面结合具体实施例对本发明作进一步说明。如图1所示，本实施例提供了一种计算机视觉的母猪哺乳行为识别方法，该方法实现了基于计算机视觉的商业圈养母猪哺乳行为的识别，为实时监控和分析母猪哺乳行为及健康状态提供参考，其包括以下步骤：1)采集哺乳期母猪和仔猪的俯视视频，并获取光流图像序列，包括以下步骤：1.1)如图2中a所示，在猪舍正上方安装摄像头，摄像头安装高度为2.5-2.7m处，获取包含1只母猪和9-13头仔猪的哺乳期母猪和仔猪的俯视视频，视频帧分辨率为960×540像素，帧率为5帧/秒；1.2)获取哺乳期母猪和仔猪的俯视视频，图2中b为母猪正在哺乳的俯视图。1.3)利用光流法根据哺乳母猪的原始图像序列获取哺乳母猪的光流图像序列，获取的光流图序列由垂直光流图(图2中c)和水平光流图(图2中d)组成，每个像素点的运动强度方向o＝arctan(mx/my)，其中mx和my分别表示水平光流强度和垂直光流强度。2)根据每帧的光流分布特征提取关键帧，包括以下步骤：2.1)为了防止光照变换对光流强度的影响，定义光流强度大于2的像素点为运动像素点。定义母猪哺乳行为为母猪侧卧，至少有1/2仔猪按摩或吸吮乳房，且该过程至少持续60s。由于母猪哺乳时，至少有1/2数量的仔猪聚集在母猪乳房区域并参与吸吮运动，因此，从单个视频帧来看，母猪哺乳过程中产生的运动可描述为运动分布集中，且运动强度和运动个数在固定范围内。根据这些哺乳特质，本发明定义参数运动聚集程度指数ag，运动像素点个数nmp和哺乳运动像素占空比onur，用来提取关键帧。其中ag通过计算所有运动像素点之间的欧氏距离的均值获得。本发明利用直方图法统计哺乳及非哺乳像素光流特征强度，获得哺乳运动像素点光流强度inur≥2且inur≤30，因此，哺乳运动像素占空比onur通过以下公式计算：式中，nnur表示哺乳运动像素点个数，ntotal表示所有像素点个数。2.2)设定运动聚集程度指数阈值ag＝3.0×105，哺乳运动像素占空比阈值onur＝0.86，并按照以下公式计算运动像素点个数低阈值和高阈值式中，表示所有仔猪标准像素面积，npiglets表示仔猪个数，nsow表示母猪标准像素面积。2.3)如果某视频帧的哺乳运动像素占空比onur＞0.86，且运动聚集程度指数ag＜3.0×105，且运动像素点个数满足则该帧为关键帧。3)采用deeplab深度网络分割关键帧中的母猪和仔猪，并利用形状匹配算法及母猪和仔猪空间分布特征，自动定位出符合哺乳时母猪和仔猪空间分布的时空感兴趣区域，包括以下步骤：3.1)将提取的关键帧输入预先训练好的deeplab分割模型，完成母猪和仔猪的分割。参见图3所示，对图3中a的分割结果如图3中b所示。分割后，不同颜色表示不同类别物体。在训练过程中，设置deeplab网络的输出类别个数为3，表示母猪，仔猪和背景，将标记图像(如图3中c所示)和原始图像输入预设deeplab深度网络进行前向传播和后向反馈训练，获取母猪和仔猪的分割模型，并做开运算平滑母猪腹部轮廓，去除细节噪声。3.2)由于哺乳时，母猪侧卧姿态较为固定，且仔猪吸吮行为发生在母猪乳腺区域。为识别母猪侧卧姿态及乳腺感兴趣区域，本发明利用形状匹配算法及母猪和仔猪空间分布特征，自动定位出符合哺乳时母猪和仔猪空间分布的时空感兴趣区域，具体步骤如下：3.2.1)计算分割结果中的母猪身体的质心位置，并以该质心位置为中心，获取包含母猪身体的外围矩形区域；3.2.2)在上述获取的矩形区域中建立母猪侧卧形状模板，由于母猪侧卧姿态较为单一，构建一个侧卧形状模板，如图4中a所示。为了便于寻找母猪腹部曲线，建立侧卧模板时，手工标注包含腹部曲线的乳房区域，即记录乳房区域在形状模板中的坐标位置(图4中a的矩形框区域)；3.2.3)在提取的关键帧中，利用建立的形状模板对母猪姿态进行形状匹配。由于图像中，只有一只母猪，因此，匹配过程中，设置最多匹配个数为1，旋转角度为0-360度，匹配精度大于0.95，缩放倍数为0.8-1.2倍；3.2.4)形状匹配结束后，若寻找到匹配的侧卧形状，则表示该视频帧中母猪为侧卧姿态，并返回旋转角度，缩放倍数等参数；3.2.5)根据旋转角度，缩放倍数，将母猪侧卧形状模板中标识的乳腺区域映射到匹配的母猪侧卧姿态中，以获取乳腺区域母猪的腹部曲线，如图4中b所示；3.2.6)用mls(movingleastsquares，滑动最小二乘法)拟合母猪腹部曲线；3.2.7)由于一窝猪中至少有一半或以上数量仔猪聚集在母猪乳房区域且参与吸吮运动，母猪才被定义为处于哺乳状态，另外，哺乳时，仔猪通过头部垂直于母猪腹线“向上-向下”运动进行吸吮。因此，本发明需识别包括仔猪吸吮时头部所在区域，以提取仔猪吸吮运动特征。具体地，对拟合的母猪腹部曲线向外扩充，扩充宽度denlarge＝1/2×lpiglets，lpiglets为仔猪身体长度(通过上述仔猪分割自动获取)。在扩充过程中，计算经过母猪腹线两个端点的直线，沿直线法线方向距离母猪腹部曲线的denlarge＝1/2×lpiglets处，复制母猪腹线，两条腹部曲线之间的区域即为感兴趣区域，如图4中b的阴影部分所示。仔猪吸吮所处的空间区域如图4中b的扇区u1u2u3u4所示。4)在时空感兴趣区域中设置识别单元，提取识别单元中仔猪的运动特征，特征包括仔猪运动分布指数特征和基于母猪腹线的法线方向光流的仔猪吸吮运动特征，包括以下步骤：4.1)在原始哺乳母猪视频中依次设置识别单元，若连续30s中至少有15s的视频帧中存在感兴趣区域，则将其设置为一个识别单元；4.2)将感兴趣区域中的仔猪看作一个整体，提取识别单元中仔猪吸吮运动像素分布的光流特征，具体步骤如下：4.2.1)由于至少有一半仔猪聚集在母猪乳房且参与吸吮运动，本发明定义仔猪运动像素分布指数opiglets来描述乳房区域运动仔猪的个数，opiglets通过以下公式获得：式中，npiglets为感兴趣区域中光流强度大于2且属于仔猪的像素点个数，nall_piglets为所有仔猪的像素点个数，通过上述deeplab分割获得。由于感兴趣区域的大小取决于母猪和仔猪的大小，因此仔猪运动像素分布指数opiglets特征具有尺度不变性，适用于不同大小的母猪和仔猪；4.2.2)依次计算识别单元中每一个感兴趣区域中的运动像素分布比率，并取其中值作为识别单元中的仔猪运动像素分布比率特征ounit；4.3)将感兴趣区域中的仔猪看作一个整体，提取识别单元中仔猪运动方向变化频率，具体步骤如下：4.3.1)由于母猪在哺乳过程中，仔猪头部吸乳运动往往垂直于母猪腹线，并呈现出稳定、有规律的“向上-向下”的运动模式，如图5所示。图5中a为哺乳过程中，仔猪吸吮运动的运动方向，图5中b为非哺乳过程，仔猪在感兴趣区域的运动方向示意图。为了描述这种运动模式，本发明将图4中b感兴趣区域等分成3个子区域，如图4中c所示，分别在这3个子区域内提取母猪腹线的法线方向光流的仔猪吸吮运动特征；4.3.2)在3个子区域中，分别选取每个子区域的腹线的中点，并计算中点的法线，如图4中c所示。按照图4中d方向扇区的划分，统计与法线方向夹角小于等于±45°扇形区域中“向下”的像素个数ndown，与法线反方向夹角小于等于±45°区域中“向上”的像素个数nup，及剩余其它方向的像素点个数nhorizon；并分别将3个子区域的nup求和得到整个感兴趣区域“向上”的像素个数nup，类似地，得到整个感兴趣区域“向下”和水平的像素个数ndown和nhorizon。4.3.3)将nup，ndown和nhorizon中的最大者所在扇区方向作为感兴趣区域中仔猪运动的全局方向；4.3.4)依次统计识别单元中所有感兴趣区域的仔猪运动方向，获取仔猪运动方向变化向量其中di表示具有相同仔猪运动方向的连续感兴趣区域个数，n表示识别单元中仔猪运动方向变化次数；4.3.5)为了评价仔猪运动方向变化的稳定性，将仔猪运动方向变化向量的方差作为识别单元的基于母猪腹线的法线方向光流的仔猪吸吮运动特征dunit。5)将识别单元中的提取的仔猪运动特征输入svm分类模型，实现母猪哺乳行为自动识别，具体如下：将带有标记的识别单元训练样本中提取的光流特征输入预先训练好的svm分类器，对识别单元进行哺乳分类，实现母猪哺乳行为识别。在采用svm分类器识别哺乳行为之前，需要对svm分类器进行训练，具体步骤包括：设置svm核函数为线性核函数；获取带有行为标记的识别单元，具体地，若视频段中存在哺乳行为且该行为持续了至少15s则标记该视频片段为“1”，表示哺乳；否则标记为“0”，表示非哺乳；对所述带有行为标记的识别单元中的光流图像序列样本进行特征提取，获得与所述带有行为标记的识别单元中的光流图像序列样本对应的光流特征；将所述光流输入预设svm分类器，对所述svm进行训练。为验证本发明的可行性，本发明采集5栏哺乳母猪和小猪视频进行实验验证，下面详细说明该实验的数据设计和实验结果：本实验数据采集自5栏(记为，pen1、pen2、pen3、pen4、pen5)不同产后日龄的哺乳期母猪和仔猪，产后日龄分别为3、15、7、11、和10日，pen1和pen2用于训练svm分类器，pen3和pen4用于验证svm分类效果，pen5用于测试本发明对母猪哺乳行为自动识别效果。训练集和测试集共包含781段视频片段，每段视频片段时长30s；测试集包含了9h(1080段30s的视频片段)时长的连续视频(从早8点钟拍摄至下午5点钟)，数据集设计如下表所示：数据集栏号样本/段哺乳/段非哺乳/段样本总数训练集pen11409248330pen219075115验证集pen3270118152450pen41809783测试集pen510801809001080在具体实验过程中，本发明哺乳行为自动识别方法在验证集和测试集上获取以下结果和准确率：综上所述，在采用以上方案后，本发明为猪场环境下母猪哺乳行为监测提供了新方法，能有效克服传统人工监测方式耗时、耗力的缺点，为猪场管理者提供可靠的哺乳信息，引导猪场管理者进行管理决策，提高猪只健康和福利状况，增加猪场经济效益，具有实际推广价值，值得推广。以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。当前第1页12