一种基于视频活跃性分析的智能化猪圈养监视系统的制作方法
本发明涉及畜牧业养殖圈养场景下的计算机视觉监视分析系统，特别是涉及一种基于视频活跃性分析的智能化猪圈养监视系统。
背景技术：
畜牧业监控是响应大数据和人工智能概念的产业，近年来，很多圈养动物的棚子部署了视频监控，但其作用仅限于安防和人工观察动物习性。观察动物特殊行为的任务特性决定了人工观察动物习性的工作效率低下，一方面浪费了人力和时间，一方面还有漏检的可能性，这些因素进一步降低了视频监控的实际价值。导致上述矛盾的原因在于视频序列没有引入分析系统，没有关键时刻的标签，也没有参考性的数据。
目前使用物体检测器的方法不适用于动物的实例级别监视，即难以获得每一头动物的信息。基于物体检测器的方法大部分使用边界框，由于动物姿态和朝向不确定，基于边界框的方法难以监视动物的活跃性数据。使用语义分割的结果不能区分每一头动物，只能提供大致的遮罩，只有后处理才能实现实例级别的分割。若能实现实例级别的分割，即可进一步分析动物的活动。目前采用鲜艳颜色的耳标可以直接通过颜色分割算法得到遮罩，若饲养环境不允许出现鲜艳颜色，使用红外反光材料的耳标也能用于分割并得到位置。耳标和动物遮罩结合可以得知动物的朝向甚至头部方向。
目前使用深度卷积神经网络进行语义分割的任务已经十分成熟，大部分摄像头是安装在顶棚的，较高的机位能获得接近俯视的效果，使用预训练好的模型，仅需要标注少量样本进行继续训练的微调工作即可适配到各个场地。
技术实现要素：
本发明克服了现有技术中畜牧业养殖圈养场景下动物行为的实例级别监视仍待提升的问题，提供一种能够辅助人工回放视频和提供计算机分析参考性数据的基于视频活跃性分析的智能化猪圈养监视系统。
本发明的技术解决方案是，提供一种具有以下结构的基于视频活跃性分析的智能化猪圈养监视系统：对透视变换后的视频进行基于视觉的处理和分析，含有以下步骤，步骤a，使用基于深度卷积神经网络的语义分割得到动物的遮罩；步骤b，使用基于颜色显著度公式分割动物的带颜色耳标；步骤c，针对语义分割的遮罩通过距离变换方法处理得到实例分割结果；步骤d，依照实例分割的结果，使用距离优先方法和姿态约束条件将耳标与实例关联，得到动物骨骼模型；步骤e，基于动物骨骼模型，得到其中心点位置及头部朝向的属性，加入感兴趣区域计数器；步骤f，基于感兴趣计数器得出猪的咬尾判定方法。
所述步骤a中使用的深度卷积神经网络符合以下端到端特征：1、输入图像为rgb彩色图像；2、输出图像是置信图或经过后处理的二值遮罩。
所述步骤b中颜色显著度数值是单通道的，基于rgb通道数值和目标颜色相似度相乘得到。
所述步骤c中针对二值图进行距离变换得到实例分割结果，通过阈值化分割出不再连通的二值遮罩。
所述步骤d中根据一个实例遮罩的最小外接矩形顺时针搜索，并根据评价函数选取最优的耳标，形成动物骨骼模型，具体步骤如下：步骤1、定位耳标，耳标的分割通过显著颜色方法实现，计算方法为：c(i，j)＝max(rij，gij，bij)-min(rij，gij，bij)，得到耳标连通域305后，逐个处理实例分割的连通域301；对连通域301逐个使用最小旋转包围框算法，得到一个旋转的包围框303，取其旋转角度θ开始寻找耳标305的位置，其中θ角度是x轴逆时针夹角，以一个先验值的长度开始，以1°为步进，顺时针取射线范围内的像素，假设包围框的中心为p(i，j)，先验长度为t，则步进1中θ′＝θ-1，线段终点位置为：p′(i，j)＝p(i，j)+t(tcos(θ′)，tsin(θ‘))，该操作以θ1＝θ和θ2＝θ±180方向分别执行一次，±取符号条件为：θ2∈(-180，180)，角度步进之后以终点位置插值来选取取样像素，下式中α是插值步进：psamle＝p(x，y)+α*p′(x，y)，之后，psamle(x，y)＝psamle(floor(x)，floor(y))，以此类推，直到搜索结束，若找到了耳标的连通域305，则进行评分：loss＝min((δθ1*t′)，(δθ2*t′))，其中δθ＝|θ-θ‘|，t′＝t*α，最终取最低损失的候选结果，得到了关联的耳标和身体朝向θ；步骤2、构建动物骨骼模型的计算方法为：语义分割结果中，使用分水岭分割方法得到最大连通域范围302，以包围框中心点对θ角度延长至范围302，得到交点304，连接耳标305的连通域中点和304，计算出和身体θ方向的向量夹角306，将夹角306视为头旋转角度，以交点304到耳标306的向量逆时针旋转90度，得到头部向量307，则动物骨骼模型建立完成。
所述步骤e中在头部、尾部或其他位置划分矩形或异形感兴趣区域，并通过交并比阈值判断位置关系。
所述步骤f中使用了交并比阈值来判定重合，并逐帧通过阈值结果对计数器进行累加和遗忘，进而对次数进行阈值判定来确定事件的发生；其中计数器的累加，使用交并比的方式衡量感兴趣区域的交叠程度，其公式为：
与现有技术相比，本发明基于视频活跃性分析的智能化猪圈养监视系统具有以下优点：使用了深度卷积神经网络进行动物的语义遮罩提取，可以适应多种光照环境。当光照条件特殊时，可以基于预训练模型，针对现有光照条件，采集少量样本并标注，通过继续训练来提高当前光照条件的准确率使用了基于动物体型特征的实例分割方法，能够快速地对语义分割结果进行后处理。使用了动物骨骼模型，使用颜色耳标或者红外反光耳标进行动物头部的位置识别，进而构建动物的朝向，头部位置和尾部位置。
本发明提出的实例化方法和动物骨骼模型，可以通过在头部、尾部等自定义区域设置感兴趣区域计数器。基于感兴趣区域的重合来驱动计数器计数，进而通过统计和时域结合的方法产生事件信息。本发明在现有的圈养环境中方便地利用现有的监控视频信息，结合耳标信息，便可以通过基于骨骼模型的感兴趣区域事件来对录像中需要注意的时间点进行标记，方便用户高效地回放视频关键部分。
目前使用深度卷积神经网络进行语义分割的任务已经十分成熟，使用预训练好的模型，仅需要标注少量样本进行继续训练的微调工作即可适配到各个场地。基于上述调研，使用事件检测能够自动标记视频监控数据，标注需要注意的时间，还能在监控界面实时呈现分析结果，有很强的现实意义。从另一角度来说，使用计算机视觉实现自动的事件记录即便具有误报的可能性，考虑到其用途是进作为辅助人工回放视频和提供参考性数据，因此仍具有很强的现实意义。
附图说明
图1是本发明基于视频活跃性分析的智能化猪圈养监视系统中摄像头的安装位置示意图；
图2是本发明基于视频活跃性分析的智能化猪圈养监视系统中通过距离变换对连通域进行处理得到实例的示意图；
图3是本发明基于视频活跃性分析的智能化猪圈养监视系统中分析得到的动物骨骼模型示意图；
图4是本发明基于视频活跃性分析的智能化猪圈养监视系统中围栏形状和透视变换的示意图；
图5是本发明基于视频活跃性分析的智能化猪圈养监视系统中一种感兴趣区域的配置示意图；
图6是本发明基于视频活跃性分析的智能化猪圈养监视系统中咬尾现象发生时的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明基于视频活跃性分析的智能化猪圈养监视系统作进一步说明：本实施例中对透视变换后的视频进行基于视觉的处理和分析，含有以下步骤，步骤a，使用基于深度卷积神经网络的语义分割得到动物的遮罩；步骤b，使用基于颜色显著度公式分割动物的带颜色耳标；步骤c，针对语义分割的遮罩通过距离变换方法处理得到实例分割结果；步骤d，依照实例分割的结果，使用距离优先方法和姿态约束条件将耳标与实例关联，得到动物骨骼模型；步骤e，基于动物骨骼模型，得到其中心点位置及头部朝向的属性，进一步加入感兴趣区域计数器；步骤f，基于感兴趣计数器得出猪的咬尾判定方法。
所述步骤a中使用的深度卷积神经网络符合以下端到端特征：1、输入图像为rgb彩色图像；2、输出图像是置信图或经过后处理的二值遮罩。
所述步骤b中颜色显著度数值是单通道的，基于rgb通道数值和目标颜色相似度相乘得到。
所述步骤c中针对二值图进行距离变换得到距离图(实例分割结果)，11111通过阈值化分割出不再连通的二值遮罩。
所述步骤d中根据一个实例遮罩的最小外接矩形顺时针搜索，并根据评价函数选取最优的耳标，形成动物骨骼模型，具体步骤如下：步骤1、定位耳标，耳标的分割通过显著颜色方法实现，计算方法为：c(i，j)＝max(rij，gij，bij)-min(rij，gij，bij)，得到耳标连通域305后，逐个处理实例分割的连通域301；对连通域301逐个使用最小旋转包围框算法，得到一个旋转的包围框303，取其旋转角度θ开始寻找耳标305的位置，其中θ角度是x轴逆时针夹角，以一个先验值的长度开始，以1°为步进，顺时针取射线范围内的像素，假设包围框的中心为p(i，j)，先验长度为t，则步进1中θ′＝θ-1，线段终点位置为：p′(i，j)＝p(i，j)+t(tcos(θ′)，tsin(θ‘))，该操作以θ1＝θ和θ2＝θ±180方向分别执行一次，±取符号条件为：θ2∈(-180，180)，角度步进之后以终点位置插值来选取取样像素，下式中α是插值步进：psamle＝p(x，y)+α*p′(x，y)，之后，psamle(x，y)＝psamle(floor(x)，floor(y))，以此类推，直到搜索结束，若找到了耳标的连通域305，则进行评分：loss＝min((δθ1*t′)，(δθ2*t′))，其中δθ＝|θ-θ‘|，t′＝t*α，最终取最低损失的候选结果，得到了关联的耳标和身体朝向θ；步骤2、构建动物骨骼模型的计算方法为：语义分割结果中，使用分水岭分割方法得到最大连通域范围302，以包围框中心点对θ角度延长至范围302，得到交点304，连接耳标305的连通域中点和304，计算出和身体θ方向的向量夹角306，将夹角306视为头旋转角度，以交点304到耳标306的向量逆时针旋转90度，得到头部向量307，则动物骨骼模型建立完成。
所述步骤e中在头部、尾部或其他位置划分矩形或异形感兴趣区域，并通过交并比阈值判断位置关系。
所述步骤f中使用了交并比阈值来判定重合，并逐帧通过阈值结果对计数器进行累加和遗忘，进而对次数进行阈值判定来确定事件的发生；其中计数器的累加，使用交并比的方式衡量感兴趣区域的交叠程度，其公式为：
本发明提供一种用于圈养场地的视频监视系统，该系统基于视频活跃性分析，活跃性分析主要指一种视频结构化和量化分析结合的方法。本发明方法以计算机视觉、深度学习、信号处理为工具，具有较佳的科学性，也有较佳的现实意义。
为了实现上述系统，摄像机的安装位置是十分重要的因素，为了覆盖所有视野，本发明中推荐的安装方式如图1所示。图1标识的方式是在大棚或房顶101上以中轴线102方式或均匀分布的方式103安装摄像头，并保证视野覆盖了整个圈，为了直观呈现观察内容，参照图4左侧，是一种斜下角度俯瞰圈的示意。直接安装在圈顶部，可以实现近似图4右侧效果的图像。
图4还示意了圈区域通过透视变换成为矩形的对比，该操作在后续过程中展开说明。
首先，保证了机位能够完整捕捉整个圈范围后，可以对其进行语义分割操作。
参见图2，是通过语义分割得到动物遮罩后的二值化遮罩结果201，为了等效替代圈养动物，在此使用椭圆形表示。可以观察到，图2中，下方201是多个椭圆连通域互相连通的结果；上方201是椭圆结构的示意。
该图例201很好地重现了语义分割结果的特性，多个实例没有通过不同的连通域分隔开，而是粘连在一起。椭圆形是动物俯视的常见形状。根据椭圆的特性，可以采用距离变换方法分析实例位置。
参见图2，202是连通域经过距离变换后的结果，像素亮度表示了距离中心的距离。
本发明中，距离变换是基于欧氏距离变换的方法：dist(p(i1，j1)，p(i2，j2))＝max(|i1-i2|，|j1-j2|)
一种快速欧式距离变换的方法如下：整体分为两个阶段，第一阶段中，假定图像逐行扫描的滑窗方向是：行从上到下，逐行从左到右。如下矩阵所示，是3x3的方向计算模板：
因此，有以下表达式：规定p＝q0＝dist0＝p(i，j)＝dist(i，j)，即该点的值，那么基于该表达方式有：
dist1＝p(i-1，j)+dist((i-1，j)，(i，j))
dist2＝p(i-1，j-1)+dist((i-1，j-1)，(i，j))
dist3＝p(i，j-1)+dist((i，j-1)，(i，j))
dist4＝p(i+1，j-1)+dist((i-1，j-1)，(i，j))
基于上式，得到了q1，q2，，q3，q4，进一步地，根据欧式距离变换方法，有：
p(i，j)＝min(d0，d1，d2，d3，d4)
第二阶段则进行反向计算，即逐行扫描的滑动窗口方向改为行从下到上，逐行从右到左，继续计算
q5，q6，，q7，qε位置。
dist5＝p(i+1，j)+dist((i+1，j)，(i，j))
dist6＝p(i+1，j+1)+dist((i+1，j+1)，(i，j))
dist7＝p(i，j+1)+dist((i，j+1)，(i，j))
dist8＝p(i-1，j+1)+dist((i-1，j+1)，(i，j))
因此，得到最终结果：p(i，j)＝min(d0，d5，d6，d7，d8)，基于上述模板的计算步骤，得到距离变换结果202，灰度表示了距离。之后对灰度进行(0，1)归一化，假设没有人工设定，则认为阈值0。5，则得到图2中203的阈值化结果。
根据连通域分析原理，可以将不同的连通域视为每个动物的中心部分遮罩301。参见图3，开始建立动物骨骼模型，要建立骨骼模型，需要定位耳标，在此使用分割方法。耳标的分割分为红外图像直接阈值法和显著颜色两种方法，红外图像的方法中，由于阈值化较为简单，在此不赘述。对于显著颜色法，本发明提出了一种快速计算方法：c(i，j)＝max(rij，gij，bij)-min(rij，gij，bij)
该方法不但能省略浮点运算加速处理，还能克服低光条件的干扰。得到耳标连通域305后，逐个处理实例分割的连通域301。对连通域301逐个使用最小旋转包围框算法，可以得到一个旋转的包围框303，取其旋转角度θ开始寻找耳标305的位置。θ角度是x轴逆时针夹角。以一个先验值的长度开始，以1°为步进，顺时针取射线范围内的像素。一种简便的方法为：假设包围框的中心为p(i，j)，先验长度为t，则步进1中θ′＝θ-1，线段终点位置为：p′(i，j)＝p(i，j)+t(tcos(θ′)，tsin(θ‘))，该操作以
θ1＝θ和θ2＝θ±180方向分别执行一次。±取符号条件为：θ2∈(-180，180)，角度步进之后以终点位置插值来选取取样像素，下式中，α是插值步进：psamle＝p(x，y)+α*p(x，y)，之后，psamle(x，y)＝psamle(floor(x)，floor(y))，以此类推，直到搜索结束。若找到了耳标的连通域305，则进行评分：
loss＝min((δθ1*t′)，(δθ2*t′))，其中δθ＝|θ-θ‘|，t′＝t*α，最终取最低损失的候选结果，至此，得到了关联的耳标和身体朝向θ。
进一步构建动物骨骼模型，在语义分割结果中，使用分水岭分割方法，能够得到最大连通域范围302，以包围框中心点对θ角度延长至范围302，得到交点304。连接耳标305的连通域中点和304，计算出和身体θ方向的向量夹角306。将夹角306视为头旋转角度。以交点304到耳标306的向量逆时针旋转90度，得到头部向量307。至此，动物骨骼模型建立完成。
为了将动物的位置对齐到俯视图中。需要对点进行透视变换：在此引入相机姿态标定时得到的的齐次坐标形势的变换矩阵m：
根据场地情况，该处理可以在动物模型构建完成后直接将实例连通域301的中心投影到观测的平面上。也可以在构建之前就投影。基于投影后的位置点，可以进行活跃性分析，主要内容是事件分析。对于活跃性分析，有运动速率分析：v＝|pprev(x，y)-pnow(x，y)|*(1/fps)，fps是指监控相机的视频流帧速率。倒数为一帧经历的时间。速率可以作为动物是否出现长时间呆在原地的统计结果，在活跃性分析中，更加重要的是动物间的事件：参见图5和图6。
为了判定事件的发生，引入事件计数器机制。事件计数器主要通过在动物骨骼模型的感兴趣位置上加入感兴趣区域。如猪的尾部感兴趣区域601和头部感兴趣区域602。对于感兴趣区域，一般认为交叠时出现事件，如猪的咬尾现象。在此使用交并比的方式衡量感兴趣区域的交叠程度：
单帧的交叠状态难以评判事件是否发生和结束，也难以保证在噪声化境中的正确率。因此，事件计数器机制基于一种遗忘算法：当iou大于交叠阈值时，计数器自加，nnow是当前时刻的计数，nprev是前一时刻的结果：nnow＝nprev*α+1，当iou小于交叠阈值时，直接清空计数器会影响灵敏度，自减的方式会导致事件在噪声中出现误检。因此，无论iou是否大于交叠阈值，都在每帧的判定前采用平滑的遗忘机制：nnow＝nprev*α+threshmin(1-α)，其中，nprev是上一帧时刻的计数值，threshmin是遗忘停止阈值，α是遗忘因子，越大则更难以回落，越小越容易回落到threshmin遗忘停止阈值。基于此，不但可以通过监视猪的尾部和头部区域来实现咬尾的事件检测，还可将感兴趣区域设定在饮水口和动物的头部来观察动物的饮水情况。
- 还没有人留言评论。精彩留言会获得点赞！