一种基于视频理解的母牛分娩检测方法及系统与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于视频理解的母牛分娩检测方法及系统。


背景技术：

2.在牛类养殖过程中，母牛分娩接生是最关键的一个环节。这个环节的好坏直接关系到幼仔的成活率的高低，关系到养殖场经济效益的高低。
3.目前养殖场一般是采用人工巡视去确定母牛是否分娩，这种方式需要花费大量的人力和精力，如果巡视不到位或巡视人员较少，遗漏掉了产仔的母牛，容易出现幼仔被压死或冻死的情况，造成很大的经济损失。
4.因此现有技术还有待于进一步发展。


技术实现要素：

5.针对上述技术问题，本发明实施例提供了一种基于视频理解的母牛分娩检测方法及系统，能够解决现有技术中母牛分娩检测通过人工巡视实现，消耗大量的人力，容易出现漏检情况的技术问题。
6.本发明实施例的第一方面提供一种基于视频理解的母牛分娩检测方法，包括：
7.采集待产母牛的视频，基于所述视频判断母牛是否存在分娩迹象；
8.若存在分娩迹象，则根据预设的规则进行图像采样，生成采样图像集；
9.将所述采样图像集输入行为识别模型，获取所述行为识别模型的识别结果；
10.若识别结果为母牛处于分娩状态，则上报消息至养殖人员终端。
11.可选地，所述采集待产母牛的视频，基于所述视频判断母牛是否存在分娩迹象，包括：
12.采集待产母牛的视频，基于目标检测算法判断母牛是否在第一预定时间内同时存在特定的分娩行为；
13.若在第一预定时间内存在特定的分娩迹象，则判定母牛存在分娩迹象。
14.可选地，所述若存在分娩迹象，则根据预设的规则进行图像采样，生成采样图像集，包括：
15.若存在分娩迹象，则每隔第二预定的时间内对视频的图像进行采集；
16.当采集的图像张数满足预设的数量阈值，则采样完成，生成采样图像集。
17.可选地，所述
18.将所述采样图像集输入行为识别模型，获取所述行为识别模型的识别结果，包括：
19.将所述采样图像集输入fastslow模型，所述fastslow模型包括慢速流分支和快速流分支；
20.获取所述慢速流分支提取的第一特征；
21.获取所述快速流分支提取的第二特征；
22.将所述第一特征和第二特征进行融合，生成fastslow模型的识别结果。
23.可选地，所述若识别结果为母牛处于分娩状态，则上报消息至养殖人员终端，包括：
24.若识别结果中分娩的类别概率大于第一概率阈值，则判定母牛处于分娩状态，上报消息至养殖人员终端果。
25.本发明实施例第二方面提供了一种基于视频理解的母牛分娩检测系统，所述系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
26.采集待产母牛的视频，基于所述视频判断母牛是否存在分娩迹象；
27.若存在分娩迹象，则根据预设的规则进行图像采样，生成采样图像集；
28.将所述采样图像集输入行为识别模型，获取所述行为识别模型的识别结果；
29.若识别结果为母牛处于分娩状态，则上报消息至养殖人员终端。
30.可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
31.采集待产母牛的视频，基于目标检测算法判断母牛是否在第一预定时间内同时存在特定的分娩行为；
32.若在第一预定时间内存在特定的分娩迹象，则判定母牛存在分娩迹象。
33.可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
34.若存在分娩迹象，则每隔第二预定的时间内对视频的图像进行采集；
35.当采集的图像张数满足预设的数量阈值，则采样完成，生成采样图像集。
36.可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
37.所述采样图像集输入fastslow模型，所述fastslow模型包括慢速流分支和快速流分支；
38.获取所述慢速流分支提取的第一特征；
39.获取所述快速流分支提取的第二特征；
40.将所述第一特征和第二特征进行融合，生成fastslow模型的识别结果。
41.本发明实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于视频理解的母牛分娩检测方法。
42.本发明实施例提供的技术方案中，采集待产母牛的视频，基于所述视频判断母牛是否存在分娩迹象；若存在分娩迹象，则根据预设的规则进行图像采样，生成采样图像集；将所述采样图像集输入行为识别模型，获取所述行为识别模型的识别结果；若识别结果为母牛处于分娩状态，则上报消息至养殖人员终端。本发明实施例通过对待产母牛进行视频监控，利用视频理解算法对母牛的行为进行识别，判断其是否处于分娩状态，达到分娩检测的目的，从而提前告知养殖户，做好相应的准备措施，提升牛犊的生存率。
附图说明
43.图1为本发明实施例中一种基于视频理解的母牛分娩检测方法的一实施例的流程示意图；
44.图2为本发明实施例中一种基于视频理解的母牛分娩检测系统的另一实施例的硬件结构示意图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.以下结合附图对本发明实施例进行详细的描述。
47.请参阅图1，图1为本发明实施例中一种基于视频理解的母牛分娩检测方法的一个实施例的流程示意图。如图1所示，包括：
48.步骤s100、采集待产母牛的视频，基于所述视频判断母牛是否存在分娩迹象，若是，则执行步骤s200，若否，则执行步骤s100；
49.步骤s200、根据预设的规则进行图像采样，生成采样图像集；
50.步骤s300、将所述采样图像集输入行为识别模型，获取所述行为识别模型的识别结果；
51.步骤s400、若识别结果为母牛处于分娩状态，则上报消息至养殖人员终端。
52.具体实施时，本发明实施例基于图像采集装置对待产母牛进行视频采集；基于采集的视频判断待产母牛是否存在分娩迹象；若存在分娩迹象，则进行图像采样，将采样的图像集输入行为识别模型；获取行为识别模型的别结果，若识别结果为分娩，则上报消息至养殖人员终端。
53.进一步地，对即将分娩或正在分娩的母牛进行视频监控，利用摄像头内的视频理解算法，识别出母牛分娩的行为，从而及时将分娩信息推送给养殖人员，提高牛犊的存活率。母牛在分娩前通常有剧烈的行为反应，如时常停下伸展身体或是踢自己肚子，经常起立不安；到处走动；尾高举，常做排粪尿状。而正常的牛在一段时间内几乎不会同时具有以上行为。基于以上行为特征，本方案通过视频理解算法对母牛的监控视频进行实时分析，判断母牛是否马上分娩，从而达到预警目的。
54.通过抓住母牛分娩前的行为特征，判断母牛临近分娩，并将该结果通知养殖人员，提醒他们提前采取准备措施，提高牛犊的存活率。
55.母牛在分娩前，由于剧烈的疼痛感，表现出的行为有：起立不安，到处走动；尾高举，作排粪尿状。非分娩期间的牛，一般是长时间站立或者趴着，不会频繁起立；尾巴也一般是排粪尿时才高举，不会长时间高举。通过视频理解模型对母牛分娩前这些行为的视频进行建模，从而达到分娩检测的目的。
56.对于待产母牛，用带有ai算法(包括目标检测和视频理解算法)的摄像头实时监控，目标检测算法会先做一个初步判断，看是否具有分娩迹象。若具有分娩迹象，则进行图像采集，调用视频理解算法，判断该母牛是否分娩。若模型判断结果为分娩，则上报消息通知养殖人员。
57.根据配种日期，app会计算大致的分娩日期，临近分娩日期时，app会提醒养殖户将待产母牛放置在单独栏内。摄像头内的目标检测算法会检测母牛的行为如站立、趴着和翘
尾巴，若一段时间内检测到以上3种行为，则开始进行图像采样，完成后，使用行为识别模型slowfast对采样的图片组进行模型运算，得出是否分娩的结果。若结果显示未分娩，则继续采样并更新图片组。若结果为分娩，则上传消息至app，通知养殖人员。
58.进一步地，采集待产母牛的视频，基于所述视频判断母牛是否存在分娩迹象，包括：
59.采集待产母牛的视频，基于目标检测算法判断母牛是否在第一预定时间内同时存在特定的分娩行为；
60.若在第一预定时间内存在特定的分娩迹象，则判定母牛存在分娩迹象。
61.具体实施时，对于待产母牛，通常提前几天安置在单独栏内。为了减少模型计算开销，先对母牛是否具有分娩迹象做一个判断，若有分娩迹象，再开始采集图片，运行视频理解模型。分娩迹象判断主要用目标检测模型对母牛的行为进行检测，若一段时间内母牛出现了诸多站立、翘尾和趴着的行为，则认为具有分娩迹象。
62.这里目标检测模型可采用如ssd、yolo或者rcnn系列模型，检测的目标类别为牛的站立、趴着和翘尾行为。
63.第一预定时间设为10分钟，则一段时间t(设为10分钟)内，每秒从摄像头视频流中提取一帧图像，用目标检测模型进行推理，得到结果yi,i＝1,...,600。其中yi＝[[xj,yj,wj,hj,cj],...,[x
j+n
,y
j+n
,w
j+n
,h
j+n
,c
j+n
]]，xywh、c分别表示目标的框坐标和类别，c＝0表示站立，1表示趴着，2表示翘尾；n表示当前图像检测到的目标个数。对于所有的yi，若n＝1，且每个类别的总数不小于n(阈值)，则认为该母牛具有分娩迹象。
[0064]
进一步地，若存在分娩迹象，则根据预设的规则进行图像采样，生成采样图像集，包括：
[0065]
若存在分娩迹象，则每隔第二预定的时间内对视频的图像进行采集；
[0066]
当采集的图像张数满足预设的数量阈值，则采样完成，生成采样图像集。
[0067]
具体实施时，母牛的分娩是一个持续较长时间的行为，把该时间段内的所有图像交给模型去处理不太现实，因此需要进行稀疏采样。以第二预定时间为10s,数量阈值为128张为例，。采样方式为每隔10s采样一帧图像，采集满128张图像，生成采样图像集，再进行分娩判断。
[0068]
进一步地，将所述采样图像集输入行为识别模型，获取所述行为识别模型的识别结果，包括：
[0069]
将所述采样图像集输入fastslow模型，所述fastslow模型包括慢速流分支和快速流分支；
[0070]
获取所述慢速流分支提取的第一特征；
[0071]
获取所述快速流分支提取的第二特征；
[0072]
将所述第一特征和第二特征进行融合，生成fastslow模型的识别结果。
[0073]
具体实施时，slowfast是一个行为识别的双流模型，其中慢速流(slow分支)的作用是以低帧率来捕获图像的空间语义信息，快速流(fast分支)则用高帧率捕获运动行为。该模型对语义空间和运动行为分别处理和融合，在视频的动作分类和检测上均表现出色。模型结构如下图。
[0074]
slow分支步长是16，进入卷积层后，开始的时间卷积核大小都是1，没有在时间维
度进行卷积，主要用来捕捉一些rgb的图像特征，因此具有较小的帧数和较大的通道数。fast分支步长是2，开始的时间卷积核大小为5，包括后面的卷积层都一直在提取时间特征，主要用来捕捉一些动作的特征，因为动作变化较快，所以该分支有较多的帧数和较小的通道数。两个分支中途采用不同的融合方式对特征进行融合，最终输出各个动作(即分娩或不分娩)的类别概率。
[0075]
在一些其他的实施例中，行为识别模型根据训练中模型的表现选择其它基于视频的行为识别模型，比如tsn、i3d和non-local等算法模型。其中tsn是基于长范围时间结构(long-range temporal structure)建模，结合了稀疏时间采样策略(sparse temporal sampling strategy)和视频级监督(video-level supervision)来保证使用整段视频时学习得有效和高效。i3d(inflated 3d convnet,双流膨胀3d网络卷积网络)是对一个非常深的图像分类网络中的卷积和池化kernel从2d扩展到3d，来无缝的学习时空特征。非局部均值(non-local means)是经典滤波算法，通过计算图像中所有像素的加权平均值实现过滤。
[0076]
进一步地，识别结果为母牛处于分娩状态，则上报消息至养殖人员终端，包括：
[0077]
若识别结果中分娩的类别概率大于第一概率阈值，则判定母牛处于分娩状态，上报消息至养殖人员终端。
[0078]
具体实施时，一般是采集128张图像后，将采集的128张图像，用slowfast模型进行推理，得到概率p，若p》＝0.5，则认为该母牛即将或正在进行分娩，否则不认为是分娩。当确定母牛处于分娩状态，则及时提醒养殖人员，提升牛犊的存活率，减少损失。
[0079]
本发明实施例运用ai智能摄像头对待产母牛进行视频监控，利用视频理解算法对母牛的行为进行识别，判断其是否处于分娩状态，达到分娩检测的目的，从而提前告知养殖户，做好相应的准备措施，提升牛犊的生存率。
[0080]
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
[0081]
上面对本发明实施例中的基于视频理解的母牛分娩检测方法进行了描述，下面对本发明实施例中的基于视频理解的母牛分娩检测系统进行描述，请参阅图2，图2是本发明实施例中一种基于视频理解的母牛分娩检测系统的另一实施例的硬件结构示意图，如图2所示，系统10包括：存储器101、处理器102及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器101执行时实现以下步骤：
[0082]
采集待产母牛的视频，基于所述视频判断母牛是否存在分娩迹象；
[0083]
若存在分娩迹象，则根据预设的规则进行图像采样，生成采样图像集；
[0084]
将所述采样图像集输入行为识别模型，获取所述行为识别模型的识别结果；
[0085]
若识别结果为母牛处于分娩状态，则上报消息至养殖人员终端。
[0086]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0087]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0088]
采集待产母牛的视频，基于目标检测算法判断母牛是否在第一预定时间内同时存在特定的分娩行为；
[0089]
若在第一预定时间内存在特定的分娩迹象，则判定母牛存在分娩迹象。
[0090]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0091]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0092]
若存在分娩迹象，则每隔第二预定的时间内对视频的图像进行采集；
[0093]
当采集的图像张数满足预设的数量阈值，则采样完成，生成采样图像集。
[0094]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0095]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0096]
将所述采样图像集输入fastslow模型，所述fastslow模型包括慢速流分支和快速流分支；
[0097]
获取所述慢速流分支提取的第一特征；
[0098]
获取所述快速流分支提取的第二特征；
[0099]
将所述第一特征和第二特征进行融合，生成fastslow模型的识别结果。
[0100]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0101]
可选地，计算机程序被处理器101执行时还实现以下步骤：
[0102]
若识别结果中分娩的类别概率大于第一概率阈值，则判定母牛处于分娩状态，上报消息至养殖人员终端。
[0103]
具体的实施步骤与方法实施例相同，此处不再赘述。
[0104]
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤s100至步骤s400。
[0105]
作为示例，非易失性存储介质能够包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦rom(eeprom)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器(ram)。通过说明并非限制，ram可以以诸如同步ram(sram)、动态ram、(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlink dram(sldram)以及直接rambus(兰巴斯)ram(drram)之类的许多形式得到。本发明实施例中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
[0106]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。