一种基于图像视频的目标动物检测方法及装置与流程

文档序号:14099068阅读:402来源:国知局

本发明涉及数字视频图像处理领域,更具体地,涉及一种基于图像视频的目标动物检测方法及装置。



背景技术:

中国是一个动物养殖大国,据统计,动物的存栏率、出栏率和猪肉产量等各项统计数据都位居全球第一。随着养殖规模化、集约化的不断推广,养殖风险也逐渐增加。实时监控动物个体的健康状况变化,记录动物在每天的行为活动,为动物的生长和健康状况的评判提供依据。对动物个体实时检测和记录,有助于提前发现动物的异常行为,及时采取相应的措施,降低动物疾病的发生。

运动目标检测是从视频图像中去除背景内容,检测出运动目标及其携带的运动信息,准确有效的检测算法,影响着运动目标正确识别,在计算机视觉中占据着重要地位。常用静态背景下运动目标检测算法主要有光流法、背景差分法和帧间差分法等。帧间差分法和背景差分法由于算法简单、运算速度快、实时性强,在运动目标检测中得到了广泛的应用。

帧间差分法对运动速度较慢或静止的目标容易漏检,同时对连续两帧图像灰度和纹理比较接近时将无法得到完整的目标,容易出现较明显的“空洞”和“双影”,针对这一问题。YIN等提出基于Mean Shift和三帧差分法的快速运动目标跟踪,可以有效克服误检测等问题;舒欣等提出了五帧差分法,一定程度上减少了“漏捡”情况。

背景差分方法中背景模型的建立与实时更新是算法的关键,一些学者对如何实现背景图像的自适应更新提出了各种算法,如卡尔曼滤波器方法、单高斯模型、混合高斯模型等。郝毫刚等将五帧差分和背景差分相结合,提取图像中的运动区域,并进行形态学滤波和连通性检测,最终获取运动前景目标;李振晔等采用自适应背景差分法和连续三帧帧间差分法结合,基于卡尔曼滤波模型,完成了实时跟踪运动目标动物。以上背景更新算法能较好地避免随机噪声和亮度渐变的干扰,但由于运动物体产生的阴影与反射投射到背景区域,会显著的改变检测目标的外观,影响了检测目标的准确轮廓提取,前景物体与遮蔽的背景区域之间缺乏足够的对比度,一帧中的像素无法明确的区分是属于前景还是背景。



技术实现要素:

本发明提供一种克服上述问题或者至少部分地解决上述问题的基于图像视频的目标动物检测方法及装置。

根据本发明的一个方面,提供一种基于图像视频的目标动物检测方法,包括:

利用帧间差分法对动物视频图像序列帧进行处理,获得所述动物视频图像序列帧的差分结果,并对所述动物视频图像序列帧的差分结果进行逻辑与运算;

对于逻辑与运算的结果,利用背景差分法进行背景建模,并根据人工标注的目标种子像素进行背景更新,获得动物背景模型,以对所述目标动物进行检测。

根据本发明的另一个方面,还提供一种基于图像视频的目标动物检测装置,包括帧间差分处理模块和背景差分处理模块;

所述帧间差分处理模块,用于利用帧间差分法对动物视频图像序列帧进行处理,获得所述动物视频图像序列帧的差分结果,并对所述动物视频图像序列帧的差分结果进行逻辑与运算;

所述背景差分处理模块,用于对于逻辑与运算的结果,利用背景差分法进行背景建模,并根据人工标注的目标种子像素进行背景更新,获得动物背景模型,以对所述目标动物进行检测。

本发明提出一种基于图像视频的目标动物检测方法,将帧间差分法和背景差分法相结合,针对静态背景下运动目标的检测,提高监控视频中动物检测的实时性和准确率,产生更准确的结果,对全局光照变化具有较强的鲁棒性,能够准确地检测出运动目标,对动物行为研究提供了很好的研究思路和理论探索。

附图说明

图1为本发明实施例一种基于图像视频的目标动物检测方法流程示意图;

图2为本发明实施例基于图像视频的目标动物检测装置示意图。

具体实施方式

下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。

如前所述,运动目标检测过程中,五帧差分法易于造成检测目标“空洞”和背景差分法对场景变化敏感。目前,有一种将能量最小化的技术用于前景检测的方法,基于能量最小化的图割算法是一种有效的分割方法。Malcolm等和Yuri Boykov提出使用图分割(Graph Cut)的方法进行视频分割,这些方法需要在检测前对前几帧图像中指定要检测的对象,根据这些信息进行后续的自动检测,随着时间的推移,一些新进入视频图像中的运动对象将不会被检测出来。

针对上述问题,本发明实施例提出将自适应帧差法与能量最小化背景更新的差分法相融合,提取完整的运动目标区域;在背景差分法中引入能量最小化理论,构建能量方程来解决检测目标动物中的背景更新问题,增强对光照变化具有较强的鲁棒性,准确地检测出动物目标。

图1为本发明实施例一种基于图像视频的目标动物检测方法流程示意图,如图1所示的基于图像视频的目标动物检测方法,包括:

S100,利用帧间差分法对动物视频图像序列帧进行处理,获得所述动物视频图像序列帧的差分结果,并对所述动物视频图像序列帧的差分结果进行逻辑与运算;

本发明实施例需要提取视频图像序列帧,对所述动物视频图像序列帧进行灰度转换,基于灰度转换后的动物视频图像序列帧进行帧间差分处理。

S200,对于逻辑与运算的结果,利用背景差分法进行背景建模,并根据人工标注的目标种子像素进行背景更新,获得动物背景模型,以对所述目标动物进行检测。

本发明实施例对于帧间差分处理后逻辑与运算的结果进行背景差分处理,即背景建模,并基于数学形态学运算使得运动区域封闭、连续、完整,并去掉背景中的噪声,获取准确的运动目标,以实现对所述目标动物进行检测。

本发明实施例提出一种基于图像视频的目标动物检测方法,将帧间差分法和背景差分法相结合,针对静态背景下运动目标的检测,提高监控视频中动物检测的实时性和准确率,产生更准确的结果,对全局光照变化具有较强的鲁棒性,能够准确地检测出运动目标,对动物行为研究提供了很好的研究思路和理论探索。

基于上述实施例,所述基于图像视频的目标动物检测方法还包括:

S300,基于所述动物背景模型,利用边界追踪算法提取所述目标动物的轮廓。

本发明实施例通过边界追踪算法可以得到运动目标的完整信息,提取出连续的目标动物的轮廓。

在一个可选的实施例中,步骤S100,所述利用帧间差分法对动物视频图像序列帧进行处理,获得所述动物视频图像序列帧的差分结果,并对所述动物视频图像序列帧的差分结果进行逻辑与运算,具体包括:

对于所述动物视频图像序列帧的前三帧图像,选择选择二帧差分法对动物视频图像序列帧进行处理,获得两个连续的差分结果,面积分别为A1和A2,对所述A1和A2进行逻辑与运算获得面积A;

计算A1与A的比值,并根据所述比值设置自适应帧数T;

对于所述动物视频图像序列帧的后续帧图像,根据所述自适应帧数T对所述后续帧图像进行帧间差分法,并将差分结果进行逻辑与运算。

具体的,步骤S100包括初始差分和自适应差分两部分。所述初始差分部分,选择选择二帧差分法对动物视频图像序列帧进行处理;所述自适应差分部分,根据初始差分部分的结果计算的自适应帧数来设置差分处理的帧数。

具体的,在初始运行帧间差分法时,设置两个连续的差分结果面积分别为A1、A2,对两个连续的差分结果求或运算得到面积A。设置t为A1与A的比值。n为参数。

在一个可选的实施例中,所述计算A1与A的比值,并根据所述比值设置自适应帧数T,具体包括:

计算A1与A的比值t,

设置参数n,

设置自适应帧数T为:T=Tmax-n;

其中,Tmax为自适应的帧间差分法中最大的帧数。

本实施例设置最大自适应帧数Tmax为5。初始时选择二帧差分法,获得初始A1、A2,计算A、t和n;然后根据n的值实时选择自适应帧数T,进而将差分结果进行“与”运算。

在一个可选的实施例中,步骤S200,所述对于逻辑与运算的结果,利用背景差分法进行背景建模,并根据人工标注的目标种子像素进行背景更新,获得动物背景模型,以对所述目标动物进行检测,具体包括:

S200.1,提取所述逻辑与运算的结果的前N帧图像,计算所述前N帧图像的像素平均值,进行背景建模,获得初始背景模型;

具体的,步骤S200.1中,背景建模旨在提取到准确无误的初始化背景图像,为目标的检测做准备,背景模型建立和更新直接影响检测运动目标的完整度。本实施例采用了多帧图像统计求平均值的方法,可以大大避免因第一帧有运动物体而导致背景检测出现错误的物体团块。提取前N帧的图像求像素平均值,即:

式中,N为重建的图像序列帧数,本发明实施例N=50,Ii(x,y)为第i帧灰度图像,B0(x,y)为重建的背景图像,背景图中每个像素点的值为该像素点N帧图像灰度的累加平均。

S200.2,对所述初始背景模型进行人工标注,获得前景目标种子像素和背景目标种子像素;

具体的,步骤S200.2中,通过在第一帧图像中人工交互划出特定目标的大致区域,采用基于图论中的最大流/最小割理论,其基本的思想为:用户强制定义一些“硬约束”,即把图像中的某些肯定是目标的像素手工标注出来,作为目标的种子像素,这些手工标注出来的像素直接反应用户的检测意图。

S200.3,计算所述前景目标种子像素的灰度直方图,根据所述灰度直方图构造网络图,所述网络图的节点包括所述前N帧图像中所有像素,所述网络图的边为相邻像素,所述网络图的权值为像素与像素之间的差异性;

具体的,步骤S200.3中,通过建立初始背景,指定背景种子像素,计算前景背景灰度直方图;以图像中所有像素(包括指定的前景背景种子像素)为图的节点,相邻像素为图的边,像素与像素之间的差异性(灰度值)为边的权值,构造网络图。

S200.4,计算所述网络图的最小分割,从而将所述动物视频图像序列帧的像素归入前景或背景,获得动物背景模型。

具体的,步骤S200.4中,通过计算得到所有分割中的最小割,从而自动地把视频帧的其他像素归入目标或背景,完成检测。

在一个可选的实施例中,所述网络图的能量函数为:

E(L)=αR(L)+B(L);

其中,L={l1,l2,…lv}表示所述前N帧图像中各个像素点的标签向量,v是所述网络图的顶点,li的值为0或1,其中,li=0为背景,li=1为前景;R(L)为区域项,B(L)为边界项,α为非负系数,是区域项和边界项之间的因子,起到调节作用。本实施例能量最小化的目标就是求取使E(L)达到最小值时的L标签向量。

其中,区域项R(L)通过下式计算:

Rp(1)=-lnPr(lp|′fkg′);

Rp(0)=-lnPr(lp|′bkg′);

式中,P表示普通顶点集,Rp(1)表示lp为1(前景)时的权重,Rp(0)表示lp为0(背景)时的权重,lnPr(lp|′fkg′)为p属于前景的概率,lnPr(lp|′bkg′)为p属于背景的概率;

其中,边界项B(L)通过下式计算:

式中,p和q表示相邻的顶点,lp为顶点p的标记值,lq为顶点q的标记值,Ip和Iq分别表示p和q的像素的灰度值,δ表示像素点p和q亮度差的阈值,dist(p,q)为像素点p和q间的欧式距离,σ为调节因子,若像素p和q间标记值相同,则σ=0,否则σ=1;P表示普通顶点集。

在一个可选的实施例中,步骤S300,所述基于所述动物背景模型,利用边界追踪算法提取所述目标动物的轮廓,具体包括:

S300.1,所述基于所述动物背景模型,按照预定的扫描顺序进行扫描,获得行和列均最小的边界点作为第一个边界起始点,对扫描方向变量进行初始化;

具体的,可以从上到下、从左到右的顺序扫描图像,寻找第一个边界起始点E0,E0具有行和列最小的边界点。定义扫描方向变量dir用于记录上一步中沿着前一个边界点到当前边界点的移动方向。相对4连通区域,8连通区域所得轮廓更精准,8连通区域取dir=7。

S300.2,将所述第一个边界起始点作为当前像素,按照预定方向搜索所述当前像素的预定区域,将搜索到的第一个与所述当前像素值相同的像素作为新边界点,并更新所述扫描方向变量;

具体的,可以按逆时针方向搜索当前像素的3×3领域。若dir为奇数取(dir+7)mod 8;若dir为偶数取(dir+6)mod 8。在3×3邻域中,将搜索到的第一个与当前像素值相同的像素作为新的边界点E0,同时更新变量方向dir为新的值。

S300.3,基于所述新边界点及更新后的所述扫描方向变量,依次搜索所有边界点,直至所述最后边界点等于第二个边界点且倒数第二个边界点等于所述新边界点。

具体的,假设所有边界点依次为E0、E1、……、En-1和En,新边界点为第一个边界点即E0,第二个边界点为E1,最后边界点为En,倒数第二个边界点为En-1。如果En等于第二个边界点E1,且前一个边界点En-1等于第一个边界点E0,则停止搜索,否则重复步骤S300.2继续搜索。由边界点E0、E1...En-1构成的边界即为运动目标的轮廓。

本实施例改进检测算法存在较小的“空洞”现象,而该目标轮廓提取算法只能跟踪目标图像的内边界,即边界包含在目标之内,不能处理图像内的“孔”和“洞”,可以准确的获取目标轮廓信息,为以后行为识别等工作提供更准确的数据。

本发明实施例提供一种能量最小化的自适应帧差法视频目标生猪检测方法及装置,在复杂背景下可以实时、高效地检测出生猪目标。通过融合自适应阈值五帧差分法和基于能量最小化理论背景更新差分法,将差分结果进行“与”运算,再进行背景差分建模处理,可以得到运动目标的完整信息,可以进一步提取出连续的生猪轮廓。

本发明实施例提出的能量最小化的自适应帧差法的视频目标生猪检测方法及装置,通过融合自适应帧差法和基于能量最小化理论背景更新差分法,背景更新引入能量最小化理论,构建能量方程来解决检测目标生猪中的背景更新问题,产生更干净更准确的结果,对全局光照变化具有较强的鲁棒性,能够准确地检测出运动目标,对生猪行为研究提供了很好的研究思路和理论探索。

图2为本发明实施例基于图像视频的目标动物检测装置示意图,如图2所示的基于图像视频的目标动物检测装置,包括帧间差分处理模块和背景差分处理模块;

所述帧间差分处理模块,用于利用帧间差分法对动物视频图像序列帧进行处理,获得所述动物视频图像序列帧的差分结果,并对所述动物视频图像序列帧的差分结果进行逻辑与运算;

所述背景差分处理模块,用于对于逻辑与运算的结果,利用背景差分法进行背景建模,并根据人工标注的目标种子像素进行背景更新,获得动物背景模型,以对所述目标动物进行检测。

所述装置还包括:

轮廓提取模块,用于基于所述动物背景模型,利用边界追踪算法提取所述目标动物的轮廓。

本发明实施例的装置,可用于执行图1所示的基于图像视频的目标动物检测方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1