一种动物背景建模方法及装置与流程

本发明涉及数字视频图像处理领域，更具体地，涉及一种动物背景建模方法及装置。

背景技术：

动物运动信息是动物的健康生长和环境舒适状况分析的重要依据，基于视频检测技术对目标动物进行检测，提取反映动物行为的运动信息，是识别动物采食、排泄、躺卧、慢走等行为研究的基础，目标动物准确、快速的检测和提取，直接影响对动物行为智能分析、环境智能控制和疾病预警等的有效性和准确性。随着智能视频监控和图像处理技术的快速发展，国内外研究者在动物智能视频分析领域做了大量的研究，为基于视频信息的动物行为分析提供了有力支撑，利用视频检测技术代替人工采集和分析动物运动信息提高了数据采集的准确性和实时性。

在运动目标检测过程中，背景建模对目标提取至关重要，运动目标检测结果的准确与否直接影响跟踪、行为、运动信息分析的准确性。常见的背景建模方法主要有w4模型、码本模型、单高斯模型等。w4模型主要应用在单色视频或低亮度场景中。码本模型适用于有移动背景、光照变化的场景，在背景极其复杂的情况下会出现误检，缺少通用的解决方案。单高斯模型极易受到自然因素的影响。胡燕等人针对光线突变、物体移入场景并静止下来等使场景可能发生渐变的问题，对背景图像进行全局和局部更新，并引入修正因子v对已经更新后的背景图像再次修正，使得背景图像更加接近真实场景。yehch等人提出了一种基于层次粗略到细微纹理描述的基于块的背景建模方法，有效地解决照明变化和阴影干扰。tiancihuang等人提出基于区域的像素检测方法提高背景模型的自适应性。haiyingxia等人使用空间信息来补偿时间信息，对每个像素的邻域进行采样，结合随机数生成方法完成空间背景建模，缩短建模时间。田杰等人引入pca和高斯混合模型的分割方法对小麦病叶病叶图像进行分割。基于案例的背景建模，将像素特征分为两组，一组用于模型选择，另一种用于建模。实现了低成本和高准确的背景模型。

目前，当检测目标长时间不动或运动缓慢时，若目标物突发运动状态，则会出现响应速度慢、实时性差的问题，还没有一种很好的方法来解决。

技术实现要素：

本发明提供一种克服上述问题或者至少部分地解决上述问题的动物背景建模方法及装置。

根据本发明的一个方面，提供一种动物背景建模方法，包括：

根据动物视频图像的第一帧，标注动物目标像素和背景区域像素，分别作为前景种子像素和背景种子像素；

根据所述前景种子像素和背景种子像素，判断待处理的动物视频图像帧的像素点是否为前景像素或背景像素，获取所述动物视频图像帧中非前景像素或背景像素的像素点作为待建模像素点；

采用混合高斯模型对所述待建模像素点进行背景建模。

根据本发明的另一个方面，还提供一种动物背景建模装置，包括种子像素模块、待建模像素点模块和背景建模模块；

所述种子像素模块，用于根据动物视频图像的第一帧，标注动物目标像素和背景区域像素，分别作为前景种子像素和背景种子像素；

所述待建模像素点模块，用于根据所述前景种子像素和背景种子像素，判断待处理的动物视频图像帧的像素点是否为前景像素或背景像素，获取所述动物视频图像帧中非前景像素或背景像素的像素点作为待建模像素点；

所述背景建模模块，用于采用混合高斯模型对所述待建模像素点进行背景建模。

本发明提出一种动物背景建模方法，通过对动物视频图像第一帧中确定是目标或背景的区域像素进行标注获得种子像素，再根据种子像素来判断当前像素与背景、前景的关系，最后进行背景建模，实现动物目标的实时、高效提取；对主要影响视频的外界因素达到了很好的调控，提高了动物目标检测的检测率和实时性，同时提高了动物目标检测效果的鲁棒性。

附图说明

图1为本发明实施例所述一种动物背景建模方法流程示意图；

图2为本发明实施例所述一种动物背景建模方法第二流程示意图；

图3为本发明实施例所述一种动物背景建模装置。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

针对检测目标长时间不动或运动缓慢时出现养殖场中目标动物突发运动状态下响应速度慢、实时性差的问题，本发明实施例基于交互式的改进混合高斯模型动物视频检测背景建模方法，为复杂环境下的动物实时检测提供一种背景建模算法，以加速动物视频检测背景模型的收敛，提高检测的精度和算法的处理效率。

图1为本发明实施例所述一种动物背景建模方法流程示意图，如图1所示的一种动物背景建模方法，包括：

s100，根据动物视频图像的第一帧，标注动物目标像素和背景区域像素，分别作为前景种子像素和背景种子像素；

s200，根据所述前景种子像素和前景种子像素，判断待处理的动物视频图像帧的像素点是否为前景像素或背景像素，获取所述动物视频图像帧中非前景像素或背景像素的像素点作为待建模像素点；

步骤s200中所述判断，是指将待处理的动物视频图像帧的像素点与前景种子像素以及前景种子像素进行比较，比较之后会有三种结果：第一，待处理的动物视频图像帧的像素点为前景像素；第二，待处理的动物视频图像帧的像素点为背景像素；第三，待处理的动物视频图像帧的像素点既非前景像素又非背景像素。

s300，采用混合高斯模型对所述待建模像素点进行背景建模；所述待建模像素点为所述动物视频图像帧中非前景像素或背景像素的像素点，即步骤s200结果的第三种，既非前景像素又非背景像素的像素点。

本发明实施例提出一种动物背景建模方法，通过对动物视频图像第一帧中确定是目标或背景的区域像素进行标注获得种子像素，再根据种子像素来判断当前像素与背景、前景的关系，最后进行背景建模，实现动物目标的实时、高效提取；对主要影响视频的外界因素达到了很好的调控，提高了动物目标检测的检测率和实时性，同时提高了动物目标检测效果的鲁棒性。

在一个可选的实施例中，步骤s100，所述根据动物视频图像第一帧，标注动物目标像素或背景区域像素，分别作为前景种子像素和背景种子像素，具体包括：

获取动物视频图像帧的第一帧；

对于确定是动物目标和/或背景区域的像素进行手工标注，将动物目标像素作为前景种子像素，将背景区域像素作为背景种子像素；

分别获取所述前景种子像素和背景种子像素的亮度范围和颜色值范围。

本发明实施例通过人工确定动物目标和背景区域，对第一帧视频图像进行手工标注：对确定为动物目标的，标注为动物目标像素，作为前景种子像素；对确定为背景区域的，标注为背景区域像素，作为背景种子像素。然后计算所述前景种子像素的亮度范围和颜色值范围，和所述背景种子像素的亮度范围和颜色值范围。

本发明实施例中的手工标注相当于用户强制定义一些“硬约束”，即把图像中的某些肯定是目标或肯定是背景的像素手工标注出来，分别作为前景和背景的种子像素。

在一个可选的实施例中，步骤s200，所述根据所述前景种子像素和背景种子像素，判断待处理的动物视频图像帧的像素点是否为前景像素或背景像素，获取待建模像素点，具体包括：

s200.1，获取所述动物视频图像帧第一帧的后续帧，作为所述待处理的动物视频图像帧；

s200.2，判断所述待处理的动物视频图像帧的像素点的亮度和颜色是否在所述前景种子像素的亮度范围和颜色值范围或者所述背景种子像素的亮度范围和颜色值范围；

s200.3，获取所述待处理的动物视频图像帧的像素点的亮度不在所述前景种子像素的亮度范围且颜色不在所述前景种子像素的颜色值范围、并且亮度不在所述背景种子像素的亮度范围且颜色不在所述背景种子像素的颜色值范围内的像素点作为待建模像素点。

本发明实施例实时获取所述动物视频图像帧的后续帧，将待处理的图像帧的像素点与步骤s100中获取的所述前景种子像素的亮度范围和颜色值范围，以及所述背景种子像素的亮度范围和颜色值范围进行比较，判断所述待处理的图像帧的像素点的亮度是否落在所述前景种子像素的亮度范围内，或者落在所述背景种子像素的亮度范围内；同时判断所述待处理的图像帧的像素点的颜色是否落在所述前景种子像素的颜色范围内，或者落在所述背景种子像素的颜色范围内。

具体的，若所述待处理的图像帧的像素点的亮度落在所述前景种子像素的亮度范围内，且所述待处理的图像帧的像素点的颜色落在所述前景种子像素的颜色范围内，则确定为前景像素。

具体的，若所述待处理的图像帧的像素点的亮度落在所述背景种子像素的亮度范围内，且所述待处理的图像帧的像素点的颜色落在所述背景种子像素的颜色范围内，则确定为背景像素。

步骤s200.3获取非上述两种情况像素点作为待建模像素点，即所述待处理的图像帧的像素点的亮度和颜色没有同时落在所述前景种子像素的亮度范围和颜色范围内，并且所述待处理的图像帧的像素点的亮度和颜色没有同时落在所述背景种子像素的亮度范围和颜色范围内。

基于上述步骤s100的手工标注和步骤s200中的后续视频帧的比对，将后续视频帧的像素分为前景像素、背景像素和非前景非背景像素，本发明实施例通过步骤s300对非前景非背景像素采用混合高斯模型进行背景建模。

在一个可选的实施例中，步骤s300，所述采用混合高斯模型对所述待建模像素点进行背景建模，具体包括：

s300.1，对于任意t时刻的待建模像素点的观测值xt，采用混合高斯模型进行背景建模，获得高斯分布从高到低排列的k个混合高斯模型；

s300.2，基于所述待建模像素点的序列{x1,x2,...,xt}，将每个像素点与所述k个混合高斯模型进行匹配；

s300.3，根据匹配后的混合高斯模型更新高斯分布变量，获得动物背景模型。

本发明实施例采用混合高斯模型对所述待建模像素点进行背景建模，通过步骤s300.1建立背景模型，通过步骤s300.2进行高斯分布匹配，通过步骤s300.3更新高斯分布变量，即获得动物背景模型。所述高斯分布变量的初始值可以设置为0，因为这些变量是经过计算得到的，且在第一次计算时，并不参与计算。

基于上述实施例，步骤s300.1，所述对于任意t时刻的待建模像素点的观测值xt，采用混合高斯模型进行背景建模，获得高斯分布从高到低排列的k个混合高斯模型，还包括：

在所述混合高斯模型中引入如下的背景学习参数和约束条件：

varx,t＝(1-αx,t×mi,t-1)×vx,t-1+αx,t×mi,t-1×xt；

|xt-varx,t|≤vconst；

其中，vaxx,t为t时刻关于像素点xt的背景学习参数，用来记录t时刻像素点的学习结果，vx,t-1为t-1时刻的背景像素，αx,t为t时刻像素点xt的学习率，参数mi,t用于计算判断匹配高斯分布模型，vconst为用户自定义阈值。

本发明实施例中，由于传统的混合高斯模型连续使用新的像素观测值更新背景模型的权值和参数，难以适应目标运动速度的变化，在运动目标由运动转为不动或缓慢运动时，容易导致检测目标逐步变淡甚至消失，出现运动目标漏检的现象；而在目标动物突发运动状态下出现响应速度慢、实时性差的问题。本发明实施例通过在所述混合高斯模型中引入如下的背景学习参数和约束条件，更新背景模型，从而对混合高斯分布模型进行了改进，解决了上述问题。

具体的，步骤s300.1，所述对于任意t时刻的待建模像素点的观测值xt，采用混合高斯模型进行背景建模，获得高斯分布从高到低排列的k个混合高斯模型，其中，所述混合高斯模型的分布概率密度函数p(xt)为：

其中，xt为t时刻待建模像素观测值；每个像素点的k个高斯分布按ρi,t＝ωi,t/σi,t从高到低排列，σi,t为第i个高斯分布在t时刻的标准差；ωi.t为t时刻高斯混合模型中第i个高斯分布的权重；μi,t和∑i,t分别为t时刻高斯混合模型中第i个高斯分布的均值和协方差矩阵，η为高斯分布的概率密度函数。

本发明实施例中，由于环境因素的影响，视频图像中每一个像素点的灰度值会随时间不断变化，背景像素的灰度值变化符合高斯分布，可以通过多个高斯分布的加权和来模拟这种变化，即可采用上述混合高斯模型来描述视频图像背景的变化。

具体的，高斯分布的概率密度函数η为：

式中，n为xt的维数，n＝1时xt代表像素点的灰度值，n＝3时xt代表像素点的rgb数值。

具体的，步骤s300.2，所述基于所述待建模像素点的序列{x1,x2,...,xt}，将每个像素点与所述k个混合高斯模型进行匹配，其中匹配公式如下：

|xt-μi,t-1|≤d×σi,t-1；

其中，d为常数，一般取2.5；μi,t-1和σi,t-1分别为第i个高斯分布在t-1时刻的均值和标准差；

若满足上式则表示当前像素点xt与该高斯分布模型匹配，否则当前像素点xt与该高斯分布模型不匹配。

在一个可选的实施例中，步骤s300.3，所述根据匹配后的混合高斯模型更新高斯分布变量，获得动物背景模型，具体包括：

根据下式更新所述混合高斯分布模型的权值：

ωi,t＝(1-α)×ωi,t-1+α×mi,t；

其中，α为学习率；当任意t时刻的像素点的观测值xt匹配高斯分布时，置mi,t＝1，否则置mi,t＝0；ωi.t为t时刻高斯混合模型中第i个高斯分布的权值；μi,t-1和σi,t-1分别为第i个高斯分布在t-1时刻的均值和标准差。

当t-1时刻样本像素观测值xt-1为背景点时，则t时刻背景参数为varx,t＝(1-αx,t)×vx,t-1+αx,t×xt，当t-1时刻样本像素观测值xt-1为前景点时，则t时刻背景参数为varx,t＝vx,t-1。

在一个可选的实施例中，步骤s300.3，所述根据匹配后的混合高斯模型更新高斯分布变量，获得动物背景模型，具体还包括：

若像素点的观测值匹配高斯分布，则根据下式更新所述混合高斯分布模型的均值和标准差：

μi,t＝(1-ρ）×μi,t-1+ρ×xt；

ρ＝α×η(xt,μi,t,∑i,t)；

其中，xt为t时刻样本像素观测值；μi,t-1和σi,t-1为分别为第i个高斯分布在t-1时刻的均值和标准差；α表示学习率；ρ为参数更新率，此处ρ是计算过程中的一个临时参数。

对各高斯分布按ρi,t的值进行降序排列，权重大且标准差小的高斯分布会排在前面，从排列在最前的第一个模型开始，取b个高斯分布作为混合高斯分布的背景模型，从而获得动物背景模型；其中，b的值按下式进行选取：

其中，t为权重阈值。若当前像素点与背景模型中的任何一个模型匹配，则该像素点为背景点，否则为前景点。

若像素点的观测值不匹配高斯分布，则只更新权重，均值、方差保持不变。权重更新只需令mi,t为0；对于其他高斯模型，其均值和方差取值不变。

本发明实施例根据真实环境下单个动物目标运动特点，将动物目标运动状态分为较长时间不动状态、缓慢运动状态、剧烈运动状态3种状态。为了量化方便，规定：t时刻的样本像素观测值xt与背景参数vaxx,t匹配时，为剧烈运动状态，反之为较长时间不动或缓慢运动状态。

本发明实施例选取2种学习率，分别对不同状态的前景目标的像素帧进行建模，增强对真实场景背景的拟合能力，实现自适应拟合真实背景分布。开始初始化背景时，为加快背景建模采用较大的学习率；当运动目标不动或缓慢变化时，采用较小且变化的学习率，在加快背景建模同时检测出前景中缓慢运动的目标；在运动目标处于剧烈运动状态，选取动态变化较大的学习率，加快背景建模的收敛速度。

由于学习率过大会降低整个高斯模型对视频中各种噪声的抑制作用，过小导致背景建模时间延长，当学习率增加或减小到一定值时，让其稳定在该值上，得到背景检测的最佳效果。本发明实施例引入参数作为计数器，计数规则如下，若当前像素值与背景参数的关系不满足匹配，则自增1，否则，置为1。自适应学习率定义如下：

其中，α0为固定学习率，一般为0.005；为计数器。在初始建模阶段给学习率赋予一个较大值，加快背景的建立。若当前像素值与背景参数的关系不满足匹配，可直接判断该像素为前景点，无须用混合高斯建模，此时采用较小的学习率，保持前景目标的稳定。当前像素值与背景参数的关系满足匹配，需采用改进的混合高斯，加快背景学习。

综上所述，本发明实施例提供一种基于交互式的改进混合高斯动物背景建模方法，在复杂背景下可以实时、高效地检测出动物目标。针对动物养殖场养殖环境多变、背景复杂以及动物运动状态变化复杂导致传统混合高斯背景模型无法解决目标动物突发运动状态下响应速度慢、实时性差的问题，通过手动交互划分出第一帧视频背景和前景的大致区域，得到背景和前景像素点的亮度、颜色等特征并得到这些特征的阈值范围，结合改阈值范围进行背景更新。

图2为本发明实施例所述一种动物背景建模方法第二流程示意图，如图2所示，本发明实施例所述一种动物背景建模方法包括：

s1：运行程序读取视频第一帧；

s2：对能够确定是目标或背景的区域像素手工标注出来，分别作为前景和背景的种子像素；

s3：计算种子像素的前景背景亮度、颜色的阈值范围；

s4：实时获取视频帧；

s5：断当前获取的视频帧像素亮度、颜色值与s3中景背景亮度、颜色的阈值范围的关系；

s6：进行背景建模。

具体的，步骤s6又包括：

s61：建立背景模型，与步骤s300.1对应；

s62：更新背景模型，与步骤s300.1对应；

s63：匹配高斯分布模型，与步骤s300.2对应；

s64：更新高斯分布变量，与步骤s300.3对应。

图2所示的动物背景建模方法与图1所示的动物背景建模方法具有相同的技术特征，其技术效果也相同，此处不再赘述。

图3为本发明实施例一种动物背景建模装置，如图3所示的动物背景建模装置，包括种子像素模块、待建模像素点模块和背景建模模块；

所述种子像素模块，用于根据动物视频图像的第一帧，标注动物目标像素和背景区域像素，分别作为前景种子像素和背景种子像素；

所述待建模像素点模块，用于根据所述前景种子像素和背景种子像素，判断待处理的动物视频图像帧的像素点是否为前景像素或背景像素，获取所述动物视频图像帧中非前景像素或背景像素的像素点作为待建模像素点；

所述背景建模模块，用于采用混合高斯模型对所述待建模像素点进行背景建模。

本发明实施例的装置，可用于执行图1所示的动物背景建模方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。