结合帧差法和混合高斯模型的运动目标检测与跟踪方法与流程

本发明涉及视频图像处理技术领域，特别是涉及一种结合帧差法和混合高斯模型的运动目标检测与跟踪方法。

背景技术：

视频公开课对于缩小城乡和东西部之间教育差距是一种十分有效的手段，因此作为一种录制视频公开课的技术方式—智能课堂视频录播系统得到了快速的发展。智能课堂视频录播系统是一种利用多媒体技术和计算机网络技术对课堂教学进行实时录制的教育技术系统，其在整个课堂教学的录制过程中无需人工操作，只需将摄像机放置在教室的固定位置，在计算机的控制下，利用图像处理方法，使摄像机能够自动录制课堂情况，并且可以实时网络直播。在课堂视频录播系统中主要的检测和跟踪对象是授课的教师和站起发言的学生。所以，运动目标检测是智能视频录播系统在复杂的课堂教学环境中对授课教师和站起发言学生实现有效录制的基础，运动目标检测结果的质量将直接影响后续的跟踪定位处理。

运动目标检测就是从采集到的图像序列中检测出相对于图像背景运动的目标，它是行为模式分析、目标跟踪等过程的基础环节。根据摄像机与背景之间是否发生相对运动，可以将运动目标检测分为静态背景和动态背景的目标检测。本发明中的课堂视频录播系统中针对运动目标的检测一般是发生在静态背景下的。静态背景下常用的运动目标检测方法，分别是：帧差法、背景差分法和光流法。帧差法利用相邻两帧或多帧之间的差分来进行运动目标检测，算法比较适合于动态变化的环境，差分图像一般情况下受光线变化影响小，但分割出的运动目标区域内部会产生大块的空洞。背景差分法是将当前帧和背景帧进行差分运算检测出运动目标区域。在动态环境下，背景差分法对光线等外来事件的干扰特别敏感，需要建立合适的背景更新模型。采用混合高斯背景模型的背景差分法为图像中每个像素建立k个高斯模型，能够提高动态背景下运动目标检测的精确度，但是背景高斯模型的建立需要一个学习的过程，对光线的突变会在运动目标检测区域出现“虚影”。光流法可以在不具备背景区域任何先知条件情况下就能够检测出运动目标，以及计算出运动目标的速度。但是光流法的计算十分复杂、运算量大，不适合实时处理，而且抗噪声能力差，很少用于实践中。

技术实现要素：

本发明的目的是为了克服现有技术中的不足，提供一种结合帧差法和混合高斯模型的运动目标检测与跟踪方法，本发明结合两种目标检测算法的优点，既缓解了帧差法在运动目标检测时的空洞现象，也解决了光线等外来事件干扰下前景区域出现的“虚影”问题，实现了对运动区域进行准确、实时的检测。

本发明的目的是通过以下技术方案实现的：

结合帧差法和混合高斯模型的运动目标检测与跟踪方法，该方法包括：

获取视频图像，利用当前帧的输入视频图像与前一帧视频图像进行差分计算，得到帧间差分图像；

利用初始化后的混合高斯模型算法处理获取的视频图像，得到输入视频图像的前景区域图像和背景区域图像；

将所述帧间差分图像和所述前景区域图像进行融合处理，得到融合后视频图像；

将所述融合后视频图像进行二值化与形态学处理，得到当前输入视频图像中的运动目标图像；

将当前输入视频图像中提取出的运动目标图像与前一帧视频图像中提取出的运动目标图像进行匹配，并根据匹配结果得到运动目标跟踪结果。

进一步的，利用当前帧的输入视频图像与前一帧视频图像进行差分计算，得到帧间差分图像，具体包括：

将当前输入视频图像中任意一个像素点的像素值，分别与前一帧视频图像中相应像素点的像素值相减，取差的绝对值，并赋值于当前帧相应像素点，对当前输入视频图像中的所有像素点进行上述处理，最终得到帧间差分图像。

进一步的，利用初始化后的混合高斯模型算法处理获取的视频图像，得到输入视频图像的前景区域图像和背景区域图像；具体包括：

首先对混合高斯模型进行初始建模，计算一段时间内输入视频图像中每一像素点的平均灰度值μ0及像素的方差用μ0和初始化混合高斯模型中k个高斯分布的参数，计算公式如下所示：

当新获取一帧视频图像，检查每一个新的像素值是否匹配该模型，也即对当前输入视频图像中每个像素值it与混合高斯模型中k个高斯分布分别匹配，验证是否满足下式：

|it-μt,k-1|≤τσt,k-1k＝1,2,3,…,k

其中τ是确定匹配相似度的一个常数，如果满足，则该像素点为背景像素点，否则该点是前景像素点；对当前输入的视频图像每一个像素点都进行上述操作，将当前图像分为前景区域和背景区域。

进一步的，将所述帧间差分图像和所述前景区域图像进行融合处理，具体包括：

针对当前输入视频图像中的任意一个像素点，比较所述帧间差分图像中相应像素点的像素值与前景区域图像中相应像素点的像素值是否相等，若相等，则将该像素值赋值给融合后视频图像中相应位置的像素点；

若不相等，则分别计算帧间差分图像和前景区域图像中相应像素点的熵值，并进行比较，将熵值大的像素点的像素值赋值给融合后视频图像中相应位置的像素点；

对当前输入视频图像中的所有像素点进行上述处理。

进一步的，将所述融合后视频图像进行二值化与形态学处理，得到当前输入视频图像中的运动目标图像；具体包括：

利用最大类间方差(otsu)算法处理融合后视频图像，得到最佳阈值，将融合后视频图像中每个像素点的像素值与最佳阈值比较，得到二值化的融合视频图像，对二值化的融合视频图像进行形态学处理，得到当前输入视频图像的运动目标图像。

进一步的，利用最大类间方差算法处理融合后视频图像，得到最佳阈值，将融合后视频图像中每个像素点的像素值与最佳阈值比较，得到二值化的融合视频图像，具体包括：

对于灰度级的融合视频图像，设图像大小为m×n，其像素灰度级范围为{1,2,3,…,l}，其中l为图像像素最大灰度等级，若图像中灰度级为i的像素个数为ni，则该像素点出现的概率为：

若阈值t将图像分成两部分，前景c1和背景c0，那么可以得到类间方差计算公式为：

s＝w0(u0-u)²+w1(u1-u)²

其中，w0和w1为两部分图像的概率，u0和u1为两部分图像灰度值的均值，u为整幅图像的总体均值；

具体计算公式如下：

其中，t为图像的分割阈值，根据最大类间方差法的原理可得最佳阈值为：

将融合后视频图像中的每个像素点的像素值与最佳阈值t作比较，如果大于阈值t，则赋值给该像素点的像素值为1；如果小于阈值t，则赋值给该像素点的像素值为0，对融合后视频图像中每一个像素点进行上述处理，得到二值化的融合视频图像。

进一步的，对二值化的融合视频图像进行形态学处理，得到当前输入视频图像的运动目标图像，具体包括：对二值化的融合视频图像进行形态学处理是指对图像进行腐蚀和膨胀操作，当视频图像的整体噪点较大时，通过腐蚀操作消除噪点；当视频图像的空洞较大时，通过膨胀操作填补图像空洞；对二值化的融合视频图像每个像素点进行上述处理，得到当前输入视频图像的运动目标图像。

进一步的，将当前输入视频图像中提取出的运动目标图像与前一帧视频图像中提取出的运动目标图像进行匹配，并根据匹配结果得到运动目标跟踪结果，具体包括：

设定表示当前输入视频图像中提取出的运动目标图像的特征信息，表示前一帧视频图像中提取出的运动目标图像的特征信息，其中m和n均表示运动目标图像的个数；

针对中的每个运动目标图像，利用特征信息分别与中的运动目标图像进行相似度计算，并将相似度最大的两个运动目标图像作为相匹配的目标，根据匹配结果得到如下目标跟踪结果:

如果m＝n且和都分别匹配上，则所有目标都在检测区域内运动；

如果m≠n且中有运动目标没有匹配上，则检测区域内出现新的运动目标；

如果m≠n且中有运动目标没有匹配上，则有运动目标离开检测区域。

进一步的，利用特征信息进行相似度计算是利用运动目标图像的特征信息中的面积信息进行相似度计算。

一种结合帧差法和混合高斯模型的运动目标检测方法，包括以下步骤：

获取视频图像，利用当前帧的输入视频图像与前一帧视频图像进行差分计算，得到帧间差分图像；

利用混合高斯模型算法处理当前输入的视频图像，将当前帧视频图像的每一个像素值与k个高斯分布匹配，通过判断处理得到前景区域图像和背景区域图像；

将所述帧间差分图像和前景区域图像进行融合处理，得到融合后视频图像；

将融合后的视频进行二值化和形态学处理，得到当前输入视频图像中提取出的运动目标图像。

与现有技术相比，本发明的技术方案所带来的有益效果是：

a)帧间差分法是将当前获取的视频图像与前一帧视频图像的差异来检测出运动目标图像，由于相邻两帧图像的时间间隔较短，该方法只对运动物体敏感，非常适合于动态变化的环境，但是检测出的运动目标内部区域有大块黑洞。而混合高斯模型算法检测运动目标是将当前输入视频图像与建立的背景模型进行比较，适合对图像缓慢变化的场景进行运动目标的检测，而且检测出的运动目标比较完整，但是对快速变化的环境需要一个适应过程。本发明中，帧间差分二值化图像与混合高斯算法检测的前景区域的相互融合一方面缓解了帧差法产生空洞的问题，也消除了背景模型突变后产生“虚影”问题。

b)帧差法检测检测图像中的快变化，混合高斯算法检测图像中的慢变化。本发明将所述两种方法结合起来，充分发挥了两种方法的优点，可以在环境变换的复杂场景下，更好地检测出图像的变化，从而提高检测准确率

c)本发明提出的运动目标跟踪方法，是将前后两帧中的所有运动目标分别进行匹配跟踪，因此可以同时处理多个运动目标的跟踪问题。而且在匹配过程中是利用运动目标图像的特征信息中的面积信息来进行计算，因此算法简单，运行速度快，能够满足实时处理的需求。

附图说明

图1是本发明实施例中一种目标检测方法流程图；

图2是本发明实施例一种运动目标跟踪方法的流程图。

具体实施方式

下面结合附图对本发明作进一步的描述。

针对环境变化迅速的复杂场景，本发明提出了结合帧差法和混合高斯模型的运动目标检测与跟踪方法，通过将帧差法与混合高斯模型算法两种算法相结合，可以从当前获取的视频图像中准确地检测出运动目标的变化，同时所述跟踪方法可以对多个运动目标进行实时跟踪处理。下面分别详细说明所述运动目标检测方法和运动目标跟踪方法。

参照图1，是本发明所述的一种运动目标检测方法的流程图，包括以下步骤101到107。

在步骤101中，建立并初始化背景模型：

建立背景模型的目的是从获取的视频图像中估计出检测区域的背景信息。在本发明实施例中，由于主要利用帧间差分和混合高斯模型算法两种方法检测运动目标图像，而帧差法是前后两帧视频图像做差分不需要背景模型，故所需要的背景模型只是用于混合高斯模型算法检测运动区域的背景模型。

对混合高斯模型进行初始建模的方法是：计算一段时间内输入视频图像中每一像素点的平均灰度值μ0及像素的方差用μ0和来初始化混合高斯模型中k个高斯分布的参数，it表示输入视频图像中每个像素值，计算公式如下所示：

每个像素点的k个高斯分布的权重初始设置为1/k，后续的更新过程是对构造的第一个高斯分布进行更新。

在步骤102中，对当前获取的视频图像进行预处理：

预处理的主要目的是利用图像滤波技术处理硬件设备采集的图像，减少输入视频图像的噪声。图像滤波技术存在多种滤波算法，为保证图像边缘目标轮廓信息的完整性，本发明采用中值滤波技术，该算法的实施流程是：

对于一幅图像的像素矩阵，取以目标像素为中心的一个子矩阵窗口，这个窗口可以是3×3、5×5等根据需要选取，对窗口内的像素值排序，取中间一个值作为目标像素点的新的像素值。对每一个像素点都进行这样的运算后就得到中值滤波后的图像。

对预处理后的图像分别进行帧间差分法和混合高斯模型检测算法，这两个步骤可以并行执行，也可以顺次执行，顺次执行时不限定先后顺序。

在步骤103中，利用当前获取的视频图像和前一帧图像进行差分计算，得到帧间差分图像。

将当前帧和前一帧相减取绝对值，设vi(x,y)和vi+1(x,y)分别表示前一帧和当前帧中坐标为(x,y)的像素点的像素值，计算它们的差分结果dk(x,y)；

dk(x,y)＝|vi(x,y)-vi+1(x,y)|

dk(x,y)也即是帧间差分图像。

在步骤104中，利用混合高斯模型算法检测运动目标区域，得到运动目标前景区域图像和背景区域图像；

对于当前获取的视频图像中的每个像素点it，顺序按照w/σ的大小，依次对每个模型进行匹配，其中w为每个高斯模型的权重，σ为每个模型的方差，匹配的规则是:

|it-μi,t-1|≤τσi,t-1，

如果和第i个高斯模型匹配成功，则中止匹配，并认为该像素点为背景点，其中τ是确定匹配相似度的一个常数，在本实施例系统中该常数固定为2.5。

对输入的视频图像的每一个像素点进行上述处理，则得到经过混合高斯模型检测算法处理后产生的背景区域图像pbg和前景区域图像pfg。

在步骤105中，将所述帧间差分图像与混合高斯模型检测算法检测出的前景区域图像进行融合处理，得到融合后视频图像。

获得帧间差分图像dk(x,y)和前景区域图像pfg之后，将这两个前景图像进行融合处理，以消除两幅前景图的检测误差。实施融合的方法有多种，下面列举其中两种来说明：

一种较简单的融合方法是，将dk和pfg进行逻辑与处理，计算公式如下：

f(x,y)＝dk(x,y)&pfg(x,y)

其中&是按位与操作，f(x,y)是融合后图像的像素点。通过上式可以看出，在dk和pfg都为前景点的像素点，融合后才会成为前景像素点。

另一种融合方法是：

设帧间差分图像和混合高斯模型算法检测出的前景区域图像分别表示为i1和i2，图像融合的目标是结合i1和i2提供的信息合成一幅新的图像i3。融合过程是：对于任意一个像素点(x,y)，比较其i1和i2中的像素值大小：

如果i1(x,y)和i2(x,y)相等，则i3(x,y)＝i1(x,y)＝i2(x,y)，即将该像素值赋值给融合后图像i3中相应的像素点。

否者，计算i1(x,y)和i2(x,y)处的信息，将信息更丰富的像素点的像素值赋值给i3(x,y)。

通常可以用熵来定义信息的丰富程度，熵值越大，说明信息越丰富，通过计算i1(x,y)和i2(x,y)处的熵值信息，将熵值较大的像素点的像素值赋值给i3(x,y)。在计算熵值时，可以提取以(x,y)为中心的一个小区域r，通过计算r的局部熵值作为(x,y)的信息量的表征。一般计算公式如下：

利用上述融合方法得到的融合后的图像为灰度级前景图像。

在步骤106中，利用最大类间方差算法处理融合后视频图像得到最佳阈值，将融合后视频图像中的每个像素点的像素值与阈值比较得到二值化的融合视频图像，将二值化的融合视频图像进行形态学处理，得到当前输入视频图像的运动目标图像；

利用最大类间方差法处理融合后视频图像，得到最佳阈值th，将融合后视频图像的每个像素点的像素值pix_value与阈值th进行比较，如果pix_value大于th，则认为该点为前景点，否则认为该点为背景点(通常前景点设为1，背景点设为0)。对输入视频图像中的所有像素点完成上述处理之后，就得到了前景目标图像，也就是所述的二值化的融合视频图像；

将二值化的融合视频图像进行形态学处理，具体是指对图像进行腐蚀和膨胀操作，一般当图像的整体噪点较大的时候，需要进行腐蚀操作来消除噪点；当图像的空洞较大的时候，需要膨胀操作，填补图像空洞。腐蚀和膨胀的次数视具体场景而定，这里不再累述，但整体要保证腐蚀和膨胀的次数大致相同，保证运动目标的面积变化不大。对二值化的融合视频图像每个像素点进行上述处理，得到当前输入视频图像的运动目标图像。

在步骤107中，更新当前的背景模型

对当前获取的视频图像进行检测之后，还需要对当前的背景图像进行更新，更新后的背景图像用于下一帧输入视频图像的检测。

本发明的背景模型只是用在混合高斯模型算法中，也即是对混合高斯模型算法的背景模型进行更新，具体包括：

a)pbg背景区域内混合高斯模型的更新：

μi,t＝(1-a)μi,t-1+αit

wi,t＝(1-β)wi,t-1+βθk＝1,2,…,k

其中α为参数更新率，满足α＝βθ(it|μi，t-1，σi，t-1)，β为学习率，wi,t-1表示t-1时刻模型k的权重，θ是模型匹配控制参数，为了减小噪声的影响，一般把β固定在一个比较小的数值水平上。当新像素值符合第k个高斯分布时，θ＝1，若不符合，则θ＝0；

b)pfg前景区域内高斯高斯模型的更新：

当没有一个高斯分布与it匹配时，说明出现了新的分布形式，则需增加一个新的单高斯分布。而增加一个高斯分布后，高斯分布的个数超过最大值k时，则去除一个当前混合高斯模型中权值最小的高斯分布。而根据it引入新的高斯分布，其均值为it，同时给一个较大方差、较小的权重。

完成背景更新之后，返回步骤102，继续对获取的下一帧视频进行检测。

利用图1中的方法检测出每一帧视频图像中的运动目标后，可以对运动目标进行跟踪。本发明提出一种运动目标跟踪方法，能够处理多个目标的跟踪问题，而且算法简单，计算量较小，能满足对实时性的要求；

具体参照图2，是本发明所述的一种运动目标跟踪方法的流程图。

在步骤201中，在二值化和形态学处理后的图像中确定运动目标图像，具体为：

对二值化和形态学处理后的图像进行连通域标记，得到每个运动目标的连通域，用一个外界矩形框框住每个连通域，则每个外接矩形框表示一个独立的连通区域，也即每个矩形框区域代表一个运动目标。

在步骤202中，将当前输入视频图像中的运动目标图像与前一帧视频图像中的运动目标图像进行匹配；

构造一个用以描述运动目标信息的数据结构tar_strinfo_s，负责记录所有已存在的运动目标的面积、位置、外接矩形框的长和宽等特征信息，并将这些特征信息表示成其中n表示已存在的运动目标的数目，设当前输入视频图像上检测到的运动目标有m，提取其特征信息表示为

匹配的目的就是从中找到与中的运动目标相对应的运动目标，从而将相邻帧视频图像中的同一运动目标关联起来，并不断更新tar_strinfo_s中保存的已存在的运动目标的特征信息，最后得到各个运动目标完整的运动轨迹。

匹配的过程是：分别对和的运动目标进行相似度的计算。本实施例中采用的相似度计算方法是分别计算ai和bj的相似性距离。

相似性距离的计算有多重方法，本实施例采用的是一种较简单的方法，其定义为和中相应目标的外接矩形框的重合程度，计算公式是：

d(ai,bj)＝s(ai)&s(bj)

其中s(ai)和s(bj)分别代表运动目标ai和bj的外接矩形框面积；

如果前后相应目标外接矩形框面积没有重叠，则ai和bj相似度为零；如果有重叠，则重叠的面积越大，则相似度越高；

对每一组ai和bj计算相似度之后，根据计算结果确定匹配结果。具体为：

针对的的每一个运动目标，求出中与该运动目标的相似性距离最大的一个运动目标，作为与该运动目标相匹配的结果。例如，有四个运动目标分别为a1、a2、a3、a4，有运动目标b1和b2，当a1分别与b1和b2计算相似度时，如果b1和a1的相似度最大，则b1和a1相匹配，这样就能解决对多个运动目标进行跟踪的问题。

在步骤203中，匹配结束后，由匹配结果得到目标跟踪结果，并更新结构体tar_strinfo_s中的运动目标信息。

根据匹配结果得到如下目标跟踪结果：

如果m＝n且和的运动目标分别都能匹配上，则所有目标均在检测区域内，用信息更新运动目标信息。

如果m≠n且有运动目标没有匹配上，则检测区域内出现了新目标，需要将这些未匹配上的运动目标的信息添加到结构体tar_strinfo_s中。

如果m≠n且有运动目标没有匹配上，则有运动目标离开了检测区域，需要将这些未匹配上的运动目标的信息从结构体tar_strinfo_s中删除。

在实际情况下，由于存在误差和噪声的影响，对于当前没有匹配成功的运动目标，可以先暂时保留其相关特征信息，并在以后连续几帧图像中继续尝试进行匹配，如果在设定的帧数内仍匹配失败，则认为该目标为新出现的目标，设定的帧数视具体场景而定，这里不做具体限定；

视频图像运动目标跟踪完成后，将结构体tar_strinfo_s中所有运动目标的特征信息输出，就完成了运动目标检测与跟踪的任务。

进一步的，上述运动目标检测方法和运动目标跟踪方法可以分别单独使用，即所述运动目标检测方法可以配合其他的运动目标跟踪方法，或者该运动目标跟踪方法配合其他的运动目标检测方法。本实施例中将运动目标检测方法与跟踪方法相配合的效果可能更好。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。