一种结合区域提取与改进纹理特征的运动目标检测方法与流程

本发明涉及一种结合区域提取与改进纹理特征的运动目标检测方法，属于视觉检测技术领域。

背景技术

基于图像序列的运动目标检测技术是许多高层次计算机视觉处理行为的基础，例如目标追踪，行为理解，异常行为分析等，运动目标检测结果的完整性和有效性对后续研究至关重要。目前多数运动目标检测算法直接对需要处理的图像帧逐点进行判断，以实现运动目标的精确检测。这种逐点的判断方法极易受到噪声点(光照，动态背景以及成像设备误差等)的影响，将大量的动态噪声点误判为前景，而且在某些运动场景中，运动目标所占的区域较小，逐点判断会将大量的计算资源浪费在一些不具有明显前景特征的背景区域。而且在进行噪声干扰消除时，目前存在的算法大都是将所有的干扰点(光照，树叶晃动，噪声点)统一看作稀疏噪声进行消除，尽管能够在一定程度上消除部分干扰，但是这种不考虑噪声特性的方法对不同类型的噪声消除效果是有限的。

技术实现要素：

针对现有技术存在的不足，本发明目的是提供一种结合区域提取与改进纹理特征的运动目标检测方法，本发明通过进行快速前景区域提取，大大减少了后续进行精确判断的计算量，在进行区域提取的同时，消除空间位移类干扰(树叶晃动等)以及亮度变化类干扰(光照变化等)这两种主要干扰；准确高效地提取出图像序列中的运动目标。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种结合区域提取与改进纹理特征的运动目标检测方法，包括如下步骤：

(1)采集监控视频中的连续图像作为采样帧；

(2)对采样帧中的每个像素点，利用其采样信息进行背景建模与恢复；

(3)对图像进行分块，使用图像块的统计特征进行前景区域的提取，并对前景区域进行光照变化的判断，确定是否需要进行前景区域的二次判断；

(4)在前景区域中进行前景像素点的精确提取。

步骤(2)中，根据每个像素点的采样信息，对每个像素点建立一个背景模型，所建立的背景模型包括了该位置像素点的历史帧灰度值，权值以及持续时间；

假设有一位置为(x，y)的像素点，使用i(x,y)＝{i1(x,y),i2(x,y),…,in(x,y)}作为该点的背景模型，其中ii(x,y)＝[gi(x,y),weighti,time]，gi(x,y)代表第i帧训练帧(x,y)处像素灰度值，time代表gi(x,y)出现的次数，weighti为该点的权值，则具体的背景初始化，背景建模与恢复过程为：

(2a)初始化背景模型，令i(x,y)＝{i1(x,y)}，i1(x,y)＝[g1(x,y),1,1]；

(2b)对于新到训练帧像素点，若模型i(x,y)中存在某一元素ii(x,y)的灰度属性gi(x,y)与新到帧像素的灰度相等，跳至步骤(2c)；否则跳至步骤(2d)；

(2c)令ii(x,y)的time值加1，遍历i(x,y)，调整模型中所有元素的权值属性值，读取下一帧训练帧，若存在下一帧，跳至步骤(2b)，否则算法结束；

(2d)将新到像素点加入模型i(x,y)中，设置其time为1，遍历i(x,y)，调整模型中所有元素的权值属性值，读取下一帧训练帧，若存在下一帧，跳至(2b)，否则算法结束；

权值调整公式为：

背景恢复公式为：

其中，α为调整系数，是一个常数，通常取1。

步骤(3)具体的方法如下：

(3a)对于一副图像，首先将其划分为多个大小一致的图像块，并统计其前后连续n帧图像中该图像块区域的灰度信息；

(3b)将图像块区域特征作为高斯核密度估计的输入特征，计算每一块区域包含前景区域的概率大小；

(3c)对当前已提取出前景区域的图像进行光照变化的判定，通过判定结果确定是否进行二次前景区域判定。

步骤(3b)中，使用高斯核密度估计进行前景区域概率估计的公式为：

其中，n代表帧数，regioni为第i帧图像中图像块的特征，σi代表核宽，使用相邻帧间样本的绝对差中位数计算核宽，regiont代表t时刻待处理图像帧中任意图像块所包含有的像素点的均值特征。

步骤(3c)中，光照判定的公式为：

其中,g1与g2分别代表背景帧与当前待检测帧相同位置的大小相同的图像块,如果上式结果趋近于1，则不进行二次判定，否则使用改进的lbp纹理特征进行二次判定；

改进的lbp纹理特征公式为：

其中rc与gc分别代表参考帧与待处理帧像素点(xc，yc)处的灰度值，rp与gp分别代表两帧中像素点(xc，yc)的p邻域像素点，th1为预先设置的噪声容纳阈值，该值通过实验确定；

对于前景区域中改进的纹理特征不变的区域，认为是背景区域，否则认为是前景区域。

步骤(4)中，所述前景像素点的精确提取方法如下：

(4a)构建一个大小为m×n的窗口w，为前景区域中所有的像素点设置两个属性ws(x，y)和wf(x，y)，分别用来记录像素点(x，y)被处理的次数以及被判断为前景的次数，并将其都初始化为0；

(4b)计算待处理帧前景区域中窗口w内像素点对应的改进的纹理特征，并统计该窗口内所有不同纹理特征值的频数，得到改进的lbp纹理特征直方图hc，对相应位置的背景帧进行同样操作得直方图hr，将直方图归一化，并令窗口内像素的属性ws＝ws+1；

(4c)计算两个归一化直方图间的卡方距离，若距离小于1即认为距离较小，则令待处理帧中当前窗口内所有像素的属性wf自增1，否则不变；

(4d)以步长为1重叠滑动窗口，重复(4a)和(4b)，直到完成对前景区域内所有像素的操作；

(4e)对于每个像素点，根据wf与ws的比值计算该像素点属于前景像素点的概率pt(x，y)，该值越大则认为其属于前景的可能性越大，同时更新背景。

概率pt(x，y)的计算公式为：

背景更新公式为：bt(x,y)＝bt-1(x,y)+[1-pt(x,y)][it(x,y)-bt-1(x,y)]

其中，bt(x，y)与bt-1(x，y)分别为当前帧与其前一帧的像素点背景模型的灰度值，it(x，y)为当前像素点的灰度值。

本发明的有益效果如下：

(1)本发明在进行背景建模与背景恢复时，通常认为每个像素点对背景的影响大小不同，因此权值不应该一样大，其大小主要取决于其在时域上的变化。这里认为每个像素点的权值主要受三个因素的影响：当前帧与历史帧的时间差δt、与历史帧的灰度差δg以及持续时间time。该背景建模方法在进行权值调整时认为某个像素点对背景模型影响的大小与当前已经存在的背景模型中的所有像素点有关，越“新”的像素点，出现次数越多的像素点其权值应该越大，而与模型中已有的像素之间的灰度差越大的像素点，其权值应该越小。通过使用第一帧图像完成背景模型初始化后，每当新的训练帧加入，则对当前背景模型中的所有元素进行权值调整。

(2)为了减少后续精确提取的计算量，发明采用区域提取的思想，不仅可以解决传统算法因逐点判断而时间消耗大的问题，还能解决部分动态背景干扰的问题。运动目标的变化会改变其所经过的图像区域的整体特征，而树叶晃动类的空间位移干扰不会改变这一特征，因此本发明使用区域特征不变性消除了部分动态背景的干扰，同时借助核密度估计这种非参数化的方法快速提取出前景目标所在的大致区域。为了进一步解决光照变化的影响，本发明还提出了一种改进的lbp纹理特征算子，通过二次判定，消除光照变化的干扰，完成前景区域的提取，不仅可以大大减少后续前景像素点提取的计算量，而且有效地消除了大部分的动态干扰。

(3)实现前景像素点的精确提取

在提取出的前景区域中，使用一个滑动窗口重叠滑动，充分利用前景区域二次判定时的改进lbp纹理特征，通过对一个像素点所属区域的纹理特征的多次匹配，实现像素点的精确提取。

附图说明

图1为结合区域提取与改进纹理特征的运动目标检测方法工作流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1所示,首先采集监控视频中的连续图像帧；对每一个像素点灰度值，通过采样其与历史帧的时间差，灰度差与持续时间等信息对不同灰度值进行权值调整，实现背景建模，并恢复出一个较为精准的背景模型；对图像进行分块，使用图像块的区域特征不变性实现前景区域的提取，以及部分动态干扰的消除，然后对前景区域进行光照变化的判断，以便确定是否需要通过改进的纹理特征进行前景区域二次判断；在前景区域中进行前景像素点精确提取，大大减少了计算资源的消耗，具有极大的现实意义和应用价值。

本发明的结合区域提取与改进纹理特征的运动目标检测方法，具体步骤如下：

(1)采集监控视频中的连续图像作为采样帧

从监控摄像头(高速路，交通要道，自然保护区)中实时提取视频，将其作为为图像采样序列，该图像序列即为本发明的输入信息。

(2)背景建模与恢复

通过观察图像中任意指定位置像素灰度在时域上的变化，分析各个因素对该位置像素点背景模型的影响大小，调整权值，实现背景建模与恢复。所建立的背景模型包括了该位置像素点的历史帧灰度值，权值以及持续时间。假设有一位置为(x，y)的像素点，使用i(x,y)＝{i1(x,y),i2(x,y),…,in(x,y)}作为该点的背景模型，其中ii(x,y)＝[gi(x,y),weighti,time]，gi(x,y)代表第i帧训练帧(x,y)处像素灰度值，time代表gi(x,y)出现的次数，weighti为该点的权值，则具体的背景初始化，背景建模与恢复过程为：

(2a)初始化背景模型，令i(x,y)＝{i1(x,y)}，i1(x,y)＝[g1(x,y),1,1]；

(2b)对于新到训练帧像素点，若模型i(x,y)中存在某一元素ii(x,y)的灰度属性gi(x,y)与新到帧像素的灰度相等，跳至步骤(2c)；否则跳至步骤(2d)；

(2c)令ii(x,y)的time值加1，遍历i(x,y)，调整模型中所有元素的权值属性值，读取下一帧训练帧，若存在下一帧，跳至步骤(2b)，否则算法结束；

(2d)将新到像素点加入模型i(x,y)中，设置其time为1，遍历i(x,y)，调整模型中所有元素的权值属性值，读取下一帧训练帧，若存在下一帧，跳至(2b)，否则算法结束。

权值调整公式为：

背景恢复公式为：

其中，α为调整系数，是一个常数，通常取1。

(3)前景区域提取

分析前景目标与动态背景的区域特征变化情况，实现前景区域的提取与动态背景的消除。大多数的运动目标检测算法是直接对需要处理的图像帧逐点进行判断，以实现运动目标的精确检测。这种逐点的判断方法极易受到噪声点(光照，动态背景以及成像设备误差等)的影响，将大量的动态噪声点误判为前景，而且在某些运动场景中，运动目标所占的区域较小，逐点判断会将大量的计算资源浪费在一些不具有明显前景特征的背景区域。

通常运动目标的空间位置会不断变化，而空间位移类的动态背景，比如晃动的树叶虽然也会发生空间位置的变化，但是其变化只发生在一个固定的范围内，在这个区域范围内，虽然大部分像素点发生了变化，但是其整体特征可以认为没有发生太大的变化。如果单从像素点层面考虑，前景与树叶晃动均会导致像素点的灰度发生变化，无法判断出前景与干扰。而如果将图像分块，考察每个图像块的区域特征变化情况，就可以判断出哪个区域可能包含前景。具体实现步骤如下:

(3a)对于一副图像，首先将其划分为许多大小一致的图像块，并统计其前后连续n帧图像中该图像块区域的灰度信息；

(3b)将图像块区域特征作为高斯核密度估计(kde)的输入特征，计算每一块区域包含前景目标的概率大小。

使用高斯核密度估计进行前景区域概率估计的公式为：

其中n代表帧数，regioni为第i帧图像中图像块的特征，σi代表核宽，这里使用相邻帧间样本的绝对差中位数计算核宽。regiont代表t时刻待处理图像帧中任意图像块所包含有的像素点的均值特征。

(3c)对当前已提取出前景区域的图像进行光照变化的判定，通过判定结果确定是否进行二次前景区域判定。光照判定的公式为：

其中g1与g2分别代表背景帧与当前待检测帧相同位置的大小相同的图像块。如果上式结果趋近于1，则不进行二次判定，否则使用改进的lbp纹理特征进行二次判定。

改进的lbp纹理特征公式为：

其中rc与gc分别代表参考帧与待处理帧像素点(xc，yc)处的灰度值，rp与gp分别代表两帧中像素点(xc，yc)的p邻域(通常为8邻域)像素点，th1为预先设置的噪声容纳阈值，该值通过实验确定，一般取10～15之间任意值即可。

对于前景区域中改进的纹理特征不变的区域，认为是背景区域，否则认为是前景区域。

(4)前景像素点精确提取

在前景区域中进行基于改进lbp纹理特征的前景像素点的精确提取，可以充分利用前景区域二次判断时所用到的lbp纹理特征图。通过匹配待检测帧图像与背景图像之间的纹理特征直方图，判断各个像素点被判断为前景的次数占总次数的比例，实现前景像素点的概率值计算。步骤如下：

(4a)构建一个大小为m×n的窗口w，为前景区域中所有的像素点设置两个属性ws(x，y)和wf(x，y)，分别用来记录像素点(x，y)被处理的次数以及被判断为前景的次数，并将其都初始化为0；

(4b)计算待处理帧前景区域中窗口w内像素点对应的改进的纹理特征，并统计该窗口内所有不同纹理特征值的频数，得到改进的lbp特征直方图hc，对相应位置的背景帧进行同样操作得直方图hr，将直方图归一化，并令窗口内像素的属性ws＝ws+1；

(4c)计算两个归一化直方图间的卡方距离，若距离小于1即认为距离较小，则令待处理帧中当前窗口内所有像素的属性wf自增1，否则不变；

(4d)以步长为1重叠滑动窗口，重复(4a)和(4b)，直到完成对前景区域内所有像素的操作；

(4e)对于每个像素点，根据wf与ws的比值计算该像素点属于前景像素点的概率pt(x，y)，该值越大则认为其属于前景的可能性越大，同时更新背景；

概率pt(x，y)的计算公式为：

背景更新公式为：bt(x,y)＝bt-1(x,y)+[1-pt(x,y)][it(x,y)-bt-1(x,y)]

其中bt(x，y)与bt-1(x，y)分别为当前帧与其前一帧的像素点背景模型的灰度值，it(x，y)为当前像素点的灰度值。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。