一种多目标定位跟踪视频监控方法与流程

本发明设计一种多目标定位跟踪视频监控方法，适用于摄像机视场固定，背景存在物体微小动态变化的运动目标定位跟踪视频监控。

背景技术：

Meanshift算法是目前较为有效的目标跟踪算法之一，该算法通过采用梯度优化的方法来实现跟踪目标定位跟踪，对跟踪目标的变形、缩放、旋转等变化有较好的适应能力，同时该算法的运算速度也相对较快。Meanshift算法在单色调的跟踪目标及背景图像和跟踪目标颜色相似度较低的情况下有较好的跟踪效果，但是当周围环境存在相近颜色的前景物体时，由于Meanshift算法大多基于静态的目标表达模型，不适合复杂动态背景的情景并且它要求搜索的初始位置需位于以目标真实位置为中心的搜索窗以内，单纯的使用Meanshift算法容易造成目标定位不准确以至目标跟踪失败，所以在应用该算法时消除动态背景干扰和得到准确的跟踪框初始位置是十分关键的环节。

在视频背景图像保持不变即摄像机固定视场一定时，图像处理关注的通常是移动的前景物体，而提取出前景物体需要建立相应的背景模型，然后用帧差法处理背景模型和当前帧得到前景物体。如果视频中背景单一或者背景图像易于获取，那么提取前景的工作就是相对容易的。但是大多数情况，获得背景图片是不可能的，比如在复杂多变的场景下或者树叶飘动的条件下。因此，就需要动态的变换背景。最简单的办法就是对视频图像序列取平均值，但这样做有很多弊端，首先，在计算背景图像前需要输入大量的视频图像，其次取平均的视频图像中不能有前景物体。所以动态建立并更新背景图片对实现准确的提取前景物体与目标跟踪是十分重要的。

在一个复杂的具有前景物体运动的背景下，实现准确的目标定位跟踪一直是一个具有挑战性的研究课题。单目标、多目标定位跟踪是视频监控系统的关键部分。目前尚未有相关文献报导。

技术实现要素：

本发明的技术解决问题是：克服现有技术的不足，提供一种多目标定位跟踪视频监控方法，将高斯混合模型背景建模、背景减除法、形态学膨胀运算与中值滤波、颜色空间转换以及Meanshift算法相结合实现目标定位跟踪，具有可靠性强，操作简单，自动化性强等优点，可作为运动目标轨迹分析，车辆超速和违规检测以及人流量检测。

本发明的技术解决方案为：一种多目标定位跟踪视频监控方法，首先通过高斯混合模型训练背景，得到的背景图像，然后在视频下一帧中运用背景减除法得到前景图像，再根据膨胀运算与中值滤波得到准确的前景物体区域；如果前景物体存在则根据连通域查找确定目标位置，如果没有前景物体则转到视频下一帧；对目标位置区域图像进行色调空间转换并将NTSC空间色调图I与HSV空间色调图H加权得到色调直方图，进一步得到图像的反向投影，然后运用Meanshift算法精确定位目标位置；进入视频的下一帧重复上述运算。

应用高斯混合模型进行背景建模，有效去除背景中前景物体微小变化对运动目标提取的干扰，同时降低了对目标提取的视频序列的要求。

所述的通过高斯混合模型训练背景，得到的背景图像的过程如下：

假定图像像素点R、G、B三色通道相互独立互不相关并具有相同的方差，δ_t为方差，w_t为t时刻高斯分布的权重，将高斯分量按照w_i/δ_i值降序排列，将前m个权值之和大于设定阈值的作为当前背景模型。

视频中每帧图像都与由高斯混合模型背景建模得到的背景图像进行背景减除，得到的准确的目标位置。

所述视频下一帧中运用背景减除法得到前景图像如下：

首先计算背景图像与当前帧图像的绝对差值得到目标差分图像，接下来对目标差分图像进行二值化，得到前景图像。

运动物体与背景色调相似性很大时，得到的前景物体存在不完整的情况，所以在前景图像中进行膨胀运算使与跟踪目标接触的所有背景点合并到感兴趣区域中，使边界向外扩张，填充二值化跟踪目标中的空洞，填补不完整部分，但膨胀运算使边界向外扩张，噪声点扩大，所以对图像进行中值滤波得到准确的感兴趣区域。

所述根据膨胀运算与中值滤波得到准确的前景物体区域的过程如下：

(1)膨胀运算，通过用3x3的结构元素扫描图像的每一个像素，用结构元素与其覆盖的二值图像做“与”操作如果存在1，结果图像的该像素为1，否则为0；

(2)中值滤波，把每一点的像素值用该点的邻域中各点像素值的中值代替，使感兴趣区域周围的像素值更接近真实值，从而消除前景图像中由于膨胀运算扩大的噪声点孤立的噪声点。

上述检测运动目标存在的过程如下：

如果运动目标存在即感兴趣区域大于设定的阈值，则进行下一步处理；如果运动目标被遮挡或者不存在即感兴趣区域小于设定的阈值，则跳到视频下一帧继续检测，直到存在前景物体进行下一步处理。

所述根据连通域查找确定目标位置的过程如下：

(1)一行一行地搜索整个前景图像，对每个赋一个非零的值。如果所有的邻域都是背景像素即像素值为零，则非零像素被赋予一个新的没使用过的标号。如果邻域的标号有标号冲突。则将标号对作为等价对保存起来。等价对被保存在单独的数据结构等价表中。

(2)所有的区域像素在第一遍扫描时被标注了，但是一些区域由于标号冲突存在具有不同标号的像素。再一遍扫描图像，使用等价表的信息重新标注像素。

(3)通过查找相同标号所在位置确定目标位置以及目标大小。

NTSC彩色空间图像数据分为三部分：亮度Y、色调I和饱和度Q。HSV空间中颜色的参数分别是：色调H，饱和度S，亮度V，色调图I与色调图H通过等权重加权得到图像整体的色调直方图，相较于单独使用色调图H颜色信息更丰富，定位更准确。

所述运用Meanshift算法精确定位目标位置过程如下：

(1)计算零阶距、一阶距、搜索窗质心、搜索窗大小。

(2)计算搜索窗中心到质心的距离，设定阈值和循环次数最大值，当搜索窗的中心到质心的距离小于阈值或者循环运算的次数达到设定的最大值，停止计算。

本发明所述方法在图像处理中自动完成定位；处理连续图像即视频的序列图像时，能够得到并运动目标的运动轨迹，速度以及运动目标出现的次数。

本发明与现有技术相比的优点在于：

(1)应用高斯混合模型进行背景建模，有效去除背景中前景物体微小变化对运动目标提取的干扰，同时降低了对目标提取的视频序列的要求。视频中每帧图像都与由高斯混合模型背景建模得到的背景图像进行背景减除，得到目标的位置；运动物体与背景色调相似性很大时，得到的前景物体存在不完整的情况，所以在前景图像中进行膨胀运算使与跟踪目标接触的所有背景点合并到感兴趣区域中，使边界向外扩张，填充二值化跟踪目标中的空洞，填补不完整部分。由于膨胀运算使边界向外扩张，噪声点扩大，所以对图像进行中值滤波使感兴趣区域周围的像素值更接近真实值，消除前景图像中由于膨胀运算扩大的孤立的噪声点。视频处理时不断检测运动目标是否存在，如果运动目标存在则继续运行程序；如果运动目标被遮挡或者不存在则跳到视频下一帧重复检查。对目标位置区域图像进行色调空间转换并将NTSC空间色调图I与HSV空间色调图H加权得到色调直方图，颜色信息更丰富，使得定位更准确。用Meanshift算法在感兴趣区域对目标进行准确定位，提高了定位精度以及可靠性。此外，Meanshift对目标的变形、缩放、旋转等有较好的适应能力，提高了系统的鲁棒性。

(2)本发明使用高斯混合模型进行视频背景建模并对前景图像进行形态学预处理，减少了背景中物体细微动态变化对提取前景物体的干扰，同时降低了对提取前景物体的视频序列的要求，更具实用性。此外，本发明通过对比HSV空间与NTSC空间色调图的区别，将H分量与I分量加权得到的色调图作为Meanshift算法处理的图像，改进了Meanshift算法。

附图说明

图1为本发明的多目标定位跟踪视频监控方法流程图。

具体实施方式

如图1所示，本发明实现如下：

(1)对视频前50帧图像应用高斯混合模型进行背景建模，有效去除背景中前景物体微小变化对运动目标提取的干扰，同时降低了对目标提取的视频序列的要求。

(2)视频中下一帧图像与由高斯混合模型背景建模得到的背景图像进行背景减除，得到前景图像。

(3)运动物体与背景色调相似性很大时，得到的前景图像中的前景物体存在不完整的情况，所以在前景图像中进行膨胀运算使与跟踪目标接触的所有背景点合并到感兴趣区域中，使边界向外扩张，填充二值化跟踪目标中的空洞，填补不完整部分。

(4)经膨胀运算的前景图像边界向外扩张，噪声点扩大，所以进一步进行中值滤波使感兴趣区域周围的像素值更接近真实值，消除前景图像中由于膨胀运算扩大的孤立的噪声点。

(5)对经过膨胀运算与中值滤波的前景图像进行连通域查找，检测运动目标是否存在，如果运动目标存在则进行下一步处理；如果运动目标被遮挡或者不存在则跳到视频下一帧重复(2)～(5)，直到存在运动目标进行下一步处理。

(6)对目标位置区域的原始图像进行色调空间转换并将NTSC空间色调图I与HSV空间色调图H等权重加权得到色调直方图，进一步得到图像的反向投影图像(即将图像H色调图的像素值用其色调出现的概率替换)。

(7)用Meanshift算法在反向投影图像的感兴趣区域的中对目标进行准确定位，得到运动目标的准确位置以及质心坐标。

(8)在视频的每一帧重复(2)～(7)过程，实现在视频中对目标的定位跟踪。

下面进行详细说明：

1、使用高斯混合模型进行背景建模，假定图像像素点R、G、B三色通道相互独立互不相关并具有相同的方差。对于随机变量X的观测数据集{x₁,x₂,…,x_t}，x_t＝(R_t,G_t,B_t)为t时刻像素的样本，则单个采样点x_t其服从：

$p\left(x_t\right)=\underset{i=1}{\overset{k}{\Σ}}{w}_{i,t}\×\mathrm{\η}(x_t,u_{i,t},{\mathrm{\τ}}_{i,t})$

$\mathrm{\η}(x_t,u_{i,t},{\mathrm{\τ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{3/2}|{\mathrm{\τ}}_{i,t}{|}^{1/2}}{e}^{-\frac{1}{2}{\left(x_{t-}{u}_{i,t}\right)}^T{\mathrm{\τ}}_{i,t}^{-1}\left(x_{t-}{u}_{i,t}\right)}$

${\mathrm{\τ}}_{i,t}={\mathrm{\δ}}_{i,t}^{2}I$

其中：k为表达像素特征的高斯分量个数，η(x_t,u_i,t,τ_i,t)三维高斯分布函数，u_i,t为其均值向量，δ_i,t为方差，τ_i,t为协方差矩阵，w_i,t为t时刻第i个高斯分布的权重，p(x_t)为t时刻高斯分布的概率。

将k个高斯分量按照w_i/σ_i值降序排列，将前m个权值之和大于设定阈值的作为当前背景模型，即：

$B=\underset{m}{\mathrm{argmin}}(\underset{i=1}{\overset{m}{\Σ}}{w}_{i,t}\>T)$

其中：T为设定的背景建模阈值，w_i,t为t时刻第i个高斯分布的权重，B为背景值。

2、视频中每帧图像都与由高斯混合模型背景建模得到的背景图像进行背景减除，得到运动目标的位置。

3、运动物体与背景色调相似性很大时，得到的前景物体存在不完整的情况，所以在前景图像中进行膨胀运算使与跟踪目标接触的所有背景点合并到感兴趣区域中，使边界向外扩张，填充二值化跟踪目标中的空洞，填补不完整部分。

4、由于膨胀运算使边界向外扩张，噪声点扩大，所以对图像进行中值滤波使感兴趣区域周围的像素值更接近真实值，消除前景图像中由于膨胀运算扩大的孤立的噪声点。

5、检测当前帧运动目标是否存在，如果运动目标存在则继续运行程序；如果运动目标被遮挡或者不存在则跳到视频下一帧重复检查。

6、运用连通域查找的方法得到运动目标的位置，并得到准确定位的初始位置即Meanshift算法搜索框的初始位置。

7、对目标位置区域图像进行色调空间转换并将NTSC空间色调图I与HSV空间色调图H加权得到色调直方图，颜色信息更丰富，使得定位更准确。

8、求图像的反向投影，将图像色调图的像素值用其色调出现的概率替换，即得到图像的颜色概率分布图。

9、利用Meanshift算法

计算零阶距：

$M_{00}=\underset{x}{\Σ}\underset{y}{\Σ}I(x,y)$

其中，x,y表示像素点的横纵坐标，I(x,y)为该像素点的灰度值，M₀₀为图像的零阶距。

计算一阶距：

$M_{10}=\underset{x}{\Σ}\underset{y}{\Σ}xI(x,y)$

$M_{01}=\underset{x}{\Σ}\underset{y}{\Σ}yI(x,y)$

其中，x,y表示像素点的横纵坐标，I(x,y)为该像素点的灰度值，M₁₀为图像的y一阶距，M₁₀为图像的x一阶距。

计算搜索窗质心

x_c＝M₁₀/M₀₀

y_c＝M₀₁/M₀₀

其中，x,y表示像素点的横纵坐标，I(x,y)为该像素点的灰度值，M₀₀为图像的零阶距。x_c为质心的横坐标，y_c为质心的纵坐标，M₀₀为图像的零阶距，M₁₀为图像的y一阶距，M₁₀为图像的x一阶距。

调整搜索窗大小：

$s=\sqrt{M_{00}/256}$

设定阈值和循环次数最大值，例如阈值为1，循环次数为10，当搜索窗的中心到质心的距离小于阈值停止计算。

10、在视频的每一帧重复上述2-9过程。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。