一种改进的运动目标检测与跟踪方法
【专利摘要】本发明公开了一种改进的运动目标检测与跟踪方法，包括以下步骤：利用Vibe算法对检测的像素点进行分割；根据Vibe算法分割得到的连通域的空间分布关系，判断其是否为同一运动目标，如果判断结果为是，则进行连通域合并，直到目标检测完成；对前期获取到的运动对象进行跟踪，利用Kalman滤波器结合最小空间距离算法来预测每个运动对象的坐标位置，并进行不断更新、跟踪。本发明采用空间距离来作为判断依据，既能节省存储空间，又同时减少了计算量和计算复杂度。
【专利说明】一种改进的运动目标检测与跟踪方法
【技术领域】
[0001] 本发明涉及一种改进的运动目标检测与跟踪方法。
【背景技术】
[0002] 作为智能视频监控与分析系统的基础，运动目标检测与跟踪模块在其中起着非常 重要的作用，它为后期的物体识别、行为与轨迹分析等后处理算法奠定了基础。人们已经对 前景检测与跟踪算法进行了大量的研究。
[0003] 在前景检测算法方面，主要分为光流法、帧差法以及背景建模法。其中光流法对硬 件要求较高，因而一般硬件很难满足算法的实时性；帧差法由于是相邻的两帧图像相减，而 相邻的两帧图像中的运动目标在空间位置上相距很近，因而会在目标区域中产生很大的空 洞，使得检测精度降低；背景建模法则是对背景图像建立模型，使得在前景检测的过程中背 景可以不断的更新，能够适应存在细微变化的背景环境，但是当前景的颜色与背景颜色相 近，即前景与背景对比度较低时，背景建模算法也很难完整的检测出前景目标。
[0004] 在跟踪算法方面，比较经典的Camshift跟踪算法仅仅采用单一的颜色特征，计算 量小，运算速度快，但是鲁棒性与适应性较差，在背景复杂时很容易丢失目标；粒子滤波算 法的跟踪性能与粒子数成正比，粒子数越多跟踪能力越强，但粒子数的增加极大的增大了 算法的计算量，使得实时性难以满足，很难用于对实时性要求较高的监控系统。
【发明内容】
[0005] 本发明为了解决上述问题，提出了一种改进的运动目标检测与跟踪方法，本方法 在传统的背景建模方法基础上的改进，即便是在前景与背景颜色相近的情况下也能进行准 确的前景检测；在跟踪方法中采用了 Kalman滤波结合最小空间距离的方法，在保证了跟踪 鲁棒性的同时也加快了跟踪算法的运算速度。
[0006] 为了实现上述目的，本发明采用如下技术方案：
[0007] -种改进的运动目标检测与跟踪方法，包括以下步骤：
[0008] (1)利用Vibe算法对检测的像素点进行分割：为每个像素点建立一个背景模型， 比较待分类像素与背景模型的相似度，若相似度满足设定值，则判断该像素为背景，否则为 前景；
[0009] (2)根据Vibe算法分割得到的连通域的空间分布关系，判断其是否为同一运动目 标，如果判断结果为是，则进行连通域合并，直到目标检测完成；
[0010] (3)对前期获取到的运动对象进行跟踪，利用Kalman滤波器结合最小空间距离算 法来预测每个运动对象的坐标位置，并进行不断更新、跟踪，清除消失的运动对象并不断记 录运动对象的新坐标位置。
[0011] 所述步骤（1)的具体方法为：为每个像素点Pt(x)建立一个包含N个样本的背景 模型：
[0012] M(x) = {p1； p2, . . . , pN}
[0013] 通过比较待分类像素 pt(X)与背景模型M(x)的相似度，即可判断出该像素是前景 还是背景，如果相似，即判断为背景，否则为前景。
[0014] 所述步骤（1)中，相似度的判断方法为：定义一个以pt(x)为球心，R为半径的球 体S K (pt (X))，用A来表示球体与背景模型的交集，用来判断相似度：
[0015] A= {SE(pt(x)) Π {ρ1； ρ2, . . . , ρΝ}}
[0016] 当Α大于一个给定的阈值时，待分类像素即为背景，否则为前景。
[0017] 所述步骤⑵的具体为：通过Vibe算法对前景分割存在以下情况：经过Vibe算法 进行前景分割后，如果同一个目标被分割成了很多个目标块，那这些目标块的最小外接矩 形在相对位置上还是存在一定的位置关系的：一是较小的框完全被较大的框所包含；二是 两个框之间有交集，但并不完全包含；三是两个矩形框之间并没有交集，但是他们成上下关 系，且质心之间的水平与垂直距离都小于一定的阈值。
[0018] 所述步骤（2)的具体方法为：假设有两个矩形窗分别为A和B，宽度分别记为W(A) 和W(B)，高度记为H(A)和H(B)，中心点坐标记为（x(A)，y(A))、〇^出)， 7?))，则两个框中 心点的水平距离为：
[0019] Xd = |x(A)_x⑶
[0020] 垂直距离为：
[0021] Yd = | y (A) -y (B)
[0022] 所述步骤（2)中，如果是较小的框完全被较大的框所包含，则符合判决条件1，即：
[0023] Xd<_)-WKB)|/2
[0024] 和
[0025] Yd 彡 |H(A)_H(B) |/2
[0026] 直接将被包含在内部的矩形框去掉即可。
[0027] 所述步骤（2)中，如果两个框之间有交集，但并不完全包含，则符合判决条件2， 即：
[0028] Xd 彡 α ! X | W ⑷ +W ⑶ | /2
[0029] 和
[0030] Yd 彡 α 2X |H⑷+H⑶ |/2。
[0031] 所述步骤（2)中，如果两个矩形框之间并没有交集，但是他们成上下关系，且质心 间的水平与垂直距离都小于一定的阈值，则符合以下条件，即：
[0032] Xd 彡 β ' |W ⑷+W ⑶ |/2
[0033] 和
[0034] Yd 彡 β2Χ |H⑷+H⑶ |/2
[0035] 则把这几个矩形框的最大外接矩形画出来，把内部的矩形框全部删除即可，其中， α ρ α 2、β 1和β 2是系数。
[0036] 所述步骤（3)的具体方法包括：
[0037] 第一步，针对已经检测到的所有的运动目标，分别对每一个目标i，首先利用 Kalman滤波器来预测该目标在下一帧中的坐标位置，此位置记为预测位置；
[0038] 第二步，针对下一帧中检测到的所有目标，对每一个目标j的坐标位置记为待定 位置；
[0039] 第三步，对某个i的预测位置，如果与其距离最近的待定位置是目标j的位置，同 时针对该目标j的待定位置，与其距离最近的预测位置是i的位置，则说明目标i与目标j 匹配成功，即跟踪成功，然后再用j的信息来更新旧目标i的信息，并同时根据目标j的位 置与运动信息来更新Kalman滤波器，以调整其参数，进行更加鲁棒性的预测。
[0040] 第四步，对于没有匹配成功的某个目标i的预测位置，说明该目标已经消失，因而 将该目标从跟踪列表中清除即可；对于没有匹配成功的目标j的待定位置，说明目标j为新 出现的目标，则为其开辟新的存储空间，并初始化其运动轨迹。
[0041] 所述步骤（3)中，已知在视频的第η帧中的某个目标，去搜寻第n+1帧及后续帧中 该目标的位置等信息，如果找到了，就说明跟踪成功；否则，可能就跟踪失败或者是目标消 失。
[0042] 本发明的有益效果为：
[0043] (1)通过对传统背景建模方法与多连通域融合方法的有效结合，使得在前景与背 景对比度较低的环境下也能够进行准确的前景目标检测，为后续运动跟踪与轨迹分析奠定 了基础；
[0044] (2)采用Kalman滤波结合最小空间距离法进行运动目标跟踪，其中利用Kalman滤 波来预测运动目标在下一帧中的大致位置，再结合最小空间距离来精确地进行目标定位， 该跟踪方法的适应性更强，同时减少了计算量和计算复杂度。
【专利附图】
【附图说明】
[0045] 图1为Vibe算法模型示意图；
[0046] 图2a为本发明两个连通域的一种位置关系示意图；
[0047] 图2b为本发明两个连通域的一种位置关系示意图；
[0048] 图2c为本发明两个连通域的一种位置关系示意图；
[0049] 图3a为Vibe算法检测结果与改进后的算法检测结果对比图；
[0050] 图3b为Vibe算法检测结果与改进后的算法检测结果对比图；
[0051] 图4a为跟踪方法实验结果对比图；
[0052] 图4b为跟踪方法实验结果对比图；
[0053] 图5为改进的算法流程图。
【具体实施方式】：
[0054] 下面结合附图与实施例对本发明作进一步说明。
[0055] 在运动目标检测方法中，本发明采用改进后的Vibe前景检测算法，即基本的Vibe 背景建模算法和多连通域融合算法相结合的新方法。
[0056] 基本的Vibe背景建模算法的思想就是为每个像素点存储一个样本集，样本集中 采样值就是该像素点过去的像素值和其邻域的像素值，然后将每一个新的像素值和样本集 进行比较来判断是否属于背景点，同时其采用了随机选择机制和邻域传播机制来建立和更 新背景模型。它对于各种视频流、不同颜色空间、多种场景内容及变化的场景都适用，从而 有效的提高了准确度，增加了抗噪能力和减少了计算负载。
[0057] 如图1所示，为每个像素点pt (X)建立一个包含N个样本的背景模型：
[0058] M(x) = {p1； p2, . . . , pN} (1)
[0059] 通过比较待分类像素 pt(x)与背景模型M(x)的相似度，即可判断出该像素是前景 还是背景。如果相似，即判断为背景，否则为前景。其中相似度按如下方式来定义：如上图 1所示，定义一个以P t (X)为球心，R为半径的球体SK (pt (X))，用A来表示球体与背景模型的 交集，即可用来判断相似度：
[0060] A= {SE(pt(x)) Π {ρ1； ρ2, . . . , ρΝ}} (2)
[0061] 当Α大于一个给定的阈值时，待分类像素即为背景，否则为前景。
[0062] 但由于像建筑物楼道等环境具有光线差，摄像机质量不高，拍出的视频对比度较 低等缺点，往往会导致用Vibe算法的检测精度变差，因而本发明在此基础上提出了基于空 间位置分布特征的多连通域融合算法，通过分析先前由Vibe算法分割得到的数个连通域 之间的空间分布关系，将属于同一运动目标的不同连通域进行融合。用改进后的算法进行 运动检测，就会得到更加精确的检测结果。
[0063] 在经过Vibe算法进行前景分割后，如果同一个目标被分割成了很多个目标块，那 这些目标块的最小外接矩形在相对位置上还是存在一定的位置关系的：一是较小的框完全 被较大的框所包含，如图2a所示；二是两个框之间有交集，但并不完全包含，如图2b所示； 三是两个矩形框之间并没有交集，但是他们主要成上下关系，且距离较近，如图2c所示。 [0064] 针对如上所述的三种情况，我们有如下的解决方案：
[0065] 假设有两个矩形窗分别为A和B，宽度分别记为W(A)和W(B)，高度记为H(A)和 11出），中心点坐标记为〇^仏)，7仏)）、（以8)，7?))，则两个框中心点的水平距离为 ：
[0066] Xd = | X (A) -x (B) (3)
[0067] 垂直距离为：
[0068] Yd = I y (A) -y (B) (4)
[0069] 针对上述的第一种关系，S卩如果符合判决条件1，即：
[0070] Xd<|WKA)-WKB)|/2 (5)
[0071] 和
[0072] Yd^ |H(A)-H(B) |/2 (6)
[0073] 则说明它们符合第一种关系，因而直接就把被包含在内部的矩形框去掉即可。
[0074] 而针对后两种关系的处理方式是相似的，即先判断如果符合判决条件2,即：
[0075] Xd 彡 a i X | W ⑷ +W ⑶ | /2 (7)
[0076] 和
[0077] Yd 彡 α 2 X | Η ⑷ +H ⑶ | /2 (8)
[0078] 或者是满足：
[0079] Xd 彡 β i X | W ⑷ +W ⑶ | /2 (9)
[0080] 和
[0081] Yd 彡 β2Χ |H⑷+H⑶ |/2 (10)
[0082] 则把这几个矩形框的最大外接矩形画出来，把内部的矩形框全部删除即可。其中， αι、α2、^和β2是系数，经过大量实验后可得出当这四个系数分别取1. 1、1. 1、1.5和 0. 25时会得到精确的检测结果。
[0083] 部分实验结果如图3 (a)、（b)所示：
[0084] 其中左侧一纵列是由Vibe算法进行前景检测的结果，而右侧一纵列则是通过改 进后的方法的检测结果。
[0085] 在运动目标跟踪方法中，实现的主要功能是对前期检测到的前景运动对象进行跟 踪，也就是确定同一目标体在图像序列的不同帧中的位置的过程。即已知在视频的第η帧 中的某个目标，去搜寻第η+1帧及后续帧中该目标的位置等信息，如果找到了，就说明跟踪 成功；否则，可能就跟踪失败或者是目标消失。
[0086] 如图5所示，本发明在跟踪模块提出了基于空间距离的目标跟踪方法，即是指相 邻两帧视频图像中的目标在二维空间中相距有多远。为简单起见，把运动目标的最小外接 矩形的中心代表该目标在图像上的位置。采用空间距离来作为判断依据，既能节省了存储 空间，又同时减少了计算量和计算复杂度。
[0087] 本发明中运动跟踪方法的具体步骤如下：
[0088] 第一步，针对已经检测到的所有的运动目标，分别对每一个目标i，首先利用 Kalman滤波器来预测该目标在下一帧中的坐标位置，此位置记为预测位置；
[0089] 第二步，针对下一帧中检测到的所有目标，对每一个目标j的坐标位置记为待定 位置；
[0090] 第三步，对某个i的预测位置，如果与其距离最近的待定位置是目标j的位置，同 时针对该目标j的待定位置，与其距离最近的预测位置是i的位置，则说明目标i与目标j 匹配成功，即跟踪成功，然后再用j的信息来更新旧目标i的信息，并同时根据目标j的位 置与运动信息来更新Kalman滤波器，以调整其参数，进行更加鲁棒性的预测。
[0091] 第四步，对于没有匹配成功的某个目标i的预测位置，说明该目标已经消失，因而 将该目标从跟踪列表中清除即可；对于没有匹配成功的目标j的待定位置，说明目标j为新 出现的目标，则为其开辟新的存储空间，并初始化其运动轨迹。跟踪效果图如图4a、图4b所 示，本方法能够准确对运动目标进行跟踪。
[〇〇92] 上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范 围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不 需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【权利要求】
1. 一种改进的运动目标检测与跟踪方法，其特征是：包括以下步骤： (1) 利用Vibe算法对检测的像素点进行分割：为每个像素点建立一个背景模型，比较 待分类像素与背景模型的相似度，若相似度满足设定值，则判断该像素为背景，否则为前 景； (2) 根据Vibe算法分割得到的连通域的空间分布关系，判断其是否为同一运动目标， 如果判断结果为是，则进行连通域合并，直到目标检测完成； (3) 对前期获取到的运动对象进行跟踪，利用Kalman滤波器结合最小空间距离算法来 预测每个运动对象的坐标位置，并进行不断更新、跟踪，清除消失的运动对象并不断记录运 动对象的新坐标位置。
2. 如权利要求1所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（1) 的具体方法为：为每个像素点Pt(x)建立一个包含N个样本的背景模型： Μ(χ) = {ρ1； ρ2,. . . , ρΝ} 通过比较待分类像素 Pt(x)与背景模型Μ(χ)的相似度，即可判断出该像素是前景还是 背景，如果相似，即判断为背景，否则为前景。
3. 如权利要求2所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（1) 中，相似度的判断方法为：定义一个以Pt (X)为球心，R为半径的球体SK (pt (X))，用Α来表示 球体与背景模型的交集，用来判断相似度： A= {SE(pt(x)) Π {ρ1； ρ2,. . . , ρΝ}} 当Α大于一个给定的阈值时，待分类像素即为背景，否则为前景。
4. 如权利要求1所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（2) 的具体为：通过Vibe算法对前景分割存在以下情况：经过Vibe算法进行前景分割后，如果 同一个目标被分割成了很多个目标块，那这些目标块的最小外接矩形在相对位置上还是存 在一定的位置关系的：一是较小的框完全被较大的框所包含；二是两个框之间有交集，但 并不完全包含；三是两个矩形框之间并没有交集，但是他们成上下关系，且质心之间的水平 与垂直距离都小于一定的阈值。
5. 如权利要求4所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（2) 的具体方法为：假设有两个矩形窗分别为A和B，宽度分别记为W(A)和W(B)，高度记为H(A) 和H(B)，中心点坐标记为（x(A)，y(A))、〇^)， 7?))，则两个框中心点的水平距离为： Xd = | X (A) -x (B) 垂直距离为： Yd = | y ⑷-y ⑶ 所述步骤（2)中，如果是较小的框完全被较大的框所包含，则符合判决条件1，即： Xd< |W㈧-W⑶ |/2 和 Yd 彡 |H(A)-H(B) |/2 直接将被包含在内部的矩形框去掉即可。
6. 如权利要求5所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（2) 中，如果两个框之间有交集，但并不完全包含，则符合判决条件2,即： Xd 彡 α，|W⑷+W(B) |/2 和 Yd< α2χ |H⑷+H(B) 1/2。
7. 如权利要求5所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（2) 中，如果两个矩形框之间并没有交集，但是他们成上下关系，且质心间的水平与垂直距离都 小于一定的阈值，则符合以下条件，即： Xd< |W(A)+W⑶ |/2 和 Yd< β2Χ |H(A)+H⑶ 1/2 则把这几个矩形框的最大外接矩形画出来，把内部的矩形框全部删除即可，其中，a i、 α 2、β i和β 2是系数。
8. 如权利要求1所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（3) 的具体方法包括： 第一步，针对已经检测到的所有的运动目标，分别对每一个目标i，首先利用Kalman滤 波器来预测该目标在下一帧中的坐标位置，此位置记为预测位置； 第二步，针对下一帧中检测到的所有目标，对每一个目标j的坐标位置记为待定位置； 第三步，对某个i的预测位置，如果与其距离最近的待定位置是目标j的位置，同时针 对该目标j的待定位置，与其距离最近的预测位置是i的位置，则说明目标i与目标j匹配 成功，即跟踪成功，然后再用j的信息来更新旧目标i的信息，并同时根据目标j的位置与 运动信息来更新Kalman滤波器，以调整其参数，进行更加鲁棒性的预测； 第四步，对于没有匹配成功的某个目标i的预测位置，说明该目标已经消失，因而将该 目标从跟踪列表中清除即可；对于没有匹配成功的目标j的待定位置，说明目标j为新出现 的目标，则为其开辟新的存储空间，并初始化其运动轨迹。
9. 如权利要求1所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤（3) 中，将已经成功跟踪的所有目标的最小外接矩形彩色前景保存到前景容器中，将每个目标 在每一帧的位置及大小信息保存到目标列表中，将经过Vibe背景建模得到的所有背景保 存在背景容器中。
10. 如权利要求1所述的一种改进的运动目标检测与跟踪方法，其特征是：所述步骤 (3)中，已知在视频的第η帧中的某个目标，去搜寻第n+1帧及后续帧中该目标的位置等信 息，如果找到了，就说明跟踪成功；否则，可能就跟踪失败或者是目标消失。
【文档编号】G06T7/20GK104063885SQ201410353072
【公开日】2014年9月24日 申请日期:2014年7月23日 优先权日:2014年7月23日
【发明者】曹建荣, 徐阳, 李振宇, 孙雪梅 申请人:山东建筑大学