专利名称：一种目标检测跟踪方法和装置的制作方法
技术领域：
本发明涉及一种目标检测跟踪方法和装置，特别是一种利用数据库匹配进 行目标检测跟踪的方法和装置。
背景技术：
目标检测跟踪在视频监控领域应用广泛，现有技术中很多方法都可以用来 进行目标4企测和跟踪。目前常用的目标检测方法有帧差法及背景减法这两种常 用的方法的特点都是需要两帧以上的图像，而常用的目标跟踪方法有粒子滤波 算法、均值偏移算法等，这些方法要么运算复杂程度高(如粒子滤波算法)，不 能实时运行，要么抗干扰能力不强容易受背景干扰(如均值偏移算法)。最近也 有一些新的跟踪方法提出，但是大都算法复杂度很高，难以实际应用。发明内容有鉴于此，本发明的目的在于提供一种目标检测跟踪方法和装置，可以在 一帧图像中进行目标检测，目标跟踪，且算法复杂度低，易于进行实时检测。 对于目标跟踪中的遮挡问题不需要建立复杂的模型。为了达到上述目的，本发明一种目标检测跟踪方法，包括 检测当前输入图像中的运动像素点； 对运动像素点进行连通性分析，获得多个连通的运动区域； 获取运动区域的运动目标和运动目标的特征信息，并与运动目标数据库中 的所有运动目标的特征信息进行匹配；根据匹配结果更新运动目标数据库中的特征信息；所述运动目标数据库在系统初始化时生成，具体包括当前输入图像中的所有运动目标的特征信息和/或历史输入图像中的全部或部分运动目标的特征信 台
进一步地，对运动像素点进行连通性分析，获得多个连通的运动区域的方法包括
将输入图像进行二值化处理；
对二值化图像进行形态学滤波，获得二值化图像中的闭合区间；和 去除包括非闭合区间和面积小于阈值的孤立区域，并填充二值化图像中的 闭合区间的空洞。进一步地，所述获得二值化图像中的闭合区间包括以下步骤获取二值化 图4象中的边界；和
对能够闭合的区间外围用几何图形框定，形成二值化图像的闭合区间。
进一步地，所述运动区域的运动目标的特征信息与运动目标数据库中的所 有运动目标的特征信息进行匹配的方法包括选取当前帧运动目标运动区域和运动目标数据库中的运动目标所在的区域；
确定所述两类运动区域的运动目标中心位置和运动区域范围参数； 计算运动区域的运动目标的特征信息与运动目标数据库中的所有运动目标的特征信息之间的相似性值，其中运动目标的特征信息为图像像素点集合或者 区域颜色直方图构成的图像特征；数据库中的运动目标是否匹配；和将已匹配的运动目标在当前帧运动目标中和运动目标剩余:据库中去除并继续进一步地，所述运动区域的运动目标的特征信息与运动目标数据库中的所 有运动目标的特征信息进行匹配的方法为
选取当前输入图像中的运动目标运动区域为,运动目标数据库中的目 标运动区域为<formula>formula see original document page 7</formula> ,其中Ai与Bj的图像特征分别为<formula>formula see original document page 7</formula>
所述图像特征为归 一化的区域颜色直方图PA和PB分别代表直方图中的每一个元素，h为直方图中的每一个坐标点，H代表直方图中的最大的坐标值； 取运动区域的范围为矩形，Ai与Bj所处的矩形区域中心位置为(XA, YA) 和矩形大小为(^A)和KA),其中w表示矩形的宽度，h表示矩形的 高度，则4与^的相似性值为1^4-义fll l力H ( ^Zf其中r， ， 为常数，分别计算(4t与W》i每个分量之间的相似取所有相似性值中的最大值c/(4， a)=max(w, 与 一预先设定的阔值比较，如果大于等于该阈值则4和^匹配；去除已经匹配的4和& ,并继续匹配直至运动区域中没有运动目标或者运 动目标数据库中没有运动目标剩余。进一步地，所述才艮据匹配结果更新运动目标萄:据库中的特征信息的方法包括以所述运动区域中的运动目标的特征信息更新运动目标ft据库中匹配的运动目 标的特征信息；2) 运动区域中有运动目标没有匹配上时，将这些未匹配的运动目标作为 新出现的运动目标添加到运动目标数据库中；3) 运动目标翁:据库中有运动目标没有匹配上时，将这些未匹配的运动目 标从运动目标数据库中删除。进一步地，将3)中没有匹配上的运动目标的特征信息保留若千帧，如果 一直都没有^t匹配上则将其在运动目标数据库中删除。进一步地，将2)中没有匹配上的运动目标的特征信息保留若干帧，如果 一直没有匹配上则将其加入运动目标凄t据库中。进一步地，如果当前帧中有某一运动目标没有匹配上或虽然匹配上^f旦运动 目标大小变化超过了阈值，根据目标数据库中的该运动目标的特征信息搜索该 运动目标附近的运动区域，在搜索到的运动区域中通过近似估算得到当前帧该 运动目标的位置信息，更新运动目标的运动轨迹，并保持其他运动目标的特征 信息。进一步地，所述根据目标数据库中的该运动目标的特征信息搜索该运动目 标附近的运动区域的方法包括根据所述某一运动目标的运动速度、运动方向和运动加速度搜索该运动目 标所可能处于的位置及其邻近位置。进一步地，所述在搜索到的运动区域中通过近似估算得到当前帧该运动目 标的位置信息，更新运动目标的运动轨迹的方法包括将搜索过的位置中的运动目标认定为所述某一未匹配上的运动目标，更新 所述未匹配目标的位置信息，保持其他运动目标的特征信息继续估计该运动目 标的位置信息以此更新运动目标的运动轨迹。另一方面，本发明提供 一种目标检测跟踪装置，其包括前景检测模块，用于检测输入图像中的运动像素点；区域分析模块，用于对所述运动像素点采用形态学滤波进行连通性分析；信息匹配模块，用于获取运动区域的运动目标和运动目标的特征信息，并 与运动目标数据库中的所有运动目标的特征信息进行匹配；运动目标数据更新模块，用于根据匹配结果更新运动目标数据库中的特征4吕息。显示模块，用于输出匹配后所有运动目标的位置和运动轨迹。 进一步地，所述运动目标的特征信息包括运动目标的大小、运动方向、瞬 时速度、运动轨迹和运动目标的图像特征中的一种或多种。本发明一种目标检测跟踪的方法和装置，克服现有方法的不足，提出一种 快速高效、适用于视频监控环境的多目标跟踪方法和装置。本发明提出的方法 将运动目标检测与目标跟踪结合起来，在运动目标检测的基础上，利用信息匹 配的技术，通过对相邻帧图像上检测到的运动目标进行匹配来实现目标跟踪， 算法复杂程度低、运行速度快，跟踪效果好，可以实时跟踪多个运动目标。
图1是本发明一种目标检测跟踪装置的一个具体实施例系统框图。
具体实施方式
为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图 及具体实施例对本发明再作进一步详细的说明。
本发明提出的目标检测跟踪的方法，分以下几个步骤 步骤l.检测当前输入图像中的运动像素点；对于运动像素点的检测可以采用多种现有的运动检测技术，目前常用的运 动目标检测方法包括时间差分法(Temporal Difference )和背景差分法 (Background Subtraction )。时间差分法，又称为帧间差分法，通过假设背景图 像中像素点的像素值和位置都不变，从而分离背景图像和前景图像。时间差分 法有多种实现方法，其中一种是在连续的视频图像(也称为视频流)，或者图像 序列的各帧图像之间进行绝对差分运算， 一个视频流或者图像序列中的两帧图 像进行绝对差分运算得到差分图像，再对差分图像进行阈值化处理得到二值化 图像。背景差分法是通过当前帧图像与平均背景图像进行差分运算，分离出背 景图像和前景图像。步骤2.对运动4象素点进行连通性分析，获得多个连通的运动区域。具体包括对当前输入图像进行二值化处理。采用形态学滤波对二值化后的图像进行滤波，获得滤波后的二值化图像边 界。形态学滤波可以采用膨胀运算、腐蚀运算、开运算、关运算等，这些运算 都是现有技术，在此不作赘述。对于能够闭合的边界曲线获得若干闭合区间，对能够闭合的区间外围用几 何图形框定，形成二值化图像的闭合区间，去除包括非闭合区间和面积小于预 先设定的阈值的孤立闭合区域，并填充二值化图像中的闭合区间内的空洞。经 过上述处理后保留的为连通区域中大于上迷阈值的区域。步骤3.获取运动区域的运动目标和运动目标的特征信息，并与运动目标数 据库中的所有运动目标的特征信息进;f亍匹配。首先预先建立运动目标数据库。所述运动目标数据库主要记录所有运动目 标的的大小、运动方向、瞬时速度、运动轨迹以及运动目标的图像特征等，可 以根据实际需要适当的设置需要记录的信息。在系统初始化过程中将第一次检 测到的所有运动目标的特征信息记录到该数据库中。其次选择相似性度量准则，可以有多种选择，本发明在一个具体的实施例 中提出一种优选的方式。具体如下 选取当前输入图像中的运动目标运动区域为{4t,运动目标数据库中的目 标运动区域为{5^=1 ,其中4与A的图像特征分别为A =说k。，,，...^和取运动区域的范围为矩形，图像特征为归一化的区域颜色直方图，A和A分别代表直方图中的每一个元素，h为直方图中的每一个坐标点，H代表直方图中的最大的坐标值；4与A所处的矩形区域中心位置为(x"h)和(&,&)，矩形大小为(^,&)和~SA)，其中w表示矩形的宽度，h表示矩形的高度，则4与^的相似性值为其中，CT" ，C^为常数，分别计算{4}仏与{^}^每个分量之间的相似性值d(4，A), z、l，2,…M, j、l，2,…iV;取所有相似性值中的最大值d(4， A) = max(W(4, 与 一预先设定的阈值比较，如果大于等于该阈值则4和^匹配；所述阔值一般都是根据实际需要指定的，对于不同的应用环境，所采用的阈值也不尽相同，在一个具体的实施 例中直接取相似性值中的最大值也是可行的。去除已经匹配的4和A,并继续匹配直至运动区域中没有运动目标或者运 动目标数据库中没有运动目标剩余。步骤4.根据匹配结果更新运动目标数据库中的特征信息； 更新运动目标数据库的步骤包括三种情况1) 运动区域中的运动目标和运动目标数据库中的运动目标完全匹配时， 以所述运动区域中的运动目标的特征信息更新运动目标数据库中匹配的运动目 标的特征信息。这表明所有目标都在监控范围内运动，只需要更新数据库中的运动目标的 特征信息即可2) 运动区域中有运动目标没有匹配上时，将这些未匹配的运动目标作为 新出现的运动目标添加到运动目标数据库中。这表明有新的物体出现，需要将这些未匹配的运动区域作为新出现的运动 目标添加到数据库中。 3)运动目标数据库中有运动目标没有匹配上时，将这些未匹配的运动目 标从运动目标数据库中删除。这表明有运动目标离开了监控范围，需要将这些未匹配的运动目标从数据 库中删除。实际情况下，由于误差和噪声的存在，对于运动区域或运动目标数据库中 没有匹配上的运动目标，可以先暂时保留其特征信息，并在以后连续几帧(一 般5到10帧)图像中进行匹配，如果一直都没有匹配，就认为是新的运动目标 出现(情况2))或者现有运动目标离开视野(情况3 ))。实际情况下，遮挡情况经常发生，尤其是基于交通管理的视频监控。针对 这种情况，本发明提出一种根据运动目标形状、位置上的连续性来解决遮挡问 题的方法。设当前帧运动目标数据库中有某一运动目标没有匹配上或者虽然匹配上但 是目标大小发生了较大的变化，同时，该目标的位置远离监控范围的出入口处， 一般就是出现了遮挡的情况即该运动目标与其他运动目标重叠成新目标，或者 该运动目标与其他重叠的运动目标分离形成若干新目标。监控范围出入口指的是一个运动物体在前后帧中的位置应该是大致重合 的，如果出现了前后范围之间有较大的差异，则认为远离监控范围出入口，具 体差异的范围可以随着监控精度的需要进行调整。这时可以才艮据运动目标数据库中的该运动目标的位置、大小运动方向、运 动速度或运动加速度等信息，搜索该运动目标可能出现的区域及其相邻的运动 区域，将被搜索的运动区域中获取的运动目标设定为被遮挡的运动目标，并以 此得到当前帧该运动目标的位置信息，更新运动目标的运动轨迹，而该运动目 标的其他信息如运动方向、瞬时速度、图像特征等均保持不变，这样可以在遮 挡结束后再次正确定位该目标。在目标被遮挡的情况下，是不能得到准确的位 置信息的，只能估算，在一个具体的实施例中，假设目标在当前一小段时间内 是匀速运动的，就可以按照目标的运动速度以及上一帧的位置估计当前帧目标 的位置。本发明还提供一种目标检测跟踪装置，参看图l所示，在一个具体的实施 例中所述装置包括
前景检测模块，用于检测输入图像中的运动像素点；区域分析模块，用于对所述运动像素点采用形态学滤波进行连通性分析；信息匹配模块，用于获取运动区域的运动目标和运动目标的特征信息，并 与运动目标数据库中的所有运动目标的特征信息进行匹配；运动目标数据更新模块，用于根据匹配结果更新运动目标数据库中的特征 信息。显示模块，用于输出匹配后所有运动目标的位置和运动轨迹。 上述模块的具体功能均已有具体详尽的描述，在此不作赘述。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
权利要求
1. 一种目标检测跟踪方法，包括检测当前输入图像中的运动像素点；对运动像素点进行连通性分析，获得多个连通的运动区域；获取运动区域的运动目标和运动目标的特征信息，并与运动目标数据库中的所有运动目标的特征信息进行匹配；根据匹配结果更新运动目标数据库中的特征信息；所述运动目标数据库在系统初始化时生成，具体包括当前输入图像中的所有运动目标的特征信息和/或历史输入图像中的全部或部分运动目标的特征信息。
2. 根据权利要求1所述的方法，其特征在于，对运动像素点进行连通性分 析，获得多个连通的运动区域的方法包括将输入图像进行二值化处理；对二值化图像进行形态学滤波，获得二值化图像中的闭合区间；和 去除包括非闭合区间和面积小于阈值的孤立区域，并填充二值化图像中的 闭合区间的空洞。
3. 根据权利要求2所述的方法，其特征在于，所述获得二值化图像中的闭 合区间包括以下步骤获耳又二值化图像中的边界；和对能够闭合的区间外围用几何图形框定，形成二值化图像的闭合区间。
4. 根据权利要求1所述的方法，其特征在于，所述运动区域的运动目标的 特征信息与运动目标数据库中的所有运动目标的特征信息进行匹配的方法包 括选取当前帧运动目标运动区域和运动目标凌t据库中的运动目标所在的区域；确定所述两类运动区域的运动目标中心位置和运动区域范围参数； 计算运动区域的运动目标的特征信息与运动目标数据库中的所有运动目标的特征信息之间的相似性值，其中运动目标的特征信息为图像像素点集合或者区域颜色直方图构成的图像特征；利用两者之间的相似性值判断当前运动目标区域中的运动目标与运动目标数据库中的运动目标是否匹配；和将已匹配的运动目标在当前帧运动目标中和运动目标数据库中去除并继续 匹配直至运动区域中没有运动目标或者运动目标数据库中没有运动目标剩余。
5. 根据权利要求4所述的方法，其特征在于，所述运动区域的运动目标的 特征信息与运动目标数据库中的所有运动目标的特征信息进行匹配的方法为选取当前输入图像中的运动目标运动区域为{4}-,运动目标数据库中的目 标运动区域为{R}^ ,其中4与&的图像特征分别为A = 和<formula>formula see original document page 3</formula>所述图像特征为归一化的区域颜色直方图^和^分别代表直方图中的每一个元素，h为直方图中的每一个坐标点，H代表直方图中的最大的坐标值； 取运动区域的范围为矩形，J,与&所处的矩形区域中心位置为(a,力)和(&,力)，矩形大小为(wA,hA和(WH, hH),其中w表示矩形的宽度，h表示矩形的 高度，则4与^的相似性值为<formula>formula see original document page 3</formula>其中 X，， ， 为常数，分别计算(4t与A&每个分量之间的相似 性值d(4，A), z、l,2,…M， y = l,n;取所有相似性值中的最大值<formula>formula see original document page 3</formula>与 一预先设定的阈值比较，如果大于等于该阔值则4和^匹配；去除已经匹配的4和A,并继续匹配直至运动区域中没有运动目标或者运 动目标数据库中没有运动目标剩余。
6. 根据权利要求1所述的方法，其特征在于，所述根据匹配结果更新运动 目标数据库中的特征信息的方法包括1) 运动区域中的运动目标和运动目标数据库中的运动目标完全匹配时， 以所述运动区域中的运动目标的特征信息更新运动目标数据库中匹配的运动目 标的特征信息；2) 运动区域中有运动目标没有匹配上时，将这些未匹配的运动目标作为 新出现的运动目标添加到运动目标数据库中；3) 运动目标数据库中有运动目标没有匹配上时，将这些未匹配的运动目
7. 根据权利要求6所述的方法，其特征在于，将3)中没有匹配上的运动 目标的特征信息保留若干帧，如果一直都没有被匹配上则将其在运动目标数据 库中删除。
8. 根据权利要求6所述的方法，其特征在于，将2)中没有匹配上的运动 目标的特征信息保留若干帧，如果一直没有匹配上则将其加入运动目标数据库中。
9. 根据权利要求1所述的方法，其特征在于，如果当前帧中有某一运动目 标没有匹配上或虽然匹配上但运动目标大小变化超过了阈值，根据目标数据库 中的该运动目标的特征信息搜索该运动目标附近的运动区域，在搜索到的运动 区域中通过近似估算得到当前帧该运动目标的位置信息，更新运动目标的运动 轨迹，并保持其他运动目标的特征信息。
10. 根据权利要求9所述的方法，其特征在于，所述根据目标数据库中的 该运动目标的特征信息搜索该运动目标附近的运动区域的方法包括根据所述某一运动目标的运动速度、运动方向和运动加速度4叟索该运动目 标所可能处于的位置及其邻近位置。
11. 根据权利要求10所述的方法，其特征在于，所述在搜索到的运动区域 中通过近似估算得到当前帧该运动目标的位置信息，更新运动目标的运动轨迹 的方法包括将搜索过的位置中的运动目标认定为所述某一未匹配上的运动目标，更新 所述未匹配目标的位置信息，保持其他运动目标的特征信息继续估计该运动目 标的位置信息以此更新运动目标的运动轨迹。
12. —种目标检测跟踪装置，其包括 前景检测模块，用于检测输入图像中的运动像素点； 区域分析模块，用于对所述运动像素点采用形态学滤波进行连通性分析； 信息匹配模块，用于获取运动区域的运动目标和运动目标的特征信息，并与运动目标数据库中的所有运动目标的特征信息进行匹配；运动目标数据更新模块，用于根据匹配结果更新运动目标数据库中的特征 信息。 显示模块，用于输出匹配后所有运动目标的位置和运动轨迹。
13.根据权利要求1-3、 7-12之一所述的方法，其特征在于，所述运动目标的特征信息包括运动目标的大小、运动方向、瞬时速度、运动轨迹和运动目 标的图像特征中的一种或多种。
全文摘要
一种目标检测跟踪方法，包括检测当前输入图像中的运动像素点，对运动像素点进行连通性分析，获得多个连通的运动区域，获取运动区域的运动目标和运动目标的特征信息，并与运动目标数据库中的所有运动目标的特征信息进行匹配，根据匹配结果更新运动目标数据库中的特征信息。
文档编号G06T7/20GK101393609SQ20081011996
公开日2009年3月25日 申请日期2008年9月18日 优先权日2008年9月18日
发明者磊 王, 英 黄 申请人:北京中星微电子有限公司