基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法

专利名称：基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法
技术领域：
本发明属于图像/视频后期处理技术领域，具体涉及一种基于粒子滤波和光流矢 量的视频目标跟踪方法的优化方法。
背景技术：
申请人:与本发明同时提交的名称为“一种基于粒子滤波和光流矢量的视频目标跟 踪方法”专利申请中，提供了一种结合粒子滤波和光流矢量来完成对视频目标进行跟踪的 方法。该方法的主要步骤可简要描述如下(1)将t时刻图像转化为灰度图，对灰度图进行高斯模糊，对高斯模糊后的灰度图 创建L级高斯金字塔，然后计算每级高斯金字塔图像在χ和y方向上的灰度梯度。(2)对t-Ι时刻图像的M个特征点根据灰度梯度求解其在t时刻图像中的位置偏 移和仿射变换参数。如果某个特征点丢失，则采用网格将跟踪目标搜索区域划分成与丢失特征点区域 大小相同的K个图像区域，利用图像灰度差的平方和匹配丢失特征点区域，估计丢失特征 点的近似位置；然后利用估计的近似位置作为初始位置重复步骤(2)，重新求解该特征点 在下一帧图像中的位置偏移和仿射变换参数；所述跟踪目标搜索区域是指在图像的哪个范 围中产生特征点的区域。(3)对t-Ι时刻图像的N个粒子重新进行采样，并对新采样的N个粒子利用随机数 或光流矢量进行重新分布；采用Newton迭代法求解特征点的光流矢量。(4)计算N个粒子的RGB直方图，并根据RGB直方图计算每个粒子的权重，然后将 N个粒子位置根据权重进行加权平均，得到跟踪目标t时刻图像的估计位置。(5)对估计位置进行稳定性比较计算，得到跟踪目标的最终位置。在上述方法中，涉及到大计算量的算法包括将RGB图像转换成灰度图的算法、求 金字塔模糊灰度图的算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上 一级金字塔数据的算法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、 用Newton迭代法求解特征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。在 视频目标跟踪技术领域中，对跟踪方法有实时性的要求，即要求跟踪方法的处理效率高。上 述方法由于涉及大量的计算，因此其跟踪效率较低，严重影响了该方法的应用范围。

发明内容
针对现有技术中存在的缺陷，本发明的目的是提供一种对基于粒子滤波和光流矢 量的视频目标跟踪方法的效率进行优化方法。为实现上述目的，本发明采用的技术方案为，一种基于粒子滤波和光流矢量的视 频目标跟踪方法的优化方法，该方法将基于粒子滤波和光流矢量的视频目标跟踪方法中所 涉及的每个大计算量算法在多CPU上并行计算，在每个CPU上运行一个线程，负责处理一部 分行数据，将所有行数据均勻分配到每个CPU上；当每个线程完成自己的任务后，向线程同步管理者发事件告知，当线程同步管理者在得到所有线程完成当前任务的时间都到来后， 启动所有线程开始后续任务事件；所述大计算量算法包括将RGB图像转换成灰度图的算法、求金字塔模糊灰度图的 算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上一级金字塔数据的算 法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、用牛顿迭代法求解特 征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。如上所述的优化方法，其中，在求金字塔模糊灰度图像的算法和求金字塔灰度梯 度图像的算法中，将二维卷积分解为两个一维卷积，先用图像的每一行与一维高斯函数进 行卷积，然后再对结果的每一列与一维高斯函数进行卷积，每次卷积在多CPU上并行计算。本发明所述方法，通过将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及 的大计算量算法在多CPU上同步计算的方式，大大提高了算法的运算速度，进而提高了整 个跟踪方法的效率，满足了对跟踪方法实时性的要求。
具体实施例方式下面结合具体实施方式
和附图
，对本发明进行详细描述。本发明的核心思想是将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及 的每个大计算量算法在多CPU上并行计算，在每个CPU上运行一个线程，负责处理一部分行 数据，将所有行数据均勻分配到每个CPU上；当每个线程完成自己的任务后，向线程同步管 理者发事件告知，当线程同步管理者在得到所有线程完成当前任务的时间都到来后，启动 所有线程开始后续任务事件。其中，大计算量算法包括将RGB图像转换成灰度图的算法、求金字塔模糊灰度图 的算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上一级金字塔数据的 算法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、用牛顿迭代法求解 特征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。下面对每个算法的具体优化方法进行描述。(1)将RGB转换成灰度图像的算法。在该算法中，每个像素可以单独计算，也能够使用多CPU进行并行计算。一个线程 运行在一个CPU负责一部分行数据的处理。将H行数据均勻分配到每个CPU上同时进行计 算。每个CPU分配的计算行数为H/CPUNumber，其中，H表示所有行的数量，CPUNumber表示 CPU的数量。由于产生灰度图像是后续计算的基础，所以需要进行多线程同步，在线程0上等 所有线程计算完成后进行下一步计算。基本方法是每个线程完成自己的任务后，向线程同 步管理者发事件告知已经完成任务，同时等待下一步任务事件的到来。当线程同步管理者 在得到所有线程完成当前任务的事件都到来后，启动所有线程开始下一步的任务事件。(2)求金字塔模糊灰度图像的算法。在该算法中，根据Gaussian(高斯)模糊的特点可以将二维卷积分解为两个一维 卷积先用图像的每一行与一维Gaussian function (高斯函数)进行卷积，然后再对上述 结果的每一列与一维Gaussian function进行卷积。最后的结果与直接进行二维卷积的结 果相同。用一维卷积取代二维卷积的优点是减少了计算次数并能更好地利用CPU的cache，
4从而达到提高效率的目的。一个线程运行在一个CPU上，负责一部分行数据卷积。每次卷积将H行数据均勻 分配到每个CPU上同时进行计算，每个CPU分配的计算行数H/CPUNumber。由于产生金字塔模糊灰度图像是后续计算的前提，所以需要进行多线程同步，在 线程0上等所有线程计算完成后进行下一步计算，基本方法与步骤(1)描述的方法相同。(3)求金字塔灰度梯度图像的算法。将灰度梯度的计算使用两次卷积完成，每次卷积将H行数据均勻分配到不同的 CPU上同时进行计算，每个CPU分配的计算行数H/CPUNumber。由于产生金字塔模糊灰度图像是特征点光流矢量计算的前提，所以需要进行多线 程同步，在线程0上等所有线程计算完成后进行下一步计算，基本方法与步骤(1)描述的方 法相同。(4)根据下一级金字塔数据采样上一级金字塔数据的算法。将上一级金字塔图像H行数据均勻分配到不同的CPU上，同时进行从下一级金字 塔图像采样数据，每个CPU分配的计算行数H/CPUNumber。由于产生金字塔数据是下一步计算的前提，所以需要进行多线程同步，在线程0 上等所有线程计算完成后进行下一步计算，基本方法与步骤(1)描述的方法相同。(5)特征点丢失后在搜索矩形区域中求解近特征点近似位置的算法。这个算法可以进行多CPU加速，但是我们可以考虑将它的计算放到6)算法的多 CPU处理步骤中，所以可以不处理。(6)用Newton迭代法求解特征点光流矢量的算法。将M个特征点均勻分配到不同的CPU上进行并行迭代计算，每个CPU分配的计算 特征点个数:M/CPUNumber。由于产生金字塔数据是粒子运动方向的前提，所以需要进行多线程同步，在线程0 上等所有线程计算完成后进行下一步计算，基本方法与步骤(1)描述的方法相同。(7)粒子RGB直方图计算和权重计算。将N个粒子均勻分配到不同的CPU上进行并行计算直方图和权重，每个CPU分配 的计算粒子个数N/CPUNumber。在基于粒子滤波和光流矢量的视频目标跟踪方法中，假设使用100个特征点，400 个粒子，如果不进行优化，完成一帧(720X576)图像目标的跟踪将需要98ms，而进行优化 后(采用四个Intel Core2 Q93002. 5GHz CPU)，只需要8ms，计算速度提高了 12倍。效果 非常好，使该方法满足了对跟踪方法实时性的要求，具备很强的实用性。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精 神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围 之内，则本发明也意图包含这些改动和变型在内。
权利要求
一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法，其特征在于该方法将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及的每个大计算量算法在多CPU上并行计算，在每个CPU上运行一个线程，负责处理一部分行数据，将所有行数据均匀分配到每个CPU上；当每个线程完成自己的任务后，向线程同步管理者发事件告知，当线程同步管理者在得到所有线程完成当前任务的时间都到来后，启动所有线程开始后续任务事件；所述大计算量算法包括将RGB图像转换成灰度图的算法、求金字塔模糊灰度图的算法、求金字塔灰度梯度图像的算法、根据下一级金字塔数据采样上一级金字塔数据的算法、特征点丢失后在搜索矩形区域中求解与特征点近似位置的算法、用牛顿迭代法求解特征点的光流矢量的算法、以及粒子RGB直方图计算和权重计算。
2.如权利要求1所述的一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方 法，其特征在于在求金字塔模糊灰度图像的算法和求金字塔灰度梯度图像的算法中，将二 维卷积分解为两个一维卷积，先用图像的每一行与一维高斯函数进行卷积，然后再对结果 的每一列与一维高斯函数进行卷积，每次卷积在多CPU上并行计算。
全文摘要
本发明公开了一种基于粒子滤波和光流矢量的视频目标跟踪方法的优化方法，属于图像/视频后期处理技术领域。该方法将基于粒子滤波和光流矢量的视频目标跟踪方法中所涉及的每个大计算量算法在多CPU上并行计算，在每个CPU上运行一个线程，负责处理一部分行数据，将所有行数据均匀分配到每个CPU上；当每个线程完成自己的任务后，向线程同步管理者发事件告知，当线程同步管理者在得到所有线程完成当前任务的时间都到来后，启动所有线程开始后续任务事件。该方法提高了基于粒子滤波和光流矢量的视频目标跟踪方法的效率，满足了对跟踪方法实时性的要求。
文档编号G06T1/20GK101923718SQ20091008640
公开日2010年12月22日 申请日期2009年6月12日 优先权日2009年6月12日
发明者刘铁华, 孙季川, 见良, 郑鹏程 申请人:新奥特(北京)视频技术有限公司