专利名称：一种基于在线场景特征聚类的多视角目标跟踪方法
技术领域：
本发明涉及一种在多视角复杂遮挡情况下，对场景中运动目标进行可靠及实时性跟踪的方法，属于计算机视觉技术领域。
背景技术：
基于多视角(Mult1-view)的目标跟踪在智能机器人视觉信息处理系统、无人驾驶车辆导航系统、无人机协同对地侦查系统、公共安全智能监控系统等领域具有广泛的应用。然而复杂环境中的多视角目标跟踪由于受到遮挡、目标外观变化、光照变化等影响，使得跟踪面临巨大的困难。目前提出的多视角目标跟踪方法大致分为两类基于图像空间的方法和基于融合空间的方法。其中，基于图像空间的方法是在各个视角图像上进行目标检测，然后联合各视角检测结果，运用几何、颜色、纹理和形状等信息，通过匹配实现目标对应。比如，可首先利用目标特征将前景分割出来，然后用贪婪搜索算法进行遮挡情况下的多视角目标跟踪；或者首先融合目标的外观和运动特征，然后采用卡尔曼滤波从水平和俯视两个角度对目标进行跟踪；还可利用递归贝叶斯估计处理遮挡情况下的多视角目标跟踪问题，在给定目标状态和先验假设的情况下，一旦遮挡发生，将生成多遮挡假设，并通过一个分离-合并策略予以验证；又或者可以利用隐马尔科夫过程和粒子滤波对目标协同跟踪等等。此类方法为了跟踪目标，在各个视角的二维图像空间中对目标进行建模。然而，当目标部分被遮挡时，目标颜色、形状、运动等特征的有效性大大降低；当目标被全部遮挡时，利用这些特征进行跟踪很可能发生错误，因而难以应用在复杂遮挡情况下。而基于融合空间的方法则是近年来新出现的思路，该类方法不在各个视角的二维图像上检测目标，而是先融合多视角信息，然后在融合空间中进行目标检测和跟踪。譬如，将多视角信息通过单应性变换统一折算到其中一个视角中，在该视角中进行融合，然后利用上下文知识跟踪目标；或者采用单应性占位约束和可靠几何构造来融合多视角信息，并通过在场景参考平面上定位目标来处理遮挡问题；还可将地平面占位图估计和动态规划相结合，利用目标生成模型计算每个位置的占位概率，将此概率和颜色-运动模型相结合，用Viterbi算法跟踪多个目标等等。公开号CN102243765A基于多相机的多目标定位跟踪方法及系统，所提出的方法属于基于融合空间的方法，但其提出的基于码本的背景减除法无法处理实际场景下背景的动态变化，当背景中包含摆动树叶或变化光照时，其检测结果会出现较大偏差。同时，其信息融合是在选定的其中一个视角中进行的，这会造成部分信息的损失，削弱其处理复杂遮挡情况的能力。其提出的最短路径跟踪算法过于简单，有可能在目标距离太近时造成跟错目标或跟踪发散。公开号CN101739690A多相机协同运动目标检测方法，也属于基于融合空间的方法，其使用混合高斯模型的背景差法对前景进行提取，同样无法对背景的动态变化进行处理。另外，虽然其选择在多个水平的投影约束平面上处理各视角信息的融合，但是其提出的连乘融合方法，没有考虑目标的高度时变性等因素。同时，该方法最后提出的二值化阈值方法检测目标的位置过于简单和理想化，在复杂情况容易造成误检测。Saad M. Khan 等人在 2OO9 年 IEEE Transactions on Pattern AnalysisandMachine Intelligence 上发表论文“Tracking Multiple Occluding People byLocalizingon Multiple Scene Planes”,其背景建模方法是混合高斯模型，同样存在无法对动态背景自适应估计的问题；其次，其信息融合是在某一选定的视角中进行，会造成遮挡信息的损失；最后，其选用的图割检测跟踪方法计算量无法满足实时处理的需要。总之，现有的多视角目标跟踪方法，特别是基于融合空间的方法，其存在的诸多局限性主要表现在(I)缺乏有效针对遮挡等复杂场景多视角目标建模方法。对研究对象进行建模时，要么未能对其进行精确的描述，要么建立的模型过于复杂，增加了后续处理的难度和复杂度；(2)未能处理好融合空间的选择和构建问题。不管是单一视角融合或是在单一参考平面融合信息都会造成部分有用信息的损失，使得实际环境下复杂的遮挡问题不能得到很好的解决；(3)缺乏有效的多视角目标跟踪器。现有的多视角跟踪方法要么过于简单，没有考虑复杂遮挡情况下场景具有高度时变性、不确定性和混杂性的因素，要么过于复杂，无法满足实时性要求。
发明内容
发明目的针对现有技术中存在的问题，本发明提供一种基于在线场景特征聚类的多视角目标跟踪方法。该方法可以有效抑制复杂环境中遮挡、目标外观变化、光照变化等变化对目标跟踪的不利影响，提高跟踪精度，同时满足实时应用的要求。技术方案一种基于在线场景特征聚类的多视角目标跟踪方法，包括如下步骤(I)步骤一以地平面基准，选取与其平行且等间距的若干虚拟参考平面，组成参考平面栈(stack)。同时，计算各摄像机视角到虚拟参考平面的映射矩阵。利用在线聚类方法计算每个视角的前景似然图。若像素值(颜色或灰度)与已有背景类不相似，则创建一个新的类；若像素值与已有背景类相似，则将像素值更新到已有类中；而当类长期未得到更新，则会动态删除该类。某视角图像中任意点P = (X，y)处的像素值记为I (X，y)，任意点P处的聚类总数记为Np，该点处第i个聚类表示为Ci，将类Ci的聚类中心像素值记为Vi (X，y)，任意点P第i个聚类Ci包含的元素个数记为。首先进行初始化，提取一帧图像，将其聚类数设置为Np=1，聚类中心设置为当前帧图像的像素值。下面进行模型在线更新，包括创建、更新和删除背景类。对于每一个待测图像帧，首先计算任意点P的像素值I (x，y)与各聚类中心的像素值差Dp，i = 11 (X，y) -Vi (x, y) | 其中/ e [o,jVp Cj )并求出所有差值中最小值Dmirvi，判断其是否满足Dmirvi > r，其中r是类半径，由系统根据像素概率密度分布图的峰值点自适应调节。若满足上述不等式，则表明点P与所有聚类都不相似，则要创建一个新类来记录点P。令新类为第m个类Cm，则创建过程如下vm(x,y) = I(x,y)NpCm = INp = Np+1若不满足Dmirvi > r,则说明在现有聚类中找到与点P相近的聚类，因此将点P的像素值I(x，y)更新到最近的聚类，设为Ck，其中心和元素个数更新为
权利要求
1.一种基于在线场景特征聚类的多视角目标跟踪方法，其特征在于，包括如下步骤 首先，以地平面基准，选取与其平行且等间距的若干虚拟参考平面，组成参考平面栈，同时，计算各摄像机视角到虚拟参考平面的映射矩阵；其次，利用在线聚类方法计算每个摄像机视角的前景似然图；再次，将各摄像机视角的前景似然图映射到场景中的参考平面栈，构建3D目标占位似 然分布场；最后，基于3D粒子滤波算法对场景中目标进行实时跟踪。
2.根据权利要求1所述的基于在线场景特征聚类的多视角目标跟踪方法，其特征在 于，用在线聚类方法计算每个视角的前景似然图，其操作过程如下计算任意点P的像素值 I (x, y)与各背景聚类中心的距离DRi = |l(X，y)_Vi(X，y) |，再根据距离判断该点p是否属 于已有聚类；若属于已有聚类，则更新类中心和元素个数为
3.根据权利要求1所述的基于在线场景特征聚类的多视角目标跟踪方法，其特征在 于，构建3D目标占位似然分布场，其操作过程如下通过参考平面中标志点和视角中具体像素位置的对应关系计算第i视角到参考平面 ^ j的映射关系，得到映射矩阵///，使A/ = HjPi，其中p”和Pi分别代表特征点在平面j 和第i个视角的位置。通过映射关系A,;#/A，将第i个视角的前景似然图^^映射到参考平面 '，映射后 的结果为目标占位似然信息，用表示；将n个视角的前景似然图都进行上述映射，并在每个虚拟参考平面上进行融合
4.根据权利要求1所述的基于在线场景特征聚类的多视角目标跟踪方法，其特征在于，基于3D粒子滤波算法对场景中目标进行实时跟踪，其操作过程如下 在连续t帧时间里，可以得到融合后的场景3D目标占位似然分布场Q1, Q2, Q3，…，Qt，由此再构造“时-空目标占位似然网格
全文摘要
本发明公开了一种基于在线场景特征聚类的多视角目标跟踪方法，首先，利用在线聚类方法计算每个视角的前景似然图，同时进行背景模型的在线更新；其次，将各视角的前景似然图映射到场景中的参考平面栈中，从而获得3D目标占位似然分布场信息；最后，基于3D粒子滤波算法对场景中目标进行实时跟踪，定位出目标的运动轨迹，同时求出目标尺寸、形状的变化，从而完成多目标的立体跟踪。本发明的对实际场景进行动态估计和更新，解决了传统背景建模无法真实模拟场景变化的问题；同时，选取场景中的参考平面栈作为特征空间进行信息融合，有助于遮挡等复杂情况的处理；此外，3D粒子滤波算法的提出大大加速了目标跟踪的实时性、准确性和鲁棒性。
文档编号G06K9/62GK103020989SQ20121051411
公开日2013年4月3日 申请日期2012年12月5日 优先权日2012年12月5日
发明者王鑫, 石爱业, 沈洁, 徐立中 申请人:河海大学