一种深度信息辅助粒子滤波跟踪方法
【技术领域】
[0001] 本发明属于计算机视觉和模式识别技术领域，尤其涉及一种深度辅助粒子滤波跟 踪方法。
【背景技术】
[0002] 计算机视觉是近年来快速发展的领域之一。他的研宄目的是使计算机可以代替人 类的感官，对所处环境进行感知并作出相应的判断处理。随着科学技术的发展，计算机视觉 领域的应用越来越广泛，无论是在军工或是民用方面。现在为了构建安全社会，监控摄像头 越来越多的被安装到了大街小巷。这些监控系统依靠摄像头，可以对感兴趣的目标进行跟 踪，但是怎样进行更好更精确的跟踪，是研宄者们非常感兴趣的研宄点。目标追踪的基本思 想是在序列图像中，根据视频序列，目标在时间和空间上的相关性，从而确定目标在每一帧 的位置和姿态。目标跟踪是一项所学科融合的复杂课题。他无论在军工还是民用方面都有 很广的应用前景。目标跟踪研宄的应用范围很广。除了上面提到的还可以用在视频压缩，裸 眼3D技术中，为了给其他处理让出足够的时间，目标跟踪对时间性的要求也越来越高。但 是由于许多客观因素的影响，依然没有一种可以应用于各种场景，并且实时性以及鲁棒性 都很卓越的非常成熟的跟踪方法被提出。研宄的难点在于：1.三维世界的信息被投影到了 二维的相机上，造成了信息的丢失；2.计算机处理速度影响实时性；3,光照的不均衡以及 物体的遮挡等。
[0003] 在目标跟踪中，一个目标被很好的跟踪的定义为，在每一帧图像中目标的位置和 形状都能被准确快速的推定。所以在目标追踪中，确定目标的位置信息和形态信息尤为关 键。目标跟踪的方法，大致可以分为三种：一.使用卡尔曼（kalmanFilter)滤波器或者粒 子滤波器（particleFilter)的基于滤波理论的目标跟踪方法即粒子滤波跟踪算法，该算 法将目标跟踪问题转化为概率密度函数的最优估计问题来跟踪目标，该算法具体包括初始 化粒子、移动粒子、直方图计算、相似性计算、重采样等几个步骤，其中移动粒子的步骤可以 使用粒子的一阶运动方程xt=Axh+Bw^或者二阶Xt=Axm+Bx^+Cw^来进行粒子的移 动，它表示粒子的这一时刻的位置与上一时刻或者上上时刻的位置再加上一个扰动系数w 有关，然而这一类跟踪方法计算量大耗时多，实时性有待提升；二.采用概率密度之间的相 似性函数度量目标和候选目标中间的相似性通过梯度下降算法推导出Mean-shift向量从 而对目标进行跟踪的基于Mean-shift的目标跟踪方法，这类跟踪方法计算量相对减小，但 是无法解决目标的遮挡问题；三.将目标的跟踪问题转化为泛函优化问题，通过偏微分方 程的求解得到泛函的极值，从而对目标进行跟踪的基于偏微分方程的目标跟踪方法，这类 方法的计算量也比较大。
[0004] GPU全称GraphicsProcessingUnit，即计算图形处理器。他的引入使得传统的 (PU的计算受到了挑战，GPU在浮点数据上的处理能力以及并行操作性是惊人的。所以目前 怎样在GPU上编写高效的并行程序也是一个研宄热点。
【发明内容】
[0005] 本发明的目的在于克服传统粒子滤波算法中从三维到二维图像平面投影所造成 的信息损失，提供了一种3D的目标跟踪方法，使得跟踪的鲁棒性得到了很大的提升。
[0006] 本发明具体采用如下技术方案：
[0007] -种深度信息辅助粒子滤波跟踪方法，其流程如图1所示，主要包括以下步骤：
[0008] 步骤1 :使用带有深度传感器的摄像头为前端，获取目标区域第一帧的RGB-D图像 数据；所述深度传感器能够探测并记录目标距该深度传感器的直线距离，所述RBG-D图像 数据包括图像的RGB数据及图像中每一像素点对应目标所在空间位置距深度传感器的距 离信息D;
[0009] 步骤2 :在第一帧图像中手动选择跟踪目标，并根据目标的RGB-D特征进行建模； 手动选择跟踪目标所在区域并定义为跟踪窗口H1，所述跟踪窗口的中心像素点深度为D1, 所述深度即为像素点对应目标所在空间位置距离所述深度传感器的直线距离；设置深度方 向阈值Dth= [0. 7DpI. 3DJ，根据阈值Dth定义窗口区域内第i个像素点的深度方向权重
【主权项】
1. 一种深度信息辅助粒子滤波跟踪方法，主要包括w下步骤： 步骤1 ;使用带有深度传感器的摄像头为前端，获取目标区域第一帖的RGB-D图像数 据；所述深度传感器能够探测并记录目标距该深度传感器的直线距离，所述RBG-D图像数 据包括图像的RGB数据及图像中每一像素点对应目标所在空间位置距深度传感器的距离 f目息D; 步骤2 ;在第一帖图像中手动选择跟踪目标，并根据目标的RGB-D特征进行建模；手动 选择跟踪目标所在区域并定义为跟踪窗口Hi,所述跟踪窗口的中屯、像素点深度为Di，所述 深度即为像素点对应目标所在空间位置距离所述深度传感器的直线距离；设置深度方向阔 值Dth，根据阔值Dth定义窗口区域内第i个像素点的深度方向权重《z，i;
其中，Di是跟踪窗口区域内第i个像素点的深度值；对跟踪窗口内的区域做深度信息 加权巧=畔.乂 ：每个像素点的颜色信息If乘W该像素点的深度方向权重《 即得该像 素点的深度信息加权值口,；跟踪窗口区域的深度信息加权颜色矩阵为?^ =[巧，…，巧，…];记 化st〇b,wd为跟踪窗口区域深度信息加权矩阵4的统计直方图，即化st〇b,wd为跟踪窗口区 域的RGB-D特征模型； 步骤3 ;通过所述前端获取第二帖的RGB-D图像数据； 步骤4 ;采用粒子滤波跟踪算法，初始化N个粒子并进行移动采样； 步骤5 ;把每个粒子W自身坐标为中屯、扩展成一个粒子区域； 步骤6 ;按照步骤2所述方法计算所述N个粒子区域的RGB-D特征并建模，得到每个粒 子区域的RGB-D特征模型化j= 1，…，N，；计算每个粒子区域的RGB-D特征模 型与所述的第一帖图像中跟踪窗口区域的RGB-D特征模型化st〇b,wd的相似度； 步骤7 ;从所述N个相似度中选出相似度最大值所对应的粒子区域，并将该区域对应的 粒子位置按照粒子滤波算法进行粒子重采样，得跟踪目标在第二帖图像中的具体区域； 步骤8 ;若所述前端获得了第S帖及后续图像，则对每一帖图像依次按步骤3至步骤7 所述方法进行操作，得跟踪目标在每一帖图像中的具体位置；若无则后续图像则退出执行， 完成目标跟踪。
2. 根据权利要求1所述的深度信息辅助粒子滤波跟踪方法，其特征在于，所述设置深 度方向阔值Dth=化7D。1.3Di]。
3. 根据权利要求1所述的深度信息辅助粒子滤波跟踪方法，其特征在于，具体采用W 下方法实现步骤5所述的粒子区域的扩展： 基于所述目标区域Hi的形状及其中屯、点的深度〇1，利用相似S角形原理，把每个粒子W自身坐标为中屯、扩展成一个粒子区域，即每个粒子区域的形状与所述目标区域Hi的形状 一致，且每个粒子区域的边长与所述目标区域Hi的对应边长的比值等于所述粒子区域的中 屯、粒子的深度与所述目标区域Hi的中屯、点深度D1的比值。
【专利摘要】本发明公开了一种深度信息辅助粒子滤波跟踪方法，通过带深度传感器的摄像头如Kinect摄像头对图像进行采集，获取RGB以及深度数据。跟踪时，首先在第一帧选取一个跟踪目标，获得跟踪区域窗口大小，依据选取目标RGB信息，中心点深度值以及整个区域深度数据对跟踪目标进行特征建模,并按上述方法继续下一帧图像的建模。根据粒子在不同位置的不同深度值，以及第一帧的深度值，即可算出每一个粒子所描述区域的窗口大小，从而得到区域特征。按与第一帧同样方式进行建模，并与第一帧特征进行比较，最终得到最佳粒子区域。从而实现结合深度信息的粒子滤波跟踪。本发明根据采集到的RGB-D信息，即颜色及深度信息，提升目标跟踪下的准确性和鲁棒性。
【IPC分类】G06T7-20
【公开号】CN104794737
【申请号】CN201510169237
【发明人】李晓峰, 周洁芸, 陈海涛, 周宁
【申请人】电子科技大学
【公开日】2015年7月22日
【申请日】2015年4月10日