一种基于深度图像或深度视频序列的实时跟踪目标的计算方法
【技术领域】
[0001] 本发明涉及一种基于深度图像或深度视频序列的实时跟踪目标的计算方法，属计 算机视觉领域。
【背景技术】
[0002] 在彩色图像的实时目标跟踪技术中，跟踪效果往往受光照、遮挡及复杂背景等因 素的干扰，跟踪性能大受影响。因此，目标跟踪仍然是个具有挑战性的问题。
[0003] 获取深度图像或深度视频序列的设备主要有双目视觉摄像机、激光扫描仪、 Kinect设备等。其中，Kinect是微软在2010年6月14日对XB0X360体感周边外设正式发 布的名字，是一种3D体感摄影机（开发代号"Project Natal"），同时它导入了即时动态捕 捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。随着Kinect的推出，通过Kinect 采集的深度信息可不受场景光照和阴影的影响，为跟踪领域的研究提供了新的契机。
[0004] 现有的实时目标跟踪算法中存在跟踪不准确、运算速度慢、目标移动过快或变化 过大造成目标丢失、执彳T效率低等缺点。
【发明内容】
[0005] 针对现有技术的不足，本发明提供了一种基于深度图像或深度视频序列的实时跟 踪目标的计算方法；
[0006] 该算法大致分为三步：（1)预处理深度图像，包括腐蚀、膨胀、边缘提取、距离变换 等；（2)利用粗搜索到精搜索的搜索方法，确定预处理后的深度图像中跟踪目标的位置； (3)实时更新跟踪模板。在该部分的研究中，常用的技术为模板匹配，加权平均等。
[0007] 术语解释：
[0008] 求补：将图像进行取反。
[0009] 腐蚀：利用一定尺寸的模版对图像进行与操作。
[0010] 膨胀：利用一定尺寸的模版对图像进行或操作。
[0011] 填充：在图像上利用紧邻像素恢复像素的缺失值。
[0012] 重构：在对图像进行膨胀腐蚀操作后，基于原图像的图像恢复操作。
[0013] 边缘提取：在图像上利用不同的边缘算子提取图像的边缘信息。
[0014] 距离变换：在图像上计算任意点到目标点的距离。
[0015] 归一化：在图像上通过数学关系式，使数据分布在一定区间范围内。
[0016] 本发明的技术方案为：
[0017] -种基于深度图像或深度视频序列的实时跟踪目标的计算方法，具体步骤包括：
[0018] (1)采集深度图像，并对采集的深度图像进行预处理，所述预处理包括依次进行求 补、腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化；
[0019] 由于环境噪声和设备噪声的存在，深度图像的质量不理想，所以需要对获取的深 度图像进行预处理。
[0020] (2)在第1帧深度图像中，手动标记初始跟踪目标A1;在初始跟踪目标A 近取若 干个训练样本Xlt，训练样本Xlt中心点的选取方法为：在以初始跟踪目标A 圆心、（1-20) 个像素点为半径的圆内随机取若干个像素点；在远离初始跟踪目标A1处取若干个训练样本 Yu，训练样本Ylj中心点的选取方法为：在以初始跟踪目标A1为圆心、（20-100)像素点为内 半径、（40-150)个像素点为外半径的圆环内随机取若干个像素点；任一训练样本X lt、任一 训练样本Yu均与初始跟踪目标A i大小相同；训练样本B H包括所有的训练样本X lt及所有 的训练样本Yu, i = t+j，将每一个训练样本B11分别与初始跟踪目标A i进行模板匹配并分 类，模式匹配并分类公式如式（I )所示：
[0022] 式（I )中，C11为第一帧深度图像中初始跟踪目标A1与训练样本B11的匹配值， 均值，瓦为心的均值，召为B 11的矩阵，m为的行，η为為的列；为 4的矩阵，m为__的行，η为為_的列；
[0023] 当C11的值大于阈值S时，训练样本B Η属于正样本，S的取值范围为（0· 4-0. 8)， 否则，属于负样本；
[0024] 分类完毕后，将获取的所有正样本加权平均，得到S1，并与初始跟踪目标A 1加权， 加权公式如式（II )所示，得到第1帧图像的跟踪模板；
[0025] T1= a !XS^a2XA1 ( II )
[0026] 式（II )中，T1为第1帧图像的跟踪模板；a ^ a 2= I，a i的取值范围为 (0. 5-0. 8)；
[0027] (3)设定步骤⑴获取〇帧深度图像，p = 2,2 < p < 〇,执行以下步骤：
[0028] A、在第p帧深度图像中，对应第p-1帧图像中Ap i的相同位置为中心、（30-100)个 像素点为半径、（5-10)个像素点为步长的圆内获取测试样本Dpl的中心，测试样本D pl与跟 踪模板Tp i大小相同；将测试样本D pl与T p i进行模板匹配，模板匹配公式如式（III)所示：
[0030] 式（III)中，C' pl为第p帧深度图像中测试样本D pl与跟踪模板T p i的匹配值， i为Tp i的均值，为Dpl的均值，为矩阵，m为的行，η为的列； 为矩阵，m为的行，η为的列；1为正整数； ±r -mn F Lmn r Lmn
[0031] 选出通过公式（III)求取的最大的匹配值对应的测试样本，以最大的匹配值对 应的测试样本位置为中心、（5-10)个像素点为半径、1个像素点为步长的圆内取测试样本 D' pl的中心，将测试样本D' ^与Tpl进行模板匹配，模板匹配公式如式（IV)所示：
[0033] 式（IV)中，C" pl为第p帧深度图像中测试样本D' pl与跟踪模板Tpl的匹配值， 为Tp i的均值，5二为D，pl的均值，/^,为矩阵，m为！)；^的行，η为的列； 为矩阵，m为Tt i的行，η为的列； F 1Jtin r lnw r Lmn
[0034] 选出通过公式（IV)求取的最大的匹配值对应的测试样本即第P帧深度图像的跟 踪目标A p;
[0035] 判断通过公式（IV)求取的最大的匹配值是否大于阈值S，S的取值范围为 (0. 4-0. 8)，如果大于，则进入步骤B，否则，Tp= T p 1;T p为第p帧图像的跟踪模板，进入步骤 C；
[0036] B、在跟踪目标Ap附近取若干个训练样本Xpt，训练样本Xpt中心点的选取方法为：在 以跟踪目标A p为圆心、（1-20)个像素点为半径的圆内随机取若干个像素点；在远离跟踪目 标Ap处取若干个训练样本Y w，训练样本Yw中心点的选取方法为：在以跟踪目标Ap为圆心、 (20-100)像素点为内半径、（40-150)个像素点为外半径的圆环内随机取若干个像素点；任 一训练样本X pt、任一训练样本Yw均与跟踪目标A p大小相同；训练样本B P1包括所有的训练 样本Xpt及所有的训练样本Y w，i = t+j，将每一个训练样本Bpi分别与跟踪模板T p i进行模 板匹配并分类，模式匹配并分类公式如式（V )所示：
[0038] 式（V )中，Cpi为第p帧深度图像中每一个训练样本B P1与跟踪模板T p i的匹配 值，L为Tpl的均值，I为Bpi的均值，为矩阵，m为的行，!!为义'的列；！；^ 为矩阵，m为？^_ lwn的行，η为的列；
[0039] 当Cpi的值大于阈值S时，训练样本B P1属于正样本，S的取值范围为（0· 4-0. 8)， 否则，属于负样本；
[0040] 分类完毕后，将获取的所有正样本加权平均，得到Sp，并与初始跟踪目标A 1加权， 加权公式如式（VI)所示，得到第P帧图像的跟踪模板；
[0041] Tp= a IXSja2XA1 (VI)
[0042] 式（VI )中，Tp为第ρ帧图像的跟踪模板；
[0043] C、判断ρ是否等于〇,如果是，结束，否则，ρ加1，进入步骤Α。
[0044] 根据本发明优选的，所述距离变换采用欧氏距离变换，欧氏距离变换公式如式 (W)所示：
[0046] 式（VE)中，D为两点之间的欧氏距离，（Xl，yi)为独立的像素点，（x 2，y2)为离（Xl， yi)最近的非零像素点。
[0047] 根据本发明优选的，步骤A中，如果通过公式（IV)求取的最大的匹配值不大于阈 值s，T p= T p i，Tp为第P帧图像的跟踪模板，进入步骤C，并在搜索下一帧图像的跟踪目标 时扩大测试样本Dpl中心点的选取范围，其选取范围的半径可扩大（1-50)个像素点。
[0048] 本发明的有益效果为：
[0049] 1、本发明所述方法应用于深度图像，能在保护跟踪目标隐私的同时，实时跟踪目 标。
[0050] 2、由于深度图像不受场景光照、阴影等复杂背景的影响，因此，本发明对光照、阴 影等复杂背景有很强的鲁棒性，并且实验表明，本发明对遮挡有较强的鲁棒性；
[0051] 3、本发明执行效率高，在预测跟踪目标时，本发明提出的方法采用了粗搜索到精 搜索的搜索方法，减少了测试样本的数目，提高了算法的运行速度；
[0052] 4、本发明具有较高的跟踪准确度，在跟踪目标的匹配值较低时，本发明不更新跟 踪模板并对下一帧图像扩大搜索范围，避免了跟踪目标移动过快或变化过大造成的目标丢 失。
【具体实施方式】
[0053] 下面结合实施例对本发明作进一步限定，但不限于此。
[0054] 实施例1
[0055] -种基于深度图像或深度视频序列的实时跟踪目标的计算方法，具体步骤包括：
[0056] (1)采集深度图像，并对采集的深度图像进行预处理，所述预处理包括依次进行求 补、腐蚀、膨胀、填充、重构、边缘提取、距离变换、归一化；
[0057] 由于环境噪声和设备噪声的存在，深度图像的质量不理想，所以需要对获取的深 度图像进行预处理。
[0058] (2)在第1帧深度图像中，手动标记初始跟踪目标A1;在初始跟踪目标A 近取若 干个训练样本Xlt，训练样本Xlt中心点的选取方法为：在以初始跟踪目标A1S圆心、10个像 素点为半径的圆内随机取20个像素点；在远离初始跟踪目标A1处取若干个训练样本Y y 训练样本Yu中心点的选取方法为：在以初始跟踪目标A1为圆心、30像素点为内半径、50个 像素点为外半径的圆环内随机取20个像素点；任一训练样本X lt、任一训练样本Yu均与初 始跟踪目标A1大小相同；训练样本B Η包括所有的训练样本X lt及所有的训练样本Y w i = t+j，将每一个训练样本B11分别与初始跟踪目标A i进行模板匹配并分类，模式匹配并分类 公式如式（I )所示：
[0060] 式（I )中，C11为第一帧深度图像中初始跟踪目标A1与训练样本B11的匹配值， 为A1的均值，瓦为B11的均值，凡为B11的矩阵，m为凡·的行，η为凡.的列；為 ? Ii. 聰. Ximn iIfm iMn- 为矩阵，m为J1的行，η为4的列； mn- mn
[00