面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法
【专利摘要】本发明涉及一种面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法，包括：a、设定跟踪区域，作为目标参考模板，获取其m×1的纹理特征和灰度均值特征；b、采集当前帧场景视频，进入跟踪过程，包括粒子选择、状态转移、状态观测和状态估计等步骤。本发明通过观测似然函数来计算粒子权重均值，目标参考特征向量的更新则综合考虑初始目标参考特征向量以及前一帧所采用的目标参考特征向量和当前帧所采用的目标参考特征向量的影响因素，由此解决了目标遮挡后又重新出现后无法继续跟踪的问题，提高了增强现实辅助维修系统对平面目标跟踪的鲁棒性和实时性。
【专利说明】
面向増强现实辅助维修系统平面目标粒子滤波跟踪的状态观 测方法
技术领域
[0001] 本发明设及一种计算机视觉算法，具体地说是一种面向增强现实辅助维修系统平 面目标粒子滤波跟踪的状态观测方法。
【背景技术】
[0002] 增强现实技术将虚拟提示信息叠加到真实场景中，在复杂装备维修中为用户提供 了直观灵活的操作提示，并可为那些不熟悉复杂装备检测维修的用户提供准确实时的维修 帮助，对于缩短装备维护周期、提高维修效率、降低成本具有重要意义。
[0003] 跟踪维修对象区域并能在用户头部发生相对运动时准确估计摄像机姿态，在增强 现实辅助维修系统中被称作跟踪注册技术。维修对象区域跟踪是摄像机姿态估计的基础， 通过局部区域跟踪而不是全场景跟踪可有效提高跟踪注册的实时性;根据摄像机与维修对 象之间的相对运动关系，跟踪注册可分为由外而内的跟踪和由内而外的跟踪。较为常用的 方法包括基于特征点、基于轮廓和基于核的方法。由于维修对象多为人造物，存在大量的规 则平面，为实现基于单应性矩阵的摄像机姿态估计提供了便利条件，但人造物又普遍存在 特征点信息量少、特征提取不充分等问题，上述=种方法对跟踪过程中维修对象外观显著 改变、背景内容改变及光照遮挡等情况存在局限性，迫切需要采用多特征信息融合、自动更 新匹配模板等技术解决目标遮挡、视角变化和维修对象形态变化时的健壮性跟踪及跟踪的 自适应修正等问题。
[0004] 基于压缩感知理论的目标跟踪方法是一种较新方法，其原理为用压缩感知特征描 述背景与目标，迭代寻找与标准目标特征最相似的候选区域，其相似度判断依托朴素贝叶 斯分类器。运个跟踪框架采用随机测量矩阵进行特征提取，对随机测量矩阵进行改进可实 现多特征提取，实时性较高，但其迭代过程采用遍历查找方式，未充分利用运动目标的动力 学特性。当目标运动速度较快或存在部分遮挡时，跟踪结果易发生偏移甚至丢失。虽然可W 通过扩大捜索范围减小目标丢失率，但又会极大的损失实时性。粒子滤波跟踪依赖目标状 态转移模型和重采样技术对目标状态进行预测，其计算主要消耗在似然函数上，因此在粒 子滤波框架下与压缩感知特征提取相结合进行目标跟踪，可避免大范围的捜索过程，进一 步提高目标对象跟踪的实时性。在粒子滤波框架下，每个粒子的观测模型和参考模板与候 选目标之间的相似度区分能力直接影响跟踪精度。现有的粒子滤波跟踪中的特征主要采用 统计特征计算颜色直方图或方向梯度直方图，通过求化attacharyya距离计算粒子代表的 参考目标和候选目标之间的相似度，运种方法鲁棒性和实时性均不高。
【发明内容】
[0005] 本发明的目的就是提供一种面向增强现实辅助维修系统平面目标粒子滤波跟踪 的状态观测方法，W解决传统观测方法鲁棒性低和实时性不高的问题。
[0006] 本发明是运样实现的：一种面向增强现实辅助维修系统平面目标粒子滤波跟踪的 状态观测方法，包括W下步骤：
[0007] a、初始化:设定跟踪区域，作为目标参考模板，利用mXn的压缩感知随机测量矩阵 获取其mXl的纹理特征和灰度均值特征，作为目标参考特征向量，随机采样N个粒子S = {(S。，O n) I n二 1，. . .，N}，初始化其权重 O = 1/N;
[000引b、采集当前帖场景视频，进入跟踪过程，包括：
[0009] b-1、粒子选择:对t-1时刻的所有粒子按照归一化权重值从大到小进行排序，将位 置靠前的粒子归一化权重值与N乘积的四舍五入整数值作为新的粒子数量，并将该权重值 赋予运些粒子，依次遍历所有粒子直到得到N个新的粒子；
[0010] b-2、状态转移:选择系统状态转移方程为二阶自回归模型，根据t-2时刻和t-1时 刻的粒子状态预测t时刻的粒子状态；
[0011] b-3、状态观测:根据t-1时刻由纹理特征和灰度均值特征相似度分别计算得到粒 子权重均值和t时刻的纹理特征和灰度均值特征相似度，再计算粒子所代表的候选目标区 域与目标参考模板之间的观测似然函数，得出粒子的权重值;根据初始目标参考特征向量、 t-1时刻所采用的目标参考特征向量和t时刻所采用的目标参考特征向量更新t+1时刻的目 标参考特征向量；
[0012] b-4、状态估计:选择权重值最大的粒子所代表的状态作为系统状态的最优估计， 即为跟踪结果；
[OOU] b-5、如果用户选择维修步骤完成，则退出；否则回到步骤b-1，进入下一循环过程。 [0014]本发明的步骤b-3中的粒子权重值的计算方法包括W下步骤：
[001引 b-3-l、利用mXn的压缩感知随机现慢矩阵，分别获取待跟踪平面目标和候选跟踪 区域mXl的纹理特征和灰度均值特征，W此作为候选目标特征向量，并依据下列的公式（1) 对m X 1的目标参考特征向量与候选目标特征向量进行L2范数归一化：
[0016]
(1);
[0017] b-3-2、巧惦h列的公式(2)计算目标参考特征向量与候选目标特征向量中每个元 素之差的绝对估是否在化许的阔值T的范围内：
[001引
（2)
[0019] 其中，《为目标参考特征向量的第i个元素，Vi为候选目标特征向量的第i个元素；
[0020] b-3-3、依据下列的公式(3)统计f(i) = l出现的比例，得到目标参考特征向量与候 选目柄赔饰尚畳6々巧化j暗为；
[0021] C3>
[0022] b-3-4、由计算粒子代表的候选目标区域与目标参考模板之间的观测似然函数，依 据下列的公式(4)计算得出粒子权重值：
[0023]
(4)
[0024] 其中，
为第k个粒子的候选目标纹理特征向量与参考模板纹理特 征向量之间的相似届
：为第k个粒子的候选目标灰度均值特征向量与参考 模板灰度均值特征向量之间的相似度；P(ZijJTf)为t时刻第k个粒子的权重值； < A(Z,J Xy) >为*-1时刻根据纹理特征计算得到的所有粒子权重均值；< A(z,_, I X,_|) > 为t-1时刻根据灰度均值特征计算得到的所有粒子权重均值。
[0025] 本发明中的粒子权重值是由计算粒子代表的候选目标区域与目标参考模板之间 的观测似然函数得出，在粒子滤波跟踪中，粒子代表着目标状态，即目标在图像中的坐标位 置及区域，粒子的权重值越大，表明粒子代表的区域为目标的概率最高。
[0026] 本发明的步骤b-3中的t+1时刻的目标参考特征向量的更新方法包括W下步骤：
[0027] b-3-5、依据下列的公式(5)计算更新速度因子：
[002引
（.5')'
[0029] 其中，Ht为第t时刻平面目标与初始时刻平面目标之间的单应性矩阵，Ht-I为第t-1 时刻平面目标与初始时刻平面目标之间的单应性矩阵；
[0030] b-3-6、依据下列的公式(6)和公式(7)对t+1时刻的目标特征向量进行更新：
[0031] 祐）
[0032] 订)
[0033] 具甲，Vo刃彻贿目称寥考向量，Vt为当前帖目标参考特征向量，Vt+i为下一帖目标参 考特征向量，I-Po, t-1表示初始目标参考特征向量与t-1时刻目标参考特征向量的相似度，1- Pt-I,康示t-1时刻目标参考特征向量与t时刻目标参考特征向量的相似度，ii为更新速度因 子。
[0034] 本发明通过观测似然函数来计算粒子权重均值，其方式简洁，可有效提高跟踪的 实时性；同时，采用了两个特征相互补偿，可有效提高跟踪的鲁棒性。本发明中目标参考特 征向量的更新方法综合考虑初始目标参考特征向量，前一帖所采用的目标参考特征向量和 当前帖所采用的目标参考特征向量的影响因素，作为更新下一帖目标参考特征向量的依 据，同时考虑目标形态变化的大小来改变更新速度，可解决目标遮挡后又重新出现后无法 继续跟踪等问题，进一步提高了平面目标粒子滤波跟踪的鲁棒性。
[0035] 本发明提高了增强现实辅助维修系统对平面目标跟踪的鲁棒性和实时性。
【附图说明】
[0036] 图I是压缩感知多特征提取示意图。
[0037] 图2是基于本发明的跟踪效果图。
[0038] 图3是基于本发明的跟踪算法的X向跟踪误差图。
[0039] 图4是基于本发明的跟踪算法的Y向跟踪误差图。
【具体实施方式】
[0040] 本实施例是在一个视频文件中实现对电路板目标的跟踪，硬件平台为Intel Core 巧，4GB DDR3 SDRAM,软件环境为Windows 8.1 64 bitsW平面目标中屯、在视频场景中的坐 标
作为系统的状态变量，选择系统状态转移方程为二阶自回归模型：
[0041 ] Xt = AXt-i+BXt-2+vt
[0042] 参数设置包括：粒子数目N=100，A = 20，T = 0.002，m=50，at=o = 0.5，A=[2,2]，B = [!,!]〇
[0043] 本发明平面目标粒子滤波跟踪的状态观测方法分为W下步骤：
[0044] a、初始化:设定跟踪区域，作为目标参考模板，利用mXn的压缩感知随机测量矩阵 获取其mXl的纹理特征和灰度均值特征，作为目标参考特征向量，随机采样N个粒子S = {(S。，〇n) In=I,. . . ,N}，初始化其权重 O =1/N;
[0045] b、采集当前帖场景视频，进入跟踪过程，包括：
[0046] b-1、粒子选择:对t-1时刻的所有粒子按照归一化权重值从大到小进行排序，将位 置靠前的粒子归一化权重值与N乘积的四舍五入整数值作为新的粒子数量，并将该权重值 赋予运些粒子，依次遍历所有粒子直到得到N个新的粒子。
[0047] b-2、状态转移:选择系统状态转移方程为二阶自回归模型，根据t-2时刻和t-1时 刻的粒子状态预测t时刻的粒子状态。
[004引b-3、状态观测:根据t-1时刻由纹理特征和灰度均值特征相似度分别计算得到粒 子权重均值和t时刻的纹理特征和灰度均值特征相似度，再计算粒子所代表的候选目标区 域与目标参考模板之间的观测似然函数，得出粒子的权重值;根据初始目标参考特征向量、 t-1时刻所采用的目标参考特征向量和t时刻所采用的目标参考特征向量更新t+1时刻的目 标参考特征向量。
[0049] b-4、状态估计:选择权重值最大的粒子所代表的状态作为系统状态的最优估计， 即为跟踪结果。
[0050] b-5、如果用户选择维修步骤完成，则退出；否则回到步骤b-1，进入下一循环过程。
[0051] 本发明的方法应用于步骤b-3中的状态观测的具体过程是：
[0052] 压缩跟踪（CompreSS ive Tracking , CT)算法利用压缩感知（CompreSS ive Sensing, CS)理论对高维化rr-1化e特征进行降维。对于一个XGRnxi的原始特征，可由V = PX 投影得到压缩后的特征VGRmxi。其中，PGRmXn(m<<n)为特征提取矩阵。该压缩过程在候 选目标区域W平均概率随机选取2~4的图像块，特征提取矩阵P的非零元素值符号在V'和 之间等概率随机选取，得到的特征值即为几块区域的加权和。当非零元素符号全部为 V'或时，表现为灰度均值特征；当非零元素同时存在V'和时，表现为图像块的差异 性即纹理特征。多特征压缩跟踪对特征提取矩阵进行了改进。首先利用压缩跟踪的方法生 成特征提取矩阵Pl，然后再根据Pl生成新的特征提取矩阵P2,使得P2提取的灰度均值特征占 71%，纹理特征占29%。其通过对特征提取矩阵Pi的非零元素符号实施变号得到P2,变号规 则为：当S个元素符号全部为V'或全部为时，变为当S个元素符号既存在V'也 存在时，变为"+++"。运样，在增加很小计算量的前提下，使得压缩后的特征最终表现为 纹理与灰度均值特征互补的双特征。W=个图像块为例，P2生成过程如图1所示。
[0053] 对视频文件中的电路板目标的粒子权重值的计算方法是：
[0054] 首先，利用上述方法中mXn的压缩感知随机测量矩阵分别获取待跟踪平面目标和 候选跟踪区域mX 1的纹理特征和灰度均值特征，W此作为目标参考特征向量和候选目标特 征向量，并依据下列公式（1)对m X 1的目标参考特征向量与候选目标特征向量进行L2范数 归一化，
[0化5]
(1)
[0056]其次，依据下列公式(2)计算目标参考特征向量与候选目标特征向量中每个元素 之差的绝对值是否在允许的阔值T的范围内，
[0化7]
(勺）
[0化引其中，V,''为目标参考特征向量的第i个元素，Vi为候选目标特征向量的第i个元素。
[0059] 再次，依据下列公式(3)统计f(i) = l出现的比例，得到目标参考特征向量与候选 目标特征向量的巧似麼为：
[0060]
(3)
[0061 ]最后，由计算粒子代表的候选目标区域与目标参考模板之间的观测似然函数，依 据下列的公式(4)计算得出粒子权重值： - .....
[0062] C 4) >
[0063] :选目标纹理特征向量与参考模板纹理特 征向量 ，粒子的候选目标灰度均值特征向量与参 考模板灰度均值特征向量之间的相似程度；P(2,1 乂f)为t时刻第k个粒子的权重值； <氣按_1巧_1)>为*-1时刻根据纹理特征计算得到的所有粒子权重均值; < 拚(餐,战_1) > 为t-1时刻根据灰度均值特征计算得到的所有粒子权重均值。
[0064] 目标参考特征向量的更新方法包括W下步骤：
[0065] 首先，依据下列公式(5)计算更新速度因子：
[0066]
(5)
[0067] 其中，Ht为第t时刻平面目标与初始时刻平面目标之间的单应性矩阵，Ht-I为第t-1 时刻平面目标与初始时刻平面目标之间的单应性矩阵。
[0068] 其次.化据下列公击(R)和公式(7)对目标特征向量进行更新：
[0069] (6)
[0070] 讯
[0071 ]其中，Vo为初始目标参考向量，Vt为当前帖目标参考特征向量，Vt+i为下一帖目标参 考特征向量，康不初始目标参考特征向量与t-1时刻目标参考特征向量的相似度，1- Pt-I,康示t-1时刻目标参考特征向量与t时刻目标参考特征向量的相似度，y为更新速度因 子。
[0072] 如图2所示的跟踪效果，电路板视频包括了电路板平移、旋转、翻转和尺度变化等 复杂运动过程，Wx和y方向的跟踪误差小于15像素为标准，分别统计基于颜色直方图的粒 子滤波跟踪算法、压缩跟踪算法和基于本发明的跟踪算法在电路板视频中电路板翻转前和 在全部电路板视频帖的跟踪成功率如表1所示，前200帖的跟踪误差如图3、图4所示。
[0073] 表1:跟踪成功率对比表
[0074]
[0075] 由巧1和圏3、圏4W见，基十劇巧直万圏的粒于滤汲跟碌万巧巧巧跟碌精巧上较差 导致其成功率较低，基于本发明的跟踪算法与压缩跟踪算法在目标形态未发生重大变化时 跟踪性能相当，但因其在目标重新出现后能够继续跟踪目标，在全部视频帖上统计跟踪成 功率则比压缩跟踪算法高。
[0076] 针对电路板视频，=种算法实时性比较结果见表2。
[0077] 表2:跟踪算法实时性对比表 [007引
[0079]由表2可见，在640X480的视频中，当粒子数为100时，基于本发明的跟踪算法比基 于颜色直方图的粒子滤波跟踪算法和压缩跟踪算法实时性均高，证明了本发明的发明能够 提高平面目标跟踪的实时性。
【主权项】
1. 一种面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观测方法，其特征 是，包括以下步骤： a、 初始化:设定跟踪区域，作为目标参考模板，利用mXn的压缩感知随机测量矩阵获取 其mXl的纹理特征和灰度均值特征，作为目标参考特征向量，随机采样N个粒子S={(s n， ωη) |n=l, . . .，N}，初始化其权重 ω =1/N; b、 采集当前帧场景视频，进入跟踪过程，包括： b-1、粒子选择:对t-Ι时刻的所有粒子按照归一化权重值从大到小进行排序，将位置靠 前的粒子归一化权重值与N乘积的四舍五入整数值作为新的粒子数量，并将该权重值赋予 这些粒子，依次遍历所有粒子直到得到N个新的粒子； b-2、状态转移:选择系统状态转移方程为二阶自回归模型，根据t-2时刻和t-Ι时刻的 粒子状态预测t时刻的粒子状态； b-3、状态观测：根据t-Ι时刻由纹理特征和灰度均值特征相似度分别计算得到粒子权 重均值和t时刻的纹理特征和灰度均值特征相似度，再计算粒子所代表的候选目标区域与 目标参考模板之间的观测似然函数，得出粒子的权重值;根据初始目标参考特征向量、t-1 时刻所采用的目标参考特征向量和t时刻所采用的目标参考特征向量更新t+1时刻的目标 参考特征向量； b_4、状态估计:选择权重值最大的粒子所代表的状态作为系统状态的最优估计，即为 跟踪结果； b-5、如果用户选择维修步骤完成，则退出；否则回到步骤b-Ι，进入下一循环过程。2. 根据权利要求1所述的面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观 测方法，其特征是，步骤b-3中的粒子权重值的计算方法包括以下步骤： b-3-l、利用mXn的压缩感知随机测量矩阵，分别获取待跟踪平面目标和候选跟踪区域 mXl的纹理特征和灰度均值特征，以此作为候选目标特征向量，并依据下列的公式（1)对m X 1的目标参考特征向量与候选目标特征向量进行L2范数归一化：(1): b-3-2、依据下列的公式(2)计算目标参考特征向量与候选目标特征向量中每个元素之 差的绝对值是否在允许的阈值τ的范围内：(2) 其中，< 为目标参考特征向量的第i个元素，V1为候选目标特征向量的第i个元素；b-3-3、依据下列的公式(3)统计f (i) = 1出现的比例，得到目标参考特征向量与候选目 标特征向量的相似度1 (3) b-3-4、由计算粒子代表的候选目标区域与目标参考模板之间的观测似然函数，依据下 列的公式(4)计算得出粒子权重值： (4) 其c 卜粒子的候选目标纹理特征向量与参考模板纹理特征向量之间的： 3第k个粒子的候选目标灰度均值特征向量与参考模板灰 度均值特征向量之间的相似度I Zf)为t时刻第k个粒子的权重值；t-i时刻根据纹理特征计算得到的所有粒子权重均值；< Λ(ζ,, I>为卜1时刻根据灰度 均值特征计算得到的所有粒子权重均值。3.根据权利要求1所述的面向增强现实辅助维修系统平面目标粒子滤波跟踪的状态观 测方法，其特征是，步骤b-3中的t+Ι时刻的目标参考特征向量的更新方法包括以下步骤： b-3-5、依据下列的公式(5)计算更新速度因子：(5 ) 其中，Ht为第t时刻平面目标与初始时刻平面目标之间的单应性矩阵，为第t-Ι时刻 平面目标与初始时刻平面目标之间的单应性矩阵；b-3-6、依据下列的公忒(fi)和公忒（7)对t.+l时刻的目标特征向量进行更新： (6) (T). 其中，Vo为初始目标参考向量，Vt为当前帧目标参考特征向量，Vt+i为下一帧目标参考特 征向量，l_PQ,t-i表示初始目标参考特征向量与t-Ι时刻目标参考特征向量的相似度，1-Pt-i,t表示t-Ι时刻目标参考特征向量与t时刻目标参考特征向量的相似度，μ为更新速度因 子。
【文档编号】G06T7/20GK106023256SQ201610339337
【公开日】2016年10月12日
【申请日】2016年5月19日
【发明人】王伟明, 张勇, 赵守伟, 何亚轩, 闫德立
【申请人】石家庄铁道大学