一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
【专利摘要】本发明公开了一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，包括：利用当前帧图像信息与前一帧图像信息做块匹配，得到两帧的运动光流；由跟踪过程得到的目标的位置、大小信息获得每一帧的初始检测区域；将初始检测区域做简单的阈值肤色分割得到区域分割二值图；由初始检测区域设置掌心位置；分别统计以掌心为中心点所有像素的内聚和扩散的加权和；判断手是否处于握拳和张开状态，修正对前跟踪算法得到的跟踪框进行修正。本发明方法不受限于任何跟踪算法，灵活地运用到手型变化过程中，及时检测到因握拳导致的手型变化趋势，直接对跟踪结果进行修正，使跟踪结果更加精确。
【专利说明】一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
【技术领域】
[0001] 本发明涉及计算机视觉跟踪领域，具体涉及一种手势跟踪过程中手形变化导致跟 踪偏移的修正方法。
【背景技术】
[0002] 基于计算机视觉的手势跟踪是目前人机交互的热点，手势跟踪算法日益成熟，常 用的手势跟踪算法是针对固定手形，在手的正常漫游情况下，能成功跟踪到目标。但是，在 实际操作中，由于人手是非刚性物体，在手移动过程中，由于实际系统的操作需要，用户在 采用握拳手势进行"确认"选择过程中，手形发生较大形变。就目前研究技术而言，大部分 手势跟踪算法在手的形变不大时，基本能正常跟踪，而应对手的快速形变时，无论是固定模 板、半监督、在线学习等跟踪算法，都会出现不同程度的跟踪偏移或者跟丢的情况。目前大 部分在线更新样本算法虽然能部分解决跟踪过程中的形变问题，但是，如图1，仍然解决不 了握拳形变导致跟踪框下移的问题。为了克服目前手势跟踪算法中的不足，本发明提出了 一种手势跟踪过程中由握拳形变导致跟踪偏移的修正方法。
【发明内容】
[0003] 本发明的目标在于克服现有的手势跟踪算法在实际应用中存在的不足，提供了一 种手势跟踪过程中手形变化导致跟踪偏移的修正方法，具体技术方案如下。
[0004] 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，包括如下步骤：
[0005] 获取帧图像，利用跟踪算法得到目标的跟踪框作为算法的输入图像块；
[0006] 利用当前帧输入图像与前一帧的图像得到光流；
[0007] 对所得光流矢量图统计光流信息和光流分布特征；
[0008] 根据统计结果和分布特征预测手形变化趋势；
[0009] 结合手的整体运动速度，得到当前人手所做动作，根据判断策略修正最终的跟踪 结果。
[0010] 在其中一个实施例中，将当前帧的跟踪结果所在敏感区域与前一帧图像对应区域 做稠密光流，得到运动目标的光流矢量图。该方法能有效减少光流算法的运算量，得到运动 目标的光流矢量图。
[0011] 在其中一个实施例中，所述对所得光流矢量图统计光流信息和光流分布特征，包 括以下步骤：
[0012] (a)提取光流矢量图中的速度大小值；
[0013] (b)对速度图做二值化处理；
[0014] (c)计算速度二值化图像的重心、总面积"半径"；
[0015] ⑷将速度二值化图像的重心、总面积"半径"与实际的光流团分布做比较，分析速 度二值化图的光流分布特点；
[0016] (e)根据分布特点判断手是否处于稳定状态。
[0017] 进一步的，所述统计光流信息和光流分布特征，根据统计结果和分布特征判断手 当前所处的状态，具体包括：提取光流矢量图中的速度大小值，对速度图做二值化处理，计 算速度二值化图像的重心、总面积"半径"，并与实际二值图像中的光流团分布做比较，分析 速度二值化图的光流分布特点，根据分布特点判断手是否处于稳定状态。
[0018] 进一步的，所述预测握拳张开趋势具体包括：对所得到的光流矢量图，与肤色分割 后的二值图像相与，得到运动的肤色光流图，对该图进行光流信息统计，以掌心为中心点， 统计光流的内聚和发散程度，并以光流的大小作为角度的加权值，根据光流内聚值和发散 值的比较初步判断握拳、拳头和张开状态。
[0019] 进一步的，所述手的整体运动速度的获得过程是：在跟踪过程中，保留当前帧的前 五帧跟踪结果，利用前五帧的跟踪结果与当前帧的跟踪框所处位置，计算得到当前帧和前 四帧中每一帧手的整体运动速度。
[0020] 进一步的，所述的统计光流的内聚和发散程度包括：根据跟踪结果确定手的掌心 位置；以掌心的位置为中心，设置敏感区域上每个像素上光流内聚和扩散的阈值；分别统 计敏感区域中光流的向内聚拢和向外扩散的像素及其速度加权值的和。
[0021] 进一步的，所述的光流分布特点的分析过程包括：
[0022] 提取光流矢量图中的速度大小值，对速度图做二值化处理；
[0023] 计算图像中所有非零像素点的重心坐标cen ;
[0024] 标记二值化速度图像各个部分连通域i，并计算各个连通域的重心坐标⑶叫；
[0025] 累加所有连通域面积的值sum，将sum作为一个未知圆的总面积，并计算其半径；
[0026] 计算各个连通域的重心坐标cerii与半径的方差vai^之平均值var ;
[0027] 根据var的值与跟踪框的大小的比值与所有非零像素点的重心坐标cen判断光流 分布的特点。
[0028] 进一步的，所述握拳状态判断方法为：在用户的手处于稳定状态的前提下，若上一 帧的最终状态为握拳或者速度停下的手掌状态，且预测握拳张开趋势中的所述初步判断结 果为握拳。
[0029] 进一步的，所述的拳头状态判断方法为：在用户的手处于稳定状态的前提下，若上 一帧的最终状态为拳头状态、握拳状态或者拳头移动状态，且预测握拳张开趋势中的所述 初步判断结果为非握拳非张开状态。
[0030] 进一步的，其特征在于所述的张开状态判断方法：张开状态判断方法：在用户的 手处于稳定状态的前提下，若上一帧的最终状态为张开或者拳头的状态，且预测握拳张开 趋势中的初步判断结果为张开。
[0031] 在其中一个实施例中，所述的拳头状态是由拳头检测器检测得到，拳头检测器是 由拳头正样本，经过提取特征，训练得来。
[0032] 在其中一个实施例中，所述的手掌状态是由手掌检测器检测得到，手掌检测器是 由手掌正样本，经过提取特征，训练得来。
[0033] 本发明一种手势跟踪过程中握拳导致跟踪偏移的修正方法与现有技术相比，具有 如下优点和技术效果：
[0034] (1)本发明方法复杂度低，在实际应用中消耗的资源少。
[0035] (2)本发明对一般的手势跟踪算法具有通用性，不受跟踪算法的限制，可以直接使 用。
[0036] (3)本发明采用光流法，结合肤色分割，划分运动中的肤色区域，减少背景干扰和 统计误差，能有效修正因人手非刚性特点带来的跟踪偏移。
[0037] (4)本发明结合在实际应用中人手操作过程在空间的分布特点做相应的判断策 略，修正因人的自然行为习惯所致的跟踪偏移。
【专利附图】
【附图说明】
[0038] 图1是握拳动作导致跟踪框下移示意图。
[0039] 图2是方法的整体流程图。
[0040] 图3a、图3b是模拟光流示意图。
【具体实施方式】
[0041] 以下结合附图对本发明的具体实施方法作进一步说明，但本发明的实施和保护不 限于此，需指出的是，以下若有未特别详细说明的符号和过程，均是本领域技术人员可参照 现有技术实现的。
[0042] 如图2,本发明提供一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，利用 当前帧输入图像与前一帧的图像得到光流（如图3a、图3b)，对所得光流矢量图统计光流信 息和光流分布特征，根据统计结果和分布特征预测手形变化趋势，结合手的整体运动速度， 根据判断策略修正最终的跟踪结果。该方法的大体步骤如下：
[0043] (1)摄像头采集到图像序列，并保存当前帧图像信息和前一帧图像信息；
[0044] (2)利用当前帧图像信息与前一帧图像信息做光流算法，得到两帧的运动光流；
[0045] (3)由跟踪过程得到的目标的位置、大小信息获得每一帧的初始检测区域；
[0046] (4)将初始检测区域做简单的阈值肤色分割得到区域分割二值图，提取运动中的 肤色区域；
[0047] (5)分析光流速度矢量图的分布特点；
[0048] (6)选定初始检测区域的中心点，分别统计所有像素的内聚和扩散加权值的总 和；
[0049] (7)根据判断结果，对先前跟踪算法得到的跟踪框进行修正，记录当前帧的跟踪结 果。
[0050] 其中，所述的步骤（2)计算两幅图像的运动光流，将当前帧的跟踪结果所在敏感 区域与前一帧图像对应区域做稠密光流，该方法能有效减少光流算法的运算量，得到运动 目标的光流矢量图，包括如下步骤：
[0051] (a)在跟踪过程中，摄像头不断采集图像序列，保存当前帧及其前一帧的图像；
[0052] (b)根据当前帧的跟踪算法得到的跟踪结果截取待处理的敏感区域curjmg，同 时对前一巾贞图像截取相应的区域pre_img ;
[0053] (c)分别将 cur_img、pre_img 转换为灰度图像 cur_gray、pre_gray ;
[0054] (d)利用稠密光流算法，由cur_gray、pre_gray得到两幅图像的运动光流f low ;
[0055] 其中，所述的步骤（4)中提取运动中的运动中的肤色区域包括如下步骤：
[0056] (a)将敏感区域中的图像由RGB颜色空间转换成YCrCb颜色空间（这里不考虑亮 度的影响，只考虑二维空间CrCb):
[0057] RGB色彩空间与YcrCb (YUV)色彩空间的转换公式如下：
[0058] Y = 0. 299R+0. 587G+0. 114B
[0059] U = -0. 147R-0. 289G+0. 436B
[0060] V = 0· 615R-0. 515G-0. 100B
[0061] R = Y+1. 14V
[0062] G = Y-0. 39U-0. 58V
[0063] B = Y+2. 03U
[0064] (b)使用简单的参数模型对肤色进行聚类描述，定义符合以下条件的色彩为肤 色：
[0065] 130 < Cr < 170
[0066] 85 < Cb < 130
[0067] (c)对图像中符合肤色阈值范围的像素进行二值化处理，得到图像的肤色掩膜 skin_mask〇
[0068] 将运动光流flow与肤色掩膜skin_mask相与，得到肤色区域运动光流skin_flow ; 将其进行二值化处理得到二值化图像fl〇w_seg。
[0069] 所述的步骤（5)中分析光流速度矢量图的分布特点包括如下步骤：
[0070] (a)提取二值化图像flow_seg的连通阈，并统计其非零区域的面积大小area ;
[0071] (b)逐个标记连通阈的重心Ceni
[0072] (c)求所有连通阈中心的平均中心位置；
[0073] (d)计算所有连通阈中心cerii到平均中心位置的欧氏距离vai^的平均值var ;
[0074] (e)根据求圆面积公式S = π r2,求出面积为area的圆的半径radius ;
[0075] (f)根据distance与radius的比值与阈值threshold的关系，判断手是否处于稳 定状态。
[0076] 所述步骤（6)中统计光流内聚和扩散的方法包括以下步骤：
[0077] (a)跟踪初始跟踪框确定掌心位置为中心点；
[0078] (b)肤色区域运动光流skin_flow中每一个像素点与中心点连线，以该线段的法 线方向作为阈值，在法线方向向中心一侧的角度范围为内聚范围，相反一侧为扩散范围； [0079] (c)根据阈值划分每一个像素点上对应的光流速度方向为内聚或者扩散类型，并 以速度大小作为加权，再按类型分别求和，得到内聚总和veil和扩散总和vel2 ;
[0080] (d)根据实验情况设置大小阈值thresholds和thresholdmin ;
[0081] (e)内聚总和veil和扩散总和vel2的比值为ratio,判断标准如下：
[0082]
【权利要求】
1. 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特征在于包括：获取帧 图像，利用当前帧输入图像与前一帧的图像得到光流，对所得光流矢量图统计光流信息和 光流分布特征，根据统计结果和分布特征判断手当前所处的状态及预测握拳张开趋势，结 合手的整体运动速度，得到当前人手所做动作，根据判断策略修正最终的跟踪结果。
2. 如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于将当前帧的跟踪结果所在敏感区域与前一帧图像对应区域做稠密光流，得到运动目 标的光流矢量图。
3. 如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于所述统计光流信息和光流分布特征，根据统计结果和分布特征判断手当前所处的状 态，具体包括：提取光流矢量图中的速度大小值，对速度图做二值化处理，计算速度二值化 图像的重心、总面积"半径"，并与实际二值图像中的光流团分布做比较，分析速度二值化图 的光流分布特点，根据分布特点判断手是否处于稳定状态。
4. 如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于所述预测握拳张开趋势具体包括：对所得到的光流矢量图，与肤色分割后的二值图 像相与，得到运动的肤色光流图，对该图进行光流信息统计，以掌心为中心点，统计光流的 内聚和发散程度，并以光流的大小作为角度的加权值，根据光流内聚值和发散值的比较初 步判断握拳、拳头和张开状态。
5. 如权利要求1所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于所述手的整体运动速度的获得过程是：在跟踪过程中，保留当前帧的前五帧跟踪结 果，利用前五帧的跟踪结果与当前帧的跟踪框所处位置，计算得到当前帧和前四帧中每一 帧手的整体运动速度。
6. 如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于所述的统计光流的内聚和发散程度包括： 根据跟踪结果确定手的掌心位置； 以掌心的位置为中心，设置敏感区域上每个像素上光流内聚和扩散的阈值； 分别统计敏感区域中光流的向内聚拢和向外扩散的像素及其速度加权值的和。
7. 如权利要求3所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于所述的光流分布特点的分析过程包括： 提取光流矢量图中的速度大小值，对速度图做二值化处理； 计算图像中所有非零像素点的重心坐标cen ; 标记二值化速度图像各个部分连通域i，并计算各个连通域的重心坐标⑶叫； 累加所有连通域面积的值sum，将sum作为一个未知圆的总面积，并计算其半径； 计算各个连通域的重心坐标cerii与半径的方差vai^之平均值var ; 根据var的值与跟踪框的大小的比值与所有非零像素点的重心坐标cen判断光流分布 的特点。
8. 如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于所述握拳状态判断方法为：在用户的手处于稳定状态的前提下，若上一帧的最终状 态为握拳或者速度停下的手掌状态，且预测握拳张开趋势中的所述初步判断结果为握拳。
9. 如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其特 征在于所述的拳头状态判断方法为：在用户的手处于稳定状态的前提下，若上一帧的最终 状态为拳头状态、握拳状态或者拳头移动状态，且预测握拳张开趋势中的所述初步判断结 果为非握拳非张开状态。
10.如权利要求4所述的一种手势跟踪过程中手形变化导致跟踪偏移的修正方法，其 特征在于其特征在于所述的张开状态判断方法：张开状态判断方法：在用户的手处于稳定 状态的前提下，若上一帧的最终状态为张开或者拳头的状态，且预测握拳张开趋势中的初 步判断结果为张开。
【文档编号】G06F3/01GK104143195SQ201410318691
【公开日】2014年11月12日 申请日期:2014年7月4日 优先权日:2014年7月4日
【发明者】徐向民, 裘索, 罗雅愉 申请人:华南理工大学