跟踪，实现指尖持续跟踪，若不正确则返回第一步。2. 根据权利要求1所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 第一步中，所述捕获场景信息，通过计算与场景信息对应的稠密光流信息并进行二值化预 处理得到含有手部区域的场景图像；再构建肤色滤波器，对含有手部区域的场景图像进行 手部区域的分割，得到手部区域是指：包括以下步骤： (1. 1)捕获场景信息，并计算与之对应的稠密光流信息； (1. 2)遍历光流信息，寻找最大光流值，并利用该最大光流值，在X轴和Y轴方向对所有 光流进行正则化处理； (1. 3)根据正则化后的光流，计算沿光流方向发生变化的区域的色调和饱和度，并标记 不同的颜色值； (1. 4)设定阈值，根据阈值将颜色标记的光流变化区域转化为二值图像，结合逻辑运算 和数学形态学运算，获得含有手部区域的场景图像。 (1.5)根据人体肤色聚类特性，构造YCbCr肤色滤波器，剔除冗余色彩和亮度信息； (1. 6)对YCbCr肤色滤波器过滤后对含有手部区域的场景图像的所有轮廓进行递减排 序，寻找最大连通区域作为手部区域，实现对含有手部区域的场景图像进行手部区域的分 割。3. 根据权利要求1所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 第二步中，所述对手部区域的轮廓进行采样，对各轮廓点进行向量点积和叉乘计算来剔除 非指尖的轮廓点，得到候选指尖点；再根据指尖的几何特性设定阈值，统计候选指尖点附近 被剔除非指尖轮廓点的数目并与阈值比较，来检测指尖点的位置并得到指尖轮廓点；若没 有检测到指尖点，则返回第一步重新初始化是指：包括以下步骤： (2. 1)对手部区域轮廓进行采样，并计算各个轮廓点的向量点积，其中向量点积为K曲 率； (2.2)设定阈值I\、T2，对K曲率在阈值TjPT2之间的轮廓点进行向量叉乘计算，根据 计算结果来剔除非指尖的轮廓点，得到候选指尖点； (2. 3)根据指尖的几何特性设定阈值T。，统计候选指尖点附近不满足向量叉乘计算结 果的连续分布的轮廓点个数并与阈值T。比较，来检测指尖点的位置并得到指尖轮廓点；若 没有检测到指尖点，则返回第一步重新初始化。4. 根据权利要求3所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 步骤（2. 1)中，所述计算各个轮廓点的向量点积是指：采用公式⑴计算各个轮廓点的余弦 绝对值：(1) 其中，^ = 7^为轮廓上某一点P。与前面第κ个点Pi构成的向量，5=??为轮廓上某 一点Pc与后面第K个点P2构成的向量。5. 根据权利要求4所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 步骤（2.2)中，所述对K曲率在阈值TdPT2之间的轮廓点进行向量叉乘计算，根据计算结 果来剔除非指尖的轮廓点，得到候选指尖点是指：若轮廓点的余弦绝对值满足公式（2)，则 通过公式（3)进行该点的向量叉乘计算；否则该点无需进行向量叉乘计算；α> ?=?(3) 若向量叉乘ν>0,则该轮廓点为候选指尖点，否则判断为非指尖的轮廓点并剔除。6. 根据权利要求5所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 步骤（2.3)中，所述统计候选指尖点附近不满足向量叉乘计算结果的连续分布的轮廓点个 数并与阈值Τ。比较，来检测指尖点的位置并得到指尖轮廓点是指：统计每个候选指尖点附 近不满足向量叉乘V>0的连续分布的轮廓点的个数Ν，若Ν>Τ。时，其对应的候选指尖点为指 尖轮廓点，并检测到该指尖轮廓点的位置；否则返回第一步重新初始化。7. 根据权利要求1所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 第三步中，所述利用双向金字塔光流算法对指尖轮廓点计算，得到双向匹配的指尖轮廓点 来对指尖运动区域进行估计；在指尖的估计运动区域中，采用搜索窗策略依次进行离散余 弦变换，提取邻域，并计算对应离散余弦变换低频系数矩阵，采用感知哈希算法生成64位 感知哈希序列，并将64位感知哈希序列与指尖哈希序列模板匹配，则最大匹配区域为指尖 区域；最后设定匹配距离的阈值来判断是否将64位感知哈希序列更新为指尖哈希序列模 板，设定指尖轮廓匹配点数的阈值来判断指尖区域是否跟踪正确，若正确则进行下一轮的 指尖跟踪，实现指尖持续跟踪，若不正确则返回第一步，包括以下步骤： (3. 1)对第二步检测到的指尖轮廓点进行正向光流计算，获得下一帧中与之对应的正 向估计指尖轮廓点； (3. 2)对正向估计指尖轮廓点进行逆向光流计算，获得当前帧中与之对应的逆向估计 指尖轮廊点； (3. 3)匹配初始指尖轮廓点和逆向估计指尖轮廓点，获得能进行双向匹配的指尖轮廓 占. (3.4)利用双向匹配指尖轮廓点对指尖在下一帧中运动区域进行估计； (3. 5)在指尖运动估计区域中，采用搜索窗策略，在搜索窗区域依次进行离散余弦变 换，并提取离散余弦变换后左上角8X8邻域内的低频有效成分，得到对应的离散余弦系数 矩阵； (3. 6)计算离散余弦系数矩阵的中值，并将邻域内各像素点与中值进行对比，生成64 位的感知哈希序列； (3. 7)将64位感知哈希序列与上一帧跟踪结果保留的指尖哈希序列模板进行匹配分 析，则最大匹配区域为指尖区域；其中，初始化结束后的跟踪过程中，指尖哈希序列模板根 据初始化结果设定； (3. 8)设定匹配距离的阈值T3来判断是否将64位感知哈希序列更新为指尖哈希序列 模板； (3. 9)设定指尖轮廓匹配点数的阈值Τ4来判断指尖区域是否跟踪正确，若指尖轮廓匹 配点数Μ〈Τ4,则发生显著的指尖目标丢失，返回第一步，重新初始化检测指尖轮廓点；否则 判断指尖区域跟踪正确，返回步骤（3. 1)进行下一轮的指尖跟踪，实现指尖持续跟踪。8. 根据权利要求7所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 步骤（3.5)中，所述在指尖运动估计区域中，采用搜索窗策略，在搜索窗区域依次进行离散 余弦变换，并提取离散余弦变换后左上角8X8邻域内的低频有效成分，得到对应的离散余 弦系数矩阵是指：在指尖的估计运动区域中，采用搜索窗策略，设置16X16的搜索窗，从运 动估计区域的左上角到右下角，依次将16X16的图像块转化为灰度图像，并进行离散余弦 变换，提取离散余弦变换后左上角8X8邻域的低频有效成分，计算对应的离散余弦系数矩 阵。9. 根据权利要求7所述的基于双向光流和感知哈希的指尖跟踪方法，其特征在于：在 步骤（3.8)中，所述设定匹配距离的阈值Τ3来判断是否将64位感知哈希序列更新为指尖 哈希序列模板是指：计算64位感知哈希序列的汉明距离，通过公式（4)将汉明距离和阈值 Τ3判断是否将64位感知哈希序列更新为指尖哈希序列模板；⑷ 若汉明距离％_^(3_1^，3_)彡1'3，则将64位感知哈希序列更新为指尖哈希序列模 板，否则不更新指尖哈希序列模板。
【专利摘要】本发明提供一种基于双向光流和感知哈希的指尖跟踪方法，该方法包括：第一步，通过计算与场景信息对应的稠密光流信息；再构建肤色滤波器得到手部区域；第二步，对各轮廓点进行向量点积和叉乘计算来剔除非指尖的轮廓点；再根据指尖的几何特性来检测指尖点的位置并得到指尖轮廓点；第三步，利用双向金字塔光流算法对指尖轮廓点计算，得到双向匹配的指尖轮廓点来对指尖运动区域进行估计；采用感知哈希算法生成64位感知哈希序列，与指尖哈希序列模板匹配，最大匹配区域为指尖区域；判断是否进行下一轮的指尖跟踪，实现指尖持续跟踪。本发明方法可有效实现在复杂环境下指尖的持续性跟踪，同时避免了因指尖跟踪轨迹不连续导致指尖跟踪效果差的问题。
【IPC分类】G06F3/01, G06T7/20
【公开号】CN105261038
【申请号】CN201510646203
【发明人】康文雄, 吴桂乐
【申请人】华南理工大学
【公开日】2016年1月20日
【申请日】2015年9月30日