应左手）；（X11，y12)、（X21，y22)、（X31，y32)、（X41，y42)(对应左 手）}。
[0082] 这样，手势表匹配子单元520将使用者双手的动作名称与预设手势表中的每个映 射的左端进行匹配。
[0083] 当与映射一进行匹配时，可以得出，使用者双手的动作名称与映射一的左端的动 作名称不匹配，因此忽略映射一，继续匹配映射二。
[0084] 当与映射二进行匹配时，可以得出，使用者双手的动作名称与映射二的左端的动 作名称完全匹配，然后再将使用者双手的位置与映射二的左端的相对位置进行匹配。
[0085] 在将使用者双手的位置与映射二的左端的相对位置进行匹配的过程中，首先计算 使用者双手的相对位置如下：{(x12_y12)、（x21_x21，y22_y22)、（x31_x31，y32_y32)、 (x' 41-x41，y' 42-y42)(对应左手）}。然后，将计算得到的使用者双手的上述相对位置与映射 二左端的相对位置{(x5,y5)，（x6,y6)，（x7,y7)，（xs，ys)}进行匹配，也即，计算{(x'H-X11, y12_y"l2)、（X2「X21，y22_y"22)、（X3「X31，y32_y"32)、（X4「X41，y42_y"42)(对应左手）}与 {(叉5,75)，（叉6,76)，（叉 7,77)，（叉8,78)}之间的相似度，假设计算得到的相似度为95%。在该 例子中，设相似度阈值为80%，于是判定计算得到的使用者双手的相对位置与映射二左端 的相对位置是匹配的。由此，在该例子中，手势识别的结果为"爆炸"。
[0086] 由此，利用手势表匹配子单元520,通过双手各自的多个动作和位置与预定手势 表之间的匹配来确定使用者的手势，使得识别的精度较高；当根据不同应用场景需要改变 (例如修改、增加或减少等）对手势的定义时，不需要修改算法或重新训练分类器，可以仅 通过调整预定手势表中的手势名称或者手势对应的动作名称等方式来实现对手势定义的 改变，大大提高了算法的适应性。
[0087] 上述根据本发明实施例的手势识别装置，采用先识别单手动作、再进而通过双手 动作识别手势的方式来实现，能够准确识别使用者的手势，识别精度较高，而且识别速度较 快。
[0088] 本发明的上述手势识别装置采用层次化设计算法，算法复杂度低，便于实现。
[0089] 此外，应用本发明的上述手势识别装置，当需要改变（例如修改、增加或减少等） 对动作和/或手势的定义时，可以仅通过调整模板以及/或预设手势表来实现（即，通过修 改预设特征点序列对应的动作名称来改变动作的定义，通过增加或减少预设特征点序列及 其对应动作名称来增、减动作；通过修改预设手势表中手势对应的多个动作来改变手势的 定义，通过增加或减少预设手势表中的手势及其对应动作来增、减手势），而不需改变算法 或者重新训练分类器，大大提高了算法的适应性。
[0090] 此外，本发明的上述手势识别装置的实时性强，能够适合即时交互需求的场合。
[0091] 尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域 内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意， 本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限 定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本 技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本 发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
【主权项】
1. 一种手势识别装置，其特征在于，所述手势识别装置包括： 图像获取单元，其用于获取含有深度信息的使用者手部的待测图像序列； 轮廓检测单元，其用于根据图像深度信息和图像颜色信息，在所述待测图像序列的每 帧图像中检测出所述使用者的手部轮廓； 特征点序列确定单元，其用于针对所述使用者的每只手，利用预设的手部结构模板，在 所述待测图像序列的每帧图像中确定该只手的待测特征点序列； 动作识别单元，其用于针对所述使用者的每只手，在多个预设特征点序列中确定该只 手的待测特征点序列的匹配序列，以根据所述匹配序列确定该只手的动作名称和位置； 手势确定单元，其用于在预设手势表中选择与所述使用者双手的动作名称和位置相匹 配的手势，作为所述待测图像序列的手势识别结果。2. 根据权利要求1所述的手势识别装置，其特征在于，所述特征点序列确定单元包括： 模板存储子单元，其用于存储预设的手部结构模板； 模板匹配子单元，其用于针对所述使用者的每只手，利用所述手部结构模板，在所述待 测图像序列的每帧图像的手部轮廓中确定该只手的预定数目个特征点； 序列生成子单元，其用于针对所述使用者的每只手，利用该只手在所述待测图像序列 的各帧图像中对应的预定数目个特征点，获得该只手的待测特征点序列。3. 根据权利要求2所述的手势识别装置，其特征在于，所述模板匹配子单元包括： 定位基点确定模块，其用于针对所述待测图像序列的每帧图像，根据该图像中的轮廓 线的曲率找到该轮廓线中的指尖点和指根关节点，以将所述指尖点作为定位基点； 缩放基准确定模块，其用于针对所述定位基点确定模块处理后的每帧图像，基于该帧 图像中已找到的所述定位基点，匹配每个单指的指根关节点，得到各单指的长度来作为尺 度缩放的基准； 缩放及形变模块，其用于针对所述缩放基准确定模块处理后的每帧图像，基于已找到 的所述指尖点和所述指根关节点的位置以及各单指的长度来对相应的所述手部结构模板 进行缩放和形变，通过匹配得到每只手的各指关节特征点和手腕中点特征点； 其中，所述模板存储子单元存储的所述手部结构模板包括左手结构模板和右手结构模 板，所述左手结构模板和右手结构模板各自包括：各手指的指尖特征点、各指关节特征点、 各指根关节特征点、手腕中点特征点以及各特征点之间的拓扑关系。4. 根据权利要求1-3中任一项所述的手势识别装置，其特征在于，所述图像获取单元 用于： 通过捕获预定成像区域内的所述使用者手部的图像，获得可见光图像序列！4以,)少 和红外图像序列，/〉(T，.y)为所述可见光图像序列第i帧图像坐标（X，y)处的像 素值，而A(U)为所述红外图像序列第i帧图像坐标（X，y)处的像素值，根据如下公式获得 抽取使用者双手信息的图像序列：其中，α、β、λ为预设参数阈值，[/丨(X,)，)}·为获取的含有深度信息的使用者双手的图 像序列，作为所述待测图像序列，i = 1，2, -·，Μ，Μ为所述待测图像序列所包含的图像帧数。5. 根据权利要求1-3中任一项所述的手势识别装置，其特征在于，所述轮廓检测单元 用于： 针对所述待测图像序列i4(x,3〇丨中的每帧图像4(x，j)，结合颜色信息删除该帧图像 /; U.r)中的噪声点及非肤色区域，利用边缘检测算子E (·)对删除所述噪声点和所述非肤 色区域后所得到的图像4IX妁进行边缘检测，得到边缘图像4 -V):所述边缘图像A (U)即为仅包含所述使用者手部轮廓的图像。6. 根据权利要求1-3中任一项所述的手势识别装置，其特征在于，所述动作识别单元 包括： 分割子单元，其用于针对每只手的待测特征点序列，根据预定时间窗将该待测特征点 序列分割为多个子序列，并获得每个子序列对应的平均位置； 匹配序列确定子单元，其用于针对每只手对应的每个子序列，将该子序列与所述多个 预设特征点序列中的每一个分别进行匹配，在所述多个预设特征点序列中选择与该子序 列的匹配程度高于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序 列； 关联子单元，其用于将每个子序列对应的平均位置与该子序列的匹配序列对应的动作 名称相关联； 动作名称确定子单元，针对每只手，将该只手对应的各子序列的匹配序列作为该只手 对应的多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动作名 称。7. 根据权利要求1-3中任一项所述的手势识别装置，其特征在于，所述手势确定单元 包括： 手势表存储子单元，其用于存储如下映射列表来作为所述预设手势表：该映射列表中 的每个映射的左端是一组动作名称对及每个动作名称对的位置；该映射列表中的每个映射 的右端是一个手势； 手势表匹配子单元，其用于将所述预设手势表中的每个映射的左端与所述使用者双手 的动作名称和位置进行匹配，其中，动作名称的匹配执行严格匹配，而位置则是通过使用者 双手各自的平均位置计算得到相对位置信息，进而计算该相对位置信息与映射左端的位置 之间的相似度来实现的。
【专利摘要】本发明提供了一种手势识别装置，该手势识别装置包括：图像获取单元，用于获取含有深度信息的使用者手部的待测图像序列；轮廓检测单元，用于检测出使用者的手部轮廓；特征点序列确定单元，用于确定每只手的待测特征点序列；动作识别单元，用于针对使用者的每只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据匹配序列确定该只手的动作名称和位置；手势确定单元，用于在预设手势表中选择与使用者双手的动作名称和位置相匹配的手势，作为待测图像序列的手势识别结果。本发明的上述技术能够准确识别使用者的手势，识别精度较高，而且识别速度较快。
【IPC分类】G06K9/00
【公开号】CN105069444
【申请号】CN201510563585
【发明人】韩琦, 杨晓光, 李建英, 朱磊
【申请人】哈尔滨市一舍科技有限公司
【公开日】2015年11月18日
【申请日】2015年9月7日