一种手势识别装置的制造方法
【技术领域】
[0001] 本发明涉及信号处理技术，尤其涉及一种手势识别装置。
【背景技术】
[0002] 随着科学技术的发展，诸如笔记本电脑、手机、平板电脑等的电子设备逐渐具有越 来越多的功能，而手势识别正是这诸多功能之一。
[0003]目前，现有的手势识别技术的识别处理过程利用的算法较为复杂，不仅耗费时间， 而且由此识别手势的精度较低、准确度较差。此外，基于模式识别的现有手势识别技术的实 时性较差，不适合即时交互需求的场合。
【发明内容】
[0004] 在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本 理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0005] 鉴于此，本发明提供了一种手势识别装置，以至少解决现有的手势识别技术所存 在的手势识别精度低、准确度差的问题。
[0006] 根据本发明的一个方面，提供了一种手势识别装置，手势识别装置包括：图像获取 单元，其用于获取含有深度信息的使用者手部的待测图像序列；轮廓检测单元，其用于根据 图像深度信息和图像颜色信息，在待测图像序列的每帧图像中检测出使用者的手部轮廓； 特征点序列确定单元，其用于针对使用者的每只手，利用预设的手部结构模板，在待测图像 序列的每帧图像中确定该只手的待测特征点序列；动作识别单元，其用于针对使用者的每 只手，在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据匹配序 列确定该只手的动作名称和位置；手势确定单元，其用于在预设手势表中选择与使用者双 手的动作名称和位置相匹配的手势，作为待测图像序列的手势识别结果。
[0007] 进一步地，特征点序列确定单元包括：模板存储子单元，其用于存储预设的手部结 构模板；模板匹配子单元，其用于针对使用者的每只手，利用手部结构模板，在待测图像序 列的每帧图像的手部轮廓中确定该只手的预定数目个特征点；序列生成子单元，其用于针 对使用者的每只手，利用该只手在待测图像序列的各帧图像中对应的预定数目个特征点， 获得该只手的待测特征点序列。
[0008] 进一步地，模板匹配子单元包括：定位基点确定模块，其用于针对待测图像序列的 每帧图像，根据该图像中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节点，以将指 尖点作为定位基点；缩放基准确定模块，其用于针对定位基点确定模块处理后的每帧图像， 基于该帧图像中已找到的定位基点，匹配每个单指的指根关节点，得到各单指的长度来作 为尺度缩放的基准；缩放及形变模块，其用于针对缩放基准确定模块处理后的每帧图像，基 于已找到的指尖点和指根关节点的位置以及各单指的长度来对相应的手部结构模板进行 缩放和形变，通过匹配得到每只手的各指关节特征点和手腕中点特征点；其中，模板存储子 单元存储的手部结构模板包括左手结构模板和右手结构模板，左手结构模板和右手结构模 板各自包括：各手指的指尖特征点、各指关节特征点、各指根关节特征点、手腕中点特征点 以及各特征点之间的拓扑关系。
[0009] 进一步地，图像获取单元用于：通过捕获预定成像区域内的使用者手部的图像，获 得可见光图像序列丨C(Xj)丨和红外图像序列丨，4(x,W为可见光图像序列第i帧 图像坐标（x，y)处的像素值，而/丨(W)为红外图像序列第i帧图像坐标（x，y)处的像素值， 根据如下公式获得抽取使用者双手信息的图像序列：
[0011] 其中，a、0、A为预设参数阈值，{/丨(X,州为获取的含有深度信息的使用者双手 的图像序列，作为待测图像序列，i= 1，2,…，M，M为待测图像序列所包含的图像帧数。
[0012] 进一步地，轮廓检测单元用于：针对待测图像序列！Mx,J)}中的每帧图像 ，结合颜色信息删除该帧图像斗(U)中的噪声点及非肤色区域，利用边缘检测算 子E( ?)对删除噪声点和非肤色区域后所得到的图像A(Xj)进行边缘检测，得到边缘图像 : /^(x，_y) =EC^x,_>')），边缘图像A(U)即为仅包含使用者手部轮廓的图像。
[0013] 进一步地，动作识别单元包括：分割子单元，其用于针对每只手的待测特征点序 列，根据预定时间窗将该待测特征点序列分割为多个子序列，并获得每个子序列对应的平 均位置；匹配序列确定子单元，其用于针对每只手对应的每个子序列，将该子序列与多个预 设特征点序列中的每一个分别进行匹配，在多个预设特征点序列中选择与该子序列的匹配 程度高于预设的匹配阈值、并且最大的预设特征点序列，作为该子序列的匹配序列；关联 子单元，其用于将每个子序列对应的平均位置与该子序列的匹配序列对应的动作名称相关 联；动作名称确定子单元，针对每只手，将该只手对应的各子序列的匹配序列作为该只手 对应的多个匹配序列，并将该多个匹配序列各自对应的动作名称作为该只手的多个动作名 称。
[0014] 进一步地，手势确定单元包括：手势表存储子单元，其用于存储如下映射列表来作 为预设手势表：该映射列表中的每个映射的左端是一组动作名称对及每个动作名称对的位 置；该映射列表中的每个映射的右端是一个手势；手势表匹配子单元，其用于将预设手势 表中的每个映射的左端与使用者双手的动作名称和位置进行匹配，其中，动作名称的匹配 执行严格匹配，而位置则是通过使用者双手各自的平均位置计算得到相对位置信息，进而 计算该相对位置信息与映射左端的位置之间的相似度来实现的。
[0015] 上述根据本发明实施例的手势识别装置，采用先识别单手动作、再进而通过双手 动作识别手势的方式来实现，能够准确识别使用者的手势，识别精度较高，而且识别速度较 快。
[0016] 本发明的上述手势识别装置采用层次化设计算法，算法复杂度低，便于实现。
[0017] 此外，应用本发明的上述手势识别装置，当需要改变（例如修改、增加或减少等） 对动作和/或手势的定义时，可以仅通过调整模板（即，通过修改预设特征点序列对应的动 作名称来改变动作的定义，通过增加或减少预设特征点序列及其对应动作名称来增、减动 作）以及预设手势表（即，通过修改预设手势表中手势对应的多个动作来改变手势的定义， 通过增加或减少预设手势表中的手势及其对应动作来增、减手势），而不需改变算法或者重 新训练分类器，大大提高了算法的适应性。
[0018] 此外，本发明的上述手势识别装置的实时性强，能够适合即时交互需求的场合。
[0019] 通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优 点将更加明显。
【附图说明】
[0020] 本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所 有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的 详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本 发明的优选实施例和解释本发明的原理和优点。在附图中：
[0021] 图1是示出本发明的手势识别装置的一个示例的结构示意图；
[0022] 图2是示出图1中的特征点序列确定单元130的一个示例的结构示意图；
[0023] 图3是示出图2中的模板匹配子单元220的一个示例的结构示意图；
[0024] 图4是示出图1中的动作识别单元140的一个示例的结构示意图；
[0025] 图5是示出图1中的手势确定单元150的一个示例的结构示意图。
[0026] 本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的， 而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以 便有助于提高对本发明实施例的理解。
【具体实施方式】
[0027] 在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见， 在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施 例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符 合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有 所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开 内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0028] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中 仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明 关系不大的其他细节。
[0029] 本发明的实施例提供了一种手势识别装置，该手势识别装置包括：图像获取单元， 其用于获取含有深度信息的使用者手部的待测图像序列；轮廓检测单元，其用于根据图像 深度信息和图像颜色信息，在待测图像序列的每帧图像中检测出使用者的手部轮廓；特征 点序列确定单元，其用于针对使用者的每只手，利用预设的手部结构模板，在待测图像序列 的每帧图像中确定该只手的待测特征点序列；动作识别单元，其用于针对使用者的每只手， 在多个预设特征点序列中确定该只手的待测特征点序列的匹配序列，以根据匹配序列确定 该只手的动作名称和位置；手势确定单元，其用于在预设手势表中选择与使用者双手的动 作名称和位置相匹配的手势，作为待测图像序列的手势识别结果。
[0030] 图1示出了本发明的手势识别装置的一个示例的结构示意图。如图1所示，手势 识别装置100包