括图像获取单元110、轮廓检测单元120、特征点序列确定单元130、动作识 别单元140和手势确定单元150。
[0031] 其中，图像获取单元110,其用于获取含有深度信息的使用者手部的待测图像序 列。
[0032] 轮廓检测单元120,其用于根据图像获取单元110所获得的待测图像序列的图像 深度信息和图像颜色信息，在待测图像序列的每帧图像中检测出使用者的手部轮廓。其中， 轮廓检测单元120检测出的手部轮廓可能是双手轮廓，也可能是单手轮廓。
[0033] 特征点序列确定单元130,其用于针对使用者的每只手，利用预设的手部结构模 板，在待测图像序列的每帧图像中确定该只手的待测特征点序列。
[0034] 动作识别单元140,其用于针对使用者的每只手，在多个预设特征点序列中确定该 只手的待测特征点序列的匹配序列，以根据匹配序列确定该只手的动作名称和位置。
[0035] 手势确定单元150,其用于在预设手势表中选择与使用者双手的动作名称和位置 相匹配的手势，作为待测图像序列的手势识别结果。
[0036] 根据一种实现方式，图像获取单元110可以用于：通过捕获预定成像区域内的使 用者手部的图像，获得可见光图像序列{A(x,J；)}和红外图像序列，GtU)为可 见光图像序列第i帧图像坐标（x，y)处的像素值，而为红外图像序列第i帧图像坐 标（x，y)处的像素值，根据如下公式可以得到抽取使用者双手信息的图像序列：
[0038] 其中，a、P、A为预设参数阈值，这些预设参数阈值可以根据经验值来设定，也可 以通过试验的方法来确定（例如通过实际使用特定型号的深度摄像头采集到的样本图像 训练得到），这里不再赘述。彳为获取的含有深度信息的使用者双手的图像序列，作 为上述待测图像序列。此外，i=l，2,…，M，M为待测图像序列中所包括的图像帧数。
[0039] 其中，图像获取单元110可为包括可见光图像传感器和红外图像传感器的深度摄 像头，可见光图像传感器用于获得可见光图像序列，而红外图像传感器的深度摄 像头则用于获得红外图像序列丨
[0040] 需要说明的是，根据使用者手势所使用的手数量的不同（单只或双只），在预定成 像区域内所捕获的图像可能是包含使用者双手的图像，也可能是仅包含使用者单只手的图 像。另外，获取的待测图像序列可以是在一个时间段内获得的，该时间段可以预先根据经验 值设置，例如可为10秒。
[0041] 根据一种实现方式，轮廓检测单元120可以用于：针对待测图像序列中 的每帧图像，结合颜色信息删除该帧图像4(x，_y)中的噪声点及非肤色区域，利用 边缘检测算子E( ?)对删除噪声点和非肤色区域后所得到的图像Adv)进行边缘检测，从 而得到边缘图像A',Ur):
[0042] Ir,(x,y) =E{l)c(x,y%
[0043] 边缘图像/)y(x，J)即为仅包含使用者手部轮廓的图像。
[0044] 其中，在"结合颜色信息删除该帧图像中的噪声点及非肤色区域"的处理过程中， 可以利用现有的去噪方法来删除图像中的噪声点，并可以通过计算图像#的均值来得到 肤色区域，则肤色区域之外的区域即为非肤色区域，即可实现对非肤色区域的删除。例如， 得到图像g的均值之后，在该均值上下浮动一个范围，得到包含该均值的一个颜色范围， 当图像中某点的颜色值落在这个颜色范围之内，则将该点确定是肤色点，否则认为不是肤 色点；所有肤色点构成肤色区域，其余为非肤色区域。
[0045] 由此，通过轮廓检测单元120的处理，能够快速检测出使用者的手部轮廓，提高了 整个处理的速度和效率。
[0046] 根据一种实现方式，特征点序列确定单元130可以包括如图2所示的模板存储子 单元210、模板匹配子单元220和序列生成子单元230。
[0047] 其中，模板存储子单元210可以用于存储预设的手部结构模板。
[0048] 根据一种实现方式，手部结构模板可以包括左手结构模板和右手结构模板，左手 结构模板和右手结构模板各自包括预定数目个特征点以及各特征点之间的拓扑关系。
[0049] 在一个例子中，左手结构模板和右手结构模板可以各自包括如下20 (作为预定数 目的示例，但预定数目并不限于20,也可为19、21等数值）个特征点：各手指的指尖特征点 (5个）、各指关节特征点（9个）、各指根关节特征点（5个）、手腕中点特征点（1个）。
[0050] 如图2所示，模板匹配子单元220可以针对使用者的每只手，可以利用上述预设的 手部结构模板，分别将待测图像序列的每帧图像中的手部轮廓与手部结构模板（左右结构 模板和右手结构模板）进行匹配、对齐，得到该帧图像手部轮廓中的预定数目个（例如20 个）特征点。
[0051] 然后，序列生成子单元230可以针对使用者的每只手，可以利用该只手在待测图 像序列的各帧图像中对应的预定数目个特征点（即特征点集），获得该只手的待测特征点 序列。
[0052] 这样，通过手部结构模板与之前获得的每个手部轮廓（即待测图像序列的每帧图 像中的手部轮廓）进行匹配等处理，能够快速、准确地获得每个手部轮廓中的预定数目个 特征点。由此，能够使得后续处理利用这些轮廓中的所述预定数目个特征点来进一步实现 手势识别，相比于现有技术，提高了整个手势识别处理的速度和准确度。
[0053] 在现有技术中，当根据不同应用场景需要改变（例如修改、增加或减少等）对动作 的定义时，需要修改算法以及重新训练分类器；在本发明中，可以仅通过调整动作模板（即 预设特征点序列）来实现对动作定义的改变，大大提高了手势识别技术的适应性。
[0054] 在一个例子中，模板匹配子单元220可以包括如图3所示的定位基点确定模块 310、缩放基准确定模块320和缩放及形变模块330。
[0055] 根据人类双手的生理结构特征，可以通过定位基点确定模块310、缩放基准确定模 块320和缩放及形变模块330对每只手提取20 (作为预定数目的示例）个特征点。
[0056] 针对待测图像序列的每帧图像执行以下处理：首先，通过定位基点确定 模块310,根据该图像路鉍妗中的轮廓线的曲率找到该轮廓线中的指尖点和指根关节点， 以将指尖点作为定位基点；接着，缩放基准确定模块320基于定位基点确定模块310已找到 的该帧图像，的轮廓线中的定位基点，匹配每个单指的指根关节点，得到各单指的 长度作为尺度缩放的基准；最后，缩放及形变模块330基于定位基点确定模块310已找到的 指尖点和指根关节点的位置以及缩放基准确定模块320得到的各单指的长度两方面的参 数，对相应的手部结构模板进行缩放和形变，通过匹配得到每只手其余的10个特征点，即 每只手的各指关节特征点和手腕中点特征点。
[0057]例如，在找轮廓线中的指尖点和指根关节点的过程中，可以将其中曲率最 大的凸点作为指尖点，将曲率最大的凹点作为指缝最低点，并将每个指尖点到该指尖点相 邻的指缝最低点之间的距离定义为该指尖点对应的单位长度。对每两个相邻的指缝最低 点，将此二点的中点再往手掌方向延伸三分之一单位长度（此时的单位长度为此二点之间 的指尖点对应的单位长度）的点，定义为该指尖点对应的指根关节点，由此可以得到每只 手的中间3个指根关节点。除此之外，对于每只手来说，可以通过在后续缩放和形变的过程 中获得该只手的首尾两个指根关节点；或者，也可以将该只手的两个（例如任意选两个）相 邻的指缝最低点之间的距离作为手指参考宽度，然后将该只手的首尾两个指缝最低点各沿 切线方向、向外延伸半个手指参考宽度，得到的点分别作为该只手的首尾两个指根关节点。
[0058] 需要说明的是，如果对于单只手所找到的凸点多于5个，可以在将其与手部结构 模板进行匹配对齐的过程中将多余的凸点去除。
[0059] 由此，通过定位基点确定模块310、缩放基准确定模块320和缩放及形变模块330， 可以匹配得到每一帧图像对应的左手的20个特征点pi= {pli，pl2，…，pl2。}和右手的20 个特征点Pr= {pri，pr2，…，pr2。}。需要说明的是，若使用者手势仅包含单只手，则通过以 上匹配所得到的是该单只手在每帧图像中的20个特征点（称为特征点集），即pi={pip 口12，，"412。丨或坪=^1'141'2，，"41'2。}。其中411412，~412。分别为左手20个特征 点的位置，而Pr1,pr2,…，pr2。分别为右手20个特征点的位置。
[0060] 若使用者手势包含双手，则通过以上处理可以得到左手的待测特征点序列（Pl1,i =1，2,...，M}和右手的待测特征点序列（Pr1,i= 1，2,...，M}。其中，Pl1S使用者左手在 待测图像序列的第i帧图像中对应的20 (作为预定数目的示例）个特征点，而Pr1为使用 者右手在待测图像序列的第i帧图像中对应的20 (作为预定数目的示例）个特征点。
[0061] 若使用者手势仅包含单只手，则捕获的待测图像序列中的每帧图像均是仅包含该 单只手的图像，从而通过以上处理之后能够得到该单只手的待测特征点序列，即（Pl1,i= 1，2, ? ? ?，M}或（Pr1,i= 1，2, ? ? ?，M}。
[0062] 根据一种实现方式，动作识别单元140可以包括如图4所示的分割子单元410、匹 配序列确定子单元420、关联子单元430和动作名称确定子单元440。
[0063] 如图4所示，分割子单元410可以针对每只手的待测特征点序列，根据预定时间窗