专利名称：动态手势控制系统与方法
技术领域：
本发明所述的动态手势控制系统与方法，属于一种基于视频的数据处理系统与方 法，适用于虚拟现实的人机交互环节、大型互动投影系统、显示系统特别是体三维显示系统 的人机交互环节。
背景技术：
交互技术是虚拟现实系统的一项关键技术，也是体三维显示等新型显示系统的一 项关键技术。交互技术实现了人与机器的互动、现实世界与虚拟世界的互动。通过动态手 势控制实现交互的前提，一是实时获得用户手部的位置等信息，二是识别手势轨迹的意义。 前者为手势跟踪、后者为手势识别。目前，手势跟踪主要分为基于数据手套的手势跟踪和基于视频的手势跟踪。参见“石教英著，《虚拟现实基础及实用算法》，科学出版社，2002”，系统阐述了数 据手套的相关内容数据手套将手指和手掌伸曲时的各种姿态转化为数字信号送给计算 机，用于识别和执行，进而实现人机交互。标准配置是每个手指上有两个传感器，控制装在 手指背面的两条光纤环或其它测量元件，用来测量手指主要关节的弯曲角度。数据手套还 可提供测量大拇指的并拢/张开以及上翘/下翘角度的传感器作为选件。数据手套可以精确的获得手指的部位和姿态信息，但是其不足同样明显(1)结 构复杂，佩戴不便，影响了人与机器间自然而直观的交互；(2)价格不菲，具有高精度的精 密的传感器部件增加了制造成本。基于视频的手势跟踪，主要通过摄像头跟踪佩戴在手指上的特殊颜色标记或跟踪 手持式辅助设备如SONY公司的PlayStation Move等实现。参见“Τ. Grossman, D. ffigdor, R. Balakrishnan, Multi-Finger Gestural Interaction with 3D Volumetric Displays. Proceedings of the 17th Annual ACM Symposium on User interface Software and Technology. UIST，04 Santa Fe, NM, USA, October 24-27，2004 :61_70”，通过在手指 上佩戴特殊颜色的标记，真三维显示系统Perspecta允许用户在半球形显示器外壳上实现 基于视频的手势控制。以上基于视频的手势跟踪方法尽管通过辅助设备提高了跟踪的精 度，但同样影响了人与机器间自然而直观的交互。
发明内容
本发明目的是针对现有技术存在的缺陷提供一种基于计算机视觉的、非接触式 的、成本低廉、轻便且实用的动态手势控制系统与方法，实现动态手势控制功能。所要解决 的技术问题包括手势跟踪的快速启动、动态手势的快速跟踪、动态手势的准确识别。本发明为实现上述目的，采用如下技术方案本发明动态手势控制系统，包括计算机、摄像头，摄像头直接与计算机相连。动态手势控制系统的控制方法，包括静态手势识别阶段、动态手势跟踪阶段和动 态手势识别阶段；(1)静态手势检测阶段按以下步骤检测完全张开的静态手势1)对于当前帧与前一帧帧差的二值图像，提取静态手外部轮廓；2)按Sklansky算法计算外部轮廓的凸包，凸包的顶点即为指尖点；3)计算外部轮廓的凸起缺陷及其深度，即各个缺陷点到凸包的距离；设置最大深度值 为D虹，取深度超过OAiJjfcr的缺 陷点为指间缝隙点；4)若指尖数为5且指间缝隙数为4，静态手势检测成功；以凸起缺陷点集；所确定的矩 形区域为初始跟踪区域，以所有指尖点和凸起缺陷点确定的矩形区域为手部边界区域，建 立手部肤色分布模型并退出手势检测；否则读取新的输入帧并进入步骤1)；(2)动态手势跟踪阶段首先按光流发更新跟踪区域内各个特征点的位置，各个特征点的位置即不能远离中心 位置，也不能相互重叠；(3)动态手势识别阶段a)对输入的动态手势I包含的轨迹按八方向Freeman链码进行量化处理，得到观测值 序列0= {&，、，…，么};b)计算动态手势HMM库中各模型(^ieftq)产生观测值序列0的概率P；J^U 采用离散HMM模型即DHMM，记为Jl = {π,AS),其中* = ( , ,--% )是初始概率向量，Jf为状态数；是状态概率转移矩阵:^ = (^( ))^是观测值概率矩阵M为观 测符号数-,1是手势HMM库中的模型数，手势编号从1到7 ；c)取{ …Jf}中最大值巧=MAX{P;^-,P；},如果起>7 , τ为一确定阈值，Jl卩为识别出的手势编号。其中，步骤(2)动态手势跟踪阶段先将与中心位置超过一定范围的特征点按肤色 分布模型调整到与中心位置接近且位于肤色像素点之上，然后将距离太接近的任意两个特 征点中的其中一个调整到阈值之外的距离，使得所有的特征点都不会相互重叠，随后更新 所有特征点的中心。其中，步骤(3)动态手势跟踪阶段仅对手部中心位置的轨迹曲线进行特 征提取对于手势轨迹线上相邻的两个采样点即中心位置P1、乓，计算其连线@与水平线的夹角没，根据夹角5按八方向Freeman链码对@进行编码，编码值为 V=￡V45° 身[OjeO^OiTV :^。其中，只有在当前采样点与前一有效采样点的间距大于阈值外时，当前采样点才 为被设置为有效采样点。本发明的有益效果是与数据手套、特殊颜色标记和手持式游戏手柄等辅助设备相比，具有如下明显优势 (1)非接触式，用户无需任何辅助设备，仅通过摄像头即可实现用户动态手势的跟踪和识 别；(2)无需进行标定，简化了系统的使用，手势控制启动快速、跟踪快速、识别准确；(3)成本低廉。目前，各类数据手套的购置与维护价格昂贵，而普通摄像头价格低廉且无需维护， 这极大降低了手势控制系统的购置与维护成本。
图1是动态手势控制系统的构成框图。图2是静态手势检测的原理图。1-指尖2-指间缝隙3-腕部凹点图3是动态手势跟踪阶段特征点位置调整的原理图。1-中心点 2-特征点。
具体实施例方式首先，如图1所示的系统构成框图进行系统布局，然后通过摄像头采集用户手势 运动信息，通过计算机完成静态手势的识别、动态手势的跟踪和动态手势的识别。(1)静态手势检测阶段按以下步骤检测完全张开的静态手势1)对于当前帧与前一帧帧差的二值图像，提取其外部轮廓。2)按Sklansky算法计算外部轮廓的凸包，凸包的顶点即为指尖点(去除位于腕 部的凸包顶点，如图2中第3类点)，如图2中第1类点。3)计算外部轮廓的凸起缺陷及其深度，即各个缺陷点到凸包的距离。记最大深度 值为‘，取深度超过OAjDjtoW缺陷点为指间缝隙点，如图2中第2类点。4)若指尖数为5且指间缝隙数为4，静态手势检测成功。以凸起缺陷点集(如图2， 包括第1类和第3类点)所确定的矩形区域为初始跟踪区域，以所有指尖点和凸起缺陷点确 定的矩形区域为手部边界区域，建立手部肤色分布模型并退出手势检测；否则读取新的输 入帧并进入步骤1)。以上静态手势检测算法充分利用手部区域的凸包顶点和凸起缺陷点，具有方向不 变性，并且Sklansky算法复杂度低，因此保证了手势控制启动的准确和快速。( 2)动态手势跟踪阶段在图3中，首先按光流发更新跟踪区域内各个特征点(图3中第2类点)的位置。此外， 按照“群”(Flock)的理论，各个特征点的位置即不能远离中心位置(图3中第1点)，也不 能相互重叠。因此先将与中心位置超过一定范围的特征点按肤色分布模型调整到与中心位 置接近且位于肤色像素点之上，然后将距离太接近的任意两个特征点中的其中一个调整到 阈值之外的距离，使得所有的特征点都不会相互重叠，随后更新所有特征点的中心。这样的 处理使得特征点的中心位置变化更为稳定和平滑，提高了跟踪过程的可靠性。以上跟踪算法综合了光流法和特征点群算法的优点，使得非接触式的手势跟踪过 程准确而快速。(2)动态手势识别阶段为提高手势识别的实时性能，在此仅对手部中心位置的轨迹曲线进行特征提取。对于 手势轨迹线上相邻的两个采样点(中心位置)P^Ptl,计算其连线@与水平线的夹角Q ,根据5，可按八方向Freeman链码对@进行编码，
权利要求
1.一种动态手势控制系统，其特征在于包括计算机、摄像头，摄像头直接与计算机相连。
2.一种如权利要求1所述的动态手势控制系统的控制方法，其特征在于包括静态手势 识别阶段、动态手势跟踪阶段和动态手势识别阶段；静态手势检测阶段按以下步骤检测完全张开的静态手势1)对于当前帧与前一帧帧差的二值图像，提取静态手外部轮廓；2)按Sklansky算法计算外部轮廓的凸包，凸包的顶点即为指尖点；3)计算外部轮廓的凸起缺陷及其深度，即各个缺陷点到凸包的距离；设置最大深度值 为Iijfc ,取深度超过IKADlto的缺 陷点为指间缝隙点；4)若指尖数为5且指间缝隙数为4，静态手势检测成功；以凸起缺陷点集；所确定的矩 形区域为初始跟踪区域，以所有指尖点和凸起缺陷点确定的矩形区域为手部边界区域，建 立手部肤色分布模型并退出手势检测；否则读取新的输入帧并进入步骤1)；(2)动态手势跟踪阶段首先按光流发更新跟踪区域内各个特征点的位置，各个特征点的位置即不能远离中心 位置，也不能相互重叠；(3)动态手势识别阶段a)对输入的动态手势I包含的轨迹按八方向Freeman链码进行量化处理，得到观测值 序列0= {&，、，…，么};b)计算动态手势HMM库中各模型dieDLq)产生观测值序列0的概率itiepj]；采用离散HMM模型即DHMM，记为^[(艮羔灼，其中=JT=Or1JTyJrw)是初始概率向量，M为状态数如种腿是状态概率转移矩阵s = (^My)mjt是观测值概率矩阵Μ为观 测符号数-J是手势HMM库中的模型数，手势编号从1到/ ;c)取 …》if}中最大值 4 =ΜΑΧ{Ρ^Χ, -,P；} , Iiw^ Pj>T , τ 为一确定阈值，Jl卩为识别出的手势编号。
3.根据权利要求2所述的动态手势控制系统的控制方法，其特征在于步骤(2)动态手 势跟踪阶段先将与中心位置超过一定范围的特征点按肤色分布模型调整到与中心位置接 近且位于肤色像素点之上，然后将距离太接近的任意两个特征点中的其中一个调整到阈值 之外的距离，使得所有的特征点都不会相互重叠，随后更新所有特征点的中心。
4.根据权利要求2所述的动态手势控制系统的控制方法，其特征在于步骤(3)动态手 势跟踪阶段仅对手部中心位置的轨迹曲线进行特征提取对于手势轨迹线上相邻的两个采样点即中心位置之、戽，计算其连线耳耳与水平线的夹角fl，根据夹角#按八方向Freeman链码对^ph进行编码，编码值为ν= 45·· , θe[0360°X0<V<7
5.根据权利要求3所述的动态手势控制系统的控制方法，其特征在于只有在当前采样 点与前一有效采样点的间距大于阈值外时，当前采样点才为被设置为有效采样点。
全文摘要
本发明公布了一种动态手势控制系统与方法，所述系统包括计算机、摄像头，摄像头直接与计算机相连。所述方法包括包括静态手势识别阶段、动态手势跟踪阶段和动态手势识别阶段。本发明(1)非接触式，用户无需任何辅助设备，仅通过摄像头即可实现用户动态手势的跟踪和识别；(2)无需进行标定，简化了系统的使用，手势控制启动快速、跟踪快速、识别准确；(3)成本低廉。目前，各类数据手套的购置与维护价格昂贵，而普通摄像头价格低廉且无需维护，这极大降低了手势控制系统的购置与维护成本。
文档编号G06K9/00GK102053702SQ201010519309
公开日2011年5月11日 申请日期2010年10月26日 优先权日2010年10月26日
发明者岳健, 张赵行, 沈春林, 潘文平, 王冬翠, 耿征, 赵晓庚, 邢建芳, 龚华军 申请人:南京航空航天大学