专利名称：非穿戴指势视觉识别方法
技术领域：
本发明涉及一种非穿戴指势视觉识别方法，用于视频数字图像分析与理解。属于 智能信息处理技术领域。
背景技术：
指势是人们日常生活中用手指对空间感兴趣目标的反映，是人类语系发展和个体 发生学的重要先驱，可揭示人类社会智力，是一种理想的自然人机交互模式。应用指势进行 人机交互，则可充分利用人类的日常技能，摆脱目前使用常规输入设备(如键盘、鼠标器和 触摸屏等)进行输入的束缚，其中，有效进行指势人机交互的关键是指势识别。指势识别分为穿戴式和非穿戴式两类。前者基于数据头盔、数据手套和身体标记 等，这类方法虽可获得较准确的用户位置和用户行动，但该类方法为侵入式，用户需专门训 练，操作不便；后者基于非接触传感器(如摄像机)进行指势识别，支持自然的人机交互。由 于在人类的日常生活中，人类习惯并大量使用非精确的信息交流，允许使用模糊的表达手 段，避免不必要的认识负荷，以提高交互活动的自然性和高效性，且在人类信息的获取中， 80%以上来自于视觉，因此，非穿戴的指势视觉识别方法倍受青睐。有效的非穿戴指势视觉 识别，在教育、影视、娱乐、制造、医学、商业、军事等领域，具有重要的实用意义和价值。虽然人类在日常生活中频繁地使用指势进行信息交流，且可以很容易地识别出所 指目标，但对计算机而言，却是一个难题。目前，已经提出了许多非穿戴指势视觉识别方法。 主要有基于立体匹配方法和基于特征分析方法。前者通过二个或二个以上摄像机获取图 像，采用立体匹配方法，进行指势视觉识别，确定所指目标。但由于立体匹配存在歧义性，且 计算量大、运算复杂，需特定的硬件支持以实现实时处理。后者通过指势对象特征提取，进 行指势视觉识别，确定所指目标。但这类方法要求用户站立于事先指定的范围内，用户周围 无遮挡或障碍物，且要求背景简单、单一。该类方法在很大程度上制约了用户活动的自由 性，不符合人类自然交流习惯。
发明内容
本发明的目的在于针对现有非穿戴指势视觉识别方法要求用户站立于事先指定 的范围，其周围无遮挡或障碍物，背景简单、单一等假设信息，以及对动态场景变化敏感、噪 声干扰大、运算复杂，提供一种非穿戴指势视觉识别方法，根据指势视觉特征与所指目标存 在对应关系，基于指势特征与指向目标的样本学习与训练的机器学习方法进行指势视觉识 别，可在多种条件下，实现指向目标的确定。为达到上述目的，本发明的构思是基于小波变换在时域和空域均具有优异的局 部化特征，采用背景差分法，利用小波多尺度特性，提取指势用户对象，根据指势手指空间 几何位置关系与人眼分布特征，提取手指与人眼等指势视觉特征，基于指势视觉特征与所 指目标的样本学习与训练，对指势视觉特征进行模式分类，确定所指目标。根据上述发明构思，本发明采用下述技术方案(4)人眼定位基于步骤(3)所得区域进行Haar人眼特征检测，确定人眼位置；
(5)指势手部区域提取根据指势过程中，指势手部区域高于非指势手部区域，从经步
一种非穿戴指势视觉识别方法，其特征在于具体步骤如下
1)启动指势图像采集系统采集视频图像；
2)获取背景图像
连续采集不包含指势用户的场景图像，当某设定时间间隔内两图像差小于某个设定阈 值时，则将该时间间隔内的某一幅图像作为背景图像，否则重新采集，直到满足设定的时间 间隔内的两图像差小于某个设定阈值；
3)指势用户对象分割
由摄像机采集的当前帧图像与步骤2)获取的背景图像相减，采用小波变换方法分割出 指势用户对象区域；
4)确定指势用户对象的人眼位置与指势手指尖位置；
5)样本学习与训练；
6)指向目标确定。上述步骤3)的具体操作步骤如下
(1)当前帧图像J1Cr^)与背景图像/2Cr，_F)相减，得到差分图像々Cr，_F) D (x, y) =I1 (χ, y) -I2 (χ, y)；
(2)差分图像多尺度小波变换
E=^(Em)2+(￡Mvf ；
其中，々为差分图像，力，r分别为水平、垂直方向上的滤波算子 力卷积；
(3)指势用户对象区域的确定确定差分图像多尺度小波变换A的阈值Λ将A值高于 r的所有像素组成的区域，确定为指势用户对象区域。上述步骤4)的具体操作步骤如下
(1)肤色区域提取根据RGB色彩空间中的R/G、R/B的比值具有较好的肤色聚类特性， 分别确定R/G以及R/B的阈值/；，T2, T,, 7\，将满足下式的所有像素组成的区域，确定为肤 色区域S:
S = {R/G > ΓΛ R/G < Tz) η {R/B > T^rs R/B <7；)
其中， 为“逻辑与”操作符；
(2)候选人脸区域与手部区域提取将同时满足步骤3)与步骤(1)的图像区域，作为候 选的指势用户的肤色区域；
(3)人脸区域提取对步骤(2)的二值图像进行连通区域搜索，计算连通区域高&与宽 5；的比值，以及连通区域中的孔洞数//和连通区域大小r，将满足下式的所有像素组成的区 域视为人脸区域骤(2)所得的肤色区域中，剔除人脸区域以及因噪声引起的面积较小的肤色区域，确定指势 手部区域；
(6)指势手指尖定位计算经步骤(5)所得的指势手部区域的曲率，根据手指尖具有大 的曲率变化特性，确定手指尖位置。上述步骤5)的具体操作步骤如下
(1)按照步骤4)，通过采集不同指势用户对象在指向不同目标Ti时的人眼位置尽和指 势手指尖位置祐，构成训练样本的数据集合代=怳，祐}和指向目标的标记集合G= (T1i)5
(2)选择分类器，对上述数据集合代和标记集合G构成的样本集合(代，C)进行监督 学习，并调整分类器中参数，使分类效果达到最佳。上述步骤6)的具体操作步骤如下
(1)按照步骤4)，采集指势用户对象在指向目标时的人眼位置JA和指势手指尖位置 AHi，构成测试数据集合ADi= [AEi，AHi}；
(2)根据步骤5)所确定的分类器及其参数，对测试数据集合进行分类判别，根据判 别函数的最大值确定指向目标。本发明的原理如下在本发明的技术方案中，基于指势进行人机交互时，所指目 标由指势手指尖与人眼视线的连线与所指目标所在平面的交点确定，根据背景差分法能提 供较完全的特征数据，基于场景中任何可察觉的目标运动都会体现在场景图像序列的变化 中，利用当前图像与背景图像之间的差分，根据小波变换在时域和频域均具有局部化特征， 从视频图像中分割出指势用户对象，并提取相应的手指尖和人眼等指势视觉特征。根据指 势视觉特征与所指目标存在对应关系，基于指势视觉特征与指向目标的样本学习与训练的 机器学习方法，确定指向目标。设时间间隔Di内，分别获得I1与tn两时刻的两帧图像f、tn_x, χ, y)，f{tn, χ, _7)，将两幅图像逐象素求差值，得差分图像Diff(x,y)
权利要求
1.一种非穿戴指势视觉识别方法，其特征在于具体步骤如下1)启动指势图像采集系统，采集视频图像；2)获取背景图像连续采集不包含指势用户的场景图像，当某设定时间间隔内两图像 差小于某个设定阈值时，则将该时间间隔内的某一幅图像作为背景图像，否则重新采集，直 到满足设定的时间间隔内的两图像差小于某个设定阈值；3)指势用户对象分割由摄像机采集的当前帧图像与步骤幻获取的背景图像相减，采 用小波变换方法分割出指势用户对象区域；4)确定指势用户对象的人眼位置与指势手指尖位置；5)样本学习与训练；6)指向目标确定。
2.根据权利要求1所述的非穿戴指势视觉识别方法，其特征在于所述步骤3)指势用户 对象分割的具体操作步骤如下(1)当前帧图像J1Cr^)与背景图像/2Cr，_F)相减，得到差分图像々Cr，_F)D (x, y) =I1 (χ, y) -I2 (χ, y)；(2)差分图像多尺度小波变换
3.根据权利要求1所述的非穿戴指势视觉识别方法，其特征在于所述步骤4)确定指势 用户对象的人眼位置与指势手指尖位置的具体操作步骤如下(1)肤色区域提取根据RGB色彩空间中的R/G、R/B的比值具有较好的肤色聚类特性， 分别确定R/G以及R/B的阈值/；，T2, T,, 7\，将满足下式的所有像素组成的区域，确定为肤 色区域S:S 二 (R/G > T1 μ R/G < T2)门 iR/B > T3 γλ R/B <Td其中，n为“逻辑与”操作符；(2)候选人脸区域与手部区域提取将同时满足步骤3)与步骤(1)的图像区域，作为候 选的指势用户的肤色区域；(3)人脸区域提取对步骤(2)的二值图像进行连通区域搜索，计算连通区域高&与宽 5；的比值，以及连通区域中的孔洞数//和连通区域大小r，将满足下式的所有像素组成的区 域视为人脸区域F = (..S1/Sv _ hh ) r , (H >1) W >Τ 其中，Τ；，/；，/；为阈值；(4)人眼定位基于步骤(3)所得区域进行Haar人眼特征检测，确定人眼位置；(5)指势手部区域提取根据指势过程中，指势手部区域高于非指势手部区域，从经步骤(2)所得的肤色区域中，剔除人脸区域以及因噪声引起的面积较小的肤色区域，确定指势 手部区域；(6)指势手指尖定位计算经步骤(5)所得的指势手部区域的曲率，根据手指尖具有大 的曲率变化特性，确定手指尖位置。
4.根据权利要求1所述的非穿戴指势视觉识别方法，其特征在于所述步骤5)样本学习 与训练的具体操作步骤如下(1)按照步骤4)，通过采集不同指势用户对象在指向不同目标Ti时的人眼位置尽和指 势手指尖位置祐，构成训练样本的数据集合代=怳，祐}和指向目标的标记集合G= (T1i)5(2)选择分类器，对上述数据集合代和标记集合G构成的样本集合(代，C)进行监督 学习，并调整分类器中参数，使分类效果达到最佳。
5.根据权利要求1所述的非穿戴指势视觉识别方法，其特征在于所述步骤6)指向目标 确定的具体操作步骤如下(1)按照步骤4)，采集指势用户对象在指向目标时的人眼位置JA和指势手指尖位置 AHi，构成测试数据集合ADi= [AEi，AHi}；(2)根据步骤5)所确定的分类器及其参数，对测试数据集合进行分类判别，根据判 别函数的最大值确定指向目标。
全文摘要
本发明涉及一种非穿戴指势视觉识别方法。本方法是根据小波变换在时域和空域均具有优异的局部化特征，采用背景差分法，利用小波多尺度特性，提取指势用户对象，根据指势手指空间几何特征与人眼特征，确定手指尖与人眼的位置，通过对不同指势用户手指不同目标的样本学习与训练，对指势用户在指向不同目标时的指势视觉特征进行分类，确定所指目标。本发明方法不需要特定的硬件支持以及限定用户活动范围等约束，方法简便、灵活、易实现。
文档编号G06K9/66GK102073878SQ201010543788
公开日2011年5月25日 申请日期2010年11月15日 优先权日2010年11月15日
发明者管业鹏 申请人:上海大学