基于手势控制非触摸屏的人机交互系统及方法与流程

本发明提出了一种基于手势控制非触摸屏的人机交互系统及方法。本发明可以降低传统人机交互的硬件成本，可应用于智能城市、智能家庭、大型展览设施控制、演讲报告智能显示以及电子娱乐等各种人机交互领域，可以提高人们、特别是老年人及残疾人的生活质量。

技术背景

随着社会的快速发展，人们越来越倾向使用舒适、便捷、安全的方法来操作和控制机器。智能人机交互技术(human-computerinteraction，简称hci)在智能家居、娱乐设施、终端电子设备等领域已得到了广泛的应用；在智能手机、体感游戏设施、宣传展示设备中，智能交互技术具有极其重要甚至决定性的地位；在医疗康复、智能家电领域，智能交互技术也得到了迅速普及和应用。人机交互技术是丰富现代社会中的智能元素，满足人民大众的生活、娱乐需求，是建设智慧城市和智慧家庭的一个重要切入点。

本发明是利用手势变化来操作智能机器，实现简单快捷的人机交互。通过认知不同的手势，给予电脑和智能电视赋予不同的指令，建立一个基于手势变化来控制电脑或电视的人机交互系统。本发明可以降低传统人机交互的硬件成本，力求给用户新鲜、方便的体验，可用于智能城市、智能家庭、大型展览设施控制、演讲报告智能显示以及电子娱乐等各种人机交互领域。本发明不仅面向一般的用户，更是面向一些身体不便的残疾人或者没有精力去学习和熟悉传统指令用法的老年人，让他们通过手势这样简易便捷方法来实现对智能机器的操作，以提高他们的生活质量，减少看护人员的人力成本，降低其家庭成员的负担。

技术实现要素：

本发明的目的在于针对已有技术的不足，提供一种基于手势控制非触摸屏的人机交互系统和方法。利用高速照相机获取手势，并利用照相机前安置的偏振片，消除电脑或电视显示屏幕上的偏振光，实现手势的正确识别，从而操作电脑和智能电视。

为达到上述发明目的，本发明采用下述技术方案：

一种基于手势控制非触摸屏的人机交互系统，包括一台主控制器和一块显示屏；所述显示屏垂直放置；在显示屏的斜上方安置一个高速照相机对着显示屏；在照相机前设置一个偏振片；通过调整偏振片的旋转角度来消除显示屏上的偏振光；显示器和高速照相机连接到主控制器；显示屏可进行三维空间旋转，照相机也相应的改变拍摄位置和角度。

一种基于手势控制非触摸屏的人机交互系统，包括一台主控制器和一块显示屏；所述显示屏水平放置在桌面上；在显示屏正上方安置一个垂直于显示屏的高速照相机；在照相机前设置一个偏振片；通过调整偏振片的旋转角度来消除显示屏上的偏振光；显示屏和高速照相机连接到主控制器。

主控制器是对高速照相机获取的图片进行分析、计算、并运行相应的算法，把结果输出到显示屏上。显示屏是用来显示主控制器运行的人机交互的结果，按照不同需求，可以垂直放置或者水平放置，必要时也可以倾斜放置。高速照相机是用来获取手势的图像，并把图像传输给主控制器。偏振片放置在照相机前面，通过调整偏振片旋转角度，使得偏振片能够消除显示屏上所发出的偏振光，利于提取人手在视频中的形状。

一种基于手势控制非触摸屏的人机交互方法，采用上述系统进行操作，其特征在于操作步骤如下：

1.启动人机交互系统：

首先打开高速照相机开关和显示屏开关，然后启动主控制器来控制高速照相机和显示屏的运作，通过偏振片滤去了显示屏发射的光线。

2.在上述人机交互系统内设定工作范围：

本发明规定了显示屏作为背景物，在拍摄图像中只取显示屏空间位置的范围作为人机交互工作范围，在此范围之外的物体被忽略掉；因为摄像设备和显示屏的位置相对固定，因此在程序中一次设置就可以长时间使用。

3.在上述人机交互系统内实现手势识别：

本发明中的人机交互是基于手势识别的，一般来说，任何手势识别算法，如hu方法、svm方法、深度学习方法来识别手势，都可以应用到本发明中；本发明采用的手势识别是基于形状空间理论的方法，具体描述如下：

(3-1)获得前景人体的图像：

用户把手放置在人机交互系统的工作范围区，通过高速照相机获取包含手的视频图像；通过调整放置在照相机前面的偏振片旋转角度，去除显示屏发出的光，获得前景人体的图像；

(3-2)获得手部的形状：

转化图像的颜色，从传统的rgb格式转化成hsv格式，可增大皮肤颜色和其它颜色的区别，从而提取出包含皮肤的人体信息，这些信息包含了手的图像信息，利用高斯去噪方法和数学形态学方法去除部分噪音，保留手图像中的正确信息；

(3-3)转换包含手信息的视频图像为二值图像；

(3-4)提取图像中的手部外轮廓：

在图像中物体包含内轮廓和外轮廓，这里只提取外轮廓而消除内轮廓；计算每个外轮廓的面积，如果其面积过小，其轮廓将被当做噪音而被删除，这样整个图像中保留了手部外轮廓；

(3-5)提取手掌中心点：

用户的手部轮廓可能包含部分胳膊轮廓信息，会影响手势的识别；由于所有形状中心线上点到轮廓的最短距离中，手掌中心点到轮廓的最短距离是最长的，利用此性质可找到手掌中心点；获得手掌中心点公式如下：

p手部形状内部任意点，ps是手部外轮廓上的点，||p,ps||表示p和ps之间的欧几里得距离；通过这个公式可得到手掌的中心点pc；

(3-6)提取手掌外轮廓：

手掌中心点到手部外轮廓的最短距离公式如下：

ds＝||pc-ps||，(2)

pc是由公式(1)计算得到的手掌中心点，ps是手部外轮廓上的点，ds是手掌中心点到手部外轮廓的最短距离；以此最短距离的二倍长度作为半径，手掌中心点作为圆心，画圆来分割手部形状，可以切除掉手臂部分的形状；一些时候，手指的部分形状也被切除掉了；因为手臂的形状在工作区一直延伸到工作区外，因此圆圈外没有延伸到工作区外的形状作为手指形状，从而恢复手指形状而获得完整的手掌形状；如果圆圈外所有连接形状没有延伸到工作区外，则利用圆圈外形状面积来确定其是否是手掌一部分，公式如下：

其中，si是连接圆内手形状的圆圈外形状面积，sc是圆面积，ζ是阈值，设定满足(3)式的i形状可确认为手掌的一部分；

(3-7)提取手掌轮廓特征点：

以手掌和手臂两个切割点中的一个点为起始特征点，另一个为终止特征点，从起始特征点开始，沿着轮廓线到终止特征点，等弧长取n个点，从终止特征点到起始特征点，反方向等弧长取m个点，轮廓线上的特征点一共是n+m+2；特征点越多，手势识别越准确；反之，特征点越少，速度越快；具体个数是由用户来决定；

(3-8)获取数据库中的手掌轮廓特征点：

步骤(3-2)到(3-7)来处理数据库中的手图像，获得数据库手掌轮廓的特征点；如果数据库中的手部图像是已经经过了(3-2)到(3-6)步骤后的手掌外轮廓图像，那么每次运行系统只要根据提取轮廓线上的特征点个数要求而采用(3-7)步骤即可；

(3-9)利用形状空间理论方法识别手势：

通过一个形状在不同位置、旋转方向、不同尺度缩放所形成的多个新形状，在形状空间中都可以用一个点来表示，在利用形状空间理论进行手势识别前，需要把手掌轮廓特征点投影到形状空间中；两个不同的形状相似度，可以通过形状空间中的procrustean距离来表示，在实数空间中，procrustean距离公式如下：

dp[o(τ1),o(τ2)]＝inf[cos^-1(＜x,y＞):x∈o(τ1),y∈o(τ2)]，(4)

其中，τ1和τ2分别是两个需要比较相似度的手掌外轮廓特征点集；τ1和τ2作为两个向量投影到超球中，此超球记为pre-形状空间；o(τ1)和o(τ2)分别是τ1和τ2在pre-形状空间中的大圆；＜x,y＞是x和y之间的内积；

如果是复数空间，则procrustean距离公式如下：

其中，τ1j和τ2j分别是τ1和τ2的第j个复数坐标；τ^*是τ的共轭复数；

通过公式(4)和(5)，计算数据库中的每个标准手和观察手的相似度，如果他们的距离满足以下公式：

dp[o(τ1),o(τ2)]≤ξ,(6)

其中，ξ是标准手和观察手相似度比较的阈值，根据轮廓点个数的不同，ξ可能取值不同，本专利设定ξ＝0.4；

满足公式(6)的标准手轮廓可能有很多，在这些标准手轮廓中，和观察手之间procrustean距离最短的标准手，作为观察手的识别手型；

如果遍历所有的标准手，都没有识别出观察手的手型来，那么，要通知用户识别失败，需要用户调整手的姿势；此外，通过这一步骤，可消除视频中人脸的形状。

4.根据软件功能不同选择不同的手势来控制软件：

根据软件功能不同来选择不同的手势控制和操作该软件，例如，用两根手指来控制软件窗口的移动，利用两个手的拇指和食指张开后移动，来放大或缩小软件窗口等。

5.关闭系统。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：

本发明在高速照相机前安置一个偏振片，通过偏振片消除显示屏上的偏振光，从而帮助识别手势，进而根据手势变化来操作电脑和智能电视，实现人机交互。本发明成本低，适用于智能城市、智能家庭、大型展览设施控制、演讲报告智能显示以及电子娱乐等各种人机交互领域，可以提高人们、特别是老年人及残疾人的生活质量。

附图说明：

图1是本发明中一种类型的人机交互系统的结构示意图：

一种基于手势控制非触摸屏的人机交互系统，包括一台主控制器(1)和一块显示屏(2)，其特征在于：所述显示屏(2)垂直放置；在显示屏(2)的斜上方安置一个高速照相机(3)对着显示屏(2)；在照相机(3)前设置一个偏振片(4)；通过调整偏振片(4)的旋转角度来消除显示屏(2)上的偏振光；显示器(2)和高速照相机(3)连接到主控制器(1)；显示屏(2)可进行三维空间旋转，照相机(3)也相应的改变拍摄位置和角度。

图2是本发明中一种类型的人机交互系统的结构示意图：

一种基于手势控制非触摸屏的人机交互系统，包括一台主控制器(1)和一块显示屏(2)，其特征在于：所述显示屏(2)水平放置在桌面上；在显示屏(2)正上方安置一个垂直于显示屏(2)的高速照相机(3)；在照相机(3)前设置一个偏振片(4)；通过调整偏振片(4)的旋转角度来消除显示屏(2)上的偏振光；显示屏(2)和高速照相机(3)连接到主控制器(1)。

图3是本发明人机交互的工作流程。

图4是本发明中手势识别的工作流程。

具体实施方式：

本发明的实施例结合附图详述如下：

实施例一：

参见图1，本发明基于手势控制非触摸屏的人机交互系统，包括一台主控制器(1)和一块显示屏(2)，其特征在于：所述显示屏(2)垂直放置；在显示屏(2)的斜上方安置一个高速照相机(3)对着显示屏(2)；在照相机(3)前设置一个偏振片(4)；通过调整偏振片(4)的旋转角度来消除显示屏(2)上的偏振光；显示器(2)和高速照相机(3)连接到主控制器(1)；显示屏(2)可进行三维空间旋转，照相机(3)也相应的改变拍摄位置和角度。

实施例二：

参见图2，本发明基于手势控制非触摸屏的人机交互系统，包括一台主控制器(1)和一块显示屏(2)，其特征在于：所述显示屏(2)水平放置在桌面上；在显示屏(2)正上方安置一个垂直于显示屏(2)的高速照相机(3)；在照相机(3)前设置一个偏振片(4)；通过调整偏振片(4)的旋转角度来消除显示屏(2)上的偏振光；显示屏(2)和高速照相机(3)连接到主控制器(1)。

实施例三：

参见图1、图2和图3，本发明基于手势控制非触摸屏的人机交互方法，应用图1和图2所述系统进行操作，利用偏振片消除显示屏上的光线，通过手势的变化来控制软件的运行，其特征在于实施过程如下：

1.启动人机交互系统；

2.在人机交互系统内设定工作范围；

3.手势识别；

4.根据软件功能不同选择不同的手势来控制软件；

5.关闭系统。

实施例四：

本实施例与实施例三基本相同，特别之处如下：

实施例三中所述步骤1启动人机交互系统：首先打开高速照相机开关和显示屏开关，然后启动主控制器来控制高速照相机和显示屏的运作，通过偏振片滤去了显示屏发射的光线。

实施例三中所述步骤2在人机交互系统内设定工作范围：规定显示屏作为背景物，在拍摄图像中只取显示屏空间位置的范围作为人机交互工作范围，在此范围之外的物体被忽略掉。

实施例五：

参见图1、图2和图4，本发明基于手势控制非触摸屏的人机交互方法，应用图1和图2所述系统进行操作，利用偏振片消除显示屏上的光线，基于手势识别来控制软件的运行，手势识别方法特征在于实施过程如下：

1.获得前景人体的图像；

2.获得手部的形状；

3.转换包含手信息的视频图像为二值图像；

4.提取图像中的手部外轮廓；

5.提取手掌中心点；

6.提取手掌外轮廓；

7.提取手掌轮廓特征点；

8.获取数据库中的手掌轮廓特征点；

9.利用形状空间理论方法识别手势。

实施例六：

本实施例与实施例五基本相同，特别之处如下：

实施例五中所述步骤1获得前景人体的图像：用户把手放置在人机交互系统的工作范围区，通过高速照相机获取包含手的视频图像；通过调整放置在照相机前面的偏振片旋转角度，去除显示屏发出的光，获得前景人体的图像。

实施例五中所述步骤2获得手部的形状：转化图像的颜色，从传统的rgb格式转化成hsv格式，可增大皮肤颜色和其它颜色的区别，从而提取出包含皮肤的人体信息，这些信息包含了手的图像信息，利用高斯去噪方法和数学形态学方法去除部分噪音，保留手图像中的正确信息。

实施例五中所述步骤3转换包含手信息的视频图像为二值图像。

实施例五中所述步骤4提取图像中的手部外轮廓：在图像中物体包含内轮廓和外轮廓，这里只提取外轮廓而消除内轮廓；计算每个外轮廓的面积，如果其面积过小，其轮廓将被当做噪音而被删除，这样整个图像中保留了手部外轮廓。

实施例五中所述步骤5提取手掌中心点：用户的手部轮廓可能包含部分胳膊轮廓信息，会影响手势的识别；由于所有形状中心线上点到轮廓的最短距离中，手掌中心点到轮廓的最短距离是最长的，利用此性质可找到手掌中心点；获得手掌中心点公式如下：

p手部形状内部任意点，ps是手部外轮廓上的点，||p,ps||表示p和ps之间的欧几里得距离；通过这个公式可以得到手掌的中心点pc；

实施例五中所述步骤6提取手掌外轮廓：手掌中心点到手部外轮廓的最短距离公式如下：

ds＝||pc-ps||，

pc是由公式(1)计算得到的手掌中心点，ps是手部外轮廓上的点，ds是手掌中心点到手部外轮廓的最短距离；以此最短距离的二倍长度作为半径，手掌中心点作为圆心，画圆来分割手部形状，可以切除掉手臂部分的形状；一些时候，手指的部分形状也被切除掉了；因为手臂的形状在工作区一直延伸到工作区外，因此圆圈外没有延伸到工作区外的形状作为手指形状，从而恢复手指形状而获得完整的手掌形状；如果圆圈外所有连接形状没有延伸到工作区外，则利用圆圈外形状面积来确定其是否是手掌一部分，公式如下：

其中，si是连接圆内手形状的圆圈外形状面积，sc是圆面积，ζ是阈值，设定满足上式的i形状可确认为手掌的一部分。

实施例五中所述步骤7提取手掌轮廓特征点：以手掌和手臂两个切割点中的一个点为起始特征点，另一个为终止特征点，从起始特征点开始，沿着轮廓线到终止特征点，等弧长取n个点，从终止特征点到起始特征点，反方向等弧长取m个点，轮廓线上的特征点一共是n+m+2；特征点越多，手势识别越准确；反之，特征点越少，速度越快；具体个数是由用户来决定。

实施例五中所述步骤8获取数据库中的手掌轮廓特征点：步骤2到7来处理数据库中的手图像，获得数据库手掌轮廓的特征点；如果数据库中的手部图像是已经经过了2到6步骤后的手掌外轮廓图像，那么每次运行系统只要根据提取轮廓线上的特征点个数要求而采用7步骤即可。

实施例五中所述步骤9利用形状空间理论方法识别手势：通过一个形状在不同位置、旋转方向、不同尺度缩放所形成的多个新形状，在形状空间中都可以用一个点来表示，在利用形状空间理论进行手势识别前，需要把手掌轮廓特征点投影到形状空间中；两个不同的形状相似度，可以通过形状空间中的procrustean距离来表示，在实数空间中，procrustean距离公式如下：

dp[o(τ1),o(τ2)]＝inf[cos^-1(＜x,y＞):x∈o(τ1),y∈o(τ2)]，

其中，τ1和τ2分别是两个需要比较相似度的手掌外轮廓特征点集；τ1和τ2作为两个向量投影到超球中，此超球记为pre-形状空间；o(τ1)和o(τ2)分别是τ1和τ2在pre-形状空间中的大圆；＜x,y＞是x和y之间的内积；

如果是复数空间，则procrustean距离公式如下：

其中，τ1j和τ2j分别是τ1和τ2的第j个复数坐标；τ^*是τ的共轭复数；

通过上述公式，计算数据库中的每个标准手和观察手的相似度，如果他们的距离满足以下公式：

dp[o(τ1),o(τ2)]≤ξ,

其中，ξ是标准手和观察手相似度比较的阈值，根据轮廓点个数的不同，ξ可能取值不同，本专利设定ξ＝0.4；

满足要求的标准手轮廓可能有很多，在这些标准手轮廓中，和观察手之间procrustean距离最短的标准手，作为观察手的识别手型；

如果遍历所有的标准手，都没有识别出观察手的手型来，那么，要通知用户识别失败，需要用户调整手的姿势；此外，通过这一步骤，可消除视频中人脸的形状。