专利名称：人机互动系统和方法
技术领域：
本发明涉及一种人机互动技术，特别是涉及一种人机互动系统和方法。
背景技术：
人机互动技术已广泛应用于人们的日常生活和工作中。例如，体感游戏以及电器 设备的控制等等。尤其是人机互动技术中的体感游戏由于其兼有健身和娱乐的目的而倍受 人们的喜爱。
目前现有的人机互动技术通常是基于控制装置来实现的，例如，体感游戏通常是 通过计算机和体感控制装置来实现或者是通过电视机、机顶盒以及体感控制装置来实现。 体感控制装置如游戏手柄等，体感控制装置通常会被用户单手或者双手握于手中，并进行 控制操作。
发明人在实现本发明过程中发现人机互动中的控制装置通常是一个物理实体设 备，且通常由多个按键、摇杆、光源、重力加速度传感器以及小屏幕等元件组成。然而，目前 人机互动技术已经可以不限于物理的实体设备来实现了，而且，现有的人机互动的实现方 式有待于进一步的丰富。
有鉴于上述现有的人机互动技术存在的需求，本发明人基于从事此类产品设计制 造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种 新的人机互动系统和方法，能够满足现有的人机互动技术存在的需求，使其更具有实用性。 经过不断的研究设计，并经过反复试作样品及改进后，终于创设出确具实用价值的本发明。发明内容
本发明的目的在于，满足人机互动技术存在的需求，而提供一种新的人机互动系 统和方法，所要解决的技术问题是，使人机互动技术的实现方式多元化，非常适于实用。
本发明的目的以及解决其技术问题可以采用以下的技术方案来实现。
依据本发明提出的一种人机互动系统，所述系统包括视频捕捉装置和控制装置； 所述视频捕捉装置，用于实时摄取图像，并输出；所述控制装置包括接收模块，用于接收 所述视频捕捉装置传输来的图像；手部提取模块，用于从所述接收模块接收到的图像中提 取用户手部图像信息，并根据所述手部图像信息确定用户的手部姿势信息；存储模块，用于 预先存储手部姿势信息与控制装置的输入信息的对应关系信息；控制模块，用于将所述手 部提取模块确定的手部姿势信息在所述存储模块中存储的对应关系信息中进行匹配查找， 以确定手部提取模块确定出的手部姿势信息对应的控制装置的输入信息；执行模块，用于 根据所述控制模块确定出的输入信息执行相应的操作。
本发明的目的以及解决其技术问题还可以采用以下的技术措施来进一步实现。
较佳的，前述的人机互动系统，其中所述视频捕捉装置与所述控制装置集成设置 于同一电子设备中。
较佳的，前述的人机互动系统，其中所述电子设备包括计算机、游戏机、移动电话、平板电脑、机顶盒、电视机顶盒一体机或者电视机。
较佳的，前述的人机互动系统，其中所述视频捕捉装置与所述控制装置独立分离 设置，且所述视频捕捉装置与所述控制装置之间通过有线方式连接、或者通过无线方式连 接。
较佳的，前述的人机互动系统，其中所述控制装置设置于计算机、游戏机、移动电 话、平板电脑、机顶盒、电视机顶盒一体机或者电视机中。
本发明还提供一种人机互动方法，所述方法包括实时摄取图像；从所述摄取的 图像中提取用户手部图像信息；根据所述手部图像信息确定用户的手部姿势信息；将所述 手部姿势信息在预先存储的手部姿势信息与控制装置的输入信息的对应关系信息中匹配 查找，以确定所述用户的手部姿势信息对应的控制装置的输入信息；根据所述确定出的输 入信息执行相应的操作。
借由上述技术方案，本发明的人机互动系统和方法至少具有下列优点及有益效 果本发明通过利用视频捕捉装置摄取图像、手部提取模块确定摄取的图像中的用户手部 图像并确定用户的手部姿势信息，使控制模块可以根据该手部姿势信息和存储模块中存储 的对应关系确定出控制装置的输入信息，这样，执行模块可以根据该输入信息执行相应的 操作，以实现基于手部姿势信息的人机互动，从而使人机互动的实现方式多元化，非常适于 实用。
综上所述，本发明在技术上有显著的进步，具有明显的积极效果，诚为一新颖、进 步、实用的新设计。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够 更明显易懂，以下特举较佳实施例，并配合附图详细说明如下。
图1为本发明的人机互动系统示意图2为本发明的人机互动方法流程图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合 附图及较佳实施例，对依据本发明提出的人机互动系统和方法其具体实施方式
、结构、特 征、流程及其功效，详细说明如后。
实施例一、人机互动系统。该系统如附图1所示。
图1示出的人机互动系统包括视频捕捉装置I和控制装置2。其中的控制装置2 包括接收模块21、手部提取模块22、存储模块23、控制模块24以及执行模块25。接收模 块21与手部提取模块22连接，控制模块24与手部提取模块22、存储模块23以及执行模块 25均连接。
视频捕捉装置I主要用于实时摄取图像，并将其摄取到的图像向控制装置2发送。 这里的实时摄取如视频捕捉装置I按照预定采样频率进行图像采样。该视频捕捉装置I可 以与控制装置2集成设置，也可以与控制装置2相互分离独立设置。在视频捕捉装置I与控制装置2相互分离独立设置的情况下，视频捕捉装置I可以与控制装置2采用有线连接 方式连接或者采用无线连接方式连接，即视频捕捉装置通过有线或者无线的方式将其摄取 到的图像传输给控制装置2。
视频捕捉装置I可以采用现有的摄像头、以及摄像机等摄像设备，如RGB彩色摄像 头或者3D深度感应器等。本发明不限制视频捕捉装置I的具体类型。
控制装置2主要用于根据视频捕捉装置I实时摄取的图像、以及其预先存储的手 部姿势信息与控制装置的输入信息的对应关系信息确定出摄取到的图像中显示出的用户 的手部姿势信息对应的控制装置的输入信息，控制装置2通过根据该输入信息执行相应的 操作，从而实现了基于用户手部姿势的人机互动。
由于本发明提供的人机互动系统仅仅是基于用户的手部姿势来实现人机互动，因 此，用户完全可以坐在桌前或者站在桌前或者位于其它近距离的地方来进行人机互动如体 感游戏或者设备控制等，从而可以实现近距离体感游戏，并可以使用户在游戏过程中进行 手部运动以及左右脑的反应训练，增强用户对身体锻炼的兴趣。
控制装置2中的接收模块21主要用于接收视频捕捉装置I传输来的图像序列。在 视频捕捉装置I与控制装置2独立分离设置的情况下，接收模块21可以通过有线或者无线 方式接收到视频捕捉装置I传输来的图像。一个具体的例子接收模块21可以通过蓝牙、2.4GHz、WIF1、红外传输、以及USB等传输方式接收视频捕捉装置I传输来的图像，即接收模 块21可以为蓝牙模块、2. 4GHz模块、WIFI模块、红外模块、或者USB模块。在视频捕捉装置 I与控制装置2集成设置在同一电子设备的情况下，接收模块21可以为缓存介质。本发明 不限制接收模块21的具体实现方式。
控制装置2中的手部提取模块22主要用于从接收模块21接收到的图像中提取用 户的手部图像，并进一步判断出该手部图像对应的手部姿势信息(如OK手势或者剪刀手势 或者表示I的手势等等)，之后，手部提取模块22向控制模块24输出其确定出的手部姿势 信息。这里的手部姿势信息可以为一个手部姿势信息的索引号或者标识符等，以便于控制 模块23进行匹配查找。
本发明中的手部提取模块22可以采用相似度比较方式来确定用户的手部姿势信 息，一个具体的例子，手部提取模块22中预先存储有多个手部轮廓图像，手部提取模块22 可以先从视频捕捉装置I传输来的图像信息中提取出手部图像信息，然后从该手部图像信 息中抠取出手部轮廓(如采用现有的图像抠取技术抠取出手部轮廓)，并将抠取出的该手 部轮廓进行进行缩放处理，以便于和其存储的手部轮廓图像的大小相近似，之后，手部提取 模块22将缩放处理后的手部轮廓与其预先存储的多个手部轮廓图像进行相似度比较，确 定出与抠取出的手部轮廓相似度最高的手部轮廓图像，该图像对应的图像编号即为上述手 部提取模块22传输给控制模块23的手部姿势信息。
需要说明的是，手部提取模块22在接收到视频捕捉装置I传输来的图像后，可以 先对其接收到的图像进行优化处理操作，之后，再进行提取用户的手部图像信息以及确定 手部姿势信息的操作。上述对接收到的图像进行的优化处理操作可以包括去除无效信息 处理、去除干扰信息处理、纠正镜头畸变处理、以及增强有效信息处理等操作中的一个或者 多个操作。
另外，手部提取模块22在提取用户的手部图像信息的过程中，可以先将视频捕捉装置I传输来的图像转换为黑白图像，从而手部提取模块22可以根据黑白图像中的像素的 灰度值，提取出用户的手部图像信息(如手部轮廓信息)。
控制装置2中的存储模块23主要用于存储手部姿势信息与控制装置的输入信息 的对应关系信息，例如，存储模块23中存储有手部姿势的索引号与控制装置2的输入信息 的对应关系信息。上述输入信息可以包括针对控制装置2的某具体应用的控制命令，例如 电视机换台、浏览照片翻页、关闭正在浏览的网页或者体感游戏中的游戏命令等等。上述 输入信息也可以包括游戏输入信息，例如，控制装置2中的石头剪子布游戏根据该输入信 息获知用户此时作了个剪子的手势，从而该游戏可以对该剪子与游戏中的手势进行输赢判 断；再例如，控制装置2中的手练习游戏根据该输入信息判断用户此时作的手势是否与屏 幕上显示的手势相同，该手练习游戏通过对屏幕上显示的手势进行快速变化，来锻炼用户 的手和脑的反映速度。
本发明可以动态的设置存储模块23中存储的对应关系信息，一个具体的例子首 先，开启视频捕捉装置1，视频捕捉装置I开始摄像操作，视频捕捉装置I摄取到的包含用户 手部的图片被显示在控制装置2所在设备的显示屏上，控制装置2可以在显示屏上显示手 部区域位置范围，用户可以通过调整其坐姿或者站位等使视频捕捉装置I摄取到的用户手 部位于该手部区域位置范围内，之后，用户点击摄取图片对应的按键(该按键如计算机键 盘上的回车键或者屏幕上显示的注册键或者遥控器上的确定键等)；控制装置2在监测到 由该按键产生的摄取图片的命令之后，获取包含有用户手部区域的图片，该图片可以是黑 白图片或者彩色图片，然后，控制装置2基于该图片确定手部姿势，并确定出该手部姿势索 引值，之后，将该手部姿势索引值和当前需要设置的控制装置2的输入信息以表中记录的 形式对应存储到存储模块23中。
当然，本发明中的控制装置2也可以采用其它操作过程在存储模块23中存储手部 姿势信息和控制装置2的输入信息之间的对应关系信息，本发明不限制在存储模块23存储 手部姿势信息和控制装置2的输入信息之间的对应关系信息的具体实现方式。
控制装置2中的控制模块24主要用于基于存储模块23中存储的对应关系信息将 手部提取模块22传输来的手部姿势信息转换为相应的输入信息，并将该输入信息提供给 控制装置2中的执行模块25，以实现人机交互如体感游戏等。一个具体的例子控制模块 24可以利用手部提取模块22输出的手部姿势信息在存储模块23中存储的对应关系信息 中进行匹配查找，匹配到的记录中的输入信息即为其接收到的手部姿势信息对应的输入信 肩、O
控制装置2中的执行模块25主要用于接收控制模块24传输来的输入信息，并根 据该输入信息执行相应的操作，例如，根据该输入信息进行游戏的判分，再例如，根据该输 入信息打开相应的菜单等等。
控制装置2还可以包括显示屏以及电源模块等元件。显示屏主要用于显示画面 (如游戏画面、以及视频捕捉装置I摄取获得的图像等)。该显示屏可以为计算机的显示屏、 移动电话的显示屏、电视机显示屏、平板电脑显示屏、或者游戏机显示屏等。电源模块主要 用于为控制装置2中的各用电元件(如控制装置2中的各模块、或者视频捕捉装置I和控 制装置2中的各模块等)提供电力资源，该电源模块可以为计算机、移动电话、电视机、平板 电脑、或者游戏机等电子设备本身自带的电源模块，也可以为专为本发明中的人机互动系统设置的电源模块。
上述实施例中记载的人机互动系统的设置方式可以为如下两种形式
第一种形式为整个人机互动系统集成设置在同一个电子设备中，从而整个人机 互动系统成为一个电子设备的一部分，该电子设备可以具体为计算机、移动电话、电视机、 平板电脑、机顶盒、电视机机顶盒一体机或者游戏机等。一个具体的例子在人机互动系统 集成设置在计算机中的情况下，视频捕捉装置I集成设置在计算机显示屏的左上角，而控 制装置2集成设置在计算机的主机的内部电路中。
第二种形式为人机互动系统中的视频捕捉装置I与控制装置2独立分离设置， 且视频捕捉装置I与控制装置2之间可以通过有线(如USB)或者无线(如蓝牙或者Wifi 或者红外等)的方式连接。具体的，视频捕捉装置I可以为摄像头或者摄像机等独立的设 备，控制装置2则可以集成设置在计算机、移动电话、电视机、平板电脑(PAD)、机顶盒、电视 机机顶盒一体机或者游戏机等电子设备中。
实施例二、人机互动方法。该方法的流程如附图2所示。
图2中示出的人机互动方法包括如下步骤
S200、实时摄取图像。具体的，可以按照预定采样频率进行图像采样。
S210、从实时摄取的图像中提取用户手部图像信息。
具体的，本发明可以采用现有的图像定位截取技术来提取用户手部图像信息，例 如，用户的手指上带有发光源设备，从而可以根据该发光源截取该发光源周边预定大小区 域的图像。需要说明的是，本发明可以先对实时摄取的图像进行优化处理操作，之后，再进 行提取用户的手部图像信息的操作。上述对实时摄取的图像进行的优化处理操作可以包 括去除无效信息处理、去除干扰信息处理、纠正镜头畸变处理、以及增强有效信息处理等 操作中的一个或者多个操作。另外，在提取用户的手部图像信息的过程中，可以先将实时采 集到的图像转换为黑白图像，从而可以根据黑白图像中的像素的灰度值，提取出用户的手 部图像信息(如手部轮廓信息)。
S220、根据提取的用户手部图像信息确定用户的手部姿势信息。
具体的，本发明可以采用相似度比较方式来确定用户的手部姿势信息，一个具体 的例子，预先存储有多个手部轮廓图像，先从提取出的手部图像信息中抠取出手部轮廓，并 将抠取出的该手部轮廓进行进行缩放处理，以便于和预先存储的手部轮廓图像的大小相近 似，之后，将缩放处理后的手部轮廓与预先存储的多个手部轮廓图像进行相似度比较，确定 出与抠取出的手部轮廓相似度最高的手部轮廓图像，该图像对应的图像编号即为手部姿势 信息。
S230、将上述确定出的手部姿势信息在预先存储的手部姿势信息与控制装置的输 入信息的对应关系信息中匹配查找，以确定用户的手部姿势信息对应的控制装置的输入信肩、O
具体的，预先存储的对应关系信息可以为手部姿势的索引号与控制装置的输入信 息的对应关系信息。上述输入信息可以包括针对控制装置的某具体应用的控制命令，例如 电视机换台、浏览照片翻页、关闭正在浏览的网页或者体感游戏中的游戏命令等等。上述输 入信息也可以包括游戏输入信息，例如，控制装置中的石头剪子布游戏根据该输入信息获 知用户此时作了个剪子的手势，从而该游戏可以对该剪子与游戏中的手势进行输赢判断；再例如，控制装置中的手练习游戏根据该输入信息判断用户此时作的手势是否与屏幕上显 示的手势相同，该手练习游戏通过对屏幕上显示的手势进行快速变化，来锻炼用户的手和 脑的反映速度。
本发明可以动态的设置并存储该对应关系信息，一个具体的例子首先，开启视频 捕捉装置，视频捕捉装置开始摄像操作，视频捕捉装置摄取到的包含用户手部的图片被显 示在控制装置所在设备的显示屏上，控制装置可以在显示屏上显示手部区域位置范围，用 户可以通过调整其坐姿或者站位等使视频捕捉装置摄取到的用户手部位于该手部区域位 置范围内，之后，用户点击摄取图片对应的按键(该按键如计算机键盘上的回车键或者屏 幕上显示的注册键或者遥控器上的确定键等)；控制装置在监测到由该按键产生的摄取图 片的命令之后，获取包含有用户手部区域的图片，该图片可以是黑白图片或者彩色图片，然 后，控制装置基于该图片确定手部姿势，并确定出该手部姿势索引值，之后，将该手部姿势 索引值和当前需要设置的控制装置2的输入信息以表中记录的形式对应存储到存储介质 中。
当然，本发明也可以采用其它操作过程来存储手部姿势信息和控制装置的输入信 息之间的对应关系信息，本发明不限制在存储手部姿势信息和控制装置的输入信息之间的 对应关系信息的具体实现方式。
上述匹配查找的一个的例子利用上述步骤中确定出的手部姿势信息在预先存储 的对应关系信息中进行精确匹配查找，精确匹配到的记录中的输入信息即为确定出的用户 的手部姿势信息对应的控制装置的输入信息。
S240、根据上述确定出的输入信息执行相应的操作。
一个具体的例子，控制装置根据该输入信息进行游戏的判分；另一个具体的例子， 控制装置根据该输入信息打开相应的菜单等等。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽 然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人 员在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为 等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对 以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
权利要求
1.一种人机互动系统，其特征在于，所述系统包括视频捕捉装置和控制装置； 所述视频捕捉装置，用于实时摄取图像，并输出； 所述控制装置包括 接收模块，用于接收所述视频捕捉装置传输来的图像； 手部提取模块，用于从所述接收模块接收到的图像中提取用户手部图像信息，并根据所述手部图像信息确定用户的手部姿势信息； 存储模块，用于预先存储手部姿势信息与控制装置的输入信息的对应关系信息； 控制模块，用于将所述手部提取模块确定的手部姿势信息在所述存储模块中存储的对应关系信息中进行匹配查找，以确定手部提取模块确定出的手部姿势信息对应的控制装置的输入信息； 执行模块，用于根据所述控制模块确定出的输入信息执行相应的操作。
2.如权利要求1所述的人机互动系统，其特征在于，所述视频捕捉装置与所述控制装置集成设置于同一电子设备中。
3.如权利要求2所述的人机互动系统，其特征在于，所述电子设备包括计算机、游戏机、移动电话、平板电脑、机顶盒、电视机顶盒一体机或者电视机。
4.如权利要求1所述的人机互动系统，其特征在于，所述视频捕捉装置与所述控制装置独立分离设置，且所述视频捕捉装置与所述控制装置之间通过有线方式连接、或者通过无线方式连接。
5.如权利要求4所述的人机互动系统，其特征在于，所述控制装置设置于计算机、游戏机、移动电话、平板电脑、机顶盒、电视机顶盒一体机或者电视机中。
6.一种人机互动方法，其特征在于，所述方法包括 实时摄取图像； 从所述摄取的图像中提取用户手部图像信息； 根据所述手部图像信息确定用户的手部姿势信息； 将所述手部姿势信息在预先存储的手部姿势信息与控制装置的输入信息的对应关系信息中匹配查找，以确定所述用户的手部姿势信息对应的控制装置的输入信息； 根据所述确定出的输入信息执行相应的操作。
全文摘要
本发明是有关于一种人机互动系统和方法。其中的系统包括视频捕捉装置和控制装置；视频捕捉装置用于实时摄取图像并输出；控制装置包括接收模块，用于接收图像；手部提取模块，用于从接收模块接收到的图像中提取用户手部图像信息，确定用户的手部姿势信息；存储模块，用于预先存储手部姿势信息与控制装置的输入信息的对应关系信息；控制模块，用于将手部提取模块确定的手部姿势信息在存储的对应关系信息中进行匹配查找，以确定手部提取模块确定出的手部姿势信息对应的控制装置的输入信息；执行模块，用于根据接收到的输入信息执行相应的操作。本发明提供的技术方案能够基于用户面部表情实现人机互动，从而使人机互动的实现方式多元化。
文档编号G06F3/01GK103034322SQ20111029457
公开日2013年4月10日 申请日期2011年9月30日 优先权日2011年9月30日
发明者董德福, 吴冠廷 申请人:德信互动科技(北京)有限公司