专利名称：一种智能电视机的人机交互系统及其交互方法
技术领域：
本发明涉及智能电视机系统领域，具体涉及一种智能电视机远程控制的人机交互系统及其交互方法。
背景技术：
在以苹果、谷歌、亚马逊为代表的电脑/互联网公司的强力介入下，传统视频媒体和电视产业正在发生颠覆性的变化，电视和电脑的产业整合已经开始。与传统电视相比，在这次产业整合中即将面世的新一代电视机最大的特点就是高智能，具体体现在四个方面第一个是具备上网功能；第二个是成为电视台及整个互联网的终端，能播放来自各种渠道的2D或3D影视视频；第三个是能无线连接各种智能终端，作为它们的显示器；第四个是能实现人与电视机的智能互动。为了实现电视机的智能化，必然会引入更为复杂和频繁的操作，而传统的控制设 备已经无法满足需求，严重影响了智能电视机的发展与应用，因此智能的人机交互技术将会是决定下一代电视机能否赢得用户及市场的关键。目前国内外研究较多的人机交互方式主要有三种语音识别、手势识别和新型感应器。上述人机交互模式都在寻求某个点的技术突破，而利用某个单项技术在可见的将来未必能达到高效，高精度，高稳定性的人机互动效果，尤其是语音识别和手势识别方面，多年来学术界和产业界已经投入了大量人力物力从事算法的研发、改进与应用，但是在精度与稳定性方面始终达不到产业化的标准。随着3D图像传感器研究的日益成熟，越来越多的新型3D传感器被运用到产品中。如立体摄像机，TOF (Time-of-Flight)和Microsoft Kinect0其中微软为Xbox360开发的体感周边外设Kinect，以其低廉的价格，很好的工作范围(I. 2-3. 5m),较高的精确度(误差范围从几毫米到最大4cm)，较好的图像分辨率(640X480pixels)，大的刷新频率(30fps)，自上市以来取得了巨大反响。利用立体摄像机、TOF或Kinect等3D传感器对三维信息获取简单方便的特点，构建新的模型，能加速手势识别的速度，并有效消除目标手势的歧义，提高精确度。
发明内容
本发明的目的在于提供一种智能电视机的人机交互系统及其交互方法，通过将3D电视与手势识别技术相结合，引入具有获取物体3维信息的3D图像传感器，改变传统人机交互方式，提高人机交互时的互动性，用简单易识别的手势完成对电视机的各种复杂功能的操控。为了达到上述目的，本发明采用如下技术方案一种智能电视机的人机交互系统，包括3D电视机；虚拟界面生成及控制模块，用于控制3D电视机投影虚拟界面；3D图像传感器，用于获取物体深度或三维视觉信息；用户手势识别模块，用于通过分析3D图像传感器所获取的用户深度或3维图像信息识别用户姿态或手势，并结合虚拟界面信息，得出用户操控意图并发出相应控制命令。
本发明进一步的改进在于所述3D图像传感器置于用户前方。本发明进一步的改进在于所述3D图像传感器置于3D电视机顶部位置。本发明进一步的改进在于所述虚拟界面生成及控制模块用于控制3D电视机投影虚拟界面的最佳投影位置及角度。本发明进一步的改进在于所述虚拟界面位于离用户身体20 30cm处的空中位置，或者是用户前方或左右两侧带有触击感的硬物上。本发明进一步的改进在于所述3D图像传感器为立体摄像机、Time-of-Flight、Kinect 3D图像传感器，或其他能获取深度或3维信息的图像传感器。一种智能电视机的人机交互方法，包括以下步骤(I)虚拟界面的建立 3D电视机开机后，3D图像传感器首先获取用户位置信息，将其传送给虚拟界面生成及控制模块；该模块根据用户位置信息计算虚拟界面成像最佳位置及角度，控制3D电视机在用户面前投影出虚拟界面；(2)用户手势的识别及与系统的交互当虚拟界面在用户前面成像后，用户对虚拟界面进行操作，3D图像传感器不断捕捉用户的手指位置和移动信息，并将捕获的信息反馈给用户手势识别模块；用户手势识别模块对3D图像传感器获取的用户手势信息进行分析、处理和识别，得到用户正在执行的动作信息，并通过对用户正在执行的动作信息与虚拟界面当前内容与状态的结合，分析得到用户想要进行的操作意图，并对虚拟界面生成及控制模块或3D电视机发出控制命令，从而执行相应的操作。本发明通过3D图像传感器获取用户的位置与距离，利用3D电视能够在指定角度及距离呈现虚拟画面的能力，在之前获取的用户位置处由虚拟界面生成及控制模块控制3D电视机呈现的虚拟界面，以虚拟界面为依托，用户通过简单易识别的手势或动作与智能电视进行互动(见图I)。(I)虚拟界面的建立将3D图像传感器置于3D电视的机顶位置，在开机时首先通过传感器获取电视机前用户的位置与距离。根据用户的位置与距离，虚拟界面生成及控制模块决定3D电视投影虚拟界面的最佳位置和距离。一般虚拟界面应投影到离用户身体20 30cm处的空中位置，或者是用户前方和左右两侧带有触击感的硬物上，以方便用户在虚拟界面上进行交互。这种虚拟增强现实技术方式，使得用户在建立的虚拟界面上进行如同对现实物体般操作。(2)用户手势的识别及与系统的交互当虚拟界面在用户面前成像后，用户可用手指进行点触操作或上下左右移动操作，3D图像传感器实时地捕捉用户手势的详细3维位置及移动信息，并将这些信息传送给人物手势识别模块，人物手势识别模块根据信息识别出用户手指或手掌的位置，姿态及移动方向等信息，并将其与虚拟界面的按键、链接等位置信息相结合，得出用户的操控意图，根据用户操控意图执行对应的操作。如上下或左右划过的动作用以实现上下或左右滚动界面的目的，在触摸屏上的大部分手指点触动作都可以在虚拟界面上实现。同时通过一个简单、容易识别的手势，向虚拟界面生成及控制模块发送命令，使得虚拟界面呈现在用户前的角度能够随时转换。
传统的手势识别方法一般都是通过感应器捕捉用户的手势和肢体信息，再由识别模块对这些信息进行分析来识别用户的手势及意图。由于用户在做手势时没有任何键盘和界面做依托，因此做出的手势往往不规范、不准确，做手势的位置及幅度也不受任何限制，这不仅极大地增加了识别的难度，还增加了感应器/识别模块扫描、分析及识别的范围，力口大了运算资源的负担。而且为了完成对电视所有功能的操作，需要较多复杂手势。相对于现有技术，本发明具有以下优点本发明将3D电视、虚拟界面生成及控制模块、3D图像传感器与手势识别统合在一起，在用户面前空中的恰当位置，或者是用户周围带有触击感的硬物上形成类似虚拟键盘的界面，使用户依托虚拟界面进行操作，这样用户只需要使用几个简单、易识别的手势就能完成对所有复杂功能的操作，如同对触摸屏手机、平板电脑等的操作一样，使得人机交互变得更为容易和精确。
图I为智能电视人机交互系统示意图；
图2为智能电视人机交互系统结构流程图；图3为智能电视人机交互系统功能模块划分图。
具体实施例方式下面结合
和具体实施方式
对本发明作进一步详细说明。请参阅图I至图3所示，本发明提供一种智能电视机的人机交互系统及其交互方法，交互系统包括3D图像传感器、3D电视机(本发明适用于所有3D电视，如三星UA46D6000SJ、索尼KDL-46EX700)、虚拟界面生成及控制模块以及用户手势识别模块。图3从功能上展示了本发明人机交互系统的划分虚拟界面的建立、用户手势与操作、手势识别与人机交互。本发明中3D图像传感器，用于实时捕捉用户深度位置信息和用户手势的详细三维位置及移动信息，并将其传送给虚拟界面生成及投影模块与手势识别模块。本发明中虚拟界面生成及控制模块，用于接收3D图像传感器采集的用户深度位置信息以及手势识别模块发出的控制命令，控制3D电视机投影出虚拟界面的位置及角度。本发明中用户手势识别模块，用于接收3D图像传感器反馈的用户手势的三维位置及移动信息，并对获取的信息进行分析、处理与识别，通过结合虚拟界面的信息，得出用户操控意图并发出相应控制命令。下面结合硬件模块和功能模块对本发明交互方法进行详细说明( I)虚拟界面的建立虚拟界面的建立主要依赖于三个硬件模块3D图像传感器、3D电视机和虚拟界面生成及控制模块。在3D电视机开机后，3D图像传感器首先获取用户位置信息，将其传送给虚拟界面生成及控制模块，本发明利用3D电视机能在指定的角度及距离呈现虚拟画面的能力，根据用户的位置和距离，虚拟界面生成及控制模块控制3D电视机将虚拟界面投影在用户面前最方便交互的位置，或投影在用户周围带有触击感的硬物，如沙发、茶几处。在虚拟界面成像后，3D图像传感器仍需不断检测用户位置以调整虚拟界面的位置。(2)用户手势的识别及与系统的交互
用户手势的识别主要依赖于3D图像传感器和用户手势识别模块。当虚拟界面在用户前面成像后，用户可以用手指点触虚拟界面上的按键与链接，在虚拟界面上下或左右划过，以达到上下或左右滚动界面的目的，如同对触摸屏的操作。当用户对虚拟界面进行操作时，系统通过3D图像传感器不断捕捉用户的手指位置和移动信息，并将捕获的信息及时反馈给用户手势识别模块。由于手势操作针对虚拟界面，因此3D图像传感器必须能高精度捕捉用户手势的变化情况，如Kinect可以在很大精度捕捉玩家手指的运动情况。用户手势识别模块则对3D图像传感器获取的用户手势信息进行分析、处理和识别，得到用户手指或 手掌的位置，姿态及移动方向等信息，并通过与虚拟界面当前内容与状态的结合，分析得到用户想要进行的操作，发出控制命令执行相应的操作。控制操作主要分为两类，一是对目前电视机播放内容的操作，如换台、调音等，二是对虚拟界面的操作，如位置的调整，内容的改变等。
权利要求
1.ー种智能电视机的人机交互系统，其特征在于，包括 3D电视机； 虚拟界面生成及控制模块，用于控制3D电视机投影虚拟界面； 3D图像传感器，用于获取物体深度或三维视觉信息； 用户手势识别模块，用于通过分析3D图像传感器所获取的用户深度或3维图像信息识别用户姿态或手势，并结合虚拟界面信息，得出用户操控意图并发出相应控制命令。
2.根据权カ要求I所述的智能电视机的人机交互系统，其特征在于，所述3D图像传感器置于用户前方。
3.根据权カ要求I所述的智能电视机的人机交互系统，其特征在于，所述3D图像传感器置于3D电视机顶部位置。
4.根据权カ要求I所述的智能电视机的人机交互系统，其特征在于，所述虚拟界面生成及控制模块用于控制3D电视机投影虚拟界面的位置及角度。
5.根据权カ要求4所述的智能电视机的人机交互系统，其特征在干，所述虚拟界面位于离用户身体20 30cm处的空中位置，或者是用户前方或左右两侧带有触击感的硬物上。
6.根据权カ要求I至5中任一项所述的智能电视机的人机交互系统，其特征在于，所述3D图像传感器为立体摄像机、Time-of-Flight、Kinect,或其他能获取深度或3维信息的图像传感器。
7.ー种智能电视机的人机交互方法，其特征在于，包括以下步骤 (1)虚拟界面的建立 3D电视机开机后，3D图像传感器首先获取用户位置信息，将其传送给虚拟界面生成及控制模块；虚拟界面生成及控制模块根据用户位置信息计算虚拟界面成像位置及角度，控制3D电视机在用户面前投影出虚拟界面； (2)用户手势的识别及与系统的交互 当虚拟界面在用户前面成像后，用户对虚拟界面进行操作，3D图像传感器不断捕捉用户的手指位置和移动信息，并将捕获的信息反馈给用户手势识别模块；用户手势识别模块对3D图像传感器获取的用户手势信息进行分析、处理和识别，得到用户正在执行的动作信息，并通过对用户正在执行的动作信息与虚拟界面当前内容与状态的结合，分析得到用户想要进行的操作，并发出控制命令执行相应的操作。
全文摘要
本发明公开了一种智能电视的人机交互系统及其交互方法，所述交互系统包括3D电视机；虚拟界面生成及控制模块，用于生成及控制虚拟界面成像的最佳位置及角度；3D图像传感器，用于获取物体深度或三维视觉信息；用户手势识别模块，用于分析用户深度或三维图像信息识别用户姿态或手势，结合虚拟界面信息，得出用户操控意图并发出相应控制命令。系统通过3D图像传感器获取用户位置与距离，并利用虚拟界面生成及控制模块与控制3D电视机投影虚拟界面，用户使用手指在虚拟界面上进行点触动作，系统通过捕捉用户的手势信息结合虚拟界面得到用户的操控意图并执行对应的操作，实现人机交互。本发明凭借虚拟界面为依托大大简化了交流的复杂度，实用性强。
文档编号G06F3/01GK102769802SQ201210190790
公开日2012年11月7日 申请日期2012年6月11日 优先权日2012年6月11日
发明者孙宏滨, 张顺, 梅魁志, 钱强, 龚怡宏 申请人:西安交通大学