一种基于智能电视的非接触式虚拟人机交互方法
【技术领域】
[0001] 本发明涉及一种基于智能电视的非接触式虚拟人机交互方法。
【背景技术】
[0002] 近年来，三维（3D)自然手势交互技术已经在手语识别、手指鼠标、虚拟物体控制、 家电遥控、Windows命令控制、手指绘画、机器人控制等领域得到应用。自然、高效、智能化、 无障碍的人机交互界面（HCI，Human-Computer Interface)已经成为新一代智能HCI的主 要发展方向，建立智能化的、自然的、和谐的、人性化的人机界面已经成为新一代HCI发展 的主要趋势。
[0003] 在目前广泛使用的图形接口中，主要的输入方式还是物理键盘和触屏输入，当然， 触屏技术凭借其优点在移动终端占据主流。然而，社会依然在发展，研宄人机交互技术变得 异常活跃，人机交互迅速受到了各大厂家的重视，并成为移动终端行业的又一竞争领域。
[0004] 手势作为自然的交互方式，在计算机领域取得了可喜的发展。目前，移动终端的硬 件日趋强大，多媒体技术也在迅速发展，将手势应用到移动终端成了一个顺水推舟的事。用 手指的形态来进行标记和识别，从而达到控制的目的，手势的直观性和强大的语义使得人 机交互变得尤为轻松。但由于识别的性能有待提高，目前还未得到很广泛的应用。
[0005] 根据设备采集数据资料的不同，目前的手势识别可以大体分为两种，基于数据手 套的手势识别和基于视觉的手势识别。基于数据手套的识别系统优点是识别效率高，但由 于其要求使用者必须穿戴极不方便的设备，而且设备的造价不菲，所以此种识别方式不会 是未来的主流。而基于视觉的手势识别系统凭借良好的适用性以及不需要其他的硬件设 备，只是通过普通的摄像头，因而成了发展的主流。一方面，在基于手势的隔空操作条件下， 用户与物理界面的距离比较远，这与用户的心理模型有较大差距；另一方面，在手势这种单 一输入通道条件下，用户的认知负荷和操作负荷比较大，界面系统不仅对用户有不少操作 限制，而且即使一个简单的交互任务也可能要求用户完成复杂的手势命令操作。
[0006] 电视正在变成一个与许多内容进行交互的枢纽。这些大型的、高分辨率的显示器 可以被用于浏览数码照片、选择音乐、玩游戏、看电影和电视节目。现在许多电视与互联网 连接，允许访问在线内容和社会媒体，这进一步导致了像苹果电视和谷歌电视这样的新产 品的发展，它们增加了从电视屏幕获取信息的数量和复杂性。国内的乐视和小米也很火爆， 其中乐视互联网电视去年10月份以后超越了海信、长虹等传统品牌高居第一位，它有语音 交互和基于触摸操作的智能遥控器。在许多情况下，电视遥控器本身就是一个限制因素， 通常它只提供简单的固定按钮来与电视进行交互，缺少鼠标和手势交互的灵活性。Nasser H. Dardas和Mohammad Alhaj [7]利用手势识别技术来产生控制命令，利用这些控制命令来 控制游戏中物体的运动，在该手势识别系统中利用词袋技术和支持向量机技术来实现用户 和计算机之间的交互。Werner等人在不违反用户心理模型的情况下，通过隐式调整控制显 示来适应当前用户的需要，解决了远程交互中指点设备的精度问题。Joe Weakliam等人提 出了Compass系统，它不需要来自用户的显式输入，而是当用户根据特征和感兴趣的区域 浏览地图特定空间内容时，监控用户的隐式操作。该系统可以分析用户的隐式行为，并将分 析结果用于建立用户模型。KaoriFujinami等人把增强技术融入到普适计算中，采用自然 或隐式的方法获取用户环境信息，而用户不需要学习如何获取信息，填补了用户和复杂计 算环境间的差距。PaulDietz等人提出了基于多投影仪的隐式交互技术，他们把投影仪作 为实时输出设备，当用户进入红外线区域时，系统可以隐式地关注用户并在显示区显示用 户，同时用卡通技术循环地展示有关内容。StavrosAntifakos等人设计了一个面向非意外 同步运动的"智能"对象的隐式交互实例，当打开门时系统隐式访问控制。
[0007] 总的来说，目前基于手势的接触式交互界面存在的主要问题是用户的认知负荷 (需要用户记忆不少的手势命令）和操作负荷比较重（用户长时间操作会很疲劳），严重影 响了基于手势的自然交互技术的推广应用。
【发明内容】
[0008] 为解决以上技术上的不足，本发明提供了一种用户的认知负荷小，操作负荷比较 轻的基于智能电视的非接触式虚拟人机交互方法。
[0009] 本发明是通过以下措施实现的：
[0010] 本发明的一种基于智能电视的非接触式虚拟人机交互方法，包括以下步骤：
[0011] 步骤1，将智能电视连接图像传感设备，并在智能电视中建立手势识别系统和手势 信息数据库，在手势信息数据库中存储若干种指定手势以及与指定手势一一对应关联的智 能电视执行程序；
[0012] 步骤2,如果图像传感设备观测到智能电视前的感知空间内有用户画出矩形，则进 行步骤3,如果图像传感设备观测到智能电视前的感知空间内有用户画出圆形，则进行步骤 4 ；
[0013] 步骤3,进行操作模式A，智能电视切换出二维菜单界面和三维操纵界面，图像传 感设备观测用户的动态操作手势并通过手势识别系统进行识别，利用行为模型感知算法将 用户做出的动态操作手势映射到二维菜单界面或三维操纵界面上进行直接操作；
[0014] 步骤4,进行操作模式B，保持智能电视当前界面不变，图像传感设备观测用户的 手势数据并通过手势识别系统进行识别，在手势信息数据库中遍寻与识别出的手势一致的 一种指定手势，并调用与之对应关联的智能电视执行程序。
[0015] 在步骤2中用户画出矩形的识别方法，包括以下步骤：
[0016] a.图像传感设备观测到智能电视感知空间内的图像，去除每帧图像的背景，得到 手势图像；
[0017] b.计算每个手势图像的重心；
[0018] c.以静止手势作为手势开始和手势结束的标志，将各帧手势的重心按照时间顺序 组成序列，得到手势轨迹多边形；
[0019] d.将该轨迹用四条首尾依次相连的直线拟合该手势轨迹多边形，得到一个矩形， 使得手势多边形上各点到达该矩形最近边的垂直距离之和的平均值S最小；
[0020] e.如果平均值s〈《，则该手势轨迹多边形为矩形，并返回该矩形；否则该手势轨 迹多边形不为矩形，返回空；其中，w是一个指定的非负阈值。
[0021] 在步骤2中用户画出圆形的识别方法，包括以下步骤：
[0022] a.图像传感设备观测到智能电视感知空间内的图像，去除每帧图像的背景，得到 手势图像；
[0023] b.计算每个手势图像的重心；
[0024] c.以静止手势作为手势开始和手势结束的标志，将各帧手势的重心按照时间顺序 组成序列，得到手势轨迹多边