专利名称：一种基于视线跟踪的电视机操控方法
技术领域：
本发明涉及一种基于视线跟踪的电视机操控方法，属于电视机操控技术领域。
背景技术：
随着科学技术的飞速发展，智能化控制技术作为高科技的一种标志，成为近年来备受关注的研究方向。各种基于视线跟踪、手势输入或语音识别等新兴智能化控制技术应运而生。其中基于视线跟踪智能化控制技术，由于其自然、迅速、方便有效的特点，在智能化控制技术领域得到迅速地发展。其应用范围也从最初的视觉心理学研究、残疾人辅助发展到商业广告测评、机器人控制等领域并逐步走进人们的日常生活。电视机一直以来都是人们日常生活中不可或缺的娱乐用品，随着数字化电视机的发展，电视机的功能越来越强大，其操控的复杂度也在逐渐提高，传统的红外遥控已经越来越不能满足人们对于电视控制的要求。而基于手势的控制方式在手势的简单性和电视控制的多样性方面存在着明显的差距；同时，基于语音的控制方式则在同一语义的表达多样性和控制指令的确定性方面也存在着技术实现上的难度。因此，实现一种自然、准确、方便快捷并带有趣味性的智能化电视机操控方法才会使人们能更好地体会到高科技产品给我们带来的全新享受。视线跟踪技术可代替键盘及鼠标实现对计算机的操作控制，同样，视线跟踪也可用于电视机的操控。然而，由于人在观看电视节目时距离电视机较远且一般会有多个人同时观看，因此，相比于视线跟踪在计算机控制中的应用，采用视线跟踪实现对电视机的操控是一种在中距离(3米左右)环境下可适用于多用户的人机控制技术，无论对硬件、算法以及控制操作方式都与视线跟踪在计算机控制中有所不同，这种中距离的控制在现实应用中更具有重要的研究意义。
发明内容
针对现有电视机操控技术的不足，本发明提供一种能够实现对电视机自然、方便、 快捷以及智能化操控的基于视线跟踪的电视机操控方法。本发明的基于视线跟踪的电视机操控方法，首先在电视机上装有能够清晰地拍摄人眼瞳孔的摄像机，以便实现凝视点的准确估计，并在电视机上设置一个电视机视线操控触发按钮来启动视线跟踪的操控；具体包括以下步骤(1)所有观看者人脸锁定跟踪，在摄像机所拍摄的电视观看者的图像中进行实时地人脸检测，并锁定和跟踪所有检测出的人脸；上述步骤(1)的具体实现步骤为A电视机打开的同时启动摄像机，实时拍摄观看者看电视的场景；B在所拍摄场景中进行人脸检测，锁定检测到的每个人脸区域并对其进行实时跟踪；C当通过人脸检测检测到场景中有新的观看者进入，则锁定该观看者的人脸并对其进行跟踪；(2)所有观看者凝视点估计，分别在所跟踪的每一个人脸区域中进行人眼定位，实现多用户的凝视点估计；上述步骤O)的具体实现步骤为A根据人眼特性，如结构、灰度、形状等，从跟踪的人脸区域中定位出每一个电视观看者的人眼位置；B分析每个电视观看者的人眼瞳孔特征，实时估计出所有观看者的凝视点位置；(3)利用视线实现电视机操控，根据估计出的观看者的凝视点位置，确定观看者选择的电视控制按钮，从而使电视机进行相应的动作，实现对电视机的智能化操控；上述步骤(3)的具体实现步骤为A观看者通过视线触发电视机视线跟踪操控触发按钮，同时在电视机屏幕上显示功能操控按钮；B凝视屏幕上的相关功能按钮，实现对电视机频道切换、音量调节或画面色彩调节等操控；C操控完成后，隐藏屏幕上所有的功能操控按钮，直到电视机视线跟踪操控触发按钮再次受到触发；D有多个观测者同时观看节目时，每次只允许一个观看者通过视线对电视进行操控；只有当前一个观看者操控完成后，才能响应下一个观看者对电视机视线跟踪操控触发按钮的触发；F关闭电视机时，摄像机同时停止拍摄。本发明将视线跟踪用于电视机的控制，在中距离多观测者的复杂情况下进行准确的凝视点定位，并利用凝视点的位置来控制电视的频道转换、画面调整或音量调整等操作， 该方法的应用使人们能够对电视机进行自然、方便、快捷地操控，为人们的生活提供了高科技智能化的乐趣享受。
图1电视机硬件设置示意图。图2视线操控过程中的屏幕界面显示。图3本发明的电视机操控方法流程图。其中1、摄像机，2、摄像机，3、电视机开关，4、电视机视线跟踪操控触发按钮。
具体实施例方式本发明基于视线跟踪的电视机操控方法，应用于室内中距离多观测用户的场景。 以如图1所示的系统为例来说明。首先在电视机上装有两个能够清晰地拍摄人眼瞳孔的摄像机1和2，以便实现凝视点的准确估计，并在电视机上设置一个电视机视线操控触发按钮 4来启动视线跟踪的操控。这两个摄像机应能在3米左右(一般为2至4米)对人眼瞳孔实施清晰拍摄。以对多功能数字电视的操控为例来介绍本发明的方法。电视机开关3打开的同时，启动摄像机1和2，实时拍摄用户观看电视机的场景。
4根据人脸特征在所拍摄场景中进行人脸检测，锁定检测到的每个人脸并对其进行跟踪。当检测到场景中有新的观看者加入，立即通过人脸检测，锁定该用户的人脸区域并对其纳入跟踪目标范围之内。在所跟踪的每一个人脸区域中，根据人眼的结构、形状、灰度等特性，定位出每一个电视机观看用户的人眼位置，并估计出人眼瞳孔参数。根据定位人眼瞳孔在空间以及图像上的坐标位置和形状结构等特征，实时估计出所有观看用户当前的凝视点位置。当观看者需要进行电视机操控时，观看者利用视线触发电视机视线跟踪操控触发按钮4，在电视机屏幕上显示功能操控按钮，如视频点播、电视节目、音乐播放、图片浏览等主菜单选择按键，如图2(a)所示。观看者通过凝视不同按钮来选择相应的操作。当在观看过程中需要调节电视的画面色彩或视频的音量或转换频道时，触发电视机视线跟踪操控触发按钮4，则会出现主菜单、音量、色度、亮度、饱和度、频道切换、数字键盘等按钮，如图2(b)所示。凝视主菜单可返回图2(a)所示的界面，凝视音量、色度、亮度、 饱和度或频道切换按钮，可选择所要设置的模块，再凝视数字键盘上的数字按键便可将相应的模块设置到自己满意的程度。若为单位数字直接凝视相应的数字键，若为双位数字或三位数字，则先要凝视“一”或“一”再凝视数字键。如想要将音量大小调至23，则首先凝视“音量”按钮，再凝视“一”，然后再分别凝视“2”键和“3”键即可完成对音量的调控。操控界面中均有一个“完成”按钮，如图2(a) (b)中所示。操控完成后，凝视屏幕上的“完成”按钮，系统自动隐藏屏幕上所有的功能操控按钮直到电视机视线跟踪操控触发按钮再次受到触发。当有多个观看者同时观看节目，每次只允许一个观看者通过视线对电视进行操控；只有当前一个观看者操控完成后，系统才会响应下一个观看者对电视机视线跟踪操控触发按钮的触发。也就是说，只有前一个观看者A凝视“完成”按钮之后，下一个观测者B对电视机视线跟踪操控触发按钮的凝视才是一个有效的触发信号，观看者B才能对电视机进行操控。关闭电视机时，自动停止摄像机1和2拍摄。采用上述基于视线跟踪的电视机操控方法，人们不必再依赖于遥控器，而仅仅靠视线的移动就可以实现对电视机的操控，相比于使用遥控器操控，该方法更自然、更直接， 不但实现了操控功能，同时也为人们观看电视增添了乐趣。另外，这种人机交互的控制方式也为电视机扩展了开发更多娱乐功能的空间。
权利要求
1.一种基于视线跟踪的电视机操控方法，其特征是，首先在电视机上装有能够清晰地拍摄人眼瞳孔的摄像机，以便实现凝视点的准确估计，并在电视机上设置一个电视机视线操控触发按钮来启动视线跟踪的操控；具体包括以下步骤(1)所有观看者人脸锁定跟踪，在摄像机所拍摄的电视观看者的图像中进行实时地人脸检测，并锁定和跟踪所有检测出的人脸；(2)所有观看者凝视点估计，分别在所跟踪的每一个人脸区域中进行人眼定位，实现多用户的凝视点估计；(3)利用视线实现电视机操控，根据估计出的观看者的凝视点位置，确定观看者选择的电视控制按钮，从而使电视机进行相应的动作，实现对电视机的智能化操控。
2.根据权利要求1所述的基于视线跟踪的电视机操控方法，其特征是，所述步骤(1)的具体实现步骤为A电视机打开的同时启动摄像机，实时拍摄观看者看电视的场景；B在所拍摄场景中进行人脸检测，锁定检测到的每个人脸区域并对其进行实时跟踪；C当通过人脸检测检测到场景中有新的观看者进入，则锁定该观看者的人脸并对其进 tx足艮S宗。
3.根据权利要求1所述的基于视线跟踪的电视机操控方法，其特征是，所述述步骤(2) 的具体实现步骤为A根据人眼特性，如结构、灰度、形状等，从跟踪的人脸区域中定位出每一个电视观看者的人眼位置；B分析每个电视观看者的人眼瞳孔特征，实时估计出所有观看者的凝视点位置。
4.根据权利要求1所述的基于视线跟踪的电视机操控方法，其特征是，所述述步骤(3) 的具体实现步骤为A观看者通过视线触发电视机视线跟踪操控触发按钮，同时在电视机屏幕上显示功能操控按钮；B凝视屏幕上的相关功能按钮，实现对电视机频道切换、音量调节或画面色彩调节等操控；C操控完成后，隐藏屏幕上所有的功能操控按钮，直到电视机视线跟踪操控触发按钮再次受到触发；D有多个观测者同时观看节目时，每次只允许一个观看者通过视线对电视进行操控； 只有当前一个观看者操控完成后，才能响应下一个观看者对电视机视线跟踪操控触发按钮的触发；F关闭电视机时，摄像机同时停止拍摄。
全文摘要
本发明公开了一种基于视线跟踪的电视机操控方法，首先在电视机上装有两个能够清晰地拍摄人眼瞳孔的摄像机，并在电视机上设置一个电视机视线操控触发按钮来启动视线跟踪的操控；具体包括以下步骤(1)所有观看者人脸锁定跟踪，在摄像机所拍摄的电视观看者的图像中进行实时地人脸检测，并锁定和跟踪所有检测出的人脸；(2)所有观看者凝视点估计，分别在所跟踪的每一个人脸区域中进行人眼定位，实现多用户的凝视点估计；(3)利用视线实现电视机操控，根据估计出的观看者的凝视点位置，确定观看者选择的电视控制按钮，从而使电视机进行相应的动作，实现对电视机的智能化操控。本发明使人们能够对电视机进行自然、方便、快捷地操控。
文档编号G06F3/01GK102176191SQ201110070378
公开日2011年9月7日 申请日期2011年3月23日 优先权日2011年3月23日
发明者孙建德, 杨彩霞 申请人:山东大学