终端及其遥控的方法与流程

本发明涉及人机交互技术领域，尤其是涉及一种基于瞳孔跟踪技术的终端及其遥控的方法。

背景技术：
目前，对电视的遥控可以分为两类，一类是基于设备的，如遥控/手机/点读笔等；另一类是基于用户身体和行为本身的，即不需要借助外部设备，如手势/语音/意念等。基于设备的遥控涉及与设备直接的牵涉，没有设备就无法进行任何遥控，具有强制性的前提条件，这样的模式已越来越不太适应现代的智能家具生活中；基于用户本身的遥控是现在的研究热点，但各种方法各有利弊，其中基于手势的遥控，用户一直抬手容易疲劳，语音操作容易受到环境干扰，意念遥控存在技术瓶颈，还未出现真正的产品。随着科技的发展，特别是人脸检测和人眼检测技术的成熟为人机交互提供了更多的可能。如果能够直接通过人眼（瞳孔）完成对显示设备的遥控，则使我们的智能家居生活更加智能化，更加便捷化，更具有人性化。申请号为201210333443.3专利申请文献公开了一种移动终端及其遥控方法，具体公开了一种检测用户瞳孔运动轨迹，根据该运动轨迹相应发出控制指令的技术方案。即现有技术中已存在通过瞳孔运动实现对显示设备的遥控技术。现有的这种通过瞳孔运动实现对移动设备遥控技术，需进行两次人眼定位，其具体人眼定位方式为：首先根据脸部肤色的聚类特性检测用户脸部位置，即在人脸检测的基础上，根据眼睛在人脸上的几何位置分布，确定眼睛的大概位置，缩小眼部检测的区域范围；其次，在缩小的眼部搜索区域范围内，利用Sobel边缘检测算法对眼部区域进行边缘检测，提取眼部的边缘信息，进行人眼精确检测。现有这种进行两次人眼定位的方法，在确定人眼的大概位置时，仅根据眼睛与周围肤色的不同来确定，并不很准确，也即现有技术仅能确定肤色不同的地方不是用户脸皮，却不能确定该地方一定是眼睛，因为很可能会由于眉毛、较长的头发或化妆效果等干扰因素导致检测不准确。

技术实现要素：
本发明的主要目的在于提供一种基于瞳孔跟踪技术的终端及其遥控的方法，提高瞳孔定位的准确度，在通过瞳孔运动实现遥控终端的过程，防止因瞳孔定位不准确，使终端识别瞳孔运动错误，导致终端误操作现象的发生，提高用户体验效果。本发明提出一种终端遥控的方法，包括：获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像；根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能；所述用户的双眼基准位置创建过程为：获取设定区域内所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置。优选地，所述根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况包括：根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼定位，获得对应的第一人眼图像；对每帧第一人眼图像进行边缘提取和阈值分割计算，根据计算结果确定人眼在对应的人脸图像中的精确位置，获取第二人眼图像；对每帧第二人眼图像进行瞳孔定位，根据每帧第二人眼图像中瞳孔的位置确定瞳孔的运动情况。优选地，所述对每帧第二人眼图像进行瞳孔定位具体包括：对每帧第二人眼图像进行灰度值比较，将每帧第二人眼图像中灰度值低的区域的重心位置定位为瞳孔位置。优选地，所述获取设定区域内用户的至少两帧图像之后还包括：对所述至少两帧图像中的每帧图像分别进行光照校正和降噪处理；所述获取设定区域内所述用户的双眼睁图像和双眼闭图像之后还包括：对所述双眼睁图像和双眼闭图像分别进行光照校正和降噪处理。优选地，所述对每帧图像进行人脸定位具体包括：采用AdaBoost算法或肤色检测算法对每帧图像进行人脸定位。本发明另提出一种终端，包括：人脸定位模块，用于获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像；人眼瞳孔定位模块，用于根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；执行模块，用于从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能；双眼基准位置创建模块，用于获取设定区域内的所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置。优选地，所述人眼瞳孔定位模块，具体还用于根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼定位，获得对应的第一人眼图像；对每帧第一人眼图像进行边缘提取和阈值分割计算，根据计算结果确定人眼在对应的人脸图像中的精确位置，获取第二人眼图像；以及对每帧第二人眼图像进行瞳孔定位，根据每帧人眼图像中瞳孔的位置确定瞳孔的运动情况。优选地，所述人眼瞳孔定位模块，具体用于对每帧第二人眼图像进行灰度值比较，将每帧第二人眼图像中灰度值低的区域的重心位置定位为瞳孔位置。优选地，所述的终端还包括：图像预处理模块，用于对所述至少两帧图像中的每帧图像、所述双眼睁图像、以及双眼闭图像分别进行光照校正和降噪处理。优选地，所述人脸定位模块，具体用于采用AdaBoost算法或肤色检测算法对每帧图像进行人脸定位。本发明所提供的一种终端及其遥控的方法，通过根据预先创建的所述用户的双眼基准位置，对获取的用户的每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能的方式，其中通过获取设定区域内的所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置；因双眼睁图像和双眼闭图像差异之处仅在于人眼图像，不会受眉毛、较长的头发或化妆效果等因素所干扰，因此相比现有的瞳孔跟踪技术，大大地提高了瞳孔定位的准确度，在用户通过瞳孔运动遥控终端过程中可防止因瞳孔定位不准确，使终端识别瞳孔运动错误的问题，大大减少了终端因瞳孔运动识别错误而导致误操作现象的发生，提高了用户的体验效果。附图说明图1是本发明的终端的遥控方法一实施例的流程图；图2是本发明的终端一实施例的结构示意图；图3是本发明的终端另一实施例的结构示意图。本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。参见图1，图1是本发明的一种终端遥控的方法一实施例的流程图，所述终端遥控的方法包括：步骤S101、获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像。本实施例中，所述设定区域指：用户通过身体动作（如控制瞳孔运动）实现遥控终端，用户所应处的有效区域。本步骤中，所述至少两帧图像具体是通过摄像头获取的。在获取所述用户后续的至少两帧图像后，还分别对每帧图像进行图像预处理，以达到提高双眼睁图像和双眼闭图像的信噪比，抑制背景噪声，最真实的还原原始双眼睁图像和双眼闭图像信息。所述图像预处理包括：对图像进行光照校正和降噪处理。即对所述至少两帧图像中的每帧图像分别进行光照校正和降噪处理。其中，对图像进行光照校正主要是对图像中原始特定信息图中夹杂的一些变化信息（如光照变化、角度变化等）进行处理。可采用的光照校正方法包括：Gamma校正、图像亮度非线性变换、直方图均衡化、最高亮度点光照补偿。Gamma校正和图像亮度非线性变换是通过对图像中像素点进行非线性调整，从而去除原始信息图中的一些无关的变化信息。直方图均衡化和最高亮度点光照补偿算法是对图像进行对比度调整的方法，能增强图像局部对比度。对图像进行降噪处理主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等。本实施例可采用均值滤波、中值滤波和高斯滤波等。另外，本步骤具体采用AdaBoost算法或肤色检测算法对每帧图像进行人脸定位。步骤S102、根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况。本步骤S102具体处理如下：根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼定位，获得对应的第一人眼图像；对每帧第一人眼图像进行边缘提取和阈值分割计算，根据计算结果确定人眼在对应的人脸图像中的精确位置，获取第二人眼图像；对每帧第二人眼图像进行瞳孔定位，根据每帧第二人眼图像中瞳孔的位置差异，确定瞳孔的运动情况。其中，所述对每帧第二人眼图像进行瞳孔定位具体处理过程如下：采用圆心定位法或角点检测法对每帧第二人眼图像进行瞳孔定位。或者，对每帧第二人眼图像进行灰度值比较，将每帧第二人眼图像中灰度值低的区域的重心位置定位为瞳孔位置。本步骤所述的用户的双眼基准为准的创建过程如下：获取设定区域内所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建用户的双眼基准位置，所述垂直灰度投影直方图包括垂直灰度纵向投影直方图和垂直灰度横向投影直方图。其中，所述双眼睁图像和双眼闭图像具体是通过摄像头获取的。另外，中创建用户的双眼基准位置过程中，在获取所述双眼睁图像和双眼闭图像后，分别对二者进行图像预处理。本实施例中创建用户的双眼基准位置过程对获取的双眼睁图像和双眼闭图像进行的图像预处理原理与上述步骤S101的对所述至少两帧图像中的每帧图像分别进行图像预处理的原理相同，在此不再赘述。步骤S103、从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能。本实施例中，所述预设的操作策略包括：瞳孔的运动情况、操作指令、操作动作，以及该三者的对应关系。参见表1，如“双眼向上”对应的操作指令为“Key_Up”，对应的操作动作为“模拟遥控向上按钮”。现以一个具体事例对所述预设的操作策略进行详细说明：在未开通瞳孔运动遥控终端功能之前，当终端处于视频音量菜单项，用户通过遥控器遥控向上按钮，则终端执行增大一级视频音量的操作，即实现增大一级视频音量。在开通瞳孔运动遥控终端功能之后，当终端处于视频音量菜单项时，终端根据已获取的至少两帧用户的瞳孔图像的相对变化情况（即瞳孔的位置差异），确定用户瞳孔的运动情况是“双眼向上”时，预设的操作策略中存在的与该“双眼向上”对应的操作指令为“Key_Up”，对应的操作动作为“模拟遥控器遥控向上按钮”。终端确定用户瞳孔的运动情况为“双眼向上”后，则模拟接收遥控器遥控向上按钮的指令，执行“增加一级视频音量”功能操作。即用户通过控制双眼向上即可实现终端播放的视频的音量增加一级。本实施例中，可以在每次实现通过用户瞳孔运动遥控终端之前预先创建用户的双眼基准位置，为后续的定位同一用户的眼睛位置作参考。当然若始终只有同一用户采用通过瞳孔运动实现遥控终端的方式遥控，也可只创建一次用户的双眼基准位置，然后将创建后的用户的双眼基准位置信息（双眼在人脸图像中的坐标值）存储，以后需要采用通过瞳孔运动实现遥控终端的方式，只需调出所述双眼基准位置作参考即可，无需再次创建。上述提供的终端遥控的方法实施例，通过根据预先创建的所述用户的双眼基准位置，对获取的用户的每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能的方式，其中通过获取设定区域内的所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置；因双眼睁图像和双眼闭图像差异之处仅在于人眼图像，不会受眉毛、较长的头发或化妆效果等因素所干扰，因此相比现有的瞳孔跟踪技术，大大地提高了瞳孔定位的准确度，在用户通过瞳孔运动遥控终端过程中可防止因瞳孔定位不准确，使终端识别瞳孔运动错误，大大减少了终端因瞳孔运动识别错误而导致误操作现象的发生，提高了用户的体验效果。参见图2，图2是本发明的一种终端100一实施例结构示意图，所述终端100包括：人脸定位模块110、人眼瞳孔定位模块120、执行模块130、以及双眼基准位置创建模块140。所述人脸定位模块110，用于获取设定区域内用户的至少两帧图像，对每帧图像进行人脸定位，获得人脸图像。所述人眼定位模块120，用于根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况。所述执行模块130，用于从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能。所述双眼基准位置创建模块140，用于获取设定区域内所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置，所述垂直灰度投影直方图包括垂直灰度纵向投影直方图和垂直灰度横向投影直方图。本实施例中，所述设定区域为用户通过身体动作（如控制瞳孔运动）实现遥控终端100，用户所应处的有效区域。进一步地，上述终端100实施例中，所述人眼瞳孔定位模块120，具体用于根据预先创建的所述用户的双眼基准位置，对每帧人脸图像进行人眼定位，获得对应的第一人眼图像；对每帧第一人眼图像进行边缘提取和阈值分割计算，根据计算结果确定人眼在对应的人脸图像中的精确位置，获取第二人眼图像；以及对每帧第二人眼图像进行瞳孔定位，根据每帧人眼图像中瞳孔的位置差异，确定瞳孔的运动情况。另外，所述人眼瞳孔定位模块120，具体用于采用圆心定位法或角点检测法对每帧第二人眼图像进行瞳孔定位；或者，对每帧第二人眼图像进行灰度值比较，将每帧第二人眼图像中灰度值低的区域的重心位置定位为瞳孔位置。本实施例中，所述至少两帧图像中的每帧图像、所述双眼睁图像、以及所述双眼闭图像均可由摄像头获取。本实施例中，所述预设的操作策略包括：瞳孔的运动情况、操作指令、操作动作，以及该三者的对应关系。参见表1，如“双眼向上”对应的操作指令为“Key_Up”，对应的操作动作为“模拟遥控向上按钮”。现以一个具体事例对所述预设的操作策略进行详细说明：在未开通瞳孔运动遥控终端100功能之前，当终端100处于视频音量菜单项，用户通过遥控器遥控向上按钮，则终端100执行增大一级视频音量的操作，即实现增大一级视频音量。在开通瞳孔运动遥控终端100功能之后，当终端100处于视频音量菜单项时，终端100根据已获取的至少两帧用户的瞳孔图像的相对变化情况（即瞳孔的位置差异），确定用户瞳孔的运动情况是“双眼向上”时，预设的操作策略中存在的与该“双眼向上”对应的操作指令为“Key_Up”，对应的操作动作为“模拟遥控器遥控向上按钮”。终端100确定用户瞳孔的运动情况为“双眼向上”后，则模拟接收遥控器遥控向上按钮的指令，执行“增加一级视频音量”功能操作。即用户通过控制双眼向上即可实现终端100播放的视频的音量增加一级。本实施例中，可以在每次实现通过用户瞳孔运动遥控终端100之前预先创建用户的双眼基准位置，为后续的定位同一用户的眼睛位置作参考。当然若始终只有同一用户采用通过瞳孔运动实现遥控终端100的方式遥控，也可只创建一次用户的双眼基准位置，然后将创建后的用户的双眼基准位置信息（双眼在人脸图像中的坐标值）存储，以后需要采用通过瞳孔运动实现遥控终端100的方式，只需调出所述双眼基准位置作参考即可，无需再次创建。参见图3，图3是本发明的一种终端100另一实施例的结构示意图，在上述终端100实施例的基础上，所述终端100还包括：图像预处理模块150。所述图像预处理模块150，用于对所述至少两帧图像中的每帧图像、所述双眼睁图像、以及所述双眼闭图像分别进行光照校正和降噪处理，以达到提高所述至少两帧图像中的每帧图像、所述双眼睁图像、以及所述双眼闭图像的信噪比，抑制背景噪声，最真实的还原原始双眼睁图像和双眼闭图像信息。其中，对图像进行光照校正主要是对图像中原始特定信息图中夹杂的一些变化信息（如光照变化、角度变化等）进行处理。可采用的光照校正方法包括：Gamma校正、图像亮度非线性变换、直方图均衡化、最高亮度点光照补偿。Gamma校正和图像亮度非线性变换是通过对图像中像素点进行非线性调整，从而去除原始信息图中的一些无关的变化信息。直方图均衡化和最高亮度点光照补偿算法是对图像进行对比度调整的方法，能增强图像局部对比度。对图像进行降噪处理主要是对原始图像中的噪声信息进行滤除，图像中典型的噪声有高斯噪声、椒盐噪声、加性噪声等。本实施例可采用均值滤波、中值滤波和高斯滤波等。进一步地，上述终端100实施例中，所述人脸定位模块110，具体用于采用AdaBoost算法或肤色检测算法对每帧图像进行人脸定位。上述提供的终端100实施例，通过根据预先创建的所述用户的双眼基准位置，对获取的用户的每帧人脸图像进行人眼瞳孔定位，根据每帧人脸图像中人眼瞳孔的位置确定瞳孔的运动情况；从预设的操作策略中查找并执行与所述瞳孔的运动情况对应的遥控指令，实现对应的操作功能的方式，其中通过获取设定区域内的所述用户的双眼睁图像和双眼闭图像，根据双眼睁图像的垂直灰度投影直方图与双眼闭图像的垂直灰度投影直方图之间的差异创建所述用户的双眼基准位置；因双眼睁图像和双眼闭图像差异之处仅在于人眼图像，不会受眉毛、较长的头发或化妆效果等因素所干扰，因此相比现有的瞳孔跟踪技术，大大地提高了瞳孔定位的准确度，在用户通过瞳孔运动遥控终端过程中可防止因瞳孔定位不准确，使终端识别瞳孔运动错误，大大减少了终端因瞳孔运动识别错误而导致误操作现象的发生，提高了用户的体验效果。应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。表1：