通过眼动跟踪技术进行功能键操作的方法和装置制造方法
【专利摘要】本发明公开了一种通过眼动跟踪技术进行功能键操作的方法和装置，涉及移动终端应用领域。本发明利用眼动跟踪技术，通过边缘检测方法在人脸图像中识别眼部区域，在眼部区域中定位出眼球区域，根据各帧图像中定位出的眼球区域，建立眼部运动轨迹，将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作，例如电话呼出功能，本发明不同于传统拨号方式，是一种全新的用户体验，并且拨号效果不受噪杂环境的影响，适用于不能发出声音的特定人群和上肢行动不便的特定人群，提供人道主义便利，增加用户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手段。
【专利说明】通过眼动跟踪技术进行功能键操作的方法和装置
【技术领域】
[0001] 本发明涉及移动终端应用领域，特别涉及一种通过眼动跟踪技术进行功能键操作 的方法和装置。
【背景技术】
[0002] 电话拨号功能是手机等移动终端经常使用的基本功能之一。传统的电话拨号方式 包括键盘按键式拨号、触摸菜单式拨号、语音识别拨号等方式。
[0003] 传统的电话拨号方式对于特定场景、或者特定人群来说不能实使用或效果较差。 例如，语音识别拨号方式在噪杂环境下语音识别率差，不能发出声音的特定人群甚至无法 使用语音识别拨号方式。再例如，对于上肢残障人士、自理能力差的老人等特殊人群，无法 使用键盘按键式拨号或触摸菜单式拨号。
[0004] 另外，传统的电话拨号方式给用户千篇一律的体验，感知度较差，用户黏着性较 差。
[0005] 鉴于以上原因，有必要提出一种实用的、有特色的通信技术，可以适用于特定场景 或特定人群，增加户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手 段。
【发明内容】
[0006] 本发明实施例所要解决的一个技术问题是：提出一种实用的、有特色的电话拨号 方式。
[0007] 根据本发明实施例的一个方面，提出一种通过眼动跟踪技术进行功能键操作的方 法，包括：利用移动终端的前置摄像头采集人脸图像；通过边缘检测方法在人脸图像中识 别眼部区域；在眼部区域中定位出眼球区域；根据各帧图像中定位出的眼球区域，建立眼 部运动轨迹；将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确 定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。
[0008] 根据本发明实施例的另一方面，提出一种通过眼动跟踪技术进行功能键操作的装 置，包括：图像采集模块，用于利用移动终端的前置摄像头采集人脸图像；眼部识别模块， 用于通过边缘检测方法在人脸图像中识别眼部区域；眼球定位模块，用于在眼部区域中定 位出眼球区域；眼部轨迹建立模块，用于根据各帧图像中定位出的眼球区域，建立眼部运动 轨迹；通信模块，用于将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动 轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。
[0009] 本发明利用眼动跟踪技术，通过边缘检测方法在人脸图像中识别眼部区域，在眼 部区域中定位出眼球区域，根据各帧图像中定位出的眼球区域，建立眼部运动轨迹，将眼 部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注视的功能 键，按照用户注视的功能键进行相应的功能操作，例如电话呼出功能，这种使用眼动跟踪技 术进行功能键操作的方法不同于传统拨号方式，可以为用户提供全新的体验，并且拨号效 果不受噪杂环境的影响，可以适用于不能发出声音的特定人群以及上肢行动不便的特定人 群，为这些特定人群提供人道主义便利，从而增加用户的黏着性，为运营商提供差异化营 销、发展和保留用户资源的有效手段。
[0010] 通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其 优点将会变得清楚。
【专利附图】
【附图说明】
[0011] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
[0012] 图1为本发明通过眼动跟踪技术进行功能键操作的方法一个实施例的流程示意 图。
[0013] 图2为本发明通过眼动跟踪技术进行功能键操作的方法另一实施例的流程示意 图。
[0014] 图3为本发明通过眼动跟踪技术进行功能键操作的装置一个实施例的结构示意 图。
[0015] 图4为本发明通过眼动跟踪技术进行功能键操作的装置另一实施例的装置示意 图。
【具体实施方式】
[0016] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下 对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使 用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
[0017] 近年来，面部识别与眼动跟踪技术不断发展，随着智能手机的普及，前置摄像头和 大屏幕已成为移动终端的主流配置，因此，本发明提出一种通过眼动跟踪技术进行功能键 操作的技术。
[0018] 图1为本发明通过眼动跟踪技术进行功能键操作的方法一个实施例的流程示意 图。
[0019] 如图1所示，本实施例的通过眼动跟踪技术进行功能键操作的方法包括以下步 骤：
[0020] 步骤S101，利用移动终端的前置摄像头采集人脸图像；
[0021] 具体地，可以采用人脸特征点识别算法、神经网络识别算法、模版识别算法、整幅 人脸图像识别算法等公知算法来识别人脸。
[0022] 步骤S102,通过边缘检测方法在人脸图像中识别眼部区域；
[0023] -种示例性的实施方式为：计算人脸图像数据的亮度梯度；按照模值最大的亮度 梯度的一定比例，确定门槛下限；以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边 缘路径，当亮度大于或等于门槛下限时一直记录眼部区域边缘位置，直到亮度小于门槛下 限时停止记录。
[0024] 步骤S103,在眼部区域中定位出眼球区域；
[0025] -种示例性的实施方式为：以最高的梯度幅值作为阈值，寻找瞳孔区域的线段； 以瞳孔为圆心，根据瞳孔周边像素的差异定位出眼球区域。
[0026] 进一步地，为了减少干扰，还可以对识别出的眼部区域图像进行滤波；和/或通过 计算梯度幅值，确定脸部图像各点邻域强度的变化值，将邻域强度变化值大于预设范围的 点关显出来。
[0027] 步骤S104,根据各帧图像中定位出的眼球区域，建立眼部运动轨迹；
[0028] 一种示例性的实施方式为：将眼部区域图像缩小为预设尺寸；简化眼部区域图像 的色彩，转换为预设级数的灰度图像；从灰度图像中确定差异点，并记录差异点的位置信 息，包括差异点的坐标、差异点在水平方向和坚直方向的距离、以及两个差异点之间的夹角 和距离；根据差异点的位置信息，确定眼部运动轨迹。
[0029] 步骤S105,将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动 轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。
[0030] 在按照用户注视的功能键进行相应的功能操作时，判断用户注视功能键的时间是 否达到预设时间，如果用户注视功能键的时间达到预设时间，再按照用户注视的功能键进 行相应的功能操作。
[0031] 图2为本发明通过眼动跟踪技术进行功能键操作的方法另一实施例的流程示意 图。
[0032] 如图2所示，本实施例的通过眼动跟踪技术进行功能键操作的方法包括以下步 骤：
[0033] 步骤S201，利用移动终端的前置摄像头采集人脸图像，并识别人脸。
[0034] 具体地，可以采用人脸特征点识别算法、神经网络识别算法、模版识别算法、整幅 人脸图像识别算法等公知算法来识别人脸。
[0035] 由于人类的脸、眼部器官的结构外形都很相似，通过人脸就能找出眼部大致区域。 但是，眼轮匝肌等肌肉群运动导致的眨眼、瞪眼等表情，以及不同的拍摄角度、不同背景光 照条件，以及使用者佩戴口罩、眼镜、头发、胡须等，都会影响眼球运动捕捉的效果。因此，本 发明提出边缘检测法进行局部图像处理，标识出数字图像中亮度变化明显的点，以更好地 反映出眼部运动的实际变化。
[0036] 步骤S202,通过边缘检测方法在人脸中识别眼部区域，从而圈出眼部肌肉群对象 与背景间的交界线。具体可以采用以下步骤实现：
[0037] (1)计算人脸图像数据的亮度梯度；
[0038] 具体地，可以通过亮度变化的一阶导数求导来获得亮度梯度，例如可以采用如下 公式计算：
[0039] Γ (x) =-1/2 X I (x-1) +0 X I (x) +12 X I (x+1)
[0040] 其中，I (x)表示像素点x的亮度，Γ (x)表示像素点x的亮度的一阶导数(或称 亮度梯度)。
[0041] (2)按照模值最大的亮度梯度的一定比例，确定门槛下限；
[0042] (3)以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边缘路径，当亮度大于 或等于门槛下限时一直记录眼部区域边缘位置，直到亮度小于门槛下限时停止记录。
[0043] 上述边缘检测方法认为边缘是连续的界线，能够跟踪到眼部运动变化细节，而不 会将图像中的噪声点标记为边缘，也不会将有用信号过滤掉。
[0044] 步骤S203,由于识别眼部区域过程中的导数计算对噪声很敏感，为了改善与噪声 相关的边缘检测性能，可以对识别出的眼部区域图像进行滤波，减少实际拍摄中抖动、光线 等因素的干扰，突显出眼部区域特征，达到增强边缘和降低噪声的折中；
[0045] 具体的，滤波采用的滤波函数如下：
[0046]
【权利要求】
1. 一种通过眼动跟踪技术进行功能键操作的方法，包括： 利用移动终端的前置摄像头采集人脸图像； 通过边缘检测方法在人脸图像中识别眼部区域； 在眼部区域中定位出眼球区域； 根据各帧图像中定位出的眼球区域，建立眼部运动轨迹； 将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动轨迹确定用户注 视的功能键，按照用户注视的功能键进行相应的功能操作。
2. 根据权利要求1所述的方法，其特征在于，所述通过边缘检测方法在人脸图像中识 别眼部区域包括： 计算人脸图像数据的亮度梯度； 按照模值最大的亮度梯度的一定比例，确定门榲下限； 以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边缘路径，当亮度大于或等于 门槛下限时一直记录眼部区域边缘位置，直到亮度小于门槛下限时停止记录。
3. 根据权利要求1所述的方法，其特征在于，所述在眼部区域中定位出眼球区域包括： 以最高的梯度幅值作为阈值，寻找瞳孔区域的线段；以瞳孔为圆心，根据瞳孔周边像素 的差异定位出眼球区域。
4. 根据权利要求1所述的方法，其特征在于，所述根据各帧图像中定位出的眼球区域， 建立眼部运动轨迹包括： 将眼部区域图像缩小为预设尺寸； 简化眼部区域图像的色彩，转换为预设级数的灰度图像； 从灰度图像中确定差异点，并记录差异点的位置信息，包括差异点的坐标、差异点在水 平方向和坚直方向的距离、以及两个差异点之间的夹角和距离； 根据差异点的位置信息，确定眼部运动轨迹。
5. 根据权利要求1所述的方法，其特征在于，所述方法还包括： 对识别出的眼部区域图像进行滤波，以减少干扰； 和/或 通过计算梯度幅值，确定脸部图像各点邻域强度的变化值，将邻域强度变化值大于预 设范围的点突显出来。
6. 根据权利要求1所述的方法，其特征在于，所述按照用户注视的功能键进行相应的 功能操作包括： 判断用户注视功能键的时间是否达到预设时间，如果用户注视功能键的时间达到预设 时间，再按照用户注视的功能键进行相应的功能操作。
7. -种通过眼动跟踪技术进行功能键操作的装置，包括： 图像采集模块，用于利用移动终端的前置摄像头采集人脸图像； 眼部识别模块，用于通过边缘检测方法在人脸图像中识别眼部区域； 眼球定位模块，用于在眼部区域中定位出眼球区域； 眼部轨迹建立模块，用于根据各帧图像中定位出的眼球区域，建立眼部运动轨迹； 通信模块，用于将眼部初始位置与移动终端屏幕中的预设位置相对应，根据眼部运动 轨迹确定用户注视的功能键，按照用户注视的功能键进行相应的功能操作。
8. 根据权利要求7所述的装置，其特征在于，所述眼部识别模块，具体用于： 计算人脸图像数据的亮度梯度； 按照模值最大的亮度梯度的一定比例，确定门榲下限； 以模值最大的亮度梯度对应的像素为开始点，逐点跟踪边缘路径，当亮度大于或等于 门槛下限时一直记录眼部区域边缘位置，直到亮度小于门槛下限时停止记录。
9. 根据权利要求7所述的装置，其特征在于，所述眼球定位模块，具体用于： 以最高的梯度幅值作为阈值，寻找瞳孔区域的线段；以瞳孔为圆心，根据瞳孔周边像素 的差异定位出眼球区域。
10. 根据权利要求7所述的装置，其特征在于，所述眼部轨迹建立模块，具体用于： 将眼部区域图像缩小为预设尺寸； 简化眼部区域图像的色彩，转换为预设级数的灰度图像； 从灰度图像中确定差异点，并记录差异点的位置信息，包括差异点的坐标、差异点在水 平方向和坚直方向的距离、以及两个差异点之间的夹角和距离； 根据差异点的位置信息，确定眼部运动轨迹。
11. 根据权利要求7所述的装置，其特征在于，所述装置还包括： 滤波模块，用于对识别出的眼部区域图像进行滤波，以减少干扰； 和/或 增强模块，用于通过计算梯度幅值，确定脸部图像各点邻域强度的变化值，将邻域强度 变化值大于预设范围的点突显出来。
12. 根据权利要求7所述的装置，其特征在于，所述通信模块在按照用户注视的功能键 进行相应的功能操作时具体用于： 判断用户注视功能键的时间是否达到预设时间，如果用户注视功能键的时间达到预设 时间，再按照用户注视的功能键进行相应的功能操作。
【文档编号】G06F3/01GK104216508SQ201310211036
【公开日】2014年12月17日 申请日期:2013年5月31日 优先权日:2013年5月31日
【发明者】黄挺, 孙隆 申请人:中国电信股份有限公司