基于眼睛闭合度检测技术的人机交互方法与流程

本发明涉及人机交互领域，特别涉及一种基于眼睛闭合度检测技术的人机交互方法。

背景技术：

近年来，随着科技的不断进步，人机交互技术有了长足的进步，也给人们的生活带来了许多便利。

但是，现有的人机交互方法有两种类型，一种为接触型人机交互方法，另一种为非接触型人机交互方法；其中，接触型人机交互方法需要人用手或者其他肢体来进行控制，才能实现其功能，因此仍然存在使用不方便的问题；非接触型人机交互方法例如语音交互方法，需要以语音进行控制才能完成人机交互操作，而语音很容易受到外界噪声的干扰，从而使得在人机交互过程中会出现反应不灵敏等缺点。

技术实现要素：

为了解决上述技术问题，本发明提供一种基于眼睛闭合度检测技术的人机交互方法，包括：

获取眼睛闭合度信息；

根据所述眼睛状态信息实现人机交互。

在本发明的一个实施例中，获取眼睛闭合度信息包括：

根据眼部图像定位瞳孔中心点；

在所述眼部图像中以所述瞳孔中心点为起点形成多条灰度值射线；

通过所述灰度值射线计算确定瞳孔边界点；

利用所述瞳孔边界点确定眼睛状态。

在本发明的一个实施例中，根据眼部图像定位瞳孔中心点，包括：

将所述眼部图像转化为眼部灰度图；

对所述眼部灰度图进行灰度对比度增强预处理；

根据预处理后的所述眼部灰度图估算出所述瞳孔中心点。

在本发明的一个实施例中，根据预处理后的所述眼部灰度图估算出所述瞳孔中心点，包括：

根据预处理后的所述眼部灰度图估算出眼部中心区域，查找所述眼部中心区域灰度值最小的点定位为所述瞳孔中心点。

在本发明的一个实施例中，在所述眼部图像中以所述瞳孔中心点为起点形成多条灰度值射线，包括：

在所述眼部图像中，以所述瞳孔中心点为起点，沿上眼皮方向形成m条所述灰度值射线；

以所述瞳孔中心点为起点，沿下眼皮方向形成n条所述灰度值射线。

在本发明的一个实施例中，通过所述灰度值射线计算确定瞳孔边界点，包括：

计算所述灰度值射线在所述眼部图像中的灰度值偏微分；

根据所述灰度值偏微分计算灰度梯度；

求解所述灰度梯度的最大值；

将所述最大值确定为所述瞳孔边界点。

在本发明的一个实施例中，利用所述瞳孔边界点确定眼睛状态，包括：

根据所述瞳孔边界点计算眼睛闭合度；

通过眼睛闭合度与闭合阈值的关系确定眼睛状态。

在本发明的一个实施例中，所述眼睛闭合度公式为：

其中，x为瞳孔边界点的个数，m为上眼皮方向的灰度值射线条数，n为下眼皮方向的灰度值射线条数；

所述θ包括θ左眼及θ右眼；其中，

θ左眼为左眼眼睛闭合度参数；

θ右眼为右眼眼睛闭合度参数。

在本发明的一个实施例中，根据所述眼睛闭合度信息实现人机交互包括：

在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则执行向下翻页操作或向下翻图片操作；在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则执行向上翻页操作或向上翻图片操作；

或者在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则执行向下翻页操作或向下翻图片操作；在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则执行向上翻页操作或向上翻图片操作。

在本发明的一个实施例中，根据所述眼睛闭合度信息实现人机交互还包括：

在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则发送开始通信的控制命令给所述人机交互设备以实现语音通信；在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则发送结束通信的控制命令给所述人机交互设备以实现结束语音通信；

或者在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则执行开始语音通信操作；在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则执行结束语音通信操作。

本发明以眼睛闭合度检测技术为手段，提供了一种人机交互方法，可以使得人机交互变得更加简单且有效。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例之一种基于眼睛闭合度检测技术的人机交互方法示意图；

图2为本发明实施例之获取眼睛闭合度的方法的示意图；

图3为本发明实施例之眼睛处于闭合状态瞳孔边界点示意图；

图4为本发明实施例之眼睛处于睁开状态瞳孔边界点示意图；

图5为本发明实施例之眼睛处于半睁半闭状态瞳孔特边界点意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步详细说明。

实施例一

请参见图1，图1为本发明实施例之一种基于眼睛闭合度检测技术的人机交互方法示意图。该方法包括：

获取眼睛闭合度信息；

根据所述眼睛闭合度信息实现人机交互。

进一步地，在上述实施例的基础上，请参见图2，图2为获取眼睛闭合度的方法的示意图，包括：

根据眼部图像定位瞳孔中心点；

在所述眼部图像中以所述瞳孔中心点为起点形成多条灰度值射线；

通过所述灰度值射线计算确定瞳孔边界点；

利用所述瞳孔边界点确定眼睛状态。

进一步地，在上述实施例的基础上，根据眼部图像定位瞳孔中心点，包括：

将所述眼部图像转化为眼部灰度图；

对所述眼部灰度图进行灰度对比度增强预处理；

根据预处理后的所述眼部灰度图估算出所述瞳孔中心点。

进一步地，在上述实施例的基础上，根据预处理后的所述眼部灰度图估算出所述瞳孔中心点，包括：

根据预处理后的所述眼部灰度图估算出眼部中心区域，查找所述眼部中心区域灰度值最小的点定位为所述瞳孔中心点。

进一步地，在上述实施例的基础上，在所述眼部图像中以所述瞳孔中心点为起点形成多条灰度值射线，包括：

在所述眼部图像中，以所述瞳孔中心点为起点，沿上眼皮方向形成m条所述灰度值射线；

以所述瞳孔中心点为起点，沿下眼皮方向形成n条所述灰度值射线。

进一步地，在上述实施例的基础上，通过所述灰度值射线计算确定瞳孔边界点，包括：

计算所述灰度值射线在所述眼部图像中的灰度值偏微分；

根据所述灰度值偏微分计算灰度梯度；

求解所述灰度梯度的最大值；

将所述最大值确定为所述瞳孔边界点。

进一步地，在上述实施例的基础上，利用所述瞳孔边界点确定眼睛状态，包括：

根据所述瞳孔边界点计算眼睛闭合度；

通过眼睛闭合度与闭合阈值的关系确定眼睛状态。

进一步地，在上述实施例的基础上，所述眼睛闭合度公式为：

其中，x为瞳孔边界点的个数，m为上眼皮方向的灰度值射线条数，n为下眼皮方向的灰度值射线条数；

所述θ包括θ左眼及θ右眼；其中，

θ左眼为左眼眼睛闭合度参数；

θ右眼为右眼眼睛闭合度参数。

进一步地，在上述实施例的基础上，根据所述眼睛闭合度信息实现人机交互包括：

在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则执行向下翻页操作或向下翻图片操作；在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则执行向上翻页操作或向上翻图片操作；

或者在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则执行向下翻页操作或向下翻图片操作；在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则执行向上翻页操作或向上翻图片操作。

进一步地，在上述实施例的基础上，根据所述眼睛闭合度信息实现人机交互还包括：

在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则发送开始语音通信的控制命令给所述人机交互设备以实现语音通信；在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则发送结束语音通信的控制命令给所述人机交互设备以实现结束语音通信；

或者在2～5s时间内，若θ左眼<0.2且θ右眼>0.8，则执行开始语音通信操作；在2～5s时间内，若θ左眼>0.8且θ右眼<0.2，则执行结束语音通信操作。

本实施例以眼睛闭合度检测技术为手段，提供了一种人机交互方法，可以使得人机交互变得更加简单且有效。

实施例二

本实施例是对获取眼睛闭合度信息的方法进行的详细说明，以手机为人机交互设备进行说明，具体如下：

步骤1、获取眼部图像

若后文无特别说明，眼部图像则包括左眼眼部图像和右眼眼部图像。手机中的人机交互软件运行后，控制手机前置摄像头获取眼部图像，并将眼部图像发送至手机处理器。手机处理器接收到眼部图像之后，作如下处理：

将眼睛部位调整为水平位置；

将眼部图像转化为眼部灰度图，对眼部灰度图进行灰度对比度增强预处理，处理方法为：

f＝c*log(1+double(f0))

其中，f0表示原眼部灰度图，f表示对比度增强后的眼部灰度图。

将对比度增强后的眼部灰度图做拉普拉斯滤波处理。

对眼部灰度图进行灰度对比度增强预处理，更有利于瞳孔和外部区域的区分；另外，拉普拉斯滤波的无方向性可以对眼部图像做各个方向的去噪。

步骤2、定位瞳孔中心点

手机处理器根据步骤1中对比度增强后的眼部灰度图估算出眼部中心区域，查找眼部中心区域灰度值最小的点，若该点近似位于眼部中心区域的中点，则定位为瞳孔中心点；否则，继续查找，直到找到近似位于眼部中心区域的中点附近的灰度值最小点。

步骤3、以瞳孔中心点为起点发灰度值射线

确定瞳孔中心点后，手机处理器在眼部图像中以瞳孔中心点为起点沿上眼皮方向发射直线，可以形成m条灰度值射线；同样，以瞳孔中心点为起点沿下眼皮方向发射直线，可以形成n条灰度值射线。m和n可以相等也可以不等，m和n的条数越多，检测结果越精确。

步骤4、确定瞳孔边界点

手机处理器通过运算找到瞳孔边界点，具体运算方式如下：

瞳孔区域灰度明显低于其他区域，在边界位置梯度变化剧烈，灰度值的偏微分为：

其中，令f(i，j)为图像f坐标(i，j)处的灰度值；

则该方向的灰度梯度d为：

提取d最大的点，记作dmax；当dmax>边界点阈值，则该点为瞳孔边界点。其中，边界点阈值选取大于瞳孔和皮肤交界处的灰度梯度且小于瞳孔和眼白交界处的灰度梯度的特定值，根据个体差异自行定义。瞳孔边界点处于瞳孔部分和眼白部分交替处。

步骤5、利用瞳孔边界点确定眼睛状态

51)、通过步骤4瞳孔边界点来确定步骤3中射线方向的瞳孔边界点，假设确定共有x个瞳孔边界点；

52)、通过眼睛闭合度公式计算眼睛闭合度，具体为：

53)、选取闭合度阈值，分别选择第一闭合度阈值与第二闭合度阈值，例如：

请参见图3，图3为本发明实施例之眼睛处于闭合状态瞳孔边界点示意图，此时θ为0.8，即为第一闭合度阈值；

请参见图4，图4为本发明实施例之眼睛处于睁开状态瞳孔边界点示意图，此时θ为0.2，即为第二闭合度阈值；

请参见图5，图5为本发明实施例之眼睛处于半睁半闭状态瞳孔特边界点意图，此时θ介于0.2～0.8之间；

其中，第一闭合度阈值越大，眼睛越闭合，第一闭合度阈值理论最大值为1；

第二闭合度阈值越小，眼睛越睁开，第二闭合度阈值理论最小值为0；

可以根据个体差异以及应用需求选择不同的闭合度阈值。

当θ>0.8时，眼睛状态为闭合；

当θ<0.2时，眼睛状态为睁开；

否则，眼睛状态为半睁半闭；

所述θ包括θ左眼及θ右眼；其中，

所述θ左眼为左眼眼睛闭合度；

所述θ右眼为右眼眼睛闭合度。

人的眼睛瞳孔较小，灰度低，不会因为个人生理因素导致瞳孔图像被眼睑遮挡，当正常睁开状态时，瞳孔是完整的，当处于闭合时瞳孔消失，当处于睁开和闭合中间态时，瞳孔上下边缘被遮挡，因此利用检测瞳孔边界判断眼睛睁闭。

实施例三

本实施例是在实施例一及实施例二的基础上对本发明的原理及实现方式作进一步的说明。

具体地，继续以手机作为人机交互设备为例进行说明，内容如下：

在进行人机交互之前还包括设定人机交互指令，可以通过初始化进行设定。运行手机内存中的人机交互软件之后，根据软件提示，设定人机交互指令，例如：

第一指令：在2～5s时间内，当左眼闭合、右眼睁开，则手机处理器控制向下翻页或向下翻图片；

第二指令：2～5s时间内，当左眼睁开、右眼闭合，则手机处理器控制向上翻页或向上翻图片。

或者为：

第三指令：2～5s时间内，当左眼睁开、右眼闭合，则手机处理器控制向下翻页或向下翻图片；

第四指令：2～5s时间内，当左眼闭合、右眼睁开，则手机处理器控制向上翻页或向上翻图片。

或者为：

第五指令：2～5s时间内，当左眼闭合、右眼睁开，则手机处理器控制手机开始语音通信；

第六指令：2～5s时间内，当左眼睁开、右眼闭合，则手机处理器控制手机结束语音通信。

或者为：

第七指令：2～5s时间内，当左眼睁开、右眼闭合，则手机处理器控制手机开始语音通信；

第八指令：2～5s时间内，当左眼闭合、右眼睁开，则手机处理器控制手机结束语音通信。

人机交互指令设定完成后，则可进行人机互动，以人机交互指令为第一指令及第二指令为例：

运行手机中的人机交互软件后，软件控制手机前置摄像头采集眼部图像并发送至手机处理器，手机处理器经实施例二中所述的方法对眼部图像进行处理及计算，得到眼睛闭合度值，包括θ左眼及θ右眼；其中，

当θ左眼>0.8且θ右眼<0.2，即左眼闭合、右眼睁开，手机处理器将其与预先设定的人机交互指令进行比较，判定其符合第一指令的相关参数，则手机处理器控制向下翻页或向下翻图片；

当θ左眼<0.2且θ右眼>0.8，即左眼睁开、右眼闭合，手机处理器将其与预先设定的人机交互指令进行比较，判定其符合第二指令的相关参数，则手机处理器控制向上翻页或向上翻图片。

综上所述，本文中应用了具体个例对本发明的结构及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。