专利名称：一种基于眨眼动作的人机交互方法及系统的制作方法
技术领域：
本发明涉及人机交互技术领域，特别是涉及一种基于眨眼动作的人机交互方法及系统。
背景技术：
随着手机、平板电脑等各类移动终端设备的普及，特别是智能手机的发展，这些智能移动终端的作用已不再是简单的接打电话、收发短信了，各种手机和平板电脑的应用充斥着整个网络，其中最主要的应用包括接打电话、收发短信/邮件、拍照片、浏览网页、玩游戏和阅读电子书。用户与设备之间的人机交互方式也越来越丰富。目前较常用的人机交互方式主要有两种一种是按键型，通过按键来发出命令；另一种是触摸型，触摸屏幕采用电容屏或电阻屏，用户通过手指触摸屏幕发出命令。这两种方式都是基于人手的人机交互 方式，需要手的介入，当双手被占用时，就无法完成人与设备的交互，所以无法适用于某些特殊场合，以及一些残障人士。随着智能信息技术的发展，新的交互方式层出不穷，特别是出现了多种非接触式的操作方式，主要有语音控制和体感控制两种，其中语音控制、动作控制(属于体感控制的一种)等技术已经得到了广泛的应用。基于语音的操作方式，需要用户用声音信号来控制，操作不太方便，且容易受到环境噪音干扰。基于体感的操作方式中，利用眨眼信息实现人机交互是一种新型的人机交互方式。现有的眨眼交互方式要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机或摄像头，或者需要红外光源，或者需要头戴式设备如穿戴式头盔、眼镜框等固定在头部或眼部。这些方法在一定程度上都增加了成本，也不适合在普通手机终端上实现。而且，长时间使用红外光源会对人眼有伤害，如果是将额外设备固定在头部或眼部也会给人体造成负担。
发明内容
本发明通过普通摄像头对眨眼动作进行识别，从而实现对电子设备的操作，无需使用特殊摄像机或特殊摄像头、也无需红外光源及其他辅助装置。本发明采用如下技术方案一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，包括通过摄像头获取人脸图像；对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；跟踪瞳孔中心位置；检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。优选地，所述对所述图像进行人眼区域检测的步骤具体包括采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人眼区域的检测。优选地，所述跟踪瞳孔中心位置的步骤具体包括以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口；通过摄像头获取下一帧人脸图像；在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位。优选地，所述搜索窗口为分别以两个眼睛的瞳孔中心为中心的两个矩形搜索框，所述矩形搜索框的高度为人脸图像高度的五分之一，所述矩形搜索框的宽度为人脸图像宽度的三分之一。优选地，在所述通过摄像头获取下一帧人脸图像的步骤之后还包括判断所述矩形搜索框是否超出下一帧人脸图像的范围；当矩形搜索框超出下一帧人脸图像的范围时，将矩形搜索框超出下一帧人脸图像 的部分滤除。优选地，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤和在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤均包括定义眼睛的等照度线；计算眼睛的等照度线曲率，得到眼睛的等照度曲线图；计算等照度曲线图中满足等照度线曲率的圆的中心。优选地，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括计算等照度线的中心的位移矢量；采用投票法将所述位移矢量映射到累加器中形成等照度线中心图；将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计；计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线；选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。优选地，所述方法还包括采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。优选地，在所述在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤之后还包括判断在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位得到的瞳孔中心位置与根据检测到的人眼区域对瞳孔中心进行定位得到的瞳孔中心位置之间的距离是否超过预设距离L ；超过预设距离L则返回执行通过摄像头获取人脸图像的步骤。优选地，所述检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备的步骤具体包括检测是否有单只眼睛眨眼；当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别；根据预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系，发送相应的控制命令给电子设备。
优选地，所述当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别的步骤具体包括当有单只眼睛眨眼时，开始计时，检测在预设时间t内连续眨眼次数和眨眼眼睛类别。优选地，所述预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系包括当所述基于眨眼动作的人机交互方法用于阅读电子书时，连续眨2次左眼发送向上翻页的控制命令，连续眨2次右眼发送向下翻页的控制命令；当所述基于眨眼动作的人机交互方法用于浏览网页时，连续眨2次左眼发送向上浏览的控制命令，连续眨2次右眼发送向下浏览的控制命令；当所述基于眨眼动作的人机交互方法用于查看图片或照片时，连续眨2次左眼发送查看上一张图片或照片的控制命令，连续眨2次右眼发送查看下一张图片或照片的控制 命令；当所述基于眨眼动作的人机交互方法用于接听或挂断电话时，连续眨2次左眼发送接听电话的控制命令，连续眨2次右眼发送挂断电话的控制命令。优选地，所述摄像头为电子设备自带的前置摄像头，所述电子设备为手机或平板电脑。本发明还提供了一种基于眨眼动作的人机交互系统，实现用户对电子设备的操作，所述系统包括电子设备和摄像头，所述系统采用前述的方法进行人机交互。本发明公开的基于眨眼动作的人机交互方法及系统，通过普通摄像头和眼睛检测技术，实现眨眼动作的判断，通过眨眼发出控制命令实现对电子设备的操作，例如阅读电子书、浏览网页、查看图片或照片、接听或挂断电话、玩简单的互动操作游戏时，可通过眨眼实现向上/向下翻页、放大/缩小、向上/向下浏览、查看上一张/下一张图片或照片、接/挂电话等，使用户对电子设备的操作简单方便。本方案无需使用特殊摄像机或特殊摄像头，也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，也不会给人体造成额外负担。
图I为本发明实施例I基于眨眼动作的人机交互方法流程图；图2为眼睛的等照度曲线图；图3为本发明实施例I中瞳孔中心定位流程图； 图4为本发明实施例I中眼睛追踪流程图；图5为本发明实施例I中控制命令发送流程图；图6为本发明实施例2基于眨眼动作的人机交互方法中眼睛追踪流程图；图7为用于阅读电子书的本发明实施例3基于眨眼动作的人机交互方法中控制命令发送流程图；图8为用于阅读电子书的本发明实施例4基于眨眼动作的人机交互方法中控制命令发送流程图；图9为用于浏览网页的本发明实施例5基于眨眼动作的人机交互方法中控制命令发送流程图10为用于查看图片或照片的本发明实施例6基于眨眼动作的人机交互方法中控制命令发送流程图；图11为用于接听或挂断电话的本发明实施例7基于眨眼动作的人机交互方法中控制命令发送流程图；图12为本发明实施例8基于眨眼动作的人机交互方法流程图；图13为用户操作本发明实施例9基于眨眼动作的人机交互系统示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，包括通过摄像头获取人脸图像；对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；跟踪瞳孔中心位置；检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。本发明实施例还提供了一种基于眨眼动作的人机交互系统，实现用户对电子设备的操作，该系统包括电子设备和摄像头，该系统采用前述的方法进行人机交互。本发明实施例所使用的摄像头可以是电子设备自带的前置摄像头，电子设备可以是手机、平板电脑等设备，当然，也可以是PC机、智能电视等具有视频处理能力和摄像头设备的终端。本发明实施例通过普通摄像头和眼睛检测技术，实现眨眼动作的判断，通过眨眼发出控制命令实现对电子设备的操作，例如阅读电子书、浏览网页、查看图片或照片、接听或挂断电话、玩简单的互动操作游戏时，可通过眨眼实现向上/向下翻页、放大/缩小、向上/向下浏览、查看上一张/下一张图片或照片、接/挂电话等，使用户对电子设备的操作简单方便。本方案无需使用特殊摄像机或特殊摄像头，也无需红外光源及其他辅助装置，易于实现，成本较低，且对人眼无红外光源的伤害，也不会给人体造成额外负担。下面以手机为例对本发明进行详细阐述。下文中所涉及到的坐标均为二维坐标。实施例I :请参阅图I所示，为本发明一种基于眨眼动作的人机交互方法流程图。该方法包括下述步骤步骤SI:获取帧图像。该步骤可通过手机自带的前置摄像头实时获取人脸图像(图像分辨率为widthXheight)。步骤S2:人眼区域检测。考虑到在使用手机时，人眼与摄像头之间的距离一般保持在10到30厘米之间，在这个范围内人脸会占据整个图像区域，所以本方法无需人脸检测的步骤，直接进行人眼区域检测即可。人眼区域的初定位不要求十分精确，因此可采用的方法有很多，如直方图投影法、Haar (哈尔)检测法、帧差法、模板匹配法等方法都可用来进行眼睛的首次定位。考虑到手机的运算能力有限，本实施例采用高效的直方图投影法对图像进行人眼区域的检测。步骤S3:瞳孔中心定位。该步骤根据检测到的人眼区域对瞳孔中心进行定位，属于瞳孔的精确定位。本实施例结合眼睛的几何特征与光学特征来估计瞳孔中心，对于旋转、亮度和头部姿态变化具有很好的鲁棒性。眼睛的光学特征是指眼睛具有亮度对称的性质，眼睛的几何特征是指虹膜与瞳孔的形状类似圆，并且沿异色边缘方向亮度近似为常量，因此可以用等照度线来代表这些特征。等照度线可以理解为等亮度的轮廓线，由多条等照度线组成等照度曲线图。如 图2所示为眼睛的等照度曲线图。由于等照度线之间不会相交，所以可以用一幅图像的等照度线来表示原图像(即步骤SI中获取的帧图像)。另外，等照度线对旋转和线性光照条件改变具有独立性。现有技术中的一些眼睛定位方法要求原图像分辨率高，因此图像采集单元需要分辨率较高的摄像机，或者需要红外光源。不论是分辨率高的摄像机还是红外光源，无疑都增加了成本，也不适合在普通手机终端上实现，且长时间使用红外光源对人眼有伤害。本发明实施例的人眼区域检测和瞳孔中心定位方法，只需要普通分辨率的图像即可，因此可直接利用手机前置摄像头，容易实现且成本低。步骤S4:眼睛追踪。该步骤跟踪图像中瞳孔中心位置。首先初始化搜索窗口，根据步骤S3得到的瞳孔中心位置eyel (xl, yl), eyer (xr, yr),分别以eyel和eyer为中心定义两个宽为W、高为h
的矩形搜索框Rectl和Rectr作为搜索窗口，其中h =w = ^width初始化搜索窗口
的主要目的是缩小检测范围，减少计算量。当下一帧图像来到时就在这两个矩形搜索框中精准定位瞳孔中心。对瞳孔中心的定位可采用步骤S3的方法进行。步骤S5:控制命令发送。检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给手机。该步骤需要区分正常眨眼与发出控制命令，一般正常眨眼时是两只眼睛同时眨眼，即两只眼睛同时闭合，因此正常睁眼或眨眼时检测到的瞳孔中心个数为2个或O个。可将发出控制命令的眨眼动作设定为单只眼睛眨眼。当检测到瞳孔中心个数为I个时，是单只眼睛眨眼，可认为正准备发出控制命令。在检测到单眼连续眨眼数次后，再判断眨眼眼睛类别(左眼还是右眼)，从而执行相应的操作。对眼睛类别的判断可根据眼睛坐标(即检测到的瞳孔中心的坐标)进行判断，例如当检测到的瞳孔中心坐标位于Rectl内时，判断为左眼眨眼；当检测到的瞳孔中心坐标位于Rectr内时，判断为右眼眨眼。对连续眨眼次数、眨眼眼睛类别和控制命令的对应关系可进行预设，判断控制命令的种类时根据该预设的对应关系进行选择即可。控制命令可以包括向上/向下翻页、放大/缩小、向上/向下浏览、查看上一张/下一张图片或照片、接/挂电话等。
请参阅图3所示，为步骤S3瞳孔中心定位流程图。该瞳孔中心定位方法包括下述步骤步骤S31 :定义等照度线。该步骤用于定义眼睛的等照度线。本实施例中按照公式(a)定义等照度线(isophote)
权利要求
1.一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，其特征在于，包 括 通过摄像头获取人脸图像； 对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位； 跟踪瞳孔中心位置； 检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。
2.根据权利要求I所述的方法，其特征在于，所述对所述图像进行人眼区域检测的步骤具体包括采用直方图投影法、Haar检测法、帧差法或者模板匹配法对所述图像进行人·眼区域的检测。
3.根据权利要求I所述的方法，其特征在于，所述跟踪瞳孔中心位置的步骤具体包括 以所述对所述图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位的步骤得到的瞳孔中心作为中心初始化搜索窗口 ； 通过摄像头获取下一帧人脸图像； 在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位。
4.根据权利要求3所述的方法，其特征在于，所述搜索窗口为分别以两个眼睛的瞳孔中心为中心的两个矩形搜索框，所述矩形搜索框的高度为人脸图像高度的五分之一，所述矩形搜索框的宽度为人脸图像宽度的三分之一。
5.根据权利要求4所述的方法，其特征在于，在所述通过摄像头获取下一帧人脸图像的步骤之后还包括 判断所述矩形搜索框是否超出下一帧人脸图像的范围； 当矩形搜索框超出下一帧人脸图像的范围时，将矩形搜索框超出下一帧人脸图像的部分滤除。
6.根据权利要求3所述的方法，其特征在于，所述根据检测到的人眼区域对瞳孔中心进行定位的步骤和在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤均包括 定义眼睛的等照度线； 计算眼睛的等照度线曲率，得到眼睛的等照度曲线图； 计算等照度曲线图中满足等照度线曲率的圆的中心。
7.根据权利要求6所述的方法，其特征在于，所述计算等照度曲线图中满足等照度线曲率的圆的中心的步骤具体包括 计算等照度线的中心的位移矢量； 采用投票法将所述位移矢量映射到累加器中形成等照度线中心图； 将累加器与高斯核作卷积运算，使每个位移矢量均形成一个单一的中心估计； 计算每个位移矢量的权重，选取权重值较大的位移矢量对应的等照度线作为特定等照度线； 选取等照度线中心图中特定等照度线中心附近的较强响应区内的候选响应中强度最大的点作为瞳孔中心。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括采用下采样方法由通过摄像头获取的图像构造出图像金字塔，对图像金字塔中的每一层图像求得等照度线中心图金字塔，将等照度线中心图金字塔中的等照度线中心图缩放到预定大小并线性相加得到最终的等照度线中心图。
9.根据权利要求3所述的方法，其特征在于，在所述在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位的步骤之后还包括 判断在下一帧人脸图像中的搜索窗口中对瞳孔中心进行定位得到的瞳孔中心位置与根据检测到的人眼区域对瞳孔中心进行定位得到的瞳孔中心位置之间的距离是否超过预设距离L ； 超过预设距离L则返回执行通过摄像头获取人脸图像的步骤。
10.根据权利要求I所述的方法，其特征在于，所述检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备的步骤具体包括 检测是否有单只眼睛眨眼； 当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别； 根据预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系，发送相应的控制命令给电子设备。
11.根据权利要求10所述的方法，其特征在于，所述当有单只眼睛眨眼时，检测连续眨眼次数和眨眼眼睛类别的步骤具体包括 当有单只眼睛眨眼时，开始计时，检测在预设时间t内连续眨眼次数和眨眼眼睛类别。
12.根据权利要求11所述的方法，其特征在于，所述预设的连续眨眼次数和眨眼眼睛类别与控制命令的对应关系包括 当所述基于眨眼动作的人机交互方法用于阅读电子书时，连续眨2次左眼发送向上翻页的控制命令，连续眨2次右眼发送向下翻页的控制命令； 当所述基于眨眼动作的人机交互方法用于浏览网页时，连续眨2次左眼发送向上浏览的控制命令，连续眨2次右眼发送向下浏览的控制命令； 当所述基于眨眼动作的人机交互方法用于查看图片或照片时，连续眨2次左眼发送查看上一张图片或照片的控制命令，连续眨2次右眼发送查看下一张图片或照片的控制命令； 当所述基于眨眼动作的人机交互方法用于接听或挂断电话时，连续眨2次左眼发送接听电话的控制命令，连续眨2次右眼发送挂断电话的控制命令。
13.根据权利要求I 12任一项所述的方法，其特征在于，所述摄像头为电子设备自带的前置摄像头，所述电子设备为手机或平板电脑。
14.一种基于眨眼动作判断的人机交互系统，实现用户对电子设备的操作，所述系统包括电子设备和摄像头，其特征在于，所述系统采用权利要求I 13任一项所述的方法进行人机交互。
全文摘要
本发明涉及人机交互技术领域，提供了一种基于眨眼动作的人机交互方法，实现用户对电子设备的操作，包括通过摄像头获取人脸图像；对图像进行人眼区域检测，根据检测到的人眼区域对瞳孔中心进行定位；跟踪瞳孔中心位置；检测眨眼动作，根据检测到的眨眼动作发送相应的控制命令给电子设备。本发明还提供了一种基于眨眼动作的人机交互系统。本发明通过摄像头和眼睛检测技术，实现眨眼动作的判断，通过眨眼发出控制命令实现对电子设备的操作，使用户对电子设备的操作简单方便。
文档编号G06K9/00GK102799277SQ201210261379
公开日2012年11月28日 申请日期2012年7月26日 优先权日2012年7月26日
发明者宋展, 武照敏, 聂磊 申请人:深圳先进技术研究院