一种终端输入控制方法及装置制造方法
【专利摘要】本发明公开了一种终端输入控制方法及装置，用以丰富终端输入控制方式，为用户提供更加自然、直观的交互操作。其中，所述终端输入控制方法，包括：利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；识别所述实时图像中的眨眼操作；以及确定眼仁区域相对于眼白区域的位置信息；根据眨眼操作或者根据眨眼操作和所述位置信息确定终端输入操作。
【专利说明】一种终端输入控制方法及装置
【技术领域】
[0001]本发明涉及终端操作控制【技术领域】，尤其涉及一种终端输入控制方法及装置。
【背景技术】
[0002]随着终端技术，尤其是移动终端技术的不断发展，终端功能越来越强大，终端输入控制方式也越来越方便、自然、友好。目前，大部分终端都支持以下三类输入方式:
[0003]I)键盘输入:键盘是最常用也是最主要的输入设备，通过键盘，可以将上下左右方向控制、英文字母、数字、标点符号等输入到终端中，从而向终端发出命令、输入数据等。
[0004]2)触摸屏输入
[0005]随着大屏幕的移动终端技术的不断发展，现在的触摸屏技术已经比较成熟，支持单点和多点触摸输入，使用起来简单方便，并能为使用者带来良好的用户体验。
[0006]3)语音输入
[0007]随着语音识别技术的不断发展与成熟，语音输入为移动终端提供了一种更加方便、智能的人机交互途径。
[0008]通过上述多种输入方式，用户可以实现点击、上下左右滑动、放大、缩小、旋转等各种信息输入操作。为了更加方便用户与终端之间的交互操作，丰富终端输入控制方式，提供一种新的终端输入控制方式成为现有技术亟待解决的技术问题之一。
【发明内容】
[0009]本发明实施例提供一种终端输入控制方法及装置，用以丰富终端输入控制方式，为用户提供更加自然、直观的交互操作。
[0010]本发明实施例提供一种终端输入控制方法，包括:
[0011]利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；
[0012]识别所述实时图像中的眨眼操作；以及
[0013]确定眼仁区域相对于眼白区域的位置信息；
[0014]根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。
[0015]本发明实施例提供一种终端输入控制装置，包括:
[0016]第一识别单元，用于利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域；
[0017]第二识别单元，用于识别所述实时图像中的眨眼操作；
[0018]第一确定单元，用于确定眼仁区域相对于眼白区域的位置信息；
[0019]第二确定单元，用于根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。
[0020]本发明实施例提供的终端输入控制方法及装置，通过摄像头识别出眼球区域，该眼球区域包括眼白区域和眼仁区域，根据识别出的眨眼操作，并结合眼仁区域相对于眼白区域的位置信息，来确定终端输入操作。本发明实施例中，将基于传统的计算机视觉的眼球识别技术应用于终端，并基于眼球动作识别对终端输入进行控制，提供了一种新的终端输入控制方法，丰富了终端输入控制方式，为用户提供了更加自然、直观的交互操作。
[0021]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【专利附图】
【附图说明】
[0022]图1为本发明实施例中，终端输入控制方法的实施流程示意图；
[0023]图2为本发明实施例中，为眼白和眼仁颜色采集示意图；
[0024]图3本发明实施例中，眼白区域划分示意图；
[0025]图4为本发明实施例中，眼仁区域相对于眼白区域的位置信息示意图；
[0026]图5为本发明实施例中，终端输入控制装置的结构示意图。
【具体实施方式】
[0027]为了丰富终端输入控制方式，为用户提供更加自然、直观的交互操作，本发明实施例提供了一种终端输入控制方法及装置。
[0028]以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0029]如图1所示，为本发明实施例提供的终端输入控制方法的实施流程示意图，包括以下步骤:`
[0030]S101、利用摄像头获得的实时图像，识别该实时图像中的眼球区域；
[0031]其中，眼球区域包括眼白区域和眼仁区域。具体实施时，由于人的眼白和眼仁的颜色各不相同，为了提高眼球区域识别准确度，在用户首次使用通过眼球运动控制终端输入方式时，需要采集眼白和眼仁的颜色并存储相应的眼白颜色信息和眼球颜色信息。如图2所示，为眼白颜色信息和眼仁颜色信息采集示意图，具体的，首先启动移动终端摄像头，并使人脸正对移动终端的摄像头，其次，分别将眼球和眼仁放置在移动终端显示界面的小方框内，以采集眼白和眼仁的颜色，对准后，移动终端记录眼白颜色和眼仁颜色，为了便于描述，分别以Crl和Cr2表示眼白颜色信息和眼仁颜色信息。
[0032]这样，当用户使用眼球运动控制终端输入时，利用摄像头实时获得的图像，根据记录的眼白颜色信息和眼仁颜色信息，在图像中识别可能的眼白区域和眼仁区域，当检测到与记录的眼白颜色信息匹配的区域时，确定该区域为准眼白区域，当检测到与记录的眼仁颜色信息匹配的区域时，确定该区域为准眼仁区域。由于人有两只眼睛，因此，一般可以识别出2个眼白区域和2个眼仁区域，但是，由于颜色识别受光线影响比较大，容易出现识别错误，因此，实际识别出的眼白及眼仁区域可能超过2个。较佳地，为了解决上述问题，本发明实施例中，可以按照以下方式进一步确定识别出的准眼白区域和准眼仁区域是否为真正的眼白区域和眼仁区域:
[0033]定义识别出的每一准眼白区域的外接矩形为Rwi (i=l,2,3……)，任一准眼白区域的外接矩形的四个顶点坐标分别为LTwi (LTwxi, LTwyi), RTwi (RTwxi, RTwyi),LBwi (LBwxi, LBwyi)，RBwi (RBwxi, RBwyi)，其中，LTwi, RTwi, LBwi, RBwi 分别为该准眼白区域外接矩形的左上、右上、左下、右下顶点的坐标，通常来说，LTwxi = LBwxi7RTwxi = RBwxi7LTwyi=RTwyi, LBwyi = RBwyi0基于此,可以确定眼白区域中心点坐标Ewi (Ewxi, Ewyi)分别为:I LTwxl + RTwxt I I LBwxj + RBwxl |
[0034]
【权利要求】
1.一种终端输入控制方法,其特征在于,包括: 利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域； 识别所述实时图像中的眨眼操作；以及 确定眼仁区域相对于眼白区域的位置信息； 根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。
2.如权利要求1所述的方法，其特征在于，利用摄像头获得的图像，识别眼睛的眼球区域，具体包括: 根据存储的眼白颜色信息和眼仁颜色信息，确定与存储的眼白颜色信息匹配的区域为准眼白区域，确定与存储的眼仁颜色信息匹配的区域为准眼仁区域； 确定每一准眼白区域的外接矩形；以及 确定每一准眼仁区域的中心点； 针对每一准眼仁区域，若该准眼仁区域的中心点位于任一准眼白区域的外接矩形内部，形成准眼仁区域和准眼白区域配对； 确定形成配对的准眼 白区域和眼仁区域为识别出的眼睛的眼球区域。
3.如权利要求2所述的方法，其特征在于，确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域之前，还包括: 确定与该准眼仁区域形成配对的准眼白区域的中心点；并 确定所述准眼白区域中心点与存储的眼白区域中心点之间的距离小于等于预设距离阈值。
4.如权利要求1所述的方法，其特征在于，所述眼白区域包括静止区域、上区域、下区域、左区域、右区域、左上区域、左下区域、右上区域和右下区域；以及 确定眼仁区域相对于眼白区域的位置信息，具体包括: 确定眼仁区域的中心点； 当眼仁区域的中心点位于眼白区域的静止区域时，确定眼仁区域相对于眼白区域的位置信息为静止； 当眼仁区域的中心点位于眼白区域的上区域时，确定眼仁区域相对于眼白区域的位置信息为上； 当眼仁区域的中心点位于眼白区域的下区域时，确定眼仁区域相对于眼白区域的位置信息为下； 当眼仁区域的中心点位于眼白区域的左区域时，确定眼仁区域相对于眼白区域的位置信息为左； 当眼仁区域的中心点位于眼白区域的右区域时，确定眼仁区域相对于眼白区域的位置信息为右； 当眼仁区域的中心点位于眼白区域的左上区域时，确定眼仁区域相对于眼白区域的位置信息为左上； 当眼仁区域的中心点位于眼白区域的左下区域时，确定眼仁区域相对于眼白区域的位置信息为左下； 当眼仁区域的中心点位于眼白区域的右上区域时，确定眼仁区域相对于眼白区域的位置信息为右上； 当眼仁区域的中心点位于眼白区域的右下区域时，确定眼仁区域相对于眼白区域的位置信息为右下。
5.如权利要求4所述的方法，其特征在于，根据眼睛眨眼操作和所述位置区域信息确定终端输入操作，具体包括: 记录首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于等于预设时长阈值，且 若眼仁区域相对于眼白区域的位置信息为上，确定终端输入操作为向上滑动操作； 若眼仁区域相对于眼白区域的位置信息为下，确定终端输入操作为向下滑动操作； 若眼仁区域相对于眼白区域的位置信息为左，确定终端输入操作为向左滑动操作； 若眼仁区域相对于眼白区域的位置信息为右，确定终端输入操作为向右滑动操作。
6.如权利要求5所述的方法，其特征在于，还包括: 在首次识别出眨眼操作时，记录首次识别出眨眼操作的时间；以及 在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长大于等于预设时长阈值，结束当前终端输入操作。
7.如权利要求1所述的方法，其特征在于，根据眼睛眨眼操作和所述位置区域信息确定终端输入操作，具体包括: 在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于等于预设时长阈值，记录眼白区域大小第一参数值； 在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域大小第二参数值； 比较第一参数值与第二参数值，若第一参数值大于第二参数值，确定终端输入操作为放大操作，若第一参数值小于第二参数值，确定终端输入操作为缩小操作。
8.如权利要求1所述的方法，其特征在于，根据眼睛眨眼操作和所述位置区域信息确定终端输入操作，具体包括: 在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于等于预设时长阈值，记录眼白区域第一长轴值； 在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域第二长轴值； 比较第一长轴值与第二长轴值，若第一长轴值相对于第二长轴值的旋转角度大于O，确定终端输入操作为顺时针旋转操作；若第一长轴值相对于第二长轴值的旋转角度小于O，确定终端输入操作为逆时针旋转操作。
9.如权利要求1所述的方法，其特征在于，根据眼睛眨眼操作确定终端输入操作，具体包括: 在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长； 若首次闭眼时长大于等于预设时长阈值，且在预设时间间隔内再次识别到眨眼操作，记录再次眨眼操作的再次闭眼时长； 若再次闭眼时长大于等于所述预设时长阈值，确定终端输入操作为点击操作。
10.一种终端输入控制装置，其特征在于，包括: 第一识别单元，用于利用摄像头获得的实时图像，识别所述实时图像中的眼球区域，所述眼球区域包括眼白区域和眼仁区域； 第二识别单元，用于识别所述实时图像中的眨眼操作； 第一确定单元，用于确定眼仁区域相对于眼白区域的位置信息； 第二确定单元，用于根据眨眼操作或者根据所述眨眼操作和所述位置信息确定终端输入操作。
11.如权利要求10所述的装置，其特征在于，所述第一识别单元，包括: 第一确定子单元，用于根据存储的眼白颜色信息和眼仁颜色信息，确定与存储的眼白颜色信息匹配的区域为准眼白区域，确定与存储的眼仁颜色信息匹配的区域为准眼仁区域；以及分别确定确定每一准眼白区域的外接矩形和每一准眼仁区域的中心点； 配对子单元，用于针对每一准眼仁区域，若该准眼仁区域的中心点位于任一准眼白区域的外接矩形内部，形成准眼仁区域和准眼白区域配对； 第二确定子单元，用于确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域。
12.如权利要求11所述的装置，其特征在于， 所述第二确定子单元，还用于在确定形成配对的准眼白区域和眼仁区域为识别出的眼睛的眼球区域之前，确定与该准眼仁区域形成配对的准眼白区域的中心点；并确定所述准眼白区域中心点与存储的眼白区域中心点之间的距离小于等于预设距离阈值。
13.如权利要求10所述的装置，其特征在于，所述眼白区域包括静止区域、上区域、下区域、左区域、右区域、左上区域、左下区域、右上区域和右下区域；以及 所述第一确定单元，包括: 第三确定子单元，用于确定眼仁区域的中心点； 第四确定子单元，用于当眼仁区域的中心点位于眼白区域的静止区域时，确定眼仁区域相对于眼白区域的位置信息为静止；当眼仁区域的中心点位于眼白区域的上区域时，确定眼仁区域相对于眼白区域的位置信息为上；当眼仁区域的中心点位于眼白区域的下区域时，确定眼仁区域相对于眼白区域的位置信息为下；当眼仁区域的中心点位于眼白区域的左区域时，确定眼仁区域相对于眼白区域的位置信息为左；当眼仁区域的中心点位于眼白区域的右区域时，确定眼仁区域相对于眼白区域的位置信息为右；当眼仁区域的中心点位于眼白区域的左上区域时，确定眼仁区域相对于眼白区域的位置信息为左上；当眼仁区域的中心点位于眼白区域的左下区域时，确定眼仁区域相对于眼白区域的位置信息为左下；当眼仁区域的中心点位于眼白区域的右上区域时，确定眼仁区域相对于眼白区域的位置信息为右上；当眼仁区域的中心点位于眼白区域的右下区域时，确定眼仁区域相对于眼白区域的位置信息为右下。
14.如权利要求13所述的装置，其特征在于，所述第二确定单元，包括: 第一记录子单元，用于记录首次眨眼操作的首次闭眼时长； 第五确定子单元，用于若首次闭眼时长大于等于预设时长阈值，且若眼仁区域相对于眼白区域的位置信息为上，确定终端输入操作为向上滑动操作；若眼仁区域相对于眼白区域的位置信息为下，确定终端输入操作为向下滑动操作；若眼仁区域相对于眼白区域的位置信息为左，确定终端输入操作为向左滑动操作；若眼仁区域相对于眼白区域的位置信息为右，确定终端输入操作为向右滑动操作。
15.如权利要求14所述的装置，其特征在于，所述第二确定单元，包括: 第二记录子单元，用于在首次识别出眨眼操作时，记录首次识别出眨眼操作的时间；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长； 结束子单元，用于若再次闭眼时长大于等于预设时长阈值，结束当前终端输入操作。
16.如权利要求10所述的装置，其特征在于，所述第二确定单元，包括: 第三记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，记录眼白区域大小第一参数值；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域大小第二参数值； 第一比较子单元，用于比较第一参数值与第二参数值，若第一参数值大于第二参数值，确定终端输入操作为放大操作，若第一参数值小于第二参数值，确定终端输入操作为缩小操作。
17.如权利要求10所述的装置，其特征在于，所述第二确定单元，包括: 第四记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，记录眼白区域第一长轴值；以及在预设时间间隔内再次识别出眨眼操作时，记录再次眨眼操作的再次闭眼时长；若再次闭眼时长大于等于所述预设时长阈值，记录眼白区域第二长轴值； 第二比较子单元，用于比较第一长轴值与第二长轴值，若第一长轴值相对于第二长轴值的旋转角度大于0，确定终端输入操作为顺时针旋转操作；若第一长轴值相对于第二长轴值的旋转角度小于0，确定终端输入操作为逆时针旋转操作。
18.如权利要求10所述的装置，其特征在于，所述第二确定单元，包括: 第五记录子单元，用于在首次识别出眨眼操作时，分别记录首次识别出眨眼操作的时间和首次眨眼操作的首次闭眼时长；若首次闭眼时长大于等于预设时长阈值，且在预设时间间隔内再次识别到眨眼操作，记录再次眨眼操作的再次闭眼时长； 第六确定子单元，用于若再次闭眼时长大于等于所述预设时长阈值，确定终端输入操作为点击操作。
【文档编号】G06F3/01GK103631365SQ201210301032
【公开日】2014年3月12日 申请日期:2012年8月22日 优先权日:2012年8月22日
【发明者】柳阳 申请人:中国移动通信集团公司