电子设备及其操作方法与流程

本申请是申请日为2013年5月2日、申请号为201310157484.6、发明名称为“基于用户人脸的分析控制移动终端的装置和方法”的发明专利申请的分案申请。

本发明一般地涉及图像处理装置和方法，并更具体地涉及基于输入图像中用户人脸的分析控制移动终端的装置和方法。

背景技术：

移动终端已日益扩展其服务和额外的功能，其中，照相机功能被视为关键功能。为了增加移动终端的有用性和满足用户的不同期望，要求具有照相机的移动终端与其服务和额外功能的组合。作为组合的例子，存在从通过照相机输入的图像识别人脸的技术。人脸识别技术已被发现在很多的应用领域中非常重要，例如表情研究、驾驶员的困倦检测，或者身份检查。

在人脸识别技术中存在一种方法，其中，在从照相机捕获的图像中识别三个或者更多个特征，例如脸、眼睛、嘴、颌、眉毛、面部轮廓等，图像的转动方向针对参考方向确定，并且图像沿所确定的转动方向显示。此外，存在通过识别用户的面部轮廓及其眼睛、颌和嘴的位置，计算连接双眼的线的转动角度，并确定信息的显示方向来显示信息的技术。就此而言，面部识别过程要求检测图像中的很多面部组成部分或者特征(诸如脸、眼睛、嘴、颌等)的正确位置。

这样，由于大多数常规技术基于用户脸部以及例如眼睛、嘴、颌等至少一个面部组成部分的检测，从脸部被任何其他目标所遮蔽的图像或者因特定视角所致仅有脸部的一部分被捕获的图像，它们可能无法获得正常的人脸识别结果，也不能正确地执行和人脸识别结果对应的功能。

此外，对于人脸识别技术，为了正确的人脸识别，需要完成正确的眼睛检测技术。但是，常规技术只关注检测脸部图像中眼睛位置的检测，并且不考虑脸部检测已经失败的情形。因此，存在对于即使在脸部检测已经失败的情形下也正确地检测眼睛位置的需求。

此外，为了让用户执行移动终端的期望的操作，必须使用例如小键盘或者触摸屏的硬件接口。如果有可能通过眼睛检测控制移动终端而无需来自用户的直接输入，则其确保了更高质量的用户体验。

技术实现要素：

已经做出了本发明来至少解决上面描述的问题和缺点，并至少提供下面描述的益处。因此，本发明的一个方面提供了通过检测输入图像中的人脸或者眼睛而无需来自用户的直接输入来控制移动终端的装置和方法。

本发明的一个方面还提供了即使在输入图像中未检测到人脸也通过眼睛检测来控制移动终端的装置和方法。

本发明的另一方面提供了甚至在输入图像中的部分人脸上执行人脸检测的装置和方法。

根据本发明的一个方面，提供了一种用于基于用户人脸的分析控制移动终端的装置，所述装置包括：图像输入单元；图像处理器，用于在通过图像输入单元接收到输入图像时，在输入图像上执行人脸检测或者眼睛检测；以及，控制器，用于基于来自图像处理器的人脸识别结果或者眼睛识别结果确定用户状态信息，并控制根据用户状态信息来执行移动终端的预定的功能。

根据本发明的另一方面，提供了一种在移动终端中基于用户人脸的分析控制功能的方法，所述方法包括：在发生预定的事件时，驱动图像输入单元，在通过图像输入单元接收到输入图像时，在输入图像上执行人脸检测；如果人脸检测失败则在输入图像上执行眼睛检测；基于人脸识别结果或者眼睛识别结果，确定用户状态信息；以及，根据用户状态信息，执行移动终端的预定的功能。

附图说明

通过结合附图详细描述本发明的实施例，本发明的上述和其他特征和益处将更为清晰，在附图中：

图1是根据本发明实施例的移动终端的框图。

图2是根据本发明实施例的移动终端操作的流程图；

图3是图2流程图的人脸和眼睛检测操作的详细过程的流程图；

图4根据本发明实施例示出了沿各个方向的人脸检测的图；

图5根据本发明实施例示出了眼睛检测的图；

图6根据本发明实施例示出了眼睛候选区域检测的图；

图7根据本发明实施例示出了输入图像中可能的人脸位置；

图8根据本发明实施例示出了说明使用人脸确定区域的扫描方法的图像帧；

图9a和图9b根据本发明实施例示出了在不同比例的图像帧中人脸确定区域的移动；

图10根据本发明实施例示出了位于图像帧的边缘的人脸确定区域和该图像帧之间的位置关系；

图11a根据本发明实施例示出了其中部分人脸图像位于靠近图像帧的右边缘的图像帧；

图11b根据本发明实施例示出了在不同扫描位置处被包括在人脸确定区域中的人脸图像；

图11c根据本发明实施例示出了通过镜像方法补偿的图像；

图12是根据本发明实施例说明镜像方法的图；

图13根据本发明实施例示出了其中部分人脸位于底部右下角的底部的图像帧；

图14根据本发明实施例示出了预定的人脸模板；

图15是根据本发明实施例的图像补偿方法的流程图；

图16是根据本发明另一实施例的图像补偿方法的流程图；和

图17是根据本发明另一实施例的图像补偿方法的流程图。

具体实施例

现在将详细参考本发明的实施例，在附图中示出了它们的例子，其中，相同的参考数字通篇指示相同的元件。就此而言，本发明的实施例可以具有不同的形式，并且不应该被视为限于这里给出的描述。因此，下面通过参考附图描述这些实施例仅为了说明本发明的各方面。

本发明提供了一种通过检测输入图像中的人脸或者眼睛控制移动终端的方法。所述方法包括：在面向移动终端的正面上配备的图像输入单元并被其捕获的输入图像上执行人脸识别；基于人脸识别，确定用户状态信息，和，根据用户状态信息执行移动终端的预定的功能，其中用户状态信息包括：用户是否存在、用户人脸的方向、距移动终端的距离，和/或用户人脸的位置。根据所述方法，可以控制移动终端的功能而无需来自用户的直接输入。

现在将结合图1描述移动终端的特征和操作。图1是根据本发明实施例的移动终端的框图。移动终端可以是智能电话机、蜂窝电话机、游戏控制台、电视机、显示设备、车辆头部单元、笔记本计算机、膝上型计算机、平板个人计算机(pc)、个人媒体播放器(pmp)、个人数字助理(pda)，等等。

参考图1，移动终端主要包括图像输入单元100、图像处理器105、控制器120、存储器130、显示单元140和通信单元150。在移动终端中还可以包括例如麦克风的其他部件，但是下面的描述将只描述与本发明实施例有关的部件。

配备在移动终端正面的图像输入单元100面向用户，并且起到捕获用户的人脸的作用。图像输入单元100可以是例如照相机，包括透镜系统、图像传感器、闪光灯等。用户可以通过图像输入单元100捕获视频图像或者静态图像，并且其前方被捕获或者其中捕获了用户的图像被在图像信号中传递到图像处理器105。在处理构成静态图像或者视频图像的图像帧时，由按m×n矩阵排列的多个像素组成的图像传感器输出的图像信号对应于从像素输出的一组电压，即一组像素值。从图像输入单元100输出的图像信号代表单个帧，即静态图像。该帧由m×n个像素组成。图像传感器可以是电荷耦合器件(ccd)图像传感器、互补金属氧化物半导体(cmos)等。

一般，被图像输入单元100捕获的图像被显示在显示单元140上供预览，但是在本发明的实施例中，输入图像可以不在显示单元140上显示，其中特定功能或者特定应用程序正被用户激活时，通过使用人脸检测结果或者眼睛检测结果，智能地控制移动终端的特定功能或者特定应用程序。因此，尽管用户未识别被捕获的他自己/她自己，但是用于控制移动终端的直观输入可以由用户调整移动终端和用户之间的距离、眼睛大小等做出。

图像处理器105通过处理帧单元中的图像，在被捕获的图像上执行人脸识别。人脸识别不仅可以应用于如照片的静态图像，也可以应用于视频图像。例如，在视频的情况下，视频由连续的静态图像帧组成，所以可以在人脸识别中使用这些静态图像帧。

如果人脸图像被包括在输入图像中，则图像处理器105提取并识别人脸图像，或者，如果人脸图像未被包括在输入图像中，则通过检测眼睛执行识别。为此，图像处理器105主要包括人脸检测器110和眼睛检测器115。后面将详细描述人脸检测器110的操作。

人脸识别被基于移动终端中所包含的人脸识别算法执行，并且使用通过使用关于目标的整个人脸的轮廓信息标识人脸的方法，或者使用用到面部皮肤的颜色和/或纹理、模板等等的人脸提取技术。例如，图像处理器105可以利用许多人脸图像执行人脸学习，并且可以基于累积的人脸学习数据从输入的图像帧检测人脸图像。

此外，眼睛检测基于眼睛识别算法，并且一般地，人脸检测之后在所检测的人脸区域的受限部分中检测眼睛。在输入区域中使用双眼也可以用来检测眼睛。具体来说，在本发明的实施例中，如果在输入图像中未检测到人脸，则在整个输入图像内，或者在预定的感兴趣的区域中，使用执行眼睛检测的方法。

存储器130存储移动终端的操作系统、各种应用程序、输入到移动终端的信息、数据或者文件，以及在移动终端中生成的信息、数据或者文件。例如，存储器130存储例如照片、视频等的图像，以及识别被图像输入单元100捕获的目标人脸的人脸识别算法，以及要在人脸识别中使用的数据。例如，存储器130可以存储关于要在人脸检测中使用的人脸的信息，以及每一用户的面部特征信息，所述面部特征信息被预先注册，以便在人脸识别中使用。存储在存储器130中的要在人脸识别中使用的人脸信息可以通过重复的人脸识别来学习和更新。

显示单元140基于从控制器120输入的图像信号显示图像，并把接收的用户输入数据传递到控制器120。显示单元140包括例如液晶显示器(lcd)、有机发光二极管(oled)或者led的显示部分，以及设置在显示部分下部或者顶部的触摸面板。触摸面板检测用户输入。当用户输入装置(例如，手指、铁笔等)按压显示部分的表面时，触摸面板输出检测信号(或者触摸检测信号)，其具有关于输入位置(或者坐标)和/或输入状态(例如，鼠标按下、鼠标释放、鼠标移动等)的信息。例如，用户通过触摸在显示单元140的屏幕(即表面)上显示的项目，运行和各种可执行项目相关的应用程序。显示单元140是用于接收用户输入并用于输出和应用程序(例如照相机应用程序或者视频通信应用程序)相关的屏幕的装置。在本发明的实施例中，显示单元140使用触摸屏作为例子，但是显示单元140也可以只配置显示部分。

通信单元150通过有线连接或者无线地传送由控制器120生成的消息、数据，和/或文件，或者把通过有线连接或者无线地接收到的消息、数据，和/或文件传递到控制器120。

传感器单元160检测移动终端的位置、方向或者移动，并且可以利用惯性传感器实施，例如加速度计、陀螺仪、冲击传感器或者倾斜传感器、高度仪、重力传感器、地磁传感器或者它们的组合。本发明不限于此，但是传感器单元160也可以利用不同类型的传感器实施，它们可以检测转动方向、移动方向，或者倾斜水平。

扬声器170把从控制器120输入的声音信号(或者语音数据)输出到空气中，具体地，通过在控制器120的控制下，根据人脸方向向左或者向右产生立体声来输出声音信号。或者，在控制器120的控制下，根据眼睛大小以不同的音量输出声音信号。

控制器120是中央处理单元(cpu)，其控制移动终端的一般操作，并起到实施基于用户人脸的分析控制移动终端的功能的方法的作用。控制器120检测各种用户输入，不只通过触摸屏的显示单元140接收的，还有通过图像输入单元100接收的。用户输入可以包括被输入到图像输入单元100中的不同形式的信息，例如触摸、用户手势、瞳孔移动等。控制器120响应于用户输入，控制预定的操作或者功能在移动终端中被执行。

具体来说，控制器120使用来自图像处理器105的人脸和/或眼睛检测结果，估计人脸或者眼睛的大小、位置和角度。因此，控制器120基于人脸和/或眼睛检测结果确定用户状态信息。用户状态信息包括以下的至少一个：用户的存在或者不存在、用户人脸的方向、移动终端和用户之间的相对距离，和/或用户人脸的位置。

具体来说，控制器120基于在输入图像中是否已经检测到人脸或者眼睛确定用户的存在还是不存在，并根据屏幕中人脸或者眼睛的百分比，即人脸大小或者眼睛大小，估计在移动终端和用户之间的相对距离。控制器120还通过使用检测到人脸的角度和位置(例如在0°、90°、180°和270°中)确定用户人脸的方向和位置。即使在输入图像中未检测到人脸时，控制器120还可以根据眼睛位置和角度确定用户人脸的方向和位置。

随后，控制器120控制根据用户状态信息执行预定的功能。在下面的实施例中可以分类和描述根据用户状态信息的预定的功能。

在本发明的第一实施例中，如果在用户使用移动终端的同时已经过去了预定的时间，则控制器120将显示单元140关闭并激活屏幕锁定模式。当屏幕锁定模式被激活时，控制器120驱动图像输入单元100捕获移动终端前方的事物，基于从图像处理器105提供的人脸或者眼睛检测结果确定用户的存在或不存在，并且，如果确定用户存在于移动终端之前或者前方，则控制把屏幕解锁。在那之后，即使已经经过预定的时间，只要在输入图像中检测到用户人脸，控制器120就保持显示器140打开。在这种情况下，为了解锁屏幕不要求额外的输入，例如特定的键、口令和/或锁定图案，从而提高了用户便捷性。否则，如果确定在移动终端之前不存在用户，则控制器120保持屏幕锁定模式。

这样，根据本发明的第一实施例，控制器120控制屏幕锁定和屏幕点亮时间的延长。例如，即使在用户在观看视频时离开其座位时，视频也被继续播放，直到用户选择暂停视频为止。但是，在本发明的实施例中，如果因为在输入图像中未检测到人脸或者眼睛而确定用户不存在，则控制器120可以暂停视频而无需单独的按键输入。

在本发明的第二实施例中，控制器120在通过传感器单元160检测到移动终端的转动时驱动图像输入单元100。然后，图像处理器105使用提供的人脸和/或眼睛检测结果来确定用户人脸的方向。因此，控制器120根据用户人脸的方向确定显示屏幕的方向。换句话说，尽管移动终端已经被转动，但是显示屏幕的方向被基于用户人脸的方向优先确定，所以用户总是可以看到沿着其方向的屏幕。这样，根据本发明的第二实施例，屏幕转动功能可以被智能地控制。

在本发明的第三实施例中，控制器120根据用户人脸的方向，通过扬声器170向左或者向右发出立体声。

在本发明的第四实施例中，在进行视频呼叫或者播放视频时，控制器120根据从人脸大小或者眼睛大小估计的移动终端和用户之间的距离，改变声音输出。

根据前述实施例，在用户使用移动终端时，用户可以直观地控制移动终端而无需直接输入，并且移动终端智能地控制其自身。

图2是根据本发明实施例的移动终端操作的流程图。

参考图2，如果在步骤200中发生了预定的事件，则控制器120在步骤205中驱动图像输入单元100。预定的事件既包括移动终端硬件上的改变，也包括软件上的改变，例如移动终端的转动或者晃动、照明变化、进入的呼叫、接收文本消息，以及在智能电话应用程序中做出的通知。

然后，在步骤210中，图像处理器105丢弃从图像输入单元100输入的初始图像帧，并在随后的输入图像上执行人脸识别。因为包括曝光、对焦、白平衡等的照相机参数尚未被针对周期环境完全设置，在驱动图像输入单元100之后输入的初始图像可能比较暗并且对焦不准，因此跳过至少一个初始输入图像并使用自动设置完成之后的图像帧较为合适。

如果在步骤215中，使用人脸识别算法在输入图像上的人脸识别是成功的，则方法前进到步骤225。否则，在步骤215中，如果人脸识别失败，则图像处理器105执行眼睛检测，并确定眼睛检测是否成功。如果眼睛检测失败，则方法返回到步骤210，在步骤210，图像被图像输入单元100再次接收。如果，在步骤220中，眼睛检测是成功的，或者，在步骤215中成功的人脸检测之后，在步骤225中，控制器120基于从图像处理器105提供的人脸检测结果和/或眼睛检测结果分析用户状态信息。具体来说，控制器120在输入图像中检测到人脸或者眼睛之时，确定用户存在，并分析看着移动终端的用户人脸的位置和方向，以及距移动终端的相对距离。

接着，在步骤230中，根据所分析的用户状态信息控制移动终端的功能。例如，当发生预定的事件(例如接收文本消息)时，为了通过屏幕通知用户接收到文本消息，用户需要正看着屏幕。因此，如果检测到人脸或者眼睛，则控制器120在显示单元140上显示该文本消息。

图3是图2的参考数字240代表的用于执行人脸识别或者眼睛识别的步骤的详细描述的流程图。即，图3示出了图2的人脸检测和眼睛检测的详细过程，并且为了更好的理解本发明，将参考图4和图5。一般地，由于移动终端经常被在0°、90°、180°和270°角度其中之一使用，所以输入图像中的用户人脸可能被定位在0°、90°、180°和270°角度其中任何一个，如图4中那样，分别由参考数字400、410、415和420代表。

参考图3，在步骤300中接收输入图像之后，图像处理器105执行步骤305到320以确定在0°、90°、180°和270°角度的任何一个处是否检测到人脸。如果在0°、90°、180°和270°角度中的任何一个处检测到人脸，则在步骤355中，控制器120基于来自图像处理器105的人脸检测的结果，确定人脸的方向。

否则，如果在步骤305到320中的任何一个都未检测到人脸，则图像处理器105执行步骤325到340以确定在0°、90°、180°和270°角度中的任何一个处是否检测到眼睛。例如，尽管图像输入单元100被驱动并开始捕获图像，但是当前运行的应用程序的屏幕被输出而非预览屏幕被输出，因此，用户不知道其正在被捕获，结果是位于图像输入单元110的正确捕获范围之外。因此，如图5中所示，可能仅捕获人脸的一部分500、510或520。

在这种情况下，即使输入图像中的人脸检测已经失败了，也可以检测眼睛505、515或525。为此，如图5中所示，具有双眼525的图像520可以被捕获，或者，可以捕获具有单眼505或者515的图像500和510。本发明提供了在具有双眼以及单眼的图像上执行眼睛检测的方法。

下面将描述眼睛检测方法。在0°、90°、180°和270°角度其中任何一个检测到眼睛之后，在步骤350中，控制器120确定人脸的顶部或者底部方向。然后，在步骤355中，确定人脸方向，并且在步骤360中，确定是否根据确定的人脸方向转动屏幕。例如，如果图4中的参考数字415所代表的用户人脸被在180°的角度检测到，则用户在移动终端上被上下颠倒定位，并且从用户看到移动终端的屏幕被上下颠倒。根据本发明实施例，移动终端的屏幕可沿着检测到用户人脸的方向转动。即，移动终端的屏幕被沿着用户人脸的方向转动并显示。

在另一方面，使用下列用到了皮肤颜色、眼睛模板等的方法执行眼睛检测。具体来说，本发明的实施例提供了一种在具有双眼以及单眼的输入图像上执行眼睛检测的方法。

具体来说，图像处理器105在整个输入图像上或者在预定的感兴趣的区域上执行眼睛检测。对此，为了放缓眼睛检测速度，可以基于检测眼睛的位置执行局部眼睛检测，所述眼睛位置被从先前图像帧获取。此外，可以使用皮肤颜色来执行眼睛检测，这将被参考图6描述。

图像处理器105利用眼睛识别算法检测一个或多个眼睛候选区域。例如，通过例如数字化输入图像的过程提取可能是眼睛候选的封闭曲线，或者通过使用眼睛的颜色(即使对于具有无黑色瞳孔的眼睛的白种人)在输入图像中倾向于呈现炭黑色的特性，检测眼睛候选区域。通过这么做，和在检测到的人脸区域上执行的一般眼睛检测相比，一个或更多个眼睛候选区域可以被检测，并且某些眼睛候选区域可能远离实际眼睛区域。

因此，在本发明的实施例中，在通过眼睛识别算法检测到一个或多个眼睛候选区域的情况下，提供了使用皮肤颜色的眼睛检测方法来从所检测的眼睛候选区域消除不正确地检测的眼睛区域。

为了实施该方法，图像处理器105通过使用检测到的一个或多个眼睛候选区域的y、cb、cr的值，计算皮肤颜色区域和非皮肤颜色区域的百分比，并使用所述百分比执行眼睛检测。和皮肤颜色对应的y、cb、cr的值的范围被基于预定的阈值ty、b1、b2、r1、r2确定，并且和满足下列等式(1)的y、cb、cr对应的像素值被确定是在皮肤颜色区域中。

等式(1)

(y＞ty)and(b1＜cb＜b2)and(r1＜cr＜r2)

预定的阈值可以依据周围环境变化，例如人种群、照明条件，等等。

图6中示出了皮肤颜色区域和非皮肤颜色区域的百分比的计算。参考图6，图像处理器105中的眼睛检测器115检测眼睛候选区域，并把检测到的眼睛候选区域沿着垂直方向划分为三个区域600、605和610，并沿水平方向划分为四个区域。然后，图像处理器105计算区域600和610中皮肤颜色的比例s，并计算中间区域605的阴影部分，即区域605的1/4到3/4部分615中非皮肤颜色的比例ns。利用由等式(1)代表的要求，使用检测到的眼睛候选区域的y、cb、cr的值，确定和皮肤颜色对应的像素值。

一旦如上所述获得了眼睛候选区域中的皮肤颜色的比例s和非皮肤颜色的比例ns，则皮肤颜色的比例s和非皮肤颜色的比例ns被分别与预定的阈值ts和tn进行比较。如果比较满足下列的等式(2)，则确定眼睛检测是成功的，否则，确定其为不正确的检测。

等式(2)

(s＞ts)and(ns＞tn)

因此，满足等式(2)的一个或多个眼睛候选区域其中之一被最终确定为检测到眼睛的地方。使用消除被不正确地检测的眼睛候选区域的方法有助于在不仅具有双眼而且具有单眼的图像中更容易的眼睛检测。沿水平和垂直方向划分眼睛候选区域不限于图6中所示。

例如，图像处理器105可以收集正常的眼睛图像和经常被误认为眼睛图像的图像，在收集的图像上执行眼睛学习，并基于通过眼睛学习累积的眼睛学习数据检测输入图像中的眼睛。

根据本发明实施例，尽管人脸未被作为一个整体检测，但是眼睛检测可以指示用户的存在，并且看着移动终端的用户人脸的方向被通过在输入图像上以0、90、180和270度顺次执行眼睛检测来估计。人脸检测被首先在四个方向上执行(顶部、底部、左边和右边)，并且，如果找到人脸，则使用人脸检测过程来确定用户人脸的方向，或者，如果未找到人脸，则眼睛检测过程开始。和人脸检测类似，眼睛检测被在四个方向上执行，并且通过使用在人脸检测中已经使用的被转动图像来减少计算量。如果眼睛检测在四个方向的任何一个上失败了，则其被重复，直到在特定方向上检测到眼睛为止。跟着特定方向上的眼睛检测的是确定人脸的顶部和底部方向的过程。

和人脸检测不同，眼睛检测过程自身不带来关于人脸的顶部和底部方向的信息，因此，即使从眼睛候选区域中确定了最终眼睛区域，也要求额外的过程来确定人脸的顶部和底部方向。例如，在确定眼睛方向时，最终眼睛区域的周围区域的图像被针对检测到的单眼或者双眼归一化，并且使用归一化图像来确定人脸的顶部和底部。例如，通过检测眉毛以及眼睛的位置，可以确定人脸的顶部和底部。

在上面描述的实施例中，通过利用学习的关于输入图像中的特定尺寸的人脸的信息进行扫描检测人脸。但是，在利用照相机捕获图像时，由于观察角度或者照相机和人脸之间的距离所致，可能只有人脸的一部分出现在输入图像的边缘。

图7示出了输入图像中可能的人脸位置。参考图7，在输入图像中可能有存在于左上角的人脸700、存在于上(顶部)边缘的人脸705、存在于右上角的人脸710、存在于左边缘的人脸715、存在于图像的中心的人脸720、存在于右边缘的人脸725、存在于左下角的人脸730、存在于下(底部)边缘的人脸735，或者存在于右下角的人脸740。即，在输入图像的上、下、左、右边缘或者在每个角可能存在部分人脸。

在存在部分人脸700到740(除了在中心具有人脸的720)的那些情况下，人脸不被检测到。由于一般通过使用学习的特定尺寸的人脸图像扫描输入图像来检测人脸，所以部分人脸未从输入图像中识别。在常规技术中，如果单独使用左脸检测器和右脸检测器来检测部分人脸，则输入图像必须包含左脸或者右脸。在这种情况下，由于和已知人脸检测器的低兼容性，人脸检测率显著地下降。此外，检测人脸的左边和右边部分以外的部分可能很困难。

因此，在本发明的实施例中，如果获取了包括部分人脸的图像，则将用下列方法执行人脸检测。

图8示出了一个图像帧，说明使用人脸确定区域的扫描方法。

参考图8，示出了路线830，沿着路线830，使用人脸确定区域810从左上角a到右下角i扫描图像帧800。人脸确定区域810具有预定的大小，并且可以是预训练的人脸检测器。参考图8，在包括多个人脸图像的图像帧800中，存在于靠近图像帧800的边缘的人脸图像可能被部分地切割。换句话说，在图像帧800的边缘可能出现部分人脸。

有鉴于此，本发明提供了利用部分偏离图像帧800的边缘的人脸确定区域810扫描图像帧800的方法。

图9a和图9b示出了在不同比例的图像帧中人脸确定区域810的移动。

参考图9a和图9b，图9a的图像帧800可以被逐渐缩小到图9b的图像帧800。由于人脸确定区域810具有预定的大小，所以和图9a的图像帧800中所包含的人脸确定区域810一样小的人脸可利用人脸确定区域810来检测，而和图9b的图像帧800中所包含的人脸确定区域810一样大的人脸可被利用人脸确定区域810检测。每一图像帧800的比例可以被逐渐改变。

图10示出了位于图像帧800的边缘的人脸确定区域810和图像帧800之间的位置关系。

参考图10，围绕图像帧800的阴影区域(此后称为额外区域)对应于需要被针对人脸检测校正的区域。在人脸确定区域810的尺寸的基础上确定额外区域的宽度和高度。例如，假设人脸确定区域810的宽度是a并且高度是b，人脸确定区域810的初始位置a是图像帧800的左上角，在左上角，人脸确定区域810的中心落在左上角的顶点上。在初始位置a，确定围绕图像帧800的左边缘的额外区域的宽度，以使人脸确定区域810的宽度的一半a/2被包括在图像帧800中，而宽度的另一半a/2被包括在阴影区域中。

类似地，当人脸确定区域810被从左上角沿着水平方向移动并落在右上角c处时，可以确定围绕图像帧800的左边缘的额外区域的宽度。尽管在本发明的实施例中，在左边缘和右边缘，额外区域的宽度被确定为a/2，但是在左边缘和右边缘额外区域的宽度可以基于设置变化，并且也可以被确定为彼此不同。

确定围绕图像帧800的上和下边缘的阴影区域的高度，以使人脸确定区域810的高度的仅一半b/2被包括在图像帧800中。尽管在本发明的实施例中，额外区域的高度在上边缘和下边缘被确定为b/2，但是在上边缘和下边缘，额外区域的高度可以基于设置变化，并且也可以被确定为彼此不同。

同时，在人脸确定区域810被从左上角a的初始位置移动到右上角c之后，人脸确定区域810被再次移动到左边缘。人脸确定区域810的中心被相应地移动到由920指示的位置。在这个位置，人脸确定区域810的b的上三分之一在左上角a和人脸确定区域810重叠。为了扫描，人脸确定区域810被移动，直到其达到最终位置，即右下角i。

图11a示出了其中部分人脸存在于右边缘的图像帧800，并且图11b示出了在不同的扫描位置处，人脸确定区域中所包括的人脸图像。

参考图11a，如果人脸确定位于右边缘，则部分人脸确定区域变为空的。如图11b中所示，在图11a的人脸确定区域1010、1030、1040和1060的不同扫描位置，可以包括人脸的不同部分。在执行人脸检测之前，各人脸确定区域1010、1030、1040或1060内的每一部分1012、1032、1042或1062被假设具有部分人脸，并且实际上由靠近图像帧800的右边缘的对应像素构成。

当使用如图11a中所示的人脸确定区域1010、1030、1040或1060扫描图像帧800的右边缘时，每一人脸确定区域1010、1030、1040或1060可以被如图11b中所示那样表示。每一人脸确定区域1010、1030、1040或1060包括一个被以像素填充并预期具有部分人脸(此后称为预期区域)的区域(也被称为‘一部分’)1012、1032、1042或者1062，以及空区域(阴影区域)1015、1035、1045或者1065。

在本发明的实施例中，提供了每一人脸确定区域1010、1030、1040或者1060的空区域1015、1035、1045或者1065的补偿。

图11c根据本发明实施例示出了通过镜像方法补偿的图像。

参考图11c，利用镜像方法，用部分人脸区域1012、1032、1042或者1062的像素信息块填充图11b的空区域1015、1035、1045或者1065。因此，如图11c中所示，每一部分人脸区域1012、1032、1042或者1062的相对区域1115、1135、1145或者1165被利用和部分人脸区域1012、1032、1042或者1062相同的像素信息填充。或者，可以使用其他方法，例如修正的统计变换(modifiedcensustransform，mct)、局部二进制模式(localbinarypattern，lbp)等来填充相对区域1115、1135、1145或者1165。当在沿着水平或者垂直方向扫描图像帧800之后如上所述补偿人脸确定区域时，可以获得如图11c中所示的被补偿图像。在被补偿的图像中，可能存在从其检测人脸的图像。具体地，如果其中排列例如眼睛、鼻子、嘴的主要面部特征的被补偿图像通过镜像获得，则从被补偿图像1060检测人脸可以被成功地执行。因此，和常规的人脸检测方法相比，本发明即使在部分人脸上也执行成功的人脸检测。

将参考图12详细地描述镜像方法。

参考图12，在人脸确定区域跨过图像帧800的边缘的情况下，从边缘偏离的区域a1210被用和人脸确定区域的阴影区域a'1200相同的图像填充，即区域a1210通过镜像进行补偿。类似地，通过镜像和阴影区域b'1220相同的图像补偿区域b1230。

和在前述实施例中一样，使用镜像方法，针对图像帧800的左/右边缘执行图像补偿方法。在另一实施例中，镜像方法可以被应用于图像帧800的上/下边缘和边角。

图13根据本发明实施例示出了其中部分人脸位于下边缘或者右下角的图像帧800。

参考图13，其中人脸确定区域810的一部分位于图像帧800的下边缘，偏离下边缘的区域(阴影区域)1300显现为空。类似地，如果人脸确定区域810的一部分位于右下角中，则有一个空区域1310被包括在人脸确定区域810内。对于上和下边缘或者边角，本发明的实施例提供了使用预定的模板补偿人脸确定区域810的空区域的方法。在本发明的另一实施例中，为了补偿在边角的人脸确定区域810的空区域，可以采用镜像方法和模板匹配方法两者。具体地，对于右下角上的人脸确定区域810，如图13中所示，通过针对图像帧800的右边缘镜像人脸确定区域810，空区域1310被用对应于眼睛部分的像素填充，然后，针对图像帧800的右边角以下的区域利用模板匹配方法，通过连接是模板图像鼻子以下的脸部部分的那部分，空区域1310被用模板图像的一部分进行填充。

图14示出了预定的人脸模板1400和1410。通过使用预定的人脸模板1400和1410补偿人脸确定区域810的空区域，可以补偿其上部或者下部被切掉的脸部区域。这样，在本发明的实施例中，通过应用镜像方法或模板匹配方法或者两者，位于边缘的部分人脸可以被检测，因此提高了人脸检测性能。

图15是根据本发明实施例的图像补偿方法的流程图。

参考图15，在步骤1500中，控制器120从图像输入单元100接收图像帧，或者从存储器130读出图像帧。尽管本发明实施例被应用于图像帧，但是实施例也可以被应用于每一个顺次输入或者读出的图像帧。本发明的实施例也可以被应用于在进行两个人之间的视频电话或者多方视频会议时或者在任何其他应用程序模式中由照相机现场捕获的图像。此外，尽管在图15中示出控制器120控制人脸检测操作，但是人脸检测操作当然可以由人脸检测器110执行。

在步骤1505中，控制器120确定是否从图像帧检测到整个人脸。可以使用常见的人脸检测方法检测整个人脸，其中，可以采用使用人脸的轮廓、面部皮肤颜色和/或纹理、模板等的人脸提取技术。例如，控制器120可以利用许多人脸图像执行人脸学习，并且可以基于累积的人脸学习数据从输入的图像帧中检测整个人脸图像。

如果检测到整个人脸，则在步骤1540中控制器120存储检测的脸部信息。脸部信息可以用来控制例如移动终端的预定的功能。

否则，如果未检测到整个人脸，则在步骤1510中确定是否检测到从图像帧切去的目标。例如，如果边缘检测发现了不连续的边缘线，则可以确定存在不完整的目标。在这种情况下，该不完整的目标可能是部分人脸。这里，为了检测人脸，应该针对围绕图像帧800的边缘的额外区域执行补偿。如果在步骤1510中未检测到不完整目标，则人脸检测过程结束。

如果在步骤1510中检测到不完整目标，则在步骤1515中，控制器120确定镜像是否可能。例如，控制器120可以确定人脸确定区域是否位于图像帧800的左或者右边缘、在人脸确定区域中是否存在用于镜像的对称轴线，例如基于鼻子的垂直轴线，和/或是否存在从对称轴线切掉的部分。

如果镜像是可能的，则在步骤1520中，控制器120以和结合图12描述的相同的方式执行镜像。否则，如果镜像不可能，则在步骤1525中，控制器120执行模板匹配。随后，在步骤1530中，控制器120在包括通过镜像或者模板匹配补偿的区域的人脸确定区域上执行人脸检测。通过应用常见的人脸检测算法来执行人脸确定区域上的这种人脸检测。然后，在步骤1535中，控制器120确定从人脸确定区域中是否检测到人脸。如果脸部信息被包括在人脸确定区域中，则在步骤1540中，控制器120检测人脸并存储脸部信息。否则，如果未检测到人脸，则控制器120结束人脸检测过程。为了沿水平方向或者垂直方向利用人脸确定区域扫描图像帧，步骤1510到步骤1530应该被重复地执行。

依赖于部分人脸的大小以及部分人脸在屏幕中出现的程度，还可以施加自适应地确定部分人脸的有效性的步骤。可以要求确定部分人脸的有效性的步骤，因为如果在边角周围仅存在包括嘴的部分人脸，并且即使该部分人脸被检测为人脸，人脸信息可能仍不适合或者不足以用来控制移动终端的功能。换句话说，考虑到部分人脸信息的脆弱性，可以执行确定部分人脸的有效性的步骤来缓解错误检测的概率，并且依赖于应用程序，可以可选择地增加或者排除该步骤。

图16是根据本发明另一实施例的图像补偿方法的流程图。步骤1600到步骤1610的详细描述将被省略，因为它们和图15的步骤1500到1510相同。

在步骤1615中，控制器120确定人脸确定区域是否位于图像的边缘上。如果人脸确定区域位于图像的边缘上，则在步骤1620中执行镜像，并且在步骤1625中在包括通过镜像补偿的区域的人脸确定区域上执行人脸检测。如果在步骤1615中人脸确定区域不位于边缘，则在步骤1630中执行人脸检测。如果在步骤1630中检测到人脸，则在步骤1650中存储检测到的人脸信息。如果在步骤1630中未检测到人脸，则在步骤1635中进一步执行模板匹配。随后，在步骤1640中，控制器120在包括通过模板匹配补偿的区域的人脸确定区域上执行人脸检测。通过对图像帧800的边角应用镜像和模板匹配两者，可以执行有效的部分人脸检测。步骤1645和1650的详细描述也将被省略，因为它们和图15的步骤1535和1540相同。尽管在图16中，镜像之后跟着模板匹配，但是在其他的实施例中，可以只应用镜像或者模板匹配其中之一，或者，模板匹配之后可以跟着镜像。

图17是根据本发明另一实施例的图像补偿方法的流程图。

参考图17，步骤1700和1705的详细描述将被省略，因为它们和图15的步骤1500和1505相同。

在步骤1710中，控制器120确定人脸确定区域的部分是否偏离图像帧的左或者右边缘。如果人脸确定区域的部分偏离图像帧的左或者右边缘，则在步骤1715中控制器120以和图12中所执行的相同的方式执行镜像。否则，如果人脸确定区域的部分未偏离图像帧的左或者右边缘，则在步骤1720中，控制器120确定人脸确定区域是否从图像的边角偏离，例如图像的左上角或者左下角。如果人脸确定区域的部分从边角偏离，则在步骤1725中，控制器120执行镜像，跟着是模板匹配。否则，如果人脸确定区域的部分未从图像的边角(例如图像的左上角或者左下角)偏离，则在步骤1730中，控制器120确定人脸确定区域的部分是否从图像的顶部或者底部偏离。如果人脸确定区域的部分从图像的顶部或者底部偏离，则控制器120执行模板匹配。如果人脸确定区域的部分不偏离图像的顶部或者底部，则过程返回到步骤1705。步骤1740到1750的详细描述将被省略，因为它们和图15的步骤1530到1540相同。

前述描述已经把确定用户人脸的方向时使用人脸检测或者眼睛检测信息作为例子，但是来自传感器单元160的传感器信息也可以被使用。例如，一旦传感器单元160检测到移动终端的转动，则移动终端的例如转动方向、移动方向和倾斜水平的转动信息可被使用。在这种情况下，可以不像图4中那样在所有四个方向上对输入图像执行人脸检测，而是针对移动终端的转动方向沿着特定方向执行。为此，如果移动终端在用户正看着其屏幕时被转动，则人脸分析结果表明用户人脸的方向不是朝着移动终端的屏幕的前方，因此，屏幕的显示方向可能需要被转动以适应用户的注视。否则，如果用户未转动移动终端，但是人脸检测结果表明用户人脸的方向已经改变，则屏幕显示方向可被改变，以便和用户人脸的方向对应。

根据本发明，通过分析用户状态智能地控制硬件和软件来控制移动终端，而非根据用户预先建立的设置进行控制，从而提高了用户便捷性，用户状态例如是用户的存在或不存在、移动终端和用户之间的距离，等等。

根据本发明，当人脸检测失败时，人脸检测可以被眼睛检测代替，并且眼睛检测信息被用来确定用户的存在或不存在，基于用户的存在或不存在，显示单元的屏幕的点亮时间和/或开/关可以被控制，并且在视频播放中暂停屏幕的功能也可以被提供给用户。

此外，通过根据和常规方法相比改善的控制移动终端的方法，估计朝着移动终端的用户人脸的方向来智能地控制屏幕转动，并提供根据眼睛大小的改变智能地控制移动终端的音量的服务，使用移动终端时的用户便捷性可以被提高。因此，用户可以更方便并更直观地使用移动终端，从而提高了用户体验的质量。

此外，根据本发明，部分人脸，即使出现在靠近图像的边缘，也可以被检测，从而显著地降低了错误识别的可能性，因而给用户提供了对应于人脸检测结果的更平稳的功能。

将会理解，本发明的实施例可以用硬件、软件或者硬件和软件的组合的形式实施。软件可以被作为可在处理器上执行的程序指令或计算机可读代码存储在计算机可读介质上。计算机可读记录介质的例子包括：磁性存储介质(例如rom、软盘、硬盘等)和光学记录介质(例如cd-rom或dvd)。计算机可读记录介质也可以被分布在联网的计算机系统上，所以计算机可读代码被以分布式方式存储和执行。这种介质可被计算机读取、存储在存储器中，并被处理器执行。存储器可以是适于存储具有实施本发明实施例的指令的程序的计算机可读记录介质的例子。不偏离本发明的精神和范围，对于本领域技术人员来说，许多修改和改编将会容易明了。

移动终端可以通过到其的有线或者无线连接从程序提供者接收和存储程序。程序提供者可以包括具有执行基于用户人脸的分析控制移动终端的方法的指令的程序、用于存储基于用户人脸的分析控制移动终端的方法所要求信息的存储器、用于通过有线或者无线地与移动终端通信的通信单元，以及用于从移动终端接收请求并把对应的程序传递到移动终端的控制器。

虽然已经参考本发明的某些实施例具体示出并描述了本发明，但是本领域技术人员将会理解，不偏离本发明的如下列权利要求限定的精神和范围，就可以对其做出形式和细节上的各种变化。