人脸解锁的方法、装置、计算机可读存储介质和电子设备与流程

文档序号:14156083阅读:228来源:国知局

本申请涉及电子设备应用技术领域,特别是涉及人脸解锁的方法、装置、计算机可读存储介质和电子设备。



背景技术:

随着智能电子设备的发展,为了提供更好的体验,电子设备解锁的方式也多种多样,比如有指纹解锁、密码解锁等,随着人工智能的发展,人脸解锁使用也越来越多。使用人脸解锁时,传统技术中都是调用前置摄像头的摄像头来做人脸识别,再进行深度学习和活体检测等,以此来实现电子设备安全而快捷的解锁。但人脸解锁时,每一次都要启动前置摄像头,导致电子设备的人脸解锁功耗过大。



技术实现要素:

本申请实施例提供一种人脸解锁的方法、装置、计算机可读存储介质和电子设备,可以实现电子设备进行人脸解锁时降低人脸解锁功耗。

一种人脸解锁的方法,所述方法包括:

若检测到电子设备的摄像头启动,判断是否接收到所述电子设备的解锁动作的指令;

若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式,所述第一模式是所述isp图像信号处理器的低功耗模式;

使用所述第一模式,进行人脸识别,若通过所述人脸识别验证,对所述电子设备进行解锁。

一种人脸解锁的装置,所述装置包括:

判断模块,用于若检测到电子设备的摄像头启动,判断是否接收到所述电子设备的解锁动作的指令;

启动模块,用于若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式,所述第一模式是所述isp图像信号处理器的低功耗模式;

解锁模块,用于使用所述第一模式,进行人脸识别,若通过所述人脸识别验证,对所述电子设备进行解锁。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的方法的步骤。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行所述的人脸解锁的方法。

本申请实施例的人脸解锁的方法、装置、计算机可读存储介质和电子设备,通过检测到电子设备的摄像头启动,判断是否接收到所述电子设备的解锁动作的指令,若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式的低功耗,使用低功耗的第一模式进行人脸识别,若通过所述人脸识别验证,所述电子设备自动进行解锁。通过判断摄像头启动时需要进行人脸解锁的人脸识别,从而启动所述电子设备的isp图像信号处理器进入低功耗的第一模式,通过第一模式进行人脸解锁,降低了电子设备进行人脸解锁时的电子设备的功耗,而又不影响人脸解锁。尤其是在电子设备使用的过程中,需要频繁进行解锁时,在不用改动电子设备原来硬件的基础上,就可以明显降低电子设备在人脸解锁时的功耗,并且不增加电子设备的成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请一个实施例中电子设备的内部结构示意图;

图2为本申请人脸解锁的方法一个实施例的流程图;

图3为本申请人脸解锁的方法另一个具体实施例的流程图;

图4为本申请提供的人脸解锁的装置一个实施例的程序模块架构图;

图5为与本申请实施例提供的电子设备相关的手机的部分结构的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一模式称为第二模式,且类似地,可将第二模式称为第一模式。第一模式和第二模式两者都是模式端,但其不是同一模式。

图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和启动能力,支撑整个计算机设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的人脸解锁的方法。存储器可包括磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等非易失性存储介质,或随机存储记忆体(random-access-memory,ram)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种人脸解锁的方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的计算机设备进行通信。该电子设备可以是手机、笔记本电脑、平板电脑或者个人数字助理或穿戴式设备等。

电子设备在通过人脸解锁时,所述电子设备传统的方式是,当所述电子设备亮屏后,就会启动所述电子设备的摄像头,所述摄像头启动后,整个isp(imagesignalprocessing,图像信号处理)处理器都会启动起来,这样亮屏的整个功耗都会瞬间飙升,而且随着用户不断地亮屏解锁频率越高,功耗就将变得越大。其中,isp图像信号处理器,也可以称为isp处理器,主要用来对电子设备的摄像头的图像传感器输出的图像信号进行处理,以匹配不同厂商的图象传感器。isp图像信号处理器,它所集成的电路专用于执行将图像传感器捕捉到的图像数字信号进行降噪、锐化等处理,最终生成一帧帧彩色图像数据。

但在电子设备进行人脸解锁时,为了降低电子设备的功耗,只需要满足人像检测的需求就可以了,摄像头启动后,isp处理器的所有功能不用全部启动,而只需要启动相关的功能模块,比如人脸识别的检测功能,因为整个isp处理器都调动起来,没什么功能性的特别需求,特别是功耗很大的降噪等功能,并且整个isp处理器启动也需要时间,所以在进行亮屏后,电子设备判断需要进行人脸解锁时,只启动isp处理器的人脸检测模块,而不需要所有的模块都启动,isp图像信号处理器其他的功能,比如防抖功能、降噪功能、锐化等功能在进行人脸解锁时可以不开启,基于此技术方案的构思,本申请实施例提供一种人脸解锁时降低电子设备功耗的方法。

请参阅图2,图2为本申请人脸解锁的方法一个实施例的流程图,所述方法包括:

步骤200、若检测到电子设备的摄像头启动,判断是否接收到所述电子设备的解锁动作的指令。

具体地,所述电子设备的摄像头,如果所述电子设备设置有固定的前置摄像头和后置摄像头,可以指所述电子设备的前置摄像头或者后置摄像头;如果所述电子设备设置有可旋转的摄像头,尤其当所述摄像头可旋转到面对人脸解锁的人脸的角度时,可以指所述可旋转的摄像头。总之,所述电子设备的摄像头是指能够进行人脸解锁的摄像头。

所述解锁动作的指令,指电子设备处于亮屏状态时,凡是能触发显示屏幕解锁界面的动作,都包含在所述解锁动作的指令范围内,包括按下显示解锁界面按键的指令,或者滑动屏幕的指令,或者打开解锁显示界面上设置的应用程序的指令,比如拨打电话的应用程序,或者解锁的虚拟按键。

若电子设备检测到所述电子设备的摄像头启动,表明所述电子设备处于亮屏状态,此时电子设备判断是否接收到解锁动作的指令,比如,是否接收到按下显示解锁界面按键的指令,或者滑动屏幕的指令,或者打开解锁显示界面上设置的应用程序的指令,比如拨打电话的应用程序,或者解锁的虚拟按键等凡是能触发显示屏幕解锁界面的动作。

若所述电子设备判断接收到解锁动作的指令,进入步骤220。

步骤220、若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式,所述第一模式是所述isp图像信号处理器的低功耗模式。

具体地,若电子设备检测到所述电子设备的摄像头启动,进一步判断接收到所述电子设备的解锁动作的指令,表明所述电子设备的摄像头启动,是为了进行人脸解锁,则启动isp图像信号处理器进入所述isp图像信号处理器的第一模式的低功耗模式,从而实现在电子设备进行人脸解锁时,利用所述isp图像信号处理器的第一模式的低功耗模式,对检测到的人脸图像进行处理,从而降低电子设备的功耗。

若电子设备判断接收到所述电子设备的解锁动作的指令,表明所述电子设备要进行人脸解锁,此时启动isp图像信号处理器进入所述isp图像信号处理器的低功耗模式,进行人脸解锁,从而实现电子设备进行人脸解锁时,降低电子设备的人脸解锁的功耗。

步骤240、使用所述第一模式,进行人脸识别,若通过所述人脸识别验证,所述电子设备自动进行解锁。

具体地,电子设备使用所述isp图像信号处理器的第一模式的低功耗,进行人脸识别的图像的处理,若检测到的人脸信息与所述电子设备预存的人脸解锁的人脸信息匹配,判断通过所述人脸识别验证,所述电子设备自动进行解锁,从而实现所述电子设备通过人脸解锁时,实现电子设备的低功耗。

在一个实施例中,所述第一模式只包括人像检测功能。

具体地,电子设备为了实现通过人脸解锁时,降低电子设备的功耗,只启动所述isp图像信号处理器的人像检测功能,所述isp图像信号处理器的其他功能均不开启,比如所述isp图像信号处理器的降噪、防抖、锐化等功能均不开启,以此来降低所述isp图像信号处理器进行人脸解锁而进行人脸检测时的功耗,从而降低整个电子设备在进行人脸解锁时的功耗。

进一步地,电子设备在所述isp图像信号处理器的人像检测功能上,加上一种或两种其他功能,比如只启动所述isp图像信号处理器的人像检测功能和防抖功能,或者只启动所述isp图像信号处理器的人像检测功能和降噪功能等,相比传统技术中所述isp图像信号处理器的功能都启动时,也可以达到降低功耗的目的。

在一个实施例中,所述控制isp图像信号处理器进入第一模式的步骤包括:

所述isp图像信号处理器启动时,控制所述isp图像信号处理器除人脸检测外的所有功能关闭。

具体地,电子设备在通过人脸解锁时,会启动所述电子设备的摄像头,所述摄像头启动后,整个isp图像信号处理器的功能都会启动起来,由于已经判断启动所述电子设备摄像头是进行人脸解锁,因此为了降低电子设备进行人脸解锁时的功耗,需要控制所述isp图像信号处理器除人脸检测外的所有功能关闭,比如防抖、锐化、降噪等功能。

在一个实施例中,所述判断是否接收到所述电子设备的解锁动作的指令的步骤包括:

判断是否接收到打开所述电子设备的摄像头对应的应用程序的指令;

若判断未接收到打开所述电子设备的摄像头对应的应用程序的指令,判断接收到所述电子设备的解锁动作的指令。

具体地,电子设备判断是否接收到所述电子设备的解锁动作的指令,除了通过判断是否接收到触发显示屏幕解锁界面的动作,比如按下显示解锁界面按键的指令,或者滑动屏幕的指令,或者打开解锁显示界面上设置的应用程序的指令,还可以通过判断是否接收到打开所述电子设备的摄像头对应的应用程序的指令,比如所述电子设备上涉及到摄像头的应用程序,比如照相机、视频app(应用程序,application的缩写)、直播app、或者摄像app等应用程序。若电子设备判断接收到打开所述电子设备的摄像头对应的应用程序的指令,则判断所述摄像头的启动是上述应用程序打开引起的,否则,若电子设备判断未接收到打开所述电子设备的摄像头对应的应用程序的指令,则判断接收到所述电子设备的解锁动作的指令。

在一个实施例中,所述方法还包括:

若判断接收到打开所述电子设备的摄像头对应的应用程序的指令,启动所述摄像头进入第二模式,所述第二模式的功耗大于所述第一模式的功耗。

具体地,若电子设备判断接收到打开所述电子设备的摄像头对应的应用程序的指令,则判断所述摄像头的启动是上述应用程序打开引起的,为了满足应用程序对图像的高质量的要求,比如满足图像清晰、美观等要求,启动所述摄像头的isp图像信号处理器进入第二模式,所述第二模式是包含了除人像检测外功能的模式,比如降噪、锐化和防抖等功能,因此所述第二模式的功耗大于所述第一模式的功耗。

在一个实施例中,所述若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式,所述第一模式是所述isp图像信号处理器的低功耗模式的步骤之后还包括:

关闭所述电子设备的图形处理器gpu。

具体地,图形处理器(英语:graphicsprocessingunit,缩写:gpu),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。

电子设备在进行人脸解锁时,为了进一步降低所述电子设备的功耗,由于只需要人脸检测模块,不需要进行预览数据处理,gpu的数据也可以关闭,关闭所述电子设备的图形处理器gpu,从而进一步降低所述电子设备进行人脸解锁时的功耗。

在一个实施例中,所述方法还包括:

若判断接收到所述电子设备的解锁动作的指令,控制所述摄像头进入第三模式,所述第三模式是所述摄像头的低功耗模式。

具体地,图像传感器,是组成数字摄像头的重要组成部分。根据元件的不同,可分为ccd(chargecoupleddevice,电荷耦合元件)和cmos(complementarymetal-oxidesemiconductor,金属氧化物半导体元件)两大类。

为了降低电子设备进行人脸解锁时电子设备的功耗,不但可以从所述isp图像信号处理器的角度,启动所述isp图像信号处理器进入所述isp图像信号处理器的低功耗模式,同时还可以从摄像头的图像传感器的角度,启动所述摄像头的图像传感器进入所述图像传感器的低功耗模式。

以电子设备的前置摄像头为例,对前置摄像头的图像传感器设计两种模式,也可以称为所述摄像头的两种模式:

(1)第一种是所述摄像头的低功耗模式,在本申请实施例中称为第三模式,所述摄像头的图像传感器主要用于人像检测,所述电子设备的摄像头启动时,所述摄像头的图像传感器的其它功能均不开,比如所述图像传感器的防抖功能和降噪功能等都不开,只启动所述图像传感器的人像检测功能,或者,在所述图像传感器的人像检测功能上,加上一种或两种其他功能,比如只启动所述图像传感器的人像检测功能和防抖功能,或者只启动所述图像传感器的人像检测功能和降噪功能等。

(2)第二种所述摄像头的模式,在本申请实施例中称为第四种模式,也可以称为所述摄像头的正常模式,属于高功耗模式。为了保证所述摄像头的图像传感器获取高质量的图像,满足拍照或者视频的需求,所述摄像头的图像传感器的多种功能都开启,比如人脸检测功能、防抖功能和降噪功能等。

若电子设备检测到所述电子设备的摄像头启动,进一步判断接收到所述电子设备的解锁动作的指令,表明所述电子设备的摄像头启动,是为了进行人脸解锁,则启动所述摄像头进入所述摄像头的低功耗模式,从而实现在电子设备尽心人脸解锁时降低电子设备的功耗。

若电子设备判断接收到所述电子设备的解锁动作的指令,表明所述电子设备要进行人脸解锁,此时启动所述摄像头进入所述摄像头的低功耗模式,进行人脸解锁,从而实现电子设备进行人脸解锁时,降低电子设备的人脸解锁的功耗。

在一个实施例中,所述第三模式只包括人像检测功能。

具体地,电子设备为了实现通过人脸解锁时,降低电子设备的功耗,只启动所述摄像头中图像传感器的人像检测功能,所述摄像头中的图像传感器的其他功能均不开启,比如所述图像传感器的降噪功能和防抖功能等均不开启,以此来降低所述摄像头进行人脸解锁而进行人脸检测时的功耗,从而降低整个电子设备在进行人脸解锁时的功耗。

进一步地,电子设备在所述图像传感器的人像检测功能上,加上一种或两种其他功能,比如只启动所述图像传感器的人像检测功能和防抖功能,或者只启动所述图像传感器的人像检测功能和降噪功能等,相比传统技术中所述图像传感器的功能都启动时,也可以达到降低功耗的目的。

其中,电子设备的摄像头是指电子设备的成像设备,或者称为照相机,所述摄像头主要包括透镜和图像传感器。

在一个实施例中,所述第三模式的人像检测的人像尺寸被设置为等于或者小于预设尺寸阈值。

具体地,电子设备为了进一步降低人脸解锁时所述电子设备的功耗,可以启动所述电子设备的摄像头的图像传感器检测的人像的尺寸等于或者小于预设尺寸阈值,满足人脸解锁的需要即可,所述预设尺寸阈值的像素可以为640x480,也就是所述人像检测的图像的尺寸小于或者等于640x480像素,可以为640x480像素,也可以为320x240像素等。由于人脸检测的图像尺寸启动在预设的较小范围内,所述摄像头的图像传感器输出的人像尺寸就变得很小,既可以满足人脸解锁时人像检测的需要,也可以降低人脸解锁时电子设备的功耗,还可以提高人脸解锁的电子设备的图像输出速度。

在一个实施例中,所述第一模式的人像检测的图像输出帧率被设置为以预设帧率输出。

具体地,帧率(framerate)是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数(framespersecond,简称:fps)或“赫兹”(hz)。每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。如果帧率过高,就会浪费图形处理处理器的能力。

因此,电子设备为了进一步降低人脸解锁时所述电子设备的功耗,还可以启动所述电子设备的摄像头的图像传感器输出的图像的帧率,满足人脸解锁的需要即可。所述帧率取值的范围为每秒10~20帧,帧率也可以启动在每秒12~18帧,一般情况下,所述帧率选择启动在每秒15帧可以达到图像质量和功耗的较佳平衡状态,也可以满足人脸解锁时的使用要求,相比正常的每秒30帧的输出帧率,可以大大降低所述电子设备的功耗。

在一个实施例中,所述第三模式的人像检测的时钟频率被设置为以预设比值在原时钟频率上降低。

具体地,时钟频率(又译:时钟频率速度,英语:clockrate),是指同步电路中时钟的基础频率,它以“若干次周期每秒”来度量,量度单位采用si单位赫兹(hz)。电子设备中有许许多多的半导体芯片,每个芯片都是在特定的时钟频率下进行工作的。时钟发生器提供给芯片的时钟信号是一个连续的脉冲信号,而脉冲就相当于芯片的脉搏,每一次脉冲到来,芯片内的晶体管就改变一次状态,让整个芯片完成一定任务。

电子设备为了进一步降低人脸解锁时所述电子设备的功耗,还可以降低所述电子设备的摄像头的图像传感器进行人像检测时的时钟频率,满足人脸解锁的需要即可。降低所述电子设备的摄像头的图像传感器的时钟频率可以通过编程利用iic(inter-integratedcircuit,集成电路总线)通信协议来启动电子设备的时钟频率。所述第一模式的人像检测的时钟频率以预设比值在原时钟频率上降低,比如,所述第一模式的人像检测的时钟频率可以在原时钟频率的基础上降低40%,也就是所述第一模式的人像检测的时钟频率为所述原时钟频率的60%,从而降低人脸检测时图像的输出频率的速度,进而降低所述电子设备的功耗。

请参阅图3,图3为本申请人脸解锁的方法另一个具体实施例的流程图,所述方法包括:

步骤301、电子设备检测到摄像头启动,进入步骤302;

步骤302、电子设备判断是否接收到所述电子设备的解锁动作的指令,若所述电子设备接收到解锁动作的指令,进入步骤303,否则进入步骤304;

步骤303、若电子设备判断接收到所述电子设备的解锁动作的指令,则所述电子设备的isp处理进入第一模式,所述电子设备的摄像头进入第三模式,所述电子设备以低功耗模式进行人脸解锁的人像检测,所述第三模式的人像检测的人像尺寸被设置为等于或者小于预设尺寸阈值,所述第三模式的人像检测的图像输出的帧率被设置为以预设帧率输出,所述第三模式的人像检测的时钟频率被设置为以预设比值在原时钟频率的基础上降低;

步骤304、若电子设备判断未接收到所述电子设备的解锁动作的指令,则所述电子设备的isp处理进入第二模式,所述电子设备的摄像头进入第四模式,进行正常的拍照或者视频;

步骤305、所述电子设备的isp处理器使用所述第一模式,所述电子设备的摄像头使用所述第三模式进行人脸识别,将检测到的人脸识别信息与所述电子设备预先存储的人脸解锁的人脸信息进行匹配,进行人脸验证,进入步骤306;

步骤306、若电子设备进行人像检测的人脸识别验证通过,进入步骤307,否则,返回步骤305;

步骤307、若电子设备进行人像检测的人脸识别验证通过,所述电子设备自动进行解锁。

本申请实施例的人脸解锁的方法、装置、计算机可读存储介质和电子设备,通过检测到电子设备的摄像头启动,判断是否接收到所述电子设备的解锁动作的指令,若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式的低功耗,使用低功耗的第一模式进行人脸识别,若通过所述人脸识别验证,所述电子设备自动进行解锁。通过判断摄像头启动时需要进行人脸解锁的人脸识别,从而启动所述电子设备的isp图像信号处理器进入低功耗的第一模式,通过第一模式进行人脸解锁,降低了电子设备进行人脸解锁时的电子设备的功耗,而又不影响人脸解锁。尤其是在电子设备使用的过程中,需要频繁进行解锁时,在不用改动电子设备原来硬件的基础上,就可以明显降低电子设备在人脸解锁时的功耗,并且不增加电子设备的成本。

请参阅图4,图4为本申请提供的人脸解锁的装置一个实施例的程序模块架构图,所述装置包括:

判断模块40、用于若检测到电子设备的摄像头启动,判断是否接收到所述电子设备的解锁动作的指令。

具体地,若电子设备检测到所述电子设备的摄像头启动,表明所述电子设备处于亮屏状态,此时电子设备判断是否接收到解锁动作的指令,比如,是否接收到按下显示解锁界面按键的指令,或者滑动屏幕的指令,或者打开解锁显示界面上设置的应用程序的指令,比如拨打电话的应用程序,或者解锁的虚拟按键等凡是能触发显示屏幕解锁界面的动作。

启动模块42、用于若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式,所述第一模式是所述isp图像信号处理器的低功耗模式。

具体地,若电子设备检测到所述电子设备的摄像头启动,进一步判断接收到所述电子设备的解锁动作的指令,表明所述电子设备的摄像头启动,是为了进行人脸解锁,则启动isp图像信号处理器进入所述isp图像信号处理器的第一模式的低功耗模式,从而实现在电子设备进行人脸解锁时,利用所述isp图像信号处理器的第一模式的低功耗模式,对检测到的人脸图像进行处理,从而降低电子设备的功耗。

若电子设备判断接收到所述电子设备的解锁动作的指令,表明所述电子设备要进行人脸解锁,此时启动isp图像信号处理器进入所述isp图像信号处理器的低功耗模式,进行人脸解锁,从而实现电子设备进行人脸解锁时,降低电子设备的人脸解锁的功耗。

解锁模块44、用于使用所述第一模式,进行人脸识别,若通过所述人脸识别验证,所述电子设备自动进行解锁。

具体地,电子设备使用所述isp图像信号处理器的第一模式的低功耗,进行人脸识别的图像的处理,若检测到的人脸信息与所述电子设备预存的人脸解锁的人脸信息匹配,判断通过所述人脸识别验证,所述电子设备自动进行解锁,从而实现所述电子设备通过人脸解锁时,实现电子设备的低功耗。

在一个实施例中,所述第一模式只包括人像检测功能。

具体地,电子设备为了实现通过人脸解锁时,降低电子设备的功耗,只启动所述isp图像信号处理器的人像检测功能,所述所述isp图像信号处理器的其他功能均不开启,比如所述isp图像信号处理器的降噪、防抖、锐化等功能均不开启,以此来降低所述isp图像信号处理器进行人脸解锁而进行人脸检测时的功耗,从而降低整个电子设备在进行人脸解锁时的功耗。

在一个实施例中,所述启动模块42包括:

控制单元,用于所述isp图像信号处理器启动时,控制所述isp图像信号处理器除人脸检测外的所有功能关闭。

具体地,电子设备在通过人脸解锁时,会启动所述电子设备的摄像头,所述摄像头启动后,整个isp图像信号处理器的功能都会启动起来,由于已经判断启动所述电子设备摄像头是进行人脸解锁,因此为了降低电子设备进行人脸解锁时的功耗,需要控制所述isp图像信号处理器除人脸检测外的所有功能关闭,比如防抖、锐化、降噪等功能。

在一个实施例中,所述判断模块40包括:

第一判断单元,用于判断是否接收到打开所述电子设备的摄像头对应的应用程序的指令;

第二判断单元,用于若判断未接收到打开所述电子设备的摄像头对应的应用程序的指令,判断接收到所述电子设备的解锁动作的指令。

具体地,电子设备判断是否接收到所述电子设备的解锁动作的指令,除了通过判断是否接收到触发显示屏幕解锁界面的动作,比如按下显示解锁界面按键的指令,或者滑动屏幕的指令,或者打开解锁显示界面上设置的应用程序的指令,还可以通过判断是否接收到打开所述电子设备的摄像头对应的应用程序的指令,比如所述电子设备上涉及到摄像头的应用程序,比如照相机、视频app(应用程序,application的缩写)、直播app、或者摄像app等应用程序。若电子设备判断接收到打开所述电子设备的摄像头对应的应用程序的指令,则判断所述摄像头的启动是上述应用程序打开引起的,否则,若电子设备判断未接收到打开所述电子设备的摄像头对应的应用程序的指令,则判断接收到所述电子设备的解锁动作的指令。

在一个实施例中,所述装置还包括:

第二模式进入模块,用于若判断接收到打开所述电子设备的摄像头对应的应用程序的指令,启动所述摄像头进入第二模式,所述第二模式的功耗大于所述第一模式的功耗。

具体地,若电子设备判断接收到打开所述电子设备的摄像头对应的应用程序的指令,则判断所述摄像头的启动是上述应用程序打开引起的,为了满足应用程序对图像的高质量的要求,比如满足图像清晰、美观等要求,启动所述摄像头的isp图像信号处理器进入第二模式,所述第二模式是包含了除人像检测外功能的模式,比如降噪、锐化和防抖等功能,因此所述第二模式的功耗大于所述第一模式的功耗。

在一个实施例中,所述装置还包括:

关闭模块,用于关闭所述电子设备的图形处理器gpu。

具体地,图形处理器(英语:graphicsprocessingunit,缩写:gpu),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上图像运算工作的微处理器。

电子设备在进行人脸解锁时,为了进一步降低所述电子设备的功耗,由于只需要人脸检测模块,不需要进行预览数据处理,gpu的数据也可以关闭,关闭所述电子设备的图形处理器gpu,从而进一步降低所述电子设备进行人脸解锁时的功耗。

在一个实施例中,所述装置还包括:

第三模式进入模块,用于若判断接收到所述电子设备的解锁动作的指令,控制所述摄像头进入第三模式,所述第三模式是所述摄像头的低功耗模式。

具体地,图像传感器,是组成数字摄像头的重要组成部分。根据元件的不同,可分为ccd(chargecoupleddevice,电荷耦合元件)和cmos(complementarymetal-oxidesemiconductor,金属氧化物半导体元件)两大类。

为了降低电子设备进行人脸解锁时电子设备的功耗,不但可以从所述isp图像信号处理器的角度,启动所述isp图像信号处理器进入所述isp图像信号处理器的低功耗模式,同时还可以从前置摄像头的图像传感器的角度,启动所述前置摄像头的图像传感器进入所述图像传感器的低功耗模式。

对前置摄像头的图像传感器设计两种模式,也可以称为所述摄像头的两种模式:

(1)第一种是所述摄像头的低功耗模式,在本申请实施例中称为第三模式,所述摄像头的图像传感器主要用于人像检测,所述电子设备的摄像头启动时,所述摄像头的图像传感器的其它功能均不开,比如所述图像传感器的防抖功能和降噪功能等都不开,只启动所述图像传感器的人像检测功能。

(2)第二种是所述摄像头的现有模式,在本申请实施例中称为第四种模式,也可以称为所述摄像头的正常模式,属于高功耗模式。为了保证所述摄像头的图像传感器获取高质量的图像,满足拍照或者视频的需求,所述摄像头的图像传感器的多种功能都开启,比如人脸检测功能、防抖功能和降噪功能等。

若电子设备检测到所述电子设备的摄像头启动,进一步判断接收到所述电子设备的解锁动作的指令,表明所述电子设备的摄像头启动,是为了进行人脸解锁,则启动所述摄像头进入所述摄像头的低功耗模式,从而实现在电子设备尽心人脸解锁时降低电子设备的功耗。

若电子设备判断接收到所述电子设备的解锁动作的指令,表明所述电子设备要进行人脸解锁,此时启动所述摄像头进入所述摄像头的低功耗模式,进行人脸解锁,从而实现电子设备进行人脸解锁时,降低电子设备的人脸解锁的功耗。

在一个实施例中,所述第三模式只包括人像检测功能。

具体地,电子设备为了实现通过人脸解锁时,降低电子设备的功耗,只启动所述摄像头中图像传感器的人像检测功能,所述摄像头中的图像传感器的其他功能均不开启,比如所述图像传感器的降噪功能和防抖功能等均不开启,以此来降低所述摄像头进行人脸解锁而进行人脸检测时的功耗,从而降低整个电子设备在进行人脸解锁时的功耗。

其中,电子设备的摄像头是指电子设备的成像设备,或者称为照相机,所述摄像头主要包括透镜和图像传感器。

在一个实施例中,所述第三模式的人像检测的人像尺寸被设置为等于或者小于预设尺寸阈值。

具体地,电子设备为了进一步降低人脸解锁时所述电子设备的功耗,可以启动所述电子设备的摄像头的图像传感器检测的人像的尺寸等于或者小于预设尺寸阈值,满足人脸解锁的需要即可,所述预设尺寸阈值的像素可以为640x480,也就是所述人像检测的图像的尺寸小于或者等于640x480像素,可以为640x480像素,也可以为320x240像素等。由于人脸检测的图像尺寸启动在预设的较小范围内,所述摄像头的图像传感器输出的人像尺寸就变得很小,既可以满足人脸解锁时人像检测的需要,也可以降低人脸解锁时电子设备的功耗,还可以提高人脸解锁的电子设备的图像输出速度。

在一个实施例中,所述第一模式的人像检测的图像输出帧率被设置为以预设帧率输出。

具体地,帧率(framerate)是用于测量显示帧数的量度。所谓的测量单位为每秒显示帧数(framespersecond,简称:fps)或“赫兹”(hz)。每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。如果帧率过高,就会浪费图形处理处理器的能力。

因此,电子设备为了进一步降低人脸解锁时所述电子设备的功耗,还可以启动所述电子设备的摄像头的图像传感器输出的图像的帧率,满足人脸解锁的需要即可。所述帧率取值的范围为每秒10~20帧,帧率也可以启动在每秒12~18帧,一般情况下,所述帧率选择启动在每秒15帧可以达到图像质量和功耗的较佳平衡状态,也可以满足人脸解锁时的使用要求,相比正常的每秒30帧的输出帧率,可以大大降低所述电子设备的功耗。

在一个实施例中,所述第三模式的人像检测的时钟频率被设置为以预设比值在原时钟频率上降低。

具体地,时钟频率(又译:时钟频率速度,英语:clockrate),是指同步电路中时钟的基础频率,它以“若干次周期每秒”来度量,量度单位采用si单位赫兹(hz)。电子设备中有许许多多的半导体芯片,每个芯片都是在特定的时钟频率下进行工作的。时钟发生器提供给芯片的时钟信号是一个连续的脉冲信号,而脉冲就相当于芯片的脉搏,每一次脉冲到来,芯片内的晶体管就改变一次状态,让整个芯片完成一定任务。

电子设备为了进一步降低人脸解锁时所述电子设备的功耗,还可以降低所述电子设备的摄像头的图像传感器进行人像检测时的时钟频率,满足人脸解锁的需要即可。降低所述电子设备的摄像头的图像传感器的时钟频率可以通过编程利用iic(inter-integratedcircuit,集成电路总线)通信协议来启动电子设备的时钟频率。所述第一模式的人像检测的时钟频率以预设比值在原时钟频率上降低,比如,所述第一模式的人像检测的时钟频率可以在原时钟频率的基础上降低40%,也就是所述第一模式的人像检测的时钟频率为所述原时钟频率的60%,从而降低人脸检测时图像的输出频率的速度,进而降低所述电子设备的功耗。

上述人脸解锁的装置中各个模块的划分仅用于举例说明,在其他实施例中,可将人脸解锁的装置按照需要划分为不同的模块,以完成上述人脸解锁的装置的全部或部分功能。

上述人脸解锁的装置可以实现为一种计算机程序的形式,计算机程序可在如图1所示的电子设备上运行。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行以下步骤:

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行以上各实施例中所描述的人脸解锁的方法的步骤。本申请实施例还提供一种电子设备。上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图5为一个实施例中图像处理电路的示意图。如图5所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图5所示,图像处理电路包括isp图像信号处理器540和控制逻辑器550。成像设备510捕捉的图像数据首先由isp图像信号处理器540处理,isp图像信号处理器540对图像数据进行分析以捕捉可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。成像设备510可包括具有一个或多个透镜512和图像传感器514的照相机。图像传感器514可包括色彩滤镜阵列(如bayer滤镜),图像传感器514可获取用图像传感器514的每个成像像素捕捉的光强度和波长信息,并提供可由isp图像信号处理器540处理的一组原始图像数据。传感器520(如陀螺仪)可基于传感器520接口类型把采集的图像处理的参数(如防抖参数)提供给isp图像信号处理器540。传感器520接口可以利用smia(standardmobileimagingarchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外,图像传感器514也可将原始图像数据发送给传感器520,传感器520可基于传感器520接口类型把原始图像数据提供给isp图像信号处理器540,或者传感器520将原始图像数据存储到图像存储器530中。

isp图像信号处理器540按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,isp图像信号处理器540可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

isp图像信号处理器540还可从图像存储器530接收图像数据。例如,传感器520接口将原始图像数据发送给图像存储器530,图像存储器530中的原始图像数据再提供给isp图像信号处理器540以供处理。图像存储器530可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像传感器514接口或来自传感器520接口或来自图像存储器930的原始图像数据时,isp图像信号处理器540可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器530,以便在被显示之前进行另外的处理。isp图像信号处理器540从图像存储器530接收处理数据,并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp图像信号处理器540处理后的图像数据可输出给显示器570,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,isp图像信号处理器540的输出还可发送给图像存储器530,且显示器570可从图像存储器530读取图像数据。在一个实施例中,图像存储器530可被配置为实现一个或多个帧缓冲器。此外,isp图像信号处理器540的输出可发送给编码器/解码器560,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器570设备上之前解压缩。编码器/解码器560可由cpu或gpu或协处理器实现。

isp图像信号处理器540确定的统计数据可发送给控制逻辑器550单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜512阴影校正等图像传感器514统计信息。控制逻辑器550可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备510的控制参数及isp图像信号处理器540的控制参数。例如,成像设备510的控制参数可包括传感器520控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜512控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及透镜512阴影校正参数。

以下为运用图5中图像处理技术实现人脸解锁的方法的步骤:

若检测到电子设备的摄像头启动,判断是否接收到所述电子设备的解锁动作的指令;

若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式,所述第一模式是所述isp图像信号处理器的低功耗模式;

使用所述第一模式,进行人脸识别,若通过所述人脸识别验证,对所述电子设备进行解锁。

在一个实施例中,所述判断是否接收到所述电子设备的解锁动作的指令的步骤包括:

判断是否接收到打开所述电子设备的摄像头对应的应用程序的指令;

若判断未接收到打开所述电子设备的摄像头对应的应用程序的指令,判断接收到所述电子设备的解锁动作的指令。

在一个实施例中,所述方法还包括:

若判断接收到打开所述电子设备的摄像头对应的应用程序的指令,启动所述isp图像信号处理器进入第二模式,所述第二模式的功耗大于所述第一模式的功耗。

在一个实施例中,所述若判断接收到所述电子设备的解锁动作的指令,控制isp图像信号处理器进入第一模式,所述第一模式是所述isp图像信号处理器的低功耗模式的步骤之后还包括:

关闭所述电子设备的图形处理器gpu。

在一个实施例中,所述控制isp图像信号处理器进入第一模式的步骤包括:

所述isp图像信号处理器启动时,控制所述isp图像信号处理器除人脸检测外的所有功能关闭。

在一个实施例中,所述方法还包括:

若判断接收到所述电子设备的解锁动作的指令,控制所述摄像头进入第三模式,所述第三模式是所述摄像头的低功耗模式。

在一个实施例中,所述第三模式只包括人像检测功能。

在一个实施例中,所述第三模式的人像检测的人像尺寸被设置为等于或者小于预设尺寸阈值。

在一个实施例中,所述第三模式的人像检测的图像输出帧率被设置为以预设帧率输出。

在一个实施例中,所述第三模式的人像检测的时钟频率被设置为以预设比值在原时钟频率上降低。

本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各实施例中所描述的人脸解锁的方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1