拍照的方法、装置、计算机可读存储介质和电子设备与流程

文档序号:13812515阅读:107来源:国知局

本申请涉及图像处理技术领域,特别是涉及拍照的方法、装置、计算机可读存储介质和电子设备。



背景技术:

传统技术中,拍照的时候,由于人的表情不稳定,所以经常导致刚好在拍摄的时候,人的表情没有处在最好的状态,导致拍摄出来的照片不美观,特别是在多人合拍的时候,每个人的表情状态更是难以控制,为了保证每个人的状态尽可能处在最好的时刻,需要重复多次拍摄照片,大大降低了拍照的效率。



技术实现要素:

本申请实施例提供一种拍照的方法、装置、计算机可读存储介质和电子设备,可以实现通过一次拍照获取最佳状态的照片,大大提高拍照的效率。

一种拍照的方法,所述方法包括:

接收到一次拍照指令,获取满足第一预设条件的至少两张图像;

若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数;

输出所述人脸个数最大的值对应的图像。

一种拍照的装置,所述装置包括:

图像获取模块,用于接收到一次拍照指令,获取满足第一预设条件的至少两张图像;

人脸个数获取模块,用于若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数;

输出模块,用于输出所述人脸个数最大的值对应的图像。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述的方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的方法的步骤。

本申请实施例中拍照的方法、装置、计算机可读存储介质和电子设备,通过接收到一次拍照指令,获取连续拍摄的至少两张图像,从获取的所述图像中选取包含微笑人脸最多的一张图像,作为最终输出的图像,尤其当多人合拍时,可以实现通过接收一次拍照指令,输出保证每个人的状态尽可能处在最佳状态时刻的照片,大大提高了拍照的效率,节省了拍照时间和拍照资源。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的内部结构示意图;

图2为本申请拍照的方法一个实施例的流程图;

图3为本申请拍照的方法另一个具体实施例的流程图;

图4为本申请提供的拍照的装置一个实施例的程序模块架构图;

图5为与本申请实施例提供的电子设备相关的手机的部分结构的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。

请参阅图1,图1为一个实施例中电子设备的内部结构示意图。如图1所示,该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序、图片等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的拍照的方法。存储器可包括磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等非易失性存储介质,或随机存储记忆体(random-access-memory,ram)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的拍照的方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

请参阅图2,图2为拍照的方法一个实施例的流程图,所述方法包括:

步骤200、接收到一次拍照指令,获取满足第一预设条件的至少两张图像。

具体地,所述拍照指令是指拍摄照片的指令,比如,当需要进行拍摄照片时,电子设备接收到用户按下拍摄照片的按钮的指令,或者按下拍摄照片的快门的指令,或者接收到的预先设置的定时拍摄照片的拍摄指令。

所述图像,是指电子设备的摄像头拍摄的内容或者对象的照片,包括人物或者景色,比如对一个人拍摄的照片,或者对多个人的合拍照片等。

所述第一预设条件,是指预先设置的获取至少两张图像的方式。比如,在一个实施例中,所述获取满足第一预设条件的至少两张图像包括:

获取连续拍摄的至少两张图像,或者预设时间内拍摄的至少两张图像。

具体地,包括以下两种情形:

(1)获取连续拍摄的至少两张图像。

具体地,电子设备拍摄照片时,由于拍照时人的表情不稳定,可能随时会发生变化,因此通过接收到一次拍照指令时,连续拍摄至少两张的多张图像,拍摄连续的包含人在不同时刻的表情的图像,从而尽可能拍摄到人的表情处在最佳状态的图像,比如包含微笑的图像,将获取的多张图像进行缓存。其中,缓存是指可以进行高速数据交换的存储器,也就是数据交换的缓冲区(称作cache)。

在其他实施例中,电子设备连续拍摄图像的张数,可以通过所述电子设备的设置界面,由用户预先设置,也可以通过所述电子设备的系统由系统进行预先设置,预先设置接收到一次拍照指令时,所述电子设备连续拍摄图像的张数,所述张数为两张或者两张以上,比如接收到一次拍照指令时,可以预先设置所述电子设备连续拍摄两张图像、三张图像,或者五张图像等。

(2)预设时间内拍摄的至少两张图像。

具体地,电子设备既可以拍摄连续的至少两张图像,也可以预先设置接收到一次拍照指令时,拍摄预设时间内的至少两张图像,比如,所述电子设备拍摄一张照片需要0.3秒时,可以拍摄2秒内的3张图像,或者3秒内的5张图像,也可以实现尽可能抓住人的表情产生变化时的最佳状态的表情,比如,包含微笑状态最好时刻的图像。

总之,所述电子设备接收到用户拍摄照片的指令时,根据一次拍照指令,获取拍摄的多张图像,将获取的多张图像进行缓存。

步骤220、若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

具体地,电子设备接收到一次拍照指令,获取拍摄的多张图像,判断每张图像中是否包含人脸,若每张图像中包含人脸,则进一步检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数,否则,若每张图像中均不包含人脸,则输出所述获取的多张图像中的任意一张。

进一步地,电子设备判断每张图像中是否包含人脸,可以通过人脸识别的方式进行。所述人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,用摄像机或摄像头采集含有人脸的图像,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的相关技术,通常也叫做人像识别、面部识别。

更进一步地,电子设备进行人脸识别,可以通过深度学习中的卷积方式检测所述图像中是否包含眼睛。所述深度学习是机器学习中一种基于对数据进行表征学习的方法,观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等,而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习是机器学习研究中的一个领域,在于建立和模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像、声音和文本等。卷积是图像处理常用的方法,给定输入图像,在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均,其中权值由一个函数定义,这个函数称为卷积核,比如说卷积公式:r(u,v)=∑∑g(u-i,v-j)f(i,j),其中f为输入,g为卷积核。

步骤240、输出所述人脸个数最大的值对应的图像。

具体地,电子设备接收到一次拍照指令,获取拍摄的多张图像,统计出每张图像中包含的微笑人脸个数,以所述微笑人脸个数最多的图像作为输出图像,从而实现通过接收一次拍照指令,输出保证每个人的状态尽可能处在微笑的最佳状态时刻的照片,大大提高了拍照的效率,节省了拍照时间和拍照资源。

在一个实施例中,所述若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数的步骤包括:

若每张图像中包含人脸,获取所述每张图像中所包含人脸的第一人脸个数;

根据所述第一人脸个数,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

具体地,电子设备根据拍照指令获取多张图像,对每张图像进行检测,若所述电子设备判断一张图像中包含人脸,对所述一张图像进行人脸及人脸关键点检测,获取所述一张图像中所包含的人脸的第一人脸个数,也就是获取该张图像中包含多少个人脸,根据人脸数目,进行微笑识别,检测该张图像中包含的微笑的人脸,获取该张图像中微笑人脸的人脸个数。

在一个实施例中,所述检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数的步骤包括:

获取预先存储的微笑识别模型,根据所述微笑识别模型,判断所述每张图像中是否包含微笑的人脸;

若判断包含微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

具体地,电子设备获取预先存储的微笑识别模型,根据所述微笑识别模型,判断所述每张图像中是否包含微笑的人脸,若判断包含微笑的人脸,获取该张图像中微笑人脸的人脸个数。其中,微笑识别模型可以通过深度学习得到,比如,收集大量包含人脸的图片,根据所述图片包含的人脸表情,通过深度学习的卷积方式,给每张图片打上微笑或者不微笑的标识,训练得到微笑识别模型,根据微笑识别模型,判断每张图像中每个人脸是否微笑,若该张图像中存在微笑的人脸,进一步统计该张图像中微笑人脸的人脸个数。

在一个实施例中,所述若每张图像中包含人脸,获取所述每张图像中所包含人脸的第一人脸个数的步骤包括:

检测所述每张图像中包含的人脸关键点,根据所述人脸关键点获取所述每张图像中所包含人脸的第一人脸个数。

具体地,若电子设备检测到一张图像中包含脸部,检测所述脸部的关键点,所述关键点包括脸部的关键特征,所述脸部的关键特征,比如脸部的眼睛、鼻子、口、脸颊、额头、下巴等部位,根据所述脸部的关键特征,判断所述图像中包含的人脸,获取该张图像中所包含的人脸的第一人脸个数。比如,若所述电子设备检测到包含6只眼睛,则可以判断包含三张脸,或者若所述电子设备检测到包含3个下巴,也可以判断包含三张脸等。

在一个实施例中,所述检测所述每张图像中包含的人脸关键点的步骤之前还包括:

对所述每张图像进行人脸识别,判断所述每张图像中是否包含人脸;

若所述每张图像中包含人脸,检测所述每张图像中包含的人脸关键点。

具体地,电子设备可以通过人脸识别技术中的人脸检测,判断所述图像中是否包含人脸,所述人脸识别技术是基于人的脸部特征,对输入的人脸图像,首先判断其是否存在人脸,如果存在人脸,则进一步的给出每个脸部的位置、大小和各个主要面部器官的位置信息,所述主要面部器官包括口、鼻、眼睛、额头、脸颊等。人脸检测可以通过参考模板法、人脸规则法、样品学习法、肤色模型法,或者上述方法的结合进行。若判断一张图像中包含人脸,进一步检测该张图像中包含的人脸关键点。

在一个实施例中,所述输出所述人脸个数最大的值对应的图像的步骤还包括:

若存在所述人脸个数相同且最大的多张图像,则输出最大值对应的图像中的任意一张;

或者,若存在所述人脸个数相同且最大的多张图像,输出最大值对应的图像中满足第二预设条件的任意一张图像。

具体地,电子设备根据一次拍照指令获取的至少两张图像中,若有多张图像包含的微笑人脸的人脸个数相同,且微笑人脸的人脸个数在所有图像中最大,则输出最大值对应的图像中的任意一张。比如,若所述电子设备根据一次拍照指令获取了8张图像,其中,5张图像包含的微笑人脸个数都是4个人,且其他3张图像包含的微笑人脸个数都少于4个人,则输出微笑人脸个数都是4个人的5张图像中的任意一张。

更进一步地,若电子设备根据一次拍照指令获取的至少两张图像中,若有多张图像包含的微笑人脸的人脸个数相同,且微笑人脸的人脸个数在所有图像中最大,若存在所述人脸个数相同且最大的多张图像,则进一步判断所述人脸个数相同且最大的多张图像中满足第二预设条件的图像,输出最大值对应的图像中满足第二预设条件的效果最佳的任意一张图像。

其中,所述第二预设条件至少包括以下一项:所述图像中预设位置的人脸处于微笑状态、图像清晰度在所述最大值对应的图像中处于最高、所述图像中不包含干扰人像、或者图像亮度在所述最大值对应的图像中处于最高等。

具体地,所述预设位置的人脸处于微笑状态,以拍摄两人及两人以上的多人合照为例,可以分为两种情形:

(1)拍摄的图像中每排人数为奇数。一般受关注的焦点人物会处在人像第一排的中间位置,假如图像中总共有奇数个人,比如5个人,则受关注的焦点人物一般会处在5个人中间的位置,则可以设置中间位置的人为预设位置的人,或者预设中间的三个人为预设位置的人等。

(2)拍摄的图像中每排人数为偶数。一般受关注的焦点人物也会处在人像第一排的中间位置,假如图像中总共有偶数个人,比如6个人,则受关注的焦点人物一般会处在6个人中间的位置,则可以设置中间位置的2个人为预设位置的人,或者中间的4个人为预设位置的人等。

以上举例仅用于解释本实施例中预设位置的人的设置,并不用于限定本申请实施例的技术方案,具体预设位置的人可以根据实际需要,设置所述图像中任何一个位置的人为预设位置的人。

所述图像清晰度在所述最大值对应的图像中处于最高,其中,清晰度是图像细节边缘变化的敏锐程度,在图像细节的边缘处,光学密度或亮度随位置的变化越敏锐(变化快)、越剧烈(反差大),则细节的边缘就越清晰,可辨程度越高,图像清晰度评价主要有以下几类:灰度变化函数、梯度函数、图像灰度熵函数或者图像边缘灰度变化率为指标的图像清晰度评价方法等。

所述图像中不包含干扰人像,是指图像背景中不包含除拍摄主体之外的其他非需要拍摄人像的人物,比如拍摄图像中经过的路人或者周围的服务人员等。可以通过判断所述图像中是否包含与拍摄主体的距离超过预设阈值的人像,来判断所述图像中是否包含干扰人像,比如一般情况下,拍摄合照时,图像中人与人之间的距离一般不会超过20厘米,若判断所述图像中一人像的距离与拍摄的距离超过20厘米,则可以判断此人为干扰人像。需要说明的是,此处举例20厘米只是用来解释本实施例技术方案,并不是用来限定本实施例技术方案,具体预设阈值可以根据实际情况具体设置。一般情况下,拍摄图像时,人脸会正对镜头,若判断一人像的人脸未正对镜头,则可以判断此人为图像中的干扰人像。更进一步,干扰人像一般会处在所拍摄人像照片的边缘,若判断所述图像中一人像处在所述图像的边缘位置,且人脸未正对镜头、与拍摄主体的距离超过预设阈值,则可以判断此人为干扰人像。

图像亮度在所述最大值对应的图像中处于最高,图像的亮度,亮度也称明度,表示色彩的明暗程度,也可以指图像像素的强度,黑色为最暗,白色为最亮,黑色用0来表示,白色用255来表示。可以通过将所述图像的rgb转换到hsv颜色空间,通过hsv颜色空间获取所述图像的亮度,电子设备获取所述图像亮度的过程如下:

设所述图像的像素rgb的值(r,g,b)分别是所述图像的像素中红、绿和蓝坐标,它们的值是在0到1之间的实数。设max等于r,g和b中的最大者,设min等于r,g和b中的最小者,要获取(r,g,b)在hsv颜色空间中对应的(h,s,v)值,这里的h∈[0,360]是角度的色相角,而s,v∈[0,1],s是饱和度,v是亮度,则像素rgb向hsv颜色空间的转换公式如下:

v=max

应当说明的是,上述公式选择的举例仅仅用于解释从rgb向hsv颜色空间转换是如何进行的,并不用于限定本申请的技术方案,可以根据实际需要选择不同的转换公式进行转换,并不影响本技术方案的实施。

若所述电子设备根据一次拍照指令获取了8张图像,其中,5张图像包含的微笑人脸个数都是4个人,且其他3张图像包含的微笑人脸个数都少于4个人,则进一步从微笑人脸个数都是4个人的5张图像中获取满足第二预设条件的图像,若所述电子设备判断所述5张图像中满足第二预设条件的图像有1张,则将这最终获取的1张图像作为效果最优的最终输出图像,若所述电子设备判断所述5张图像中满足第二预设条件的图像有3张,则从所述3张图像中选择任意一张图像作为效果最优的最终输出图像。

请参阅图3,图3为本申请拍照的方法另一个具体实施例的流程图,电子设备接收到一次拍照指令,获取多张图像后,比如获取了n张图像,n≥2,对获取的n张图像进行处理,所述处理过程包括以下步骤:

步骤301、电子设备获取所述多张图像中的一张图像,可以标记为图像1,初始统计所述图像1中的微笑人脸个数1预设置为0,进入步骤302;

步骤302、电子设备判断所述图像中是否包含人脸,若所述图像中包含人脸,进入步骤303,否则,若所述图像中不包含人脸,进入步骤309;

步骤303、若电子设备判断所述图像1中包含人脸,对所述图像1进行人脸及人脸关键点检测,获取所述图像1中包含的人脸个数,进入步骤304;

步骤304、电子设备根据所述图像1中包含的人脸个数,根据微笑识别模型,逐一判断所述图像1中的每个人脸是否进行微笑,若是,进入步骤305,若所述图像1中最后一个人脸没有微笑,进入步骤306;

步骤305、若电子设备判断所述图像1中的一个人脸进行微笑,将微笑人脸个数1进行更新,加1,直到所述图像1中包含的所有人脸判断完毕,统计完所述图像1中包含的所有微笑的人脸个数1,进入步骤306;

步骤306、电子设备对图像1中包含的微笑人脸识别完毕,判断结束,进入步骤307;

步骤307、电子设备获取所述图像1中包含的微笑人脸的个数微笑人脸个数1,循环上述过程,电子设备对获取的所有图像进行微笑人脸个数识别,直到进行到所获取的最后一张图像n,进行步骤301′~307′,获得所述图像n的微笑人脸个数n,进入步骤308;

步骤308、电子设备比较微笑人脸个数1,微笑人脸个数2,…微笑人脸个数n的大小,获取包含微笑人脸个数最多的值微笑人脸max,将微笑人脸max对应的图像作为最终输出图像,若微笑人脸max对应至少两张图像,则输出微笑人脸max对应的图像中的任意一张,或者,进一步获取满足第二预设条件的图像,进入步骤309;

步骤309、获取最终输出图像,进入步骤310;

步骤310、将确定的最终图像输出,作为拍照的输出图像。

综上所述,本申请实施例中拍照的方法,通过接收到一次拍照指令,获取连续拍摄的至少两张图像,从获取的所述图像中选取包含微笑人脸最多的一张图像,作为最终输出的图像,尤其当多人合拍时,可以实现通过接收一次拍照指令,输出保证每个人的状态尽可能处在最佳状态时刻的照片,大大提高了拍照的效率,节省了拍照时间和拍照资源。

请参阅图4,图4为一种拍照的装置,所述装置包括:

图像获取模块40,用于接收到一次拍照指令,获取满足第一预设条件的至少两张图像。

具体地,所述拍照指令是指拍摄照片的指令,比如,当需要进行拍摄照片时,电子设备接收到用户按下拍摄照片的按钮的指令,或者按下拍摄照片的快门的指令,或者接收到的预先设置的定时拍摄照片的拍摄指令。

所述图像,是指电子设备的摄像头拍摄的内容或者对象的照片,包括人物或者景色,比如对一个人拍摄的照片,或者对多个人的合拍照片等。

所述第一预设条件,是指预先设置的获取至少两张图像的方式。比如,在一个实施例中,所述获取满足第一预设条件的至少两张图像包括:

获取连续拍摄的至少两张图像,或者预设时间内拍摄的至少两张图像。

具体地,包括以下两种情形:

(1)获取连续拍摄的至少两张图像。

具体地,电子设备拍摄照片时,由于拍照时人的表情不稳定,可能随时会发生变化,因此通过接收到一次拍照指令时,连续拍摄至少两张的多张图像,拍摄连续的包含人在不同时刻的表情的图像,从而尽可能拍摄到人的表情处在最佳状态的图像,比如包含微笑的图像,将获取的多张图像进行缓存。其中,缓存是指可以进行高速数据交换的存储器,也就是数据交换的缓冲区(称作cache)。

在其他实施例中,电子设备连续拍摄图像的张数,可以通过所述电子设备的设置界面,由用户预先设置,也可以通过所述电子设备的系统由系统进行预先设置,预先设置接收到一次拍照指令时,所述电子设备连续拍摄图像的张数,所述张数为两张或者两张以上,比如接收到一次拍照指令时,可以预先设置所述电子设备连续拍摄两张图像、三张图像,或者五张图像等。

(2)预设时间内拍摄的至少两张图像。

具体地,电子设备既可以拍摄连续的至少两张图像,也可以预先设置接收到一次拍照指令时,拍摄预设时间内的至少两张图像,比如,所述电子设备拍摄一张照片需要0.3秒时,可以拍摄2秒内的3张图像,或者3秒内的5张图像,也可以实现尽可能抓住人的表情产生变化时的最佳状态的表情,比如,包含微笑状态最好时刻的图像。

总之,所述电子设备接收到用户拍摄照片的指令时,根据一次拍照指令,获取拍摄的多张图像,将获取的多张图像进行缓存。

人脸个数获取模块42、用于若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

具体地,电子设备接收到一次拍照指令,获取拍摄的多张图像,判断每张图像中是否包含人脸,若每张图像中包含人脸,则进一步检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数,否则,若每张图像中均不包含人脸,则输出所述获取的多张图像中的任意一张。

进一步地,电子设备判断每张图像中是否包含人脸,可以通过人脸识别的方式进行。所述人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,用摄像机或摄像头采集含有人脸的图像,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的相关技术,通常也叫做人像识别、面部识别。

更进一步地,电子设备进行人脸识别,可以通过深度学习中的卷积方式检测所述图像中是否包含眼睛。所述深度学习是机器学习中一种基于对数据进行表征学习的方法,观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等,而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习是机器学习研究中的一个领域,在于建立和模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像、声音和文本等。卷积是图像处理常用的方法,给定输入图像,在输出图像中每一个像素是输入图像中一个小区域中像素的加权平均,其中权值由一个函数定义,这个函数称为卷积核,比如说卷积公式:r(u,v)=∑∑g(u-i,v-j)f(i,j),其中f为输入,g为卷积核。

输出模块44、用于输出所述人脸个数最大的值对应的图像。

具体地,电子设备接收到一次拍照指令,获取拍摄的多张图像,统计出每张图像中包含的微笑人脸个数,以所述微笑人脸个数最多的图像作为输出图像,从而实现通过接收一次拍照指令,输出保证每个人的状态尽可能处在微笑的最佳状态时刻的照片,大大提高了拍照的效率,节省了拍照时间和拍照资源。

在一个实施例中,所述人脸个数获取模块42包括:

第一获取单元,用于若每张图像中包含人脸,获取所述每张图像中所包含人脸的第一人脸个数;

第二获取单元,用于根据所述第一人脸个数,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

具体地,电子设备根据拍照指令获取多张图像,对每张图像进行检测,若所述电子设备判断一张图像中包含人脸,对所述一张图像进行人脸及人脸关键点检测,获取所述一张图像中所包含的人脸的第一人脸个数,也就是获取该张图像中包含多少个人脸,根据人脸数目,进行微笑识别,检测该张图像中包含的微笑的人脸,获取该张图像中微笑人脸的人脸个数。

在一个实施例中,所述第二获取单元包括:

判断子单元,用于获取预先存储的微笑识别模型,根据所述微笑识别模型,判断所述每张图像中是否包含微笑的人脸;

人脸个数获取子单元,用于若判断包含微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

具体地,电子设备获取预先存储的微笑识别模型,根据所述微笑识别模型,判断所述每张图像中是否包含微笑的人脸,若判断包含微笑的人脸,获取该张图像中微笑人脸的人脸个数。其中,微笑识别模型可以通过深度学习得到,比如,收集大量包含人脸的图片,根据所述图片包含的人脸表情,通过深度学习的卷积方式,给每张图片打上微笑或者不微笑的标识,训练得到微笑识别模型,根据微笑识别模型,判断每张图像中每个人脸是否微笑,若该张图像中存在微笑的人脸,进一步统计该张图像中微笑人脸的人脸个数。

在一个实施例中,所述第一获取单元包括:

用于检测所述每张图像中包含的人脸关键点,根据所述人脸关键点获取所述每张图像中所包含人脸的第一人脸个数。

具体地,若电子设备检测到一张图像中包含脸部,检测所述脸部的关键点,所述关键点包括脸部的关键特征,所述脸部的关键特征,比如脸部的眼睛、鼻子、口、脸颊、额头、下巴等部位,根据所述脸部的关键特征,判断所述图像中包含的人脸,获取该张图像中所包含的人脸的第一人脸个数。比如,若所述电子设备检测到包含6只眼睛,则可以判断包含三张脸,或者若所述电子设备检测到包含3个下巴,也可以判断包含三张脸等。

在一个实施例中,所述人脸个数获取模块42还包括:

人脸识别单元,用于对所述每张图像进行人脸识别,判断所述每张图像中是否包含人脸;

检测单元,用于若所述每张图像中包含人脸,检测所述每张图像中包含的人脸关键点。

具体地,电子设备可以通过人脸识别技术中的人脸检测,判断所述图像中是否包含人脸,所述人脸识别技术是基于人的脸部特征,对输入的人脸图像,首先判断其是否存在人脸,如果存在人脸,则进一步的给出每个脸部的位置、大小和各个主要面部器官的位置信息,所述主要面部器官包括口、鼻、眼睛、额头、脸颊等。人脸检测可以通过参考模板法、人脸规则法、样品学习法、肤色模型法,或者上述方法的结合进行。若判断一张图像中包含人脸,进一步检测该张图像中包含的人脸关键点。

在一个实施例中,所述输出模块44还包括:

第一输出单元,用于若存在所述人脸个数相同且最大的多张图像,则输出最大值对应的图像中的任意一张;

或者,第二输出单元,用于若存在所述人脸个数相同且最大的多张图像,输出最大值对应的图像中满足第二预设条件的任意一张图像。

具体地,电子设备根据一次拍照指令获取的至少两张图像中,若有多张图像包含的微笑人脸的人脸个数相同,且微笑人脸的人脸个数在所有图像中最大,则输出最大值对应的图像中的任意一张。比如,若所述电子设备根据一次拍照指令获取了8张图像,其中,5张图像包含的微笑人脸个数都是4个人,且其他3张图像包含的微笑人脸个数都少于4个人,则输出微笑人脸个数都是4个人的5张图像中的任意一张。

更进一步地,若电子设备根据一次拍照指令获取的至少两张图像中,若有多张图像包含的微笑人脸的人脸个数相同,且微笑人脸的人脸个数在所有图像中最大,若存在所述人脸个数相同且最大的多张图像,则进一步判断所述人脸个数相同且最大的多张图像中满足第二预设条件的图像,输出最大值对应的图像中满足第二预设条件的效果最佳的任意一张图像。

其中,所述第二预设条件至少包括以下一项:所述图像中预设位置的人脸处于微笑状态、图像清晰度在所述最大值对应的图像中处于最高、所述图像中不包含干扰人像、或者图像亮度在所述最大值对应的图像中处于最高等。

具体地,所述预设位置的人脸处于微笑状态,以拍摄两人及两人以上的多人合照为例,可以分为两种情形:

(1)拍摄的图像中每排人数为奇数。一般受关注的焦点人物会处在人像第一排的中间位置,假如图像中总共有奇数个人,比如5个人,则受关注的焦点人物一般会处在5个人中间的位置,则可以设置中间位置的人为预设位置的人,或者预设中间的三个人为预设位置的人等。

(2)拍摄的图像中每排人数为偶数。一般受关注的焦点人物也会处在人像第一排的中间位置,假如图像中总共有偶数个人,比如6个人,则受关注的焦点人物一般会处在6个人中间的位置,则可以设置中间位置的2个人为预设位置的人,或者中间的4个人为预设位置的人等。

以上举例仅用于解释本实施例中预设位置的人的设置,并不用于限定本申请实施例的技术方案,具体预设位置的人可以根据实际需要,设置所述图像中任何一个位置的人为预设位置的人。

所述图像清晰度在所述最大值对应的图像中处于最高,其中,清晰度是图像细节边缘变化的敏锐程度,在图像细节的边缘处,光学密度或亮度随位置的变化越敏锐(变化快)、越剧烈(反差大),则细节的边缘就越清晰,可辨程度越高,图像清晰度评价主要有以下几类:灰度变化函数、梯度函数、图像灰度熵函数或者图像边缘灰度变化率为指标的图像清晰度评价方法等。

所述图像中不包含干扰人像,是指图像背景中不包含除拍摄主体之外的其他非需要拍摄人像的人物,比如拍摄图像中经过的路人或者周围的服务人员等。可以通过判断所述图像中是否包含与拍摄主体的距离超过预设阈值的人像,来判断所述图像中是否包含干扰人像,比如一般情况下,拍摄合照时,图像中人与人之间的距离一般不会超过20厘米,若判断所述图像中一人像的距离与拍摄的距离超过20厘米,则可以判断此人为干扰人像。需要说明的是,此处举例20厘米只是用来解释本实施例技术方案,并不是用来限定本实施例技术方案,具体预设阈值可以根据实际情况具体设置。一般情况下,拍摄图像时,人脸会正对镜头,若判断一人像的人脸未正对镜头,则可以判断此人为图像中的干扰人像。更进一步,干扰人像一般会处在所拍摄人像照片的边缘,若判断所述图像中一人像处在所述图像的边缘位置,且人脸未正对镜头、与拍摄主体的距离超过预设阈值,则可以判断此人为干扰人像。

图像亮度在所述最大值对应的图像中处于最高,图像的亮度,亮度也称明度,表示色彩的明暗程度,也可以指图像像素的强度,黑色为最暗,白色为最亮,黑色用0来表示,白色用255来表示。可以通过将所述图像的rgb转换到hsv颜色空间,通过hsv颜色空间获取所述图像的亮度,电子设备获取所述图像亮度的过程如下:

设所述图像的像素rgb的值(r,g,b)分别是所述图像的像素中红、绿和蓝坐标,它们的值是在0到1之间的实数。设max等于r,g和b中的最大者,设min等于r,g和b中的最小者,要获取(r,g,b)在hsv颜色空间中对应的(h,s,v)值,这里的h∈[0,360]是角度的色相角,而s,v∈[0,1],s是饱和度,v是亮度,则像素rgb向hsv颜色空间的转换公式如下:

v=max

应当说明的是,上述公式选择的举例仅仅用于解释从rgb向hsv颜色空间转换是如何进行的,并不用于限定本申请的技术方案,可以根据实际需要选择不同的转换公式进行转换,并不影响本技术方案的实施。

若所述电子设备根据一次拍照指令获取了8张图像,其中,5张图像包含的微笑人脸个数都是4个人,且其他3张图像包含的微笑人脸个数都少于4个人,则进一步从微笑人脸个数都是4个人的5张图像中获取满足第二预设条件的图像,若所述电子设备判断所述5张图像中满足第二预设条件的图像有1张,则将这最终获取的1张图像作为效果最优的最终输出图像,若所述电子设备判断所述5张图像中满足第二预设条件的图像有3张,则从所述3张图像中选择任意一张图像作为效果最优的最终输出图像。

上述拍照的装置中各个模块的划分仅用于举例说明,在其他实施例中,可将拍照的装置按照需要划分为不同的模块,以完成上述拍照的装置的全部或部分功能。

上述拍照的装置可以实现为一种计算机程序的形式,计算机程序可在如图1所示的电子设备上运行。

本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述各实施例中所描述的拍照的方法的步骤。

具体地,一个或多个包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行以下步骤:

接收到一次拍照指令,获取满足第一预设条件的至少两张图像;

若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数;

输出所述人脸个数最大的值对应的图像。

在一个实施例中,所述获取满足第一预设条件的至少两张图像包括:

获取连续拍摄的至少两张图像,或者预设时间内拍摄的至少两张图像。

在一个实施例中,所述若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数的步骤包括:

若每张图像中包含人脸,获取所述每张图像中所包含人脸的第一人脸个数;

根据所述第一人脸个数,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

在一个实施例中,所述若每张图像中包含人脸,获取所述每张图像中所包含人脸的第一人脸个数的步骤包括:

检测所述每张图像中包含的人脸关键点,根据所述人脸关键点获取所述每张图像中所包含人脸的第一人脸个数。

在一个实施例中,所述检测所述每张图像中包含的人脸关键点的步骤之前还包括:

对所述每张图像进行人脸识别,判断所述每张图像中是否包含人脸;

若所述每张图像中包含人脸,检测所述每张图像中包含的人脸关键点。

在一个实施例中,所述检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数的步骤包括:

获取预先存储的微笑识别模型,根据所述微笑识别模型,判断所述每张图像中是否包含微笑的人脸;

若判断包含微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

在一个实施例中,所述输出所述人脸个数最大的值对应的图像的步骤还包括:

若存在所述人脸个数相同且最大的多张图像,则输出最大值对应的图像中的任意一张;

或者,若存在所述人脸个数相同且最大的多张图像,输出最大值对应的图像中满足第二预设条件的任意一张图像。

本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各实施例中所描述的拍照的方法。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图5为一个实施例中图像处理电路的示意图。如图5所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图5所示,图像处理电路包括isp处理器540和控制逻辑器550。成像设备510捕捉的图像数据首先由isp处理器540处理,isp处理器540对图像数据进行分析以捕捉可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。成像设备510可包括具有一个或多个透镜512和图像传感器514的照相机。图像传感器514可包括色彩滤镜阵列(如bayer滤镜),图像传感器514可获取用图像传感器514的每个成像像素捕捉的光强度和波长信息,并提供可由isp处理器540处理的一组原始图像数据。传感器520(如陀螺仪)可基于传感器520接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器540。传感器520接口可以利用smia(standardmobileimagingarchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外,图像传感器514也可将原始图像数据发送给传感器520,传感器520可基于传感器520接口类型把原始图像数据提供给isp处理器540,或者传感器520将原始图像数据存储到图像存储器530中。

isp处理器540按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,isp处理器540可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

isp处理器540还可从图像存储器530接收图像数据。例如,传感器520接口将原始图像数据发送给图像存储器530,图像存储器530中的原始图像数据再提供给isp处理器540以供处理。图像存储器530可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像传感器514接口或来自传感器520接口或来自图像存储器530的原始图像数据时,isp处理器540可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器530,以便在被显示之前进行另外的处理。isp处理器540从图像存储器530接收处理数据,并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp处理器540处理后的图像数据可输出给显示器570,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,isp处理器540的输出还可发送给图像存储器530,且显示器570可从图像存储器530读取图像数据。在一个实施例中,图像存储器530可被配置为实现一个或多个帧缓冲器。此外,isp处理器540的输出可发送给编码器/解码器560,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器570设备上之前解压缩。编码器/解码器560可由cpu或gpu或协处理器实现。

isp处理器540确定的统计数据可发送给控制逻辑器550单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜512阴影校正等图像传感器514统计信息。控制逻辑器550可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备510的控制参数及isp处理器540的控制参数。例如,成像设备510的控制参数可包括传感器520控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜512控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及透镜512阴影校正参数。

以下为运用图5中图像处理技术实现拍照的方法的步骤:

接收到一次拍照指令,获取满足第一预设条件的至少两张图像;

若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数;

输出所述人脸个数最大的值对应的图像。

在一个实施例中,所述获取满足第一预设条件的至少两张图像包括:

获取连续拍摄的至少两张图像,或者预设时间内拍摄的至少两张图像。

在一个实施例中,所述若每张图像中包含人脸,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数的步骤包括:

若每张图像中包含人脸,获取所述每张图像中所包含人脸的第一人脸个数;

根据所述第一人脸个数,检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

在一个实施例中,所述若每张图像中包含人脸,获取所述每张图像中所包含人脸的第一人脸个数的步骤包括:

检测所述每张图像中包含的人脸关键点,根据所述人脸关键点获取所述每张图像中所包含人脸的第一人脸个数。

在一个实施例中,所述检测所述每张图像中包含的人脸关键点的步骤之前还包括:

对所述每张图像进行人脸识别,判断所述每张图像中是否包含人脸;

若所述每张图像中包含人脸,检测所述每张图像中包含的人脸关键点。

在一个实施例中,所述检测所述每张图像中包含的微笑的人脸,获取所述每张图像中微笑人脸的人脸个数的步骤包括:

获取预先存储的微笑识别模型,根据所述微笑识别模型,判断所述每张图像中是否包含微笑的人脸;

若判断包含微笑的人脸,获取所述每张图像中微笑人脸的人脸个数。

在一个实施例中,所述输出所述人脸个数最大的值对应的图像的步骤还包括:

若存在所述人脸个数相同且最大的多张图像,则输出最大值对应的图像中的任意一张;

或者,若存在所述人脸个数相同且最大的多张图像,输出最大值对应的图像中满足第二预设条件的任意一张图像。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1