一种拍照方法、装置、电子设备及存储介质与流程

文档序号:11327452阅读:146来源:国知局
一种拍照方法、装置、电子设备及存储介质与流程

本发明涉及图像处理领域,尤其涉及一种拍照方法、装置、电子设备及存储介质。



背景技术:

随着电子设备,如智能手机的普及,电子设备的各项功能以及应用都越来越趋于成熟化。例如,电子设备从开始的仅具备基本拍照功能,到后来的具备人脸识别、美颜等多项功能,极大地丰富了人们的休闲娱乐生活。

然而,电子设备在进行拍照时,主要通过点击屏幕虚拟拍照键或者终端外置的用于拍照的按键进行拍照,导致拍照者注意力分散,无法拍出效果较好的照片。



技术实现要素:

本发明实施例提供一种拍照方法、装置、电子设备及存储介质,可以解决终端无法拍出效果较好的照片的问题,有助于改善拍照效果。

第一方面,本发明实施例提供了一种拍照方法,包括:

利用摄像头进行人脸检测,获得至少一个人脸图像;

识别所述至少一个人脸图像中每一个人脸图像的表情特征;

当所述每一个人脸图像的表情特征为微笑特征时,执行拍照操作。

可选地,所述识别所述至少一个人脸图像中每一个人脸图像的表情特征,包括:

提取所述至少一个人脸图像中每一个人脸图像的特征点集合;

从所述每一个人脸图像的特征点集合中提取目标特征点;

根据所述每一个人脸图像的目标特征点确定表情特征。

可选地,所述根据所述每一个人脸图像的目标特征点确定表情特征,包括:

获取所述每一个人脸图像的目标特征点中的嘴唇特征点的位置信息;

根据所述嘴唇特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,所述根据所述每一个人脸图像的目标特征点确定表情特征,包括:

获取所述每一个人脸图像的目标特征点中的眼睛特征点的位置信息;

根据所述眼睛特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,所述根据所述每一个人脸图像的目标特征点确定表情特征,包括:

获取所述每一个人脸图像的目标特征点中的鼻子特征点的位置信息;

根据所述鼻子特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,所述拍照特征为预设的表情特征,以及所述每一个人脸图像的表情特征之间的差异值小于预设阈值的特征。

第二方面,本发明实施例提供了一种拍照装置,包括:

获取模块,用于利用摄像头进行人脸检测,获得至少一个人脸图像;

识别模块,用于识别所述至少一个人脸图像中每一个人脸图像的表情特征;

拍照模块,用于当所述每一个人脸图像的表情特征为微笑特征时,执行拍照操作。

可选地,所述识别模块,具体用于提取所述至少一个人脸图像中每一个人脸图像的特征点集合;从所述每一个人脸图像的特征点集合中提取目标特征点;根据所述每一个人脸图像的目标特征点确定表情特征。

可选地,所述识别模块包括:

第一获取单元,用于获取所述每一个人脸图像的目标特征点中的嘴唇特征点的位置信息;

第一确定单元,用于根据所述嘴唇特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,所述识别模块包括:

第二获取单元,用于获取所述每一个人脸图像的目标特征点中的眼睛特征点的位置信息;

第二确定单元,用于根据所述眼睛特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,所述识别模块包括:

第三获取单元,用于获取所述每一个人脸图像的目标特征点中的鼻子特征点的位置信息;

第三确定单元,用于根据所述鼻子特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,所述拍照特征为预设的表情特征,以及所述每一个人脸图像的表情特征之间的差异值小于预设阈值的特征。

第三方面,本发明实施例提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线;所述处理器、所述存储器和所述通信接口通过所述通信总线连接并完成相互间的通信;所述存储器存储可执行程序代码;所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行一种拍照方法;其中,所述方法包括:

利用摄像头进行人脸检测,获得至少一个人脸图像;

识别所述至少一个人脸图像中每一个人脸图像的表情特征;

当所述每一个人脸图像的表情特征为微笑特征时,执行拍照操作。

第四方面,本发明实施例提供了一种计算机程序产品,其中,当该计算机程序产品中的指令由处理器执行时,执行一种上述第一方面所述的拍照方法。

第五方面,本发明实施例提供了一种存储介质,该存储介质用于存储应用程序,所述应用程序用于在运行时执行第一方面所述的拍照方法。

本发明实施例中,电子设备可以利用摄像头进行人脸检测后,获取至少一个人脸图像,并识别该至少一个人脸图像中每一个人脸图像的表情特征,并在检测到该每一个人脸图像的表情特征为拍照特征时,执行拍照操作。相比现有技术中电子设备通过点击屏幕或者按钮进行拍照,本发明实施例可以在检测到的各个人脸图像的表情特征为拍照特征时,实现拍照的自动化、智能化。并且,通过对表情特征的检测,可以使得拍出来的照片达到预期的效果。除此之外,若拍照人数为多个,在检测到的各个人脸图像的表情特征为拍照特征时进行拍照,可以使得拍出来的表情较为统一,改善了拍摄的效果,并且有效降低了因为少数人表情不到位而导致的重复拍摄的概率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种拍照方法的流程示意图;

图2是本发明再一实施例提供的一种拍照方法的流程示意图;

图3是本发明实施例提供的一种标记了特征点的人脸图像;

图4是本发明另一实施例提供的一种拍照方法的流程示意图;

图5是本发明实施例提供的一种拍照装置的结构示意图;

图6是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中进行说明。

请参阅图1,为本发明实施例提供的一种拍照方法的流程示意图。该方法可以应用于各个电子设备,包括但不限于智能手机、平板电脑、智能照相机等具有拍照功能的电子设备。其中,该方法可以包括以下步骤:

s101、电子设备接收用户针对照相机的开启操作。

本发明实施例中,该开启操作包括但不限于针对电子设备的用户界面的照相机图标的点击操作、针对电子设备的用于开启照相机的物理按键的按压操作。

需要说明的是,在用户点击照相机图标或按压相应物理按键后,电子设备可以接收到用户对照相机的开启操作,并且可以进入拍照界面,从而执行步骤s102。

s102、电子设备接收用户针对微笑模式的开启操作。

需要说明的是,在电子设备进入拍照界面后,可以进行拍照模式的设置,例如,可以设置美颜模式、表情模式。该表情模式可以包括微笑模式,该模式可以用图标的形式进行呈现,或者可以用选项的形式呈现。

本发明实施例中,在步骤s102中的用户针对微笑模式的开启操作,包括但不限于用户针对微笑模式的图标的点击操作,针对微笑模式的选择操作。

s103、电子设备通过摄像头采集图像,并对采集的图像进行人脸图像检测;

s104、电子设备判断是否检测到至少一个人脸图像。若否,则执行步骤s103。若是,则执行步骤s105。

通常来说,电子设备利用摄像头进行拍照时,可以通过摄像头来采集需要被拍照的图像。例如,在步骤s103中,电子设备在选择微笑模式后,可以调用摄像头采集图像。

可选地,电子设备通过摄像头采集当前所拍照的图像时,还可以利用该摄像头进行人脸检测。其中,人脸检测的方法包括但不限于基于特征的方法、基于统计的方法、模板匹配。

本发明实施例中,对于摄像头的数量没有限制,包括但不限于单摄像头、双摄像头。

需要说明的是,在步骤s104中,电子设备可以判断是否检测到人脸图像。若检测到人脸图像可以执行步骤s105。若未检测到图像,则执行步骤s103,以重新进行人脸图像检测。

可选地,在未检测到人脸图像,还可以输出提示信息以提示用户调整拍照姿势或者拍照表情。

s105、电子设备对该至少一个人脸图像进行预处理,并提取特征。

可选地,电子设备可以对检测到的图像进行去噪滤波等预处理,电子设备可以从获取的人脸图像中提取特征。其中,电子设备可以基于该提取的特征识别具体的表情特征。

本发明实施例中,该提取的特征,可以为整体特征,如面部特征,还可以为一个或者多个以下的局部特征:眼睛特征、嘴唇特征、鼻子特征、眉毛特征等。

可选地,电子设备基于提取的特征识别表情特征包括但不限于:提取该至少一个人脸图像中每一个人脸图像的特征点集合;从该每一个人脸图像的特征点集合中提取目标特征点;根据该每一个人脸图像的目标特征点确定表情特征。

本发明实施例中,该特征点集合可以为该每一个人脸图像的整体特征点,如面部特征点。该特征点集合还可以为该每一个人脸图像的局部特征点,如嘴唇特征点、眼部特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。该目标特征点可以为用于确定表情特征的多个特征点。并且,该目标特征点包括但不限于人脸图像的嘴唇特征点、眼睛特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。

其中,该提取的特征点可以是基于人脸图像对应面部区域的各部分的特征提取的。该特征点集合,可以包括根据实际需求来提取相应位置以及相应数量的特征点,包括但不限于64点、68点、60点、76点。

s106、电子设备检测该至少一个人脸图像中是否每一个人脸图像都匹配微笑特征。若是,则执行步骤s107。若否,则执行步骤s105。

需要说明的是,在步骤s105中,电子设备可以提取特征以识别表情特征,具体地可以包括:提取该至少一个人脸图像中每一个人脸图像的特征点集合;从该每一个人脸图像的特征点集合中提取目标特征点;根据该每一个人脸图像的目标特征点确定表情特征。

需要说明的是,在步骤s106中,电子设备检测该至少一个人脸图像中是否每一个人脸图像都匹配识别微笑特征,包括但不限于至少以下任一项或多项:根据目标特征点间的距离值确定表情特征,根据目标特征点间距离的变化值确定表情特征,根据目标特征点间连线形成的夹角大小确定表情特征,或者根据目标特征点形成的夹角的变化值确定表情特征。

举例来说,若目标特征点为嘴唇特征点,该嘴唇特征点至少可以包括:上嘴唇下边缘中心点处特征点,上嘴唇左边唇角处特征点,在左边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘中点处特征点。若上嘴唇下边缘中心点处特征点,和在左边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘中点处特征点之间的距离值变化值,超过预置的距离变化值阈值时,如超过3(mm),则可以确定该表情特征为微笑特征。

可选地,若检测到的该至少一个人脸图像中存在人脸图像不匹配微笑特征时,可以输出提示信息以提示用户调整拍照姿势或者拍照表情。

s107、电子设备执行拍照操作,并输出相应图片。

举例来说,该摄像头采集的图像中包括人脸图像a、人脸图像b、人脸图像c、人脸图像d。其中,检测到的人脸图像包括人脸图像a、人脸图像b、人脸图像c,那么电子设备在检测到该人脸图像a、人脸图像b、人脸图像c都匹配微笑特征时,则执行拍照操作,并输出相应图片。

可见,图1所示的实施例中,电子设备可以利用摄像头进行人脸检测,并可以检测获取至少一个人脸图像中是否每一个人脸图像都匹配微笑特征,若匹配执行拍照操作,使得拍照更加智能化,有利于拍照效果的改善。

请参阅图2,为本发明再一实施例提供的一种拍照方法的流程示意图,该方法可以应用于各个电子设备,该电子设备包括但不限于智能手机、平板电脑、智能照相机等具有拍照功能的电子设备。其中:

s201、利用摄像头进行人脸检测,获得至少一个人脸图像。

通常来说,电子设备利用摄像头进行拍照时,可以通过摄像头来采集需要被拍照的图像。

例如,对于部分智能手机,可以点击照相机的图标,进入拍照界面以显示摄像头采集到的图像。对于某些智能照相机、可以通过按压物理按键,进入拍照界面,以显示摄像头采集到的图像。

可选地,电子设备通过摄像头采集当前所拍照的图像时,还可以利用该摄像头进行人脸检测。其中,人脸检测的方法包括但不限于基于特征的方法、基于统计的方法、模板匹配。

本发明实施例中,对于摄像头的数量没有限制,包括但不限于单摄像头、双摄像头。

需要说明的是,在步骤s201中,电子设备可以利用摄像头进行人脸检测,并获得至少一个人脸图像。

举例来说,该摄像头采集的图像中包括人脸图像a、人脸图像b、人脸图像c、人脸图像d。其中,摄像头检测到的人脸图像包括人脸图像a、人脸图像b、人脸图像c,那么电子设备就可以获取该人脸图像a、人脸图像b、人脸图像c。

s202、识别所述至少一个人脸图像中每一个人脸图像的表情特征。

需要说明的是,在步骤s201中,电子设备可以获取到至少一个人脸图像。在步骤s202中,电子设备可以识别所述至少一个人脸图像中每一个人脸图像的表情特征,以便电子设备可以根据不同的表情来进行拍照。

本发明实施例中,该表情特征可以用于判定是否执行拍照操作。其中,该表情特征可以是微笑特征,还可以是愤怒特征、悲伤特征、恐惧特征等多种情绪的特征。其中,除微笑特征外的其它情绪的特征也可以采用类似于本发明实施例所提供的方法,以用于判定是否执行拍照操作。

可选地,在步骤s201中,电子设备获取该至少一个人脸图像后,可以在该至少一个人脸图像中每一个人脸图像提取特征,以便识别该每一个人脸图像的表情特征。

其中,该提取的特征可以为该每一个人脸图像的整体特征,如面部特征。该提取的特征还可以为该每一个人脸图像的局部特征,如嘴唇特征或者眼部特征。该提取的特征包括但不限于以相应位置的特征点来表示。

可选地,在步骤s202中,电子设备识别该至少一个人脸图像中每一个人脸图像的表情特征包括但不限于如下方式:电子设备提取该至少一个人脸图像中每一个人脸图像的特征点集合;从该每一个人脸图像的特征点集合中提取目标特征点;根据该每一个人脸图像的目标特征点确定表情特征。

本发明实施例中,该特征点集合可以为该每一个人脸图像的整体特征点,如面部特征点。该特征点集合还可以为该每一个人脸图像的局部特征点,如嘴唇特征点、眼部特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。该目标特征点可以为用于确定表情特征的多个特征点。并且,该目标特征点包括但不限于人脸图像的嘴唇特征点、眼睛特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。

需要说明的是,电子设备根据提取的目标特征点确定表情特征,包括但不限于至少以下任一项或多项:根据目标特征点间的距离值确定表情特征,根据目标特征点间距离的变化值确定表情特征,根据目标特征点间连线形成的夹角大小确定表情特征,或者根据目标特征点形成的夹角的变化值确定表情特征。

举例来说,如图3所示,在人脸图像a中提取的特征点集合可以为图中标记的60个特征点。电子设备可以从该60个特征点中提取目标特征点,如特征点其中,可以根据∠的大小确定表情特征。如若∠小于某个预置的夹角阈值,就可以确定该表情特征为微笑特征。若∠大于某个预置的夹角阈值,就可以确定该表情特征为悲伤特征。

又举例来说,若该提取的目标特征点为瞳孔两端的特征点、上嘴唇处如图3所示的特征点在瞳孔两端的特征点间的距离值的变化值大于预置的瞳孔距离变化值阈值,且嘴唇处∠大于某个预置的夹角阈值如则可以确定该表情特征为恐惧特征。

需要说明的是,该特征点集合包括但不限于图3中所标记的60个特征点,还可以为64个特征点、68个特征点、76个特征点等等。这个提取的特征点集合可以根据识别表情特征的精度以及其它需求进行调整。其中,本发明实施例对于特征点集合中标记的特征点的序号的先后顺序不做限定。

可选地,由于人脸图像的左半边脸图像和右半边脸图像具有一定相似度以及对称性,因此在提取特征点时,电子设备可以选取其中一半边脸的图像提取特征点集合,并基于该特征点集合提取目标特征点。

可选地,电子设备根据从特征点集合提取的目标特征点的不同,可以基于提取的不同的目标特征点来以组合的方式综合确定表情特征,以减少表情特征的判定误差。其中,电子设备可以基于目标特征点中的嘴唇特征点、鼻子特征点、眼睛特征点等特征点中任意两项或者多项,来综合判断表情特征是否为微笑特征。

进一步可选地,以嘴唇特征点和眼睛特征点为例,在该眼睛特征点间的夹角的值超过预置的夹角阈值时,且在该嘴唇特征点间的夹角的值小于预置的夹角阈值时,可以确定该表情特征为微笑特征。

举例来说,如图3所示,若眼睛特征点分别为该电子设备可以确定∠的值,且∠的值大于某个预置的夹角阈值,如c°。并且,若嘴唇特征点分别为该电子设备可以确定∠的值,且∠的值小于某个预置的夹角阈值,如b°。因此,∠的值大于某个预置的夹角阈值,且∠的值小于某个预置的夹角阈值时,可以确定该表情特征为微笑特征。

s203、当检测到所述每一个人脸图像的表情特征为拍照特征时,执行拍照操作。

需要说明的是,在步骤s202中,电子设备可以识别人脸的表情特征。在步骤s203中,电子设备可以在检测到每一个人脸图像的表情特征为拍照特征时,执行拍照操作。例如,当拍照特征为预设的微笑特征时,则可以执行拍照操作。

举例来说,该摄像头采集的图像中包括人脸图像a、人脸图像b、人脸图像c、人脸图像d。其中,摄像头检测到的人脸图像包括人脸图像a、人脸图像b、人脸图像c,那么电子设备就可以获取该人脸图像a、人脸图像b、人脸图像c,在识别到人脸图像a、人脸图像b、人脸图像c的表情特征为微笑特征时,则执行拍照操作。

本发明实施例中,该拍照特征可以为预设的表情特征和/或在检测到该每一个人脸图像的表情特征之间的差异值小于预设预置的特征。其中,该预设的特征,包括但不限于预设的微笑特征、愤怒特征、悲伤特征、开心特征、恐惧特征。

可选地,该差异值可以通过将各个人脸图像的表情特征进行匹配的方式获取,从而得到关于各表情特征的匹配结果,该匹配结果包括但不限于以数值的形式呈现,如百分数、数字。

举例来说,假设在识别到人脸图像a、人脸图像b、人脸图像c的表情特征为微笑特征时,且该人脸图像a、人脸图像b、人脸图像c之间的表情特征的差异值为10%。若预设阈值为25%,该20%<25%,则执行拍照。

可选地,该差异值可以通过将每一个人脸图像的表情特征与预设的表情特征进行匹配的方式获取。

进一步可选地,该差异值可以是获取的至少一个人脸图像中表情特征不符合预设的表情特征的人脸图像的数量值。

举例来说,假设在识别到人脸图像a、人脸图像b的表情特征为微笑特征时,人脸图像c的表情特征不为微笑特征,则该差异值就为2(个),若预设阈值为4(个),该2(个)<4(个),则执行拍照。

可选地,在确定该每一个人脸图像的表情特征为微笑特征时,还可以输出提示信息以提示用户。

可见,图2所示的实施例中,电子设备可以利用摄像头进行人脸检测,并可以识别获取至少一个人脸图像中每一个人脸图像的表情特征;当检测到该每一个人脸图像的表情特征为拍照特征时,执行拍照操作,使得拍照更加智能化。

请参阅图4,为本发明另一实施例提供的一种拍照方法的流程示意图。该方法可以应用于各个电子设备,如各个智能电子设备,该智能电子设备包括但不限于智能手机、平板电脑、智能照相机等具有拍照功能的智能电子设备。其中,该方法可以包括以下步骤:

s401、利用摄像头进行人脸检测,获得至少一个人脸图像;

s402、提取所述至少一个人脸图像中每一个人脸图像的特征点集合。

需要说明的是,在步骤s401中,电子设备通过摄像头采集当前所拍照的图像时,还可以利用该摄像头进行人脸检测,并获得至至少一个人脸图像。其中,人脸检测的方法包括但不限于基于特征的方法、基于统计的方法、模板匹配。

本发明实施例中,对于该电子设备上设置的摄像头的数量没有限制,包括但不限于单摄像头、双摄像头。

需要说明的是,在步骤s402中,电子设备提取该至少一个人脸图像中每一个人脸图像的特征点集合。该提取的特征点集合可以根据该人脸图像相应位置的特征得到。

本发明实施例中,该特征点集合可以为该每一个人脸图像的整体特征点,如面部特征点。该特征点集合还可以为该每一个人脸图像的局部特征点,如嘴唇特征点、眼部特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。该目标特征点可以为用于确定表情特征的多个特征点。

本发明实施例中,该表情特征包括但不限于以下任意一项或多项:微笑特征、愤怒特征、恐惧特征、悲伤特征。

s403、从所述每一个人脸图像的特征点集合中提取目标特征点。

需要说明的是,在步骤s403中,电子设备可以从该每一个人脸图像的特征点集合中提取目标特征点。在执行完步骤s403后,可以并列执行步骤s404、s406、s408。

需要说明的是,电子设备在提取目标特征点后,可以根据该目标特征点确定表情特征,包括但不限于至少以下任一项或多项:根据目标特征点间的距离值确定表情特征,根据目标特征点间距离的变化值确定表情特征,根据目标特征点间连线形成的夹角大小确定表情特征,或者根据目标特征点形成的夹角的变化值确定表情特征。

其中,该目标特征点包括但不限于人脸图像的嘴唇特征点、眼睛特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。

s404、获取所述每一个人脸图像的目标特征点中的嘴唇特征点的位置信息。

需要说明的是,在提取嘴唇特征点的位置信息的时候,可以获取整个嘴唇各个特征点的位置信息。

可选地,由于人体的面部基本左右对称,因此,电子设备还可以获取左半边嘴唇特征点的位置信息或者右半边嘴唇特征点的位置信息。其中,前述位置信息可以通过设定相应的坐标或向量来表示,本发明实施例在此不做赘述。

进一步可选地,该嘴唇特征点可以至少包括:上嘴唇下边缘中心点处特征点,上嘴唇左边唇角处特征点,在左边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘某点处特征点,一般取中点处特征点。

举例来说,如图3所示,该嘴唇特征点可以包括特征点其中,这三个特征点分别是上嘴唇左边唇角处特征点,上嘴唇下边缘中心点处特征点、在左边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘中点处特征点。

进一步可选地,该嘴唇特征点还可以至少包括:上嘴唇下边缘中心点处特征点,上嘴唇右边唇角处特征点,在右边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘某点处特征点,一般取中点处特征点。

举例来说,如图3所示,该嘴唇特征点可以包括特征点其中,这三个特征点分别是上嘴唇左边唇角处特征点,上嘴唇下边缘中心点处特征点、在左边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘中点处特征点。

需要说明的是,图3所标的序号仅为本发明示出的一种为了更好的提取各个特征点的标记方式,该序号的多少以及排序可以根据实际需要提取的特征点进行调整,本发明实施例对其不做限制。

s405、根据所述嘴唇特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,电子设备可以根据嘴唇特征点的位置信息,确定嘴唇特征点间的距离值变化值,以便可以根据该距离值变化值确定嘴唇肌肉的拉伸度,从而确定表情特征。

举例来说,如图3所示,若嘴唇特征点分别为对应位置信息分别为位置1、位置2、位置3,那么该电子设备可以根据位置1与位置3确定嘴唇特征点之间的距离值变化值。

进一步可选地,在该嘴唇特征点间的距离值变化值超过预置的嘴唇特征点间距离变化值阈值时,可以确定该表情特征为微笑特征。

举例来说,如图3所示,若嘴唇特征点之间的距离值变化值,超过预置的距离变化值阈值时,如超过3(mm),则可以确定该表情特征为微笑特征。

再举例来说,如图3所示,若唇特征点之间的距离值变化值,超过预置的距离变化值阈值时,如超过2(mm),则可以确定该表情特征为微笑特征。

可选地,电子设备可以根据嘴唇特征点的位置信息,确定嘴唇特征点间想成的夹角的值,以便可以根据该夹角的值确定表情特征。

举例来说,如图3所示,若嘴唇特征点分别为对应位置信息分别为位置1、位置2、位置3,那么该电子设备可以根据位置1、位置2、位置3确定∠的值。其中符号“∠”在数学中表示角。

进一步可选地,在该嘴唇特征点间的夹角的值超过预置的夹角阈值时,可以确定该表情特征为微笑特征。

举例来说,如图3所示,若∠的值小于某个预置的夹角阈值,如b°,就可以确定该表情特征为微笑特征。

可选地,电子设备可以根据嘴唇特征点的位置信息,确定嘴唇特征点间的夹角的变化值,以便可以根据该夹角的变化值确定表情特征。

举例来说,如图3所示,若嘴唇特征点分别为对应位置信息分别为位置1、位置2、位置3,那么该电子设备可以根据位置1、位置2、位置3确定∠的变化值。

进一步可选地,在该嘴唇特征点间的夹角变化值超过预置的夹角变化阈值时,可以确定该表情特征为微笑特征。

举例来说,如图3所示,若∠的变化值值小于某个预置的夹角变化阈值,如△a°,就可以确定该表情特征为微笑特征。

s406、获取所述每一个人脸图像的目标特征点中的眼睛特征点的位置信息。

需要说明的是,在提取嘴唇特征点的位置信息的时候,可以获取两只眼睛各个特征点的位置信息。

可选地,由于人体的面部基本左右对称,因此,电子设备还可以获取左眼特征点的位置信息或者右眼特征点的位置信息。进一步可选地,电子设备还可以获取左眼左半边眼睛的特征点的位置信息,或左眼右半边眼睛的位置信息。相应地,电子设备也还可以获取右眼右半边眼睛的特征点的位置信息,或右眼右半边眼睛的位置信息。其中,前述位置信息可以通过设定相应的坐标或向量来表示,本发明实施例在此不做赘述。

本发明实施例中,该左眼特征点可以至少包括:左眼上眼线中部特征点,左眼下眼线中部特征点。可选地,该左眼的特征点还可以包括眼角特征点,如左眼眼头特征点和/或左眼眼尾特征点。

举例来说,如图3所示,该左眼特征点至少包括特征点其中,这两个特征点分别是左眼上眼线中部特征点,左眼下眼线中部特征点。该左眼的特征点还可以包括其中,这两个特征点分别是左眼眼头特征点、左眼眼尾特征点。

进一步可选地,该嘴唇特征点还可以至少包括:右眼上眼线中部特征点,右眼下眼线中部特征点。可选地,该右眼的特征点还可以包括眼角特征点,如右眼眼头特征点和/或右眼眼尾特征点。

举例来说,如图3所示,该右眼特征点至少包括特征点其中,这两个特征点分别是右眼上眼线中部特征点,右眼下眼线中部特征点。该右眼的特征点还可以包括其中,这两个特征点分别是右眼眼头特征点、右眼眼尾特征点。

s407、根据所述眼睛特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,电子设备可以根据眼睛特征点的位置信息,确定眼睛特征点间的距离值,以便可以根据该距离值确定表情特征。

举例来说,如图3所示,若眼睛特征点分别为对应位置信息分别为位置4、位置5,那么该电子设备可以根据位置4与位置5确定眼睛特征点之间的距离值。

再举例来说,若眼睛特征点分别为对应位置信息分别为位置6、位置7,那么该电子设备可以根据位置6与位置7确定眼睛特征点之间的距离值。

进一步可选地,在该眼睛特征点间的距离值超过预置的眼睛特征点间距离阈值时,可以确定该表情特征为微笑特征。

举例来说,如图3所示,若眼睛特征点之间的距离值,超过预置的距离阈值时,如超过3(mm),则可以确定该表情特征为微笑特征。

再举例来说,如图3所示,若眼睛特征点之间的距离值,超过预置的距离变化值阈值时,如超过3(mm),则可以确定该表情特征为微笑特征。

可选地,电子设备可以根据眼睛特征点的位置信息,确定眼睛特征点间的夹角的值,以便可以根据该夹角的值确定表情特征。

举例来说,如图3所示,若眼睛特征点分别为对应位置信息分别为位置4、位置5、位置8,那么该电子设备可以根据位置4、位置8、位置5确定∠的值。

再举例来说,如图3所示,若眼睛特征点分别为对应位置信息分别为位置6、位置9、位置7,那么该电子设备可以根据位置6、位置9、位置7确定∠的值。

进一步可选地,在该眼睛特征点间的夹角的值超过预置的夹角阈值时,可以确定该表情特征为微笑特征。

举例来说,如图3所示,若∠的值大于某个预置的夹角阈值,如c°,就可以确定该表情特征为微笑特征。

再举例来说,如图3所示,若∠的值大于某个预置的夹角阈值,如c°,就可以确定该表情特征为微笑特征。

s408、获取所述每一个人脸图像的目标特征点中的鼻子特征点的位置信息。

需要说明的是,在提取鼻子特征点的位置信息的时候,可以获取整个鼻子各个特征点的位置信息。

可选地,由于人体的面部基本左右对称,因此,电子设备还可以获取左半边鼻子特征点的位置信息或者右半边鼻子特征点的位置信息。其中,前述位置信息可以通过设定相应的坐标或向量来表示,本发明实施例在此不做赘述。

进一步可选地,该鼻子特征点可以至少包括:左半边鼻子左下方边缘处特征点,左半边鼻子左下方边缘处与右半边鼻子右下方边缘处之间的中点处特征点。该鼻子特征点还可以包括右半边鼻子右下方边缘处特征点。

举例来说,如图3所示,该鼻子特征点可以包括特征点其中,这两个特征点分别是左半边鼻子左下方边缘处特征点,左半边鼻子左下方边缘处与右半边鼻子右下方边缘处之间的中点处特征点。

再举例来说,如图3所示,该嘴唇特征点可以包括特征点其中,这两个特征点分别右半边鼻子右下方边缘处特征点,左半边鼻子左下方边缘处与右半边鼻子右下方边缘处之间的中点处特征点。

s409、根据所述鼻子特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,电子设备可以根据鼻子特征点的位置信息,确定鼻子特征点间的距离值变化值,以便可以根据该距离值变化值确定表情特征。

举例来说,如图3所示,若鼻子特征点分别为对应位置信息分别为位置10、位置11,那么该电子设备可以根据位置10与位置11确定鼻子特征点之间的距离值变化值。

再举例来说,若鼻子特征点分别为对应位置信息分别为位置12、位置11,那么该电子设备可以根据位置12与位置11确定鼻子特征点之间的距离值变化值。

又举例来说,若鼻子特征点分别为对应位置信息分别为位置12、位置10,那么该电子设备可以根据位置12与位置10确定鼻子特征点之间的距离值变化值。

进一步可选地,在该鼻子特征点间的距离值变化值超过预置的鼻子特征点间距离变化阈值时,可以确定该表情特征为微笑特征。

举例来说,如图3所示,若鼻子特征点之间的距离值变化值,超过预置的距离变化阈值时,如超过△d(mm),则可以确定该表情特征为微笑特征。

再举例来说,如图3所示,若鼻子特征点之间的距离值变化值,超过预置的距离变化阈值时,如超过△d(mm),则可以确定该表情特征为微笑特征。

又举例来说,如图3所示,若鼻子特征点之间的距离值变化值,超过预置的距离变化阈值时,如超过△e(mm),则可以确定该表情特征为微笑特征。

s410、当检测到所述每一个人脸图像的表情特征为拍照特征时,执行拍照操作。

需要说明的是,在步骤s202中,电子设备可以识别人脸的表情特征。在步骤s203中,电子设备可以在检测到每一个人脸图像的表情特征为拍照特征时,执行拍照操作。例如,当拍照特征为微笑特征时,则可以执行拍照操作。

举例来说,该摄像头采集的图像中包括人脸图像a、人脸图像b、人脸图像c、人脸图像d。其中,摄像头检测到的人脸图像包括人脸图像a、人脸图像b、人脸图像c,那么电子设备就可以获取该人脸图像a、人脸图像b、人脸图像c,在识别到人脸图像a、人脸图像b、人脸图像c的表情特征为微笑特征时,则执行拍照操作。

本发明实施例中,该拍照特征可以为预设的表情特征和/或在检测到该每一个人脸图像的表情特征之间的差异值小于预设预置的特征。其中,该预设的特征,包括但不限于预设的微笑特征、愤怒特征、悲伤特征、开心特征、恐惧特征。

可选地,该差异值可以通过将各个人脸图像的表情特征进行匹配的方式获取,从而得到关于各表情特征的匹配结果,该匹配结果包括但不限于以数值的形式呈现,如百分数、数字。

可选地,该差异值可以通过将每一个人脸图像的表情特征与预设的表情特征进行匹配的方式获取。

进一步可选地,该差异值可以是获取的至少一个人脸图像中表情特征不符合预设的表情特征的人脸图像的数量值。

可选地,在确定该每一个人脸图像的表情特征为微笑特征时,还可以输出提示信息以提示用户。

在一个实施例中,步骤s404、s406、s408之间还可以是递进关系,即可以根据嘴唇特征点的位置信息、眼睛特征点的位置信息以及鼻子特征信息中任意两项或者多项来确定每一个人脸图像的表情特征。

可见,图4所示的实施例中,电子设备可以利用摄像头进行人脸检测,并可以识别获取至少一个人脸图像中每一个人脸图像的表情特征;当检测到该每一个人脸图像的表情特征为拍照特征时,执行拍照操作,使得拍照更加智能化。

请参阅图5,为本发明第一实施例提供的一种拍照装置的结构示意图。具体地,该装置可以应用于各种电子设备,包括但不限于平板电脑、智能手机、智能照相机等具有拍照功能的智能终端。具体地,该装置可以包括:

获取模块501,用于利用摄像头进行人脸检测,获得至少一个人脸图像;

识别模块502,用于识别所述至少一个人脸图像中每一个人脸图像的表情特征;

拍照模块503,用于当检测到所述每一个人脸图像的表情特征为拍照特征时,执行拍照操作。

本发明实施例中,该表情特征可以用于判定是否执行拍照操作。其中,该表情特征可以是微笑特征,还可以是愤怒特征、悲伤特征、恐惧特征等多种情绪的特征。其中,除微笑特征外的其它情绪的特征也可以利用本发明实施例所提供的装置执行相应功能。

可选地,该拍照特征为预设的表情特征,以及该每一个人脸图像的表情特征之间的差异值小于预设阈值的特征。

可选地,所述识别模块502,具体用于提取所述至少一个人脸图像中每一个人脸图像的特征点集合;从所述每一个人脸图像的特征点集合中提取目标特征点;根据所述每一个人脸图像的目标特征点确定表情特征。

本发明实施例中,该特征点集合可以为该每一个人脸图像的整体特征点,如面部特征点。该特征点集合还可以为该每一个人脸图像的局部特征点,如嘴唇特征点、眼部特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。该目标特征点可以为用于确定表情特征的多个特征点。并且,该目标特征点包括但不限于人脸图像的嘴唇特征点、眼睛特征点、鼻子特征点、眉毛特征点、面部其它区域特征点。

可选地,所述识别模块502包括:第一获取单元5021,用于获取所述每一个人脸图像的目标特征点中的嘴唇特征点的位置信息;第一确定单元5022,用于根据所述嘴唇特征点的位置信息确定所述每一个人脸图像的表情特征。

进一步可选地,该嘴唇特征点可以至少包括:上嘴唇下边缘中心点处特征点,上嘴唇左边唇角处特征点,在左边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘某点处特征点,一般取中点处特征点。

进一步可选地,该嘴唇特征点还可以至少包括:上嘴唇下边缘中心点处特征点,上嘴唇右边唇角处特征点,在右边唇角与该上嘴唇下边缘中心点间的上嘴唇下边缘某点处特征点,一般取中点处特征点。

可选地,所述识别模块502包括:第二获取单元5023,用于获取所述每一个人脸图像的目标特征点中的眼睛特征点的位置信息;第二确定单元5024,用于根据所述眼睛特征点的位置信息确定所述每一个人脸图像的表情特征。

由于人体的面部基本左右对称,因此,识别模块502还可以获取左眼特征点的位置信息或者右眼特征点的位置信息。进一步可选地,识别模块502还可以获取左眼左半边眼睛的特征点的位置信息,或左眼右半边眼睛的位置信息。相应地,识别模块502也还可以获取右眼右半边眼睛的特征点的位置信息,或右眼右半边眼睛的位置信息。其中,前述位置信息可以通过设定相应的坐标或向量来表示,本发明实施例在此不做赘述。

可选地,所述识别模块502包括:第三获取单元5025,用于获取所述每一个人脸图像的目标特征点中的鼻子特征点的位置信息;第三确定单元5026,用于根据所述鼻子特征点的位置信息确定所述每一个人脸图像的表情特征。

进一步可选地,识别模块502还可以仅获取左半边鼻子特征点的位置信息或者右半边鼻子特征点的位置信息。其中,前述位置信息可以通过设定相应的坐标或向量来表示,本发明实施例在此不做赘述。该鼻子特征点可以至少包括:左半边鼻子左下方边缘处特征点,左半边鼻子左下方边缘处与右半边鼻子右下方边缘处之间的中点处特征点。该鼻子特征点还可以包括右半边鼻子右下方边缘处特征点。

可见,图5所示的实施例中,终端可以利用摄像头进行人脸检测,并可以识别获取至少一个人脸图像中每一个人脸图像的表情特征;当检测到该每一个人脸图像的表情特征为拍照特征时,执行拍照操作,使得拍照更加智能化。

请参阅图6,为本发明实施例提供的一种电子设备的结构示意图。该电子设备包括但不限于平板电脑、智能手机、智能照相机等具备照相功能的电子设备。具体地,该电子设备可以包括:至少一个处理器601,例如中央处理器(centralprocessingunit,cpu),至少一个通信接口602,至少一个通信总线603,存储器604。其中,通信接口602可以包括摄像头、显示屏(display)、键盘(keyboard),可选地,通信接口602还可以包括标准的有线接口、无线接口。其中,通信总线603用于实现这些组件之间的连接通信。存储器604可以是随机存取存储器(randomaccessmemory,ram),也可以是非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。存储器604,可选地,还可以是至少一个位于远离前述处理器601的存储装置。其中,存储器604中可以存储一组程序代码,处理器601可以结合图5所描述的装置,调用存储器604中存储的程序代码,以用于执行一种请求处理方法,即用于执行以下操作:

利用摄像头进行人脸检测,获得至少一个人脸图像;

识别所述至少一个人脸图像中每一个人脸图像的表情特征;

当检测到所述每一个人脸图像的表情特征为拍照特征时,执行拍照操作。

可选地,处理器601调用存储器604中的程序代码,所述识别所述至少一个人脸图像中每一个人脸图像的表情特征,用于执行以下操作:

提取所述至少一个人脸图像中每一个人脸图像的特征点集合;

从所述每一个人脸图像的特征点集合中提取目标特征点;

根据所述每一个人脸图像的目标特征点确定表情特征。

可选地,处理器601调用存储器604中的程序代码,所述根据所述每一个人脸图像的目标特征点确定表情特征,用于执行以下操作:

获取所述每一个人脸图像的目标特征点中的嘴唇特征点的位置信息;

根据所述嘴唇特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,处理器601调用存储器604中的程序代码,所述根据所述每一个人脸图像的目标特征点确定表情特征,还用于执行以下操作:

获取所述每一个人脸图像的目标特征点中的眼睛特征点的位置信息;

根据所述眼睛特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,处理器601调用存储器604中的程序代码,所述根据所述每一个人脸图像的目标特征点确定表情特征,还用于执行以下操作:

获取所述每一个人脸图像的目标特征点中的鼻子特征点的位置信息;

根据所述鼻子特征点的位置信息确定所述每一个人脸图像的表情特征。

可选地,所述拍照特征为预设的表情特征,以及所述每一个人脸图像的表情特征之间的差异值小于预设阈值的特征。

本发明实施例提供了一种计算机程序产品,其中,当该计算机程序产品中的指令由处理器执行时,可以执行如本申请图1、图2、图4实施例中所示的拍照方法。

本发明实施例还提供了一种存储介质,该存储介质用于存储应用程序,所述应用程序用于在运行时执行本发明实施例所述的拍照方法。

可见,图6所示的实施例中,终端可以利用摄像头进行人脸检测,并可以识别获取至少一个人脸图像中每一个人脸图像的表情特征;当检测到该每一个人脸图像的表情特征为拍照特征时,执行拍照操作,使得拍照更加智能化,改善了拍照效果。

以上对本发明实施例公开的一种拍照方法、装置、电子设备及存储介质行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解,尽管在本申请实施例中可能采用术语“第一”、“第二”、“第三”等来描述各种连接端口和标识信息等,但这些连接端口和标识信息等不应限于这些术语。这些术语仅用来将连接端口和标识信息等彼此区分开。例如,在不脱离本申请实施例范围的情况下,第一连接端口也可以被称为第二连接端口,类似地,第二连接端口也可以被称为第一连接端口。

取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(readonlymemory;以下简称:rom)、随机存取存储器(randomaccessmemory;以下简称:ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1