基于表情的拍照方法、计算机可读存储介质及终端设备与流程

本发明属于计算机技术领域，尤其涉及一种基于表情的拍照方法、计算机可读存储介质及终端设备。

背景技术：

随着各种移动智能终端的快速发展，终端上的摄像头像素越来越高，使得越来越多的用户倾向使用移动智能终端进行拍照。各大终端厂商为满足用户的拍照需求，对终端硬件不断更新，以提高照片的拍摄质量。

然而，用户拍照质量的好坏，除依赖于终端的像素水平等硬件因素，还依赖于用户的拍照水平。但是，用户在使用智能终端拍照的瞬间，可能会由于各种因素导致拍到的面部表情不自然，如眼睛没有睁开、笑容僵硬等。尤其是当用户自拍时，多采用按键或定时，自拍时的单手操作使得智能拍照终端发生抖动导致照片模糊，或在拍照瞬间表情控制不好导致自拍表情不满意。

技术实现要素：

有鉴于此，本发明实施例提供了一种基于表情的拍照方法、计算机可读存储介质及终端设备，以解决现有技术中移动终端不能根据用户表情控制拍照的问题。

本发明实施例的第一方面提供了一种基于表情的拍照方法，包括：

采集对焦后的预览图像，并将所述预览图像存储至第一缓存空间；

对所述预览图像进行人脸检测和定位，获取所述预览图像中的人脸部分；

对所述人脸部分的至少一个预设部位进行特征分析，确定所述至少一个预设部位的状态，针对所述至少一个预设部位中的任一预设部位，若所述预设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

采集对焦后的预览图像，并将所述预览图像存储至第一缓存空间；

对所述预览图像进行人脸检测和定位，获取所述预览图像中的人脸部分；

对所述人脸部分的至少一个预设部位进行特征分析，确定所述至少一个预设部位的状态，针对所述至少一个预设部位中的任一预设部位，若所述预设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

采集对焦后的预览图像，并将所述预览图像存储至第一缓存空间；

对所述预览图像进行人脸检测和定位，获取所述预览图像中的人脸部分；

对所述人脸部分的至少一个预设部位进行特征分析，确定所述至少一个预设部位的状态，针对所述至少一个预设部位中的任一预设部位，若所述预设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。

本发明提供了一种基于表情的拍照方法、计算机可读存储介质及终端设备，该方法包括：采集对焦后的预览图像，并将预览图像存储至第一缓存空间；对预览图像进行人脸检测和定位，获取预览图像中的人脸部分；对人脸部分的至少一个预设部位进行特征分析，确定至少一个预设部位的状态；针对至少一个预设部位中的任一预设部位，若所述预设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。本发明通过对预览表情进行实时分析，当符合预设拍照条件时开启拍照模块进行拍照，提高了用户拍照的满意度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于表情的拍照方法的流程示意图；

图2为本发明实施例提供的另一种基于表情的拍照方法的流程示意图；

图3为本发明实施例提供的又一种基于表情的拍照方法的流程示意图；

图4为本发明实施例提供的一种基于表情的拍照装置的结构框图；

图5为本发明实施例提供的一种基于表情的拍照终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

本发明实施例提供一种基于表情的拍照方法。结合图1，该方法包括：

s101，采集对焦后的预览图像，并将所述预览图像存储至第一缓存空间。

具体的，预览图像为显示在拍照界面上的取景图像，采集对焦后的预览图像，并将预览图像存储至第一缓存空间。

s102，对所述预览图像进行人脸检测和定位，获取所述预览图像中的人脸部分。

人脸检测和定位是指在预览图像中检测并定位到被拍摄者的人脸图像，然后框出被拍摄者的人脸部分，目前的人脸检测方法有基于几何特征的算法、基于adaboost算法以及基于神经网络的算法，其中，adaboost算法是经典的机器学习类算法，应用于人脸检测中具有很好的检测效果。

进一步的，为保证能够更加准确的获取人脸图像的预设部位的特征，在进行人脸检测和定位之后，本发明提供的方法还包括：在检测并框出被拍摄者的人脸图像后，对人脸图像进行去除旋转、遮挡等因素的影响，以实现对人脸预设部位特征的准确定位和分析。

s103，对所述人脸部分的至少一个预设部位进行特征分析，确定所述至少一个预设部位的状态，针对所述至少一个预设部位中的任一预设部位，若所述预设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。

获取被拍摄者的人脸图像后，对人脸图像的至少一个预设部位进行特征分析，获取被拍摄者当前的至少一个预设部位的状态。如所述至少一个预设部位为嘴部，则对被拍摄者的人脸图像的嘴部进行特征分析，通过分析嘴部上下嘴唇的位置坐标、上下唇之间的距离以及有无白色像素点等特征，判断当前嘴部状态为打开状态，或是闭合状态。若针对嘴部这一预设部位的预设状态为闭合状态，通过对当前被拍摄者的嘴部特征分析得到当前被拍摄者的嘴部状态为闭合状态，则判断被拍摄者预设部位的状态符合预设状态，则开启拍照模块进行拍照。

或者，在预设图像库中预存储多张被拍摄者的预选的满意度较高的自拍图像，对预设图像库中的每一张人脸图像进行预设部位的特征分析，获取每张图像的预设部位的状态。如预设部位为眼部和嘴部，预设图像库中包含两张被拍摄者的自拍图像，一张图像中自拍者眼部和嘴部的状态分别为眼部睁开、嘴部闭合，另一张图像中自拍者的眼部特征为眼部闭合，嘴部特征为张开状态，则若检测到预览图像中的被拍摄者的人脸的预设部位状态，即嘴部和眼部的状态，符合上述预设图像库中的两张图像中任一张人脸图像的嘴部和眼部的状态时，则开启拍照模块进行拍照，即若被拍摄者的眼部状态和嘴部状态分别符合眼部睁开，嘴部闭合时，开启拍照模块进行拍照，或符合眼部闭合，嘴部张卡时，开启拍照模块进行拍照。

本发明提供了一种基于表情的拍照方法，该方法包括：采集对焦后的预览图像，并将预览图像存储至第一缓存空间；对预览图像进行人脸检测和定位，获取预览图像中的人脸部分；对人脸部分的至少一个预设部位进行特征分析，确定至少一个预设部位的状态；针对至少一个预设部位中的任一预设部位，若预所述设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。本发明通过对预览表情进行实时分析，当符合预设拍照条件时开启拍照模块进行拍照，提高了用户拍照的满意度。

进一步的，结合图2，本发明实施例还提供了一种基于表情的拍照方法，该方法包括：

s201，采用连续拍照模式获取第一预设数量的图像，并将所述第一预设数量的图像放入第二缓存空间，所述第二缓存空间划分了多个不同类型的表情所对应的存储区域。

在本发明实施例中，为进一步提高用户的拍照体验，在开启拍照模块进行拍照之后，采用连续拍照的方式在预设时间内获取第一预设数量的图像，例如以每秒15帧的速度在开启拍照模块之后的4秒内获得60张用户的图像，并将获取到的第一预设数量的图像放入第二缓存空间。

s202，通过人脸表情分类器对所述第一预设数量的图像进行表情分类，针对任一类型的表情，将所述类型的表情所对应的图像存储至所述第二缓存空间中所述类型所对应的存储区域中，其中，所述人脸表情分类器是通过第一训练集对卷积神经网络图像分类模型进行训练得到的，所述第一训练集包括预设人脸表情数据库中的多个人脸表情图像以及经过标注的所述多个人脸表情图像中任一人脸表情图像所对应的表情的类型。

通过人脸表情分类器对步骤s201得到的第一预设数量的图像进行表情分类，并将按照分类结果将图像放入其类型所对应的存储区域中。通过这种方法，对用户拍照过程中连续获得的多个图像进行分类，以实现用户对所拍摄照片的分类管理。

具体的，预定义表情的类型，并对预设人脸表情数据库中的人脸表情进行人工分类，针对所述预设人脸表情数据库中的任一人脸表情，标注所述人脸表情所对应的表情的类型，获取第一训练集。

预定义表情类型，可选的，将人脸表情的类型分为喜悦、愤怒、平静、惊讶、厌恶、恐惧、悲伤、搞怪等多种类型。对预设人脸表情数据库中的人脸表情进行人工分类及标注，得到第一训练集。

在本发明实施例中，采用卷积神经网络对第一训练集进行学习，得到人脸表情分类器。卷积神经网络的优点是在进行图像识别的过程中不需要对图像进行特征提取，可以直接将二维图像作为模型的输入，将预定义表情类型中的一种作为书橱，提高了人脸表情分类的速度，适用于本发明实施例的应用场景。

为进一步提高用户的拍照体验，使用户在一次拍照过程中即可获得满意度较高的照片，本发明实施例还包括：根据用户预选取的表情的类型，将所述第二缓存区域中所述预选取的表情的类型所对应的图像存储至内存中，并删除所述第二缓存空间中的图像。

例如，用户预选择满意的表情类型，如用户对类型为喜悦或平静的照片的满意度较高，则在完成步骤s202之后，将用户预选择的满意度较高的类型的照片存储至内存区域，然后删除第二缓存区域中步骤s201所得到的第一预设数量的图像，只在内存中保留用户满意度较高的类型的图像，从而进一步提高了用户对拍照结果的满意度。

本发明实施例提供了一种基于表情的拍照方法，通过采用连续拍照模式在预设时间内获取多张包含用户人脸图像的照片，并对用户的表情进行分类，并按照分类结果对所拍摄的照片分类存储。进一步的，用户可以选择满意度较高的表情的类型，系统通过分类结果只保留用户满意度较高的表情类型所对应的照片而自动删除其他类型的照片，进一步保证了用户能够获得满意度较高的照片。

进一步的，结合图3，本发明实施例还提供了一种基于表情的拍照方法，该方法包括：

s301，采用连续拍照模式获取第二预设数量的图像，并将第二预设数量的图像放入第三缓存空间。

本步骤的具体实现方式可参见上述实施例中的步骤s201，本发明实施例对此不再赘述。

s302，通过人脸表情满意度评价器对所述第二预设数量的人脸图像进行满意度评价，并将满意度超过预设值的图像存储至内存中，并删除所述第三缓存空间中的图像，其中，所述人脸表情满意度评价器是通过第二训练集对深度神经网络模型进行训练得到的，所述第二训练集包括预设人脸表情数据库中的多个人脸表情图像以及经过标注的所述多个人脸表情图像中任一人脸表情图像所对应的满意度的值。

具体的，可通过haar-like算法对人脸表情进行特征提取，该算法是计算机视觉领域常用的特征提取算法。并且，针对预设人脸表情数据库中的任一人脸表情，可通过如下方法获取该人脸表情所对应的满意度的值：分别获取多个用户对所述人脸表情的满意度的评价值；将所述多个用户对所述人脸表情的满意度的评价值求平均值，得到所述人脸表情所对应的满意度的值。

需要说明的是，通过上述方法得到满意度的值为多个预设值中的一个，如满意度的值为1-10之间的任意一个整数，若评价值的平均值为4.95，则需要通过四舍五入或其他方式得到该满意度的值为所述预设值中的一个，如对4.95进行四舍五入得到该满意度的值为5。

通过深度神经网络模型对第二训练集进行学习，得到人脸表情满意度评价器。

通过人脸表情满意度评价器对第二预设数量的人脸图像进行满意度评价，人脸表情满意度评价器的输入为第二预设数量的人脸图像中任一图像所对应的特征向量，输出为该人脸图像所对应的评价值，该评价值为本步骤中的预设值中的一个。

进一步的，将第三缓存空间中满意度高于预设值的图像存储至内存中，然后删除第三缓存空间中的图像，使得用户最终得到的图像都是满意度较高的图像，提高了用户的拍照体验。

本发明实施例提供了一种基于表情的拍照方法，该方法通过构建人脸表情满意度评价器，对连续获取的包含用户表情的多张图像进行表情评价，只保留满意度高于预设值的表情图像，删除满意度低于预设值的表情图像，使得用户最终的得到的图像是满意度较高的图像，提高了用户一次拍照的成功率，保证了用户的拍照体验。

进一步的，针对图2所对应的实施例和图3所对应的实施例中的预设人脸表情数据库，本发明实施例还提供一种获取该预设人脸表情数据库的方法，该方法包括：通过网络爬虫爬取第三预设数量的自拍图像，并对所述第三预设数量的自拍图像进行人脸检测和定位，得到每张自拍图像中的人脸部分所对应的人脸表情图像，获得所述预设人脸表情数据库。

具体的，本发明实施例通过网络爬虫从互联网爬取数据，选择开源爬虫框架scrapy进行自拍数据图像的抓取，网络爬虫主要爬取搜索引擎、社交类网站和特定领域类的网站，通过关键词如“自拍”等从上述网站检索自拍图像，分析网页元素，找到图像路径并下载图像资源，并对获得的图像进行人脸表情检测和定位，得到所述人脸表情数据库。

进一步的，通过网络爬虫爬取到的图像可能包含大量的重复资源，从而在实施上述如图2和图3所示的实施例的过程中浪费大量的计算资源，为保证预设人脸表情数据库中的人脸图像的唯一性，本发明实施例还提供了一种解决方法，包括：依次计算所述第三预设数量的自拍图像中每个自拍图像的md5值；若存在至少两张自拍图像的md5值相同，则保留所述至少两张自拍图像中的任意一张自拍图像，并删除所述至少两张自拍图像中的其他自拍图像。

图4为本发明实施例提供的一种基于表情的拍照装置示意图，结合图4，该装置包括：采集单元41，获取单元42和分析单元43；

所述采集单元41，用于采集对焦后的预览图像，并将所述预览图像存储至第一缓存空间；

所述获取单元42，用于对所述预览图像进行人脸检测和定位，获取所述预览图像中的人脸部分；

所述分析单元43，用于对所述人脸部分的至少一个预设部位进行特征分析，确定所述至少一个预设部位的状态，针对所述至少一个预设部位中的任一预设部位，若所述预设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。

进一步的，该装置还包括分类单元44；

采集单元41还用于：采用连续拍照模式获取第一预设数量的图像，并将所述第一预设数量的图像放入第二缓存空间，所述第二缓存空间划分了多个不同类型的表情所对应的存储区域；

分类单元44，用于通过人脸表情分类器对所述第一预设数量的图像进行表情分类，针对任一类型的表情，将所述类型的表情所对应的图像存储至所述第二缓存空间中所述类型所对应的存储区域中，其中，所述人脸表情分类器是通过第一训练集对卷积神经网络图像分类模型进行训练得到的，所述第一训练集包括预设人脸表情数据库中的多个人脸表情图像以及经过标注的所述多个人脸表情图像中任一人脸表情图像所对应的表情的类型。

进一步的，采集单元41还用于：根据用户预选取的表情的类型，将所述第二缓存空间中所述预选取的表情的类型所对应的存储区域中的图像存储至内存中，并删除所述第二缓存空间中的图像。

进一步的，该装置还包括评价单元45，采集单元41还用于：采用连续拍照模式获取第二预设数量的图像，并将所述第二预设数量的图像放入第三缓存空间；

评价单元45，用于通过人脸表情满意度评价器对所述第二预设数量的人脸图像进行满意度评价，并将满意度超过预设值的图像存储至内存中，并删除所述第三缓存空间中的图像，其中，所述人脸表情满意度评价器是通过第二训练集对深度神经网络模型进行训练得到的，所述第二训练集包括预设人脸表情数据库中的多个人脸表情图像以及经过标注的所述多个人脸表情图像中任一人脸表情图像所对应的满意度的值。

进一步的，评价单元45还用于：针对所述多个人脸表情图像中的任一人脸表情图像，获取多个用户对所述人脸表情图像的满意度的评价值；将所述多个用户对所述人脸表情图像的满意度的评价值求平均值，得到所述人脸表情所对应的满意度的值。

进一步的，该装置还包括爬取单元46，用于通过网络爬虫爬取第三预设数量的自拍图像；对所述第三预设数量的自拍图像进行人脸检测和定位，得到每张自拍图像中的人脸部分所对应的人脸表情图像，获得所述预设人脸表情数据库。

进一步的，所述爬取单元46还用于：依次计算所述第三预设数量的自拍图像中每个自拍图像的md5值；若存在至少两张自拍图像的md5值相同，则保留所述至少两张自拍图像中的任意一张自拍图像，并删除所述至少两张自拍图像中的其他自拍图像。

本发明实施例提供了一种基于表情的拍照装置，采集对焦后的预览图像，并将预览图像存储至第一缓存空间；对预览图像进行人脸检测和定位，获取预览图像中的人脸部分；对人脸部分的至少一个预设部位进行特征分析，确定至少一个预设部位的状态；针对至少一个预设部位中的任一预设部位，若所述预设部位的状态符合所述预设部位所对应的预设状态，或符合预设图像库中任一人脸图像中的所述预设部位的状态，则开启拍照模块进行拍照。本发明通过对预览表情进行实时分析，当符合预设拍照条件时开启拍照模块进行拍照，提高了用户拍照的满意度。

图5为本发明实施例提供的基于表情的拍照终端设备的示意图。如图5所示，该实施例的终端设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如基于表情的拍照程序。所述处理器50执行所述计算机程序52时实现上述各个基于表情的拍照方法实施例中的步骤，例如图1所示的步骤101至103，或图2所示的步骤201至202。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示模块/单元41至46的功能。

示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。

所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器50可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述基于表情的拍照方法的步骤。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。