一种处理照片造型的方法、装置和计算机可读存储介质与流程

文档序号:14873638发布日期:2018-07-07 03:10阅读:194来源:国知局

本发明涉及图像处理领域,尤其涉及一种处理照片造型的方法、装置和计算机可读存储介质。



背景技术:

随着智能手机、平板电脑等移动智能终端的广泛普及,用户习惯通过这些移动智能终端进行拍照,尤其是功能越来越强大的自拍,在拍照时为了体现效果,许多用户喜欢将各种萌萌、可爱或搞怪等造型添加到自拍的照片上,然后,在预览区域再预览这些添加了造型的照片。

然而,现有的造型添加方法都需要用户手动预先选定,然后叠加在用户人脸照片上,而且如果预览区域存在多个人脸照片时只能使用同一个造型逐个逐个地叠加。这种手动叠加造型的方式不仅费时费力,而且造型添加到照片上可能难以达到预期的效果。

上述问题,目前业界尚无较好的解决方案。



技术实现要素:

本发明实施例的主要目的在于提供一种处理照片造型的方法、装置和计算机可读存储介质,以自动为用户的照片添加满意的造型。

为实现上述目的,本发明实施例第一方面提供一种处理照片造型的方法,所述方法包括:

采集图像数据;

判断所述图像数据是否包含人脸照片;

若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,所述神态信息包括表情和/或年龄;

将所述与神态信息匹配对应的造型叠加至所述人脸照片。

结合本发明实施例第一方面,在第一方面的第一种实施方式中,所述判断所述图像数据是否包含人脸照片,包括:

提取所述图像数据中的人脸特征信息;

若所述人脸特征信息超过预设阈值,则确定所述图像数据中包含人脸照片。

结合本发明实施例第一方面,在第一方面的第二种实施方式中,所述所述若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,包括:

将所述人脸照片输入神态识别模型以输出神态信息;

根据所述神态识别模型输出的神态信息,从造型数据库中挑选与所述神态信息匹配的造型。

结合本发明实施例第一方面,在第一方面的第三种实施方式中,所述若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,包括:

将所述人脸照片输入神态识别模型以输出神态信息以及与所述输出神态信息对应的造型。

结合本发明实施例第一方面、第一方面的第一种实施方式、第二种实施方式或第三种实施方式,在第一方面的第四种实施方式中,所述方法还包括:

训练神态识别模型。

为实现上述目的,本发明实施例第二方面提供一种处理照片造型的装置,所述装置包括:

采集模块,用于采集图像数据;

判断模块,用于判断所述图像数据是否包含人脸照片;

匹配模块,用于若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,所述神态信息包括表情和/或年龄;

叠加模块,用于将所述与神态信息匹配对应的造型叠加至所述人脸照片。

结合本发明实施例第二方面,在第二方面的第一种实施方式中,所述判断模块包括:

特征提取单元,用于提取所述图像数据中的人脸特征信息;

确定单元,用于若所述人脸特征信息超过预设阈值,则确定所述图像数据中包含人脸照片。

结合本发明实施例第二方面,在第二方面的第二种实施方式中,所述匹配模块包括:

第一输出单元,用于将所述人脸照片输入神态识别模型以输出神态信息;

选择单元,用于根据所述神态识别模型输出的神态信息,从造型数据库中挑选与所述神态信息匹配的造型。

结合本发明实施例第二方面,在第二方面的第三种实施方式中,所述匹配模块包括:

第二输出单元,用于将所述人脸照片输入神态识别模型以输出神态信息以及与所述输出神态信息对应的造型。

为实现上述目的,本发明实施例第三方面提供一种移动终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下方法的步骤:

采集图像数据;

判断所述图像数据是否包含人脸照片;

若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,所述神态信息包括表情和/或年龄;

将所述与神态信息匹配对应的造型叠加至所述人脸照片。

结合本发明实施例第三方面,在第三方面的第一种实施方式中,所述判断所述图像数据是否包含人脸照片,包括:

提取所述图像数据中的人脸特征信息;

若所述人脸特征信息超过预设阈值,则确定所述图像数据中包含人脸照片。

结合本发明实施例第三方面,在第三方面的第二种实施方式中,所述所述若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,包括:

将所述人脸照片输入神态识别模型以输出神态信息;

根据所述神态识别模型输出的神态信息,从造型数据库中挑选与所述神态信息匹配的造型。

结合本发明实施例第三方面,在第三方面的第三种实施方式中,所述若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,包括:

将所述人脸照片输入神态识别模型以输出神态信息以及与所述输出神态信息对应的造型。

结合本发明实施例第三方面、第三方面的第一种实施方式、第二种实施方式或第三种实施方式,在第三方面的第四种实施方式中,所述方法还包括:

训练神态识别模型。

为实现上述目的,本发明实施例第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如下方法的步骤:

采集图像数据;

判断所述图像数据是否包含人脸照片;

若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,所述神态信息包括表情和/或年龄;

将所述与神态信息匹配对应的造型叠加至所述人脸照片。

结合本发明实施例第四方面,在第四方面的第一种实施方式中,所述判断所述图像数据是否包含人脸照片,包括:

提取所述图像数据中的人脸特征信息;

若所述人脸特征信息超过预设阈值,则确定所述图像数据中包含人脸照片。

结合本发明实施例第四方面,在第四方面的第二种实施方式中,所述所述若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,包括:

将所述人脸照片输入神态识别模型以输出神态信息;

根据所述神态识别模型输出的神态信息,从造型数据库中挑选与所述神态信息匹配的造型。

结合本发明实施例第四方面,在第四方面的第三种实施方式中,所述若所述图像数据包含人脸照片,则为所述人脸照片中人脸的神态信息匹配对应的造型,包括:

将所述人脸照片输入神态识别模型以输出神态信息以及与所述输出神态信息对应的造型。

结合本发明实施例第四方面、第四方面的第一种实施方式、第二种实施方式或第三种实施方式,在第四方面的第四种实施方式中,所述方法还包括:

训练神态识别模型。

从上述本发明实施例提供的技术方案可知,在判断图像数据是含人脸照片后,为所述人脸照片中人脸的神态信息匹配对应的造型。由于为人脸照片中人脸的神态信息匹配对应的造型的过程基于算法进行,因此,与现有技术靠人工添加造型叠加到人脸照片相比,本发明提供的技术方案实现了造型的自动添加,不仅可以减少人力,而且可以为当前的神态信息匹配到合适的造型,使得效果与用户的预期更加接近。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的移动终端的结构框图;

图2为本发明实施例提供的处理照片造型的方法的流程图;

图3为本发明另一实施例提供的处理照片造型的方法的流程图;

图4为本发明另一实施例提供的处理照片造型的方法的流程图;

图5为本发明实施例提供的处理照片造型的装置的结构框图;

图6为本发明另一实施例提供的处理照片造型的装置的结构框图;

图7为本发明另一实施例提供的处理照片造型的装置的结构框图;

图8为本发明另一实施例提供的处理照片造型的装置的结构框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1示出了一种移动终端的结构框图。本发明实施例提供的处理照片造型的方法可应用于如图1所示的移动终端10中,移动终端10可以但不限于包括:需依靠电池维持正常运行且支持网络及下载功能的智能手机、笔记本、平板电脑、穿戴智能设备等。

如图1所示,移动终端10包括存储器101、存储控制器102,一个或多个(图中仅示出一个)处理器103、外设接口104、射频模块105、按键模块106、音频模块107以及触控屏幕108。这些组件通过一条或多条通讯总线/信号线109相互通讯。

可以理解,图1所示的结构仅为示意,其并不对移动终端的结构造成限定。移动终端10还可包括比图1所示更多或者更少的组件,或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。

存储器101可用于存储软件程序以及模块,如本发明实施例中的处理照片造型的方法及移动终端对应的程序指令/模块,处理器103通过运行存储在存储器101内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的处理照片造型的方法。

存储器101可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器101可进一步包括相对于处理器103远程设置的存储器,这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。处理器103以及其他可能的组件对存储器101的访问可在存储控制器102的控制下进行。

外设接口104将各种输入/输入装置耦合至cpu以及存储器101。处理器103运行存储器101内的各种软件、指令以执行移动终端10的各种功能以及进行数据处理。

在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。

射频模块105用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。射频模块105可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。射频模块105可与各种网络如互联网、企业内部网、预置类型的无线网络进行通讯或者通过预置类型的无线网络与其他设备进行通讯。上述的预置类型的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的预置类型的无线网络可以使用各种通信标准、协议及技术,包括但并不限于全球移动通信系统(globalsystemformobilecommunication,gsm),增强型移动通信技术(enhanceddatagsmenvironment,edge),宽带码分多址技术(widebandcodedivisionmultipleaccess,w-cdma),码分多址技术(codedivisionaccess,cdma),时分多址技术(timedivisionmultipleaccess,tdma),蓝牙,无线保真技术(wireless-fidelity,wifi)(如美国电气和电子工程师协会标准ieee802.11a、ieee802.11b、ieee802.11g和/或ieee802.11n),网络电话(voiceoverinternetprotocal,voip),全球微波互联接入(worldwideinteroperabilityformicrowaveaccess,wi-max),其他用于邮件、即时通讯及短消息的协议,以及任何其他合适的通讯协议。

按键模块106提供用户向移动终端进行输入的接口,用户可以通过按下不同的按键以使移动终端10执行不同的功能。

音频模块107向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。音频电路从外设接口104处接收声音数据,将声音数据转换为电信息,将电信息传输至扬声器。扬声器将电信息转换为人耳能听到的声波。音频电路还从麦克风处接收电信息,将电信号转换为声音数据,并将声音数据传输至外设接口104中以进行进一步的处理。音频数据可以从存储器101处或者通过射频模块105获取。此外,音频数据也可以存储至存储器101中或者通过射频模块105进行发送。在一些实例中,音频模块107还可包括一个耳机播孔,用于向耳机或者其他设备提供音频接口。

触控屏幕108在移动终端与用户之间同时提供一个输出及输入界面。具体地,触控屏幕108向用户显示视频输出,这些视频输出的内容可包括文字、图形、视频、及其任意组合。一些输出结果是对应于一些用户界面对象。触控屏幕108还接收用户的输入,例如用户的点击、滑动等手势操作,以便用户界面对象对这些用户的输入做出响应。检测用户输入的技术可以是基于电阻式、电容式或者其他任意可能的触控检测技术。触控屏幕108显示单元的具体实例包括但并不限于液晶显示器或发光聚合物显示器。

基于上述移动终端,描述本发明实施例中处理照片造型的方法的流程图如附图2所示,其执行主体可以是移动终端,主要包括如下步骤s201至s204,详细说明如下:

s201,采集图像数据。

在本发明实施例中,采集图像数据可以使用智能手机、平板电脑等智能移动终端的摄像头或摄像机等图像采集设备进行。

s202,判断经步骤s201采集的图像数据是否包含人脸照片。

在本发明实施例中,由于是要在人脸上添加造型,因此,需要判断图像数据是否包含人脸照片。作为本发明一个实施例,判断图像数据是否包含人脸照片可通过如下步骤s2021和s2022实现:

s2021,提取图像数据中的人脸特征信息。

人脸特征信息通常分为视觉特征、像素统计特征、人脸图像变换系数特征和人脸图像代数特征等。人脸特征信息的提取就是针对人脸的某些特征进行的,人脸特征信息提取的方法两大类:一种是基于知识的表征方法,另外一种是基于代数特征或统计学习的表征方法。基于知识的表征方法主要是根据人脸器官的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征数据,其特征分量通常包括特征点间的欧氏距离、曲率和角度等。人脸由眼睛、鼻子、嘴、下巴等局部构成,对这些局部和它们之间结构关系的几何描述,可作为识别人脸的重要特征,这些特征被称为几何特征。基于知识的人脸表征主要包括基于几何特征的方法和模板匹配法。

s2022,若人脸特征信息超过预设阈值,则确定图像数据中包含人脸照片。

具体地,可以将提取的人脸特征信息与数据库中存储的特征模板进行搜索匹配,通过预设一个阈值,当提取的人脸特征信息与数据库中存储的特征模板之间的相似度超过这一预设阈值,则将匹配得到的结果输出。

s203,若图像数据包含人脸照片,则为人脸照片中人脸的神态信息匹配对应的造型,其中,神态信息包括表情和/或年龄。

在本发明实施例中,神态信息可以包括人脸的表情和/或年龄等,例如,喜怒哀乐等表情,而造型可以是呆萌、可爱的动物,例如,小白兔或猫咪等,亦可以是愤怒的夸张表情等。

s204,将与神态信息匹配对应的造型叠加至人脸照片。

需要说明的是,在将与神态信息匹配对应的造型叠加至人脸照片时,由于造型的大小、位置、角度等未必适合,因此,在将造型叠加至人脸照片时,可能会经历对造型缩放、移动和旋转等过程。

从上述附图2示例的处理照片造型的方法可知,在判断图像数据是含人脸照片后,为所述人脸照片中人脸的神态信息匹配对应的造型。由于为人脸照片中人脸的神态信息匹配对应的造型的过程基于算法进行,因此,与现有技术靠人工添加造型叠加到人脸照片相比,本发明提供的技术方案实现了造型的自动添加,不仅可以减少人力,而且可以为当前的神态信息匹配到合适的造型,使得效果与用户的预期更加接近。

基于上述移动终端描述本发明另一实施例中处理照片造型的方法的流程图如附图3所示,主要包括如下步骤s301至s305,详细说明如下:

s301,采集图像数据。

步骤s301的技术方案与前述实施例步骤s201的技术方案完全相同,其涉及的术语、概念等可参照前述实施例的描述,此处不做赘述。

s302,判断经步骤s301采集的图像数据是否包含人脸照片。

步骤s302的技术方案与前述实施例步骤s202的技术方案完全相同,其涉及的术语、概念等可参照前述实施例的描述,此处不做赘述。

s303,若图像数据是否包含人脸照片,则将人脸照片输入神态识别模型以输出神态信息。

在本发明实施例中,神态识别模型可以是采用机器学习方法训练出来的模型,例如,通过有监督学习或无监督学习方法,训练神态识别模型,以根据人脸照片输出相应的神态信息,包括人物的喜怒哀乐等神态。因此,当将人脸照片输入已训练的神态识别模型后,已训练的神态识别模型能够输出与人脸照片相应的神态信息。

s304,根据神态识别模型输出的神态信息,从造型数据库中挑选与神态信息匹配的造型。

在本发明实施例中,造型数据库中以神态信息与造型构成映射的方式保存大量的造型,例如,卡通人物造型、可爱的动物等造型,在挑选与神态信息匹配的造型时,可以神态信息为索引,以遍历的方式挑选与神态信息匹配的造型。

s305,将与神态信息匹配对应的造型叠加至人脸照片。

步骤s305的技术方案与前述实施例步骤s204的技术方案完全相同,其涉及的术语、概念等可参照前述实施例的描述,此处不做赘述。

基于上述移动终端描述本发明另一实施例中处理照片造型的方法的流程图如附图4所示,主要包括如下步骤s401至s404,详细说明如下:

s401,采集图像数据。

步骤s301的技术方案与前述实施例步骤s201或步骤s301的技术方案完全相同,其涉及的术语、概念等可参照前述实施例的描述,此处不做赘述。

s402,判断经步骤s401采集的图像数据是否包含人脸照片。

步骤s402的技术方案与前述实施例步骤s202或s302的技术方案完全相同,其涉及的术语、概念等可参照前述实施例的描述,此处不做赘述。

s403,若图像数据包含人脸照片,则将人脸照片输入神态识别模型以输出神态信息以及与输出神态信息对应的造型。

与前述实施例不同,采用机器学习方法,例如,有监督学习或无监督学习方法训练神态识别模型,以使其可以根据人脸照片输出相应的神态信息以及与输出神态信息对应的造型。因此,当将人脸照片输入已训练神态识别模型时,可以输出神态信息以及与输出神态信息对应的造型。

s404,将与神态信息匹配对应的造型叠加至人脸照片。

步骤s404的技术方案与前述实施例步骤s204或步骤s305的技术方案完全相同,其涉及的术语、概念等可参照前述实施例的描述,此处不做赘述。

需要说明的是,上述本发明实施例提供的处理照片造型的方法还可以包括训练神态识别模型,其具体训练方法可以是机器学习方法,例如,有监督学习或/和无监督学习方法等。

请参阅图5,为本发明实施例提供的处理照片造型的装置。为了便于说明,仅示出了与本发明实施例相关的部分。图5提供的处理照片造型的装置主要包括采集模块501、判断模块502、匹配模块503和叠加模块504,详细说明如下:

采集模块501,用于采集图像数据;

判断模块502,用于判断图像数据是否包含人脸照片;

匹配模块503,用于若图像数据包含人脸照片,则为人脸照片中人脸的神态信息匹配对应的造型,其中,神态信息包括表情和/或年龄;

叠加模块504,用于将与神态信息匹配对应的造型叠加至人脸照片。

需要说明的是,本发明实施例提供的装置,由于与本发明方法实施例基于同一构思,其带来的技术效果与本发明方法实施例相同,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。

附图5示例的判断模块502可以包括特征提取单元601和确定单元602,如附图6示例处理照片造型的装置,其中:

特征提取单元601,用于提取图像数据中的人脸特征信息;

确定单元602,用于若人脸特征信息超过预设阈值,则确定图像数据中包含人脸照片。

附图5示例的匹配模块503可以包括第一输出单元701和选择单元702,如附图7示例处理照片造型的装置,其中:

第一输出单元701,用于将人脸照片输入神态识别模型以输出神态信息;

选择单元702,用于根据神态识别模型输出的神态信息,从造型数据库中挑选与神态信息匹配的造型。

附图5示例的匹配模块503可以包括第二输出单元801,如附图8示例处理照片造型的装置。第二输出单元801用于将人脸照片输入神态识别模型以输出神态信息以及与输出神态信息对应的造型。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上为对本发明所提供的处理照片造型的方法、装置、移动终端和计算机可读存储介质的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1