基于人脸的特效生成方法、装置和电子设备与流程
本公开涉及一种图像技术领域，特别是涉及一种基于人脸的特效生成方法、装置、硬件装置和计算机可读存储介质。
背景技术
随着计算机技术的发展，智能终端的应用范围得到了广泛的扩展，例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说，其拍照像素已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。
目前在采用智能终端进行拍照或者拍视频时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照和视频效果，还可以通过从网络端下载应用程序(application，简称为：app)来实现具有附加功能的拍照效果或者视频效果。
目前的特效制作app都是预制了一些特效，无法灵活编辑，并且所述特效只能固定在图像的固定位置上。
技术实现要素：
根据本公开的一个方面，本公开提供一种基于人脸的特效生成方法，包括：显示标准人脸图像；响应于接收到参考点选择命令，在标准人脸图像上选择参考点；响应于接收到特效制作操作，在标准人脸图像上制作特效；生成所述特效的参数；获取从图像传感器中识别出的第一人脸图像；根据所述参考点以及所述特效的参数，在第一人脸图像上生成所述特效。
进一步地，所述标准人脸包括多个区域；所述参考点位于所述多个区域中；所述特效位于所述参考点所在的区域中。
进一步的，所述特效有多个，每个特效对应不同的参考点，位于不同的区域中。
进一步的，在生成所述特效的参数之前，还包括：响应于接收到的触发条件设置命令，设置特效的触发条件。
进一步的，在生成所述特效的参数之前，还包括：响应于接收到播放设置命令，设置特效的播放顺序和/或播放时间。
进一步的，所述播放顺序是基于消息设置的；所述消息用于控制所述特效的开始或停止。
进一步的，所述特效的参数具体包括：所述特效的位置以及所述特效的尺寸。
进一步的，所述特效的位置以及所述特效的尺寸由所述参考点的位置以及所述参考点间的距离确定。
进一步的，所述响应于接收到特效制作操作，在标准人脸图像上制作特效，包括：响应于接收到的资源包选择命令，选择资源包；解析所述资源包，并显示配置界面；响应于接收到的配置命令，对所述资源包中的资源进行配置；根据配置后的资源形成所述特效，并将所述特效显示在标准人脸图像上。
进一步的，所述对所述资源包中的资源进行配置包括：配置资源的尺寸、位置和旋转中心。
根据本公开的另一个方面，本公开提供一种基于人脸的特效生成装置，包括：显示模块，用于显示标准人脸图像；参考点选择模块，用于响应于接收到参考点选择命令，在标准人脸图像上选择参考点；特效制作模块，用于响应于接收到特效制作操作，在标准人脸图像上制作特效；特效参数生成模块，用于生成所述特效的参数；人脸图像获取模块，用于获取从图像传感器中识别出的第一人脸图像；特征生成模块，用于根据所述参考点以及所述特效的参数，在第一人脸图像上生成所述特效。
进一步地，所述标准人脸包括多个区域；所述参考点位于所述多个区域中；所述特效位于所述参考点所在的区域中。
进一步的，所述特效有多个，每个特效对应不同的参考点，位于不同的区域中。
进一步的，所述基于人脸的特效生成装置还包括触发条件设置模块，用于所述在生成所述特效的参数之前，响应于接收到的触发条件设置命令，设置特效的触发条件。
进一步的，所述基于人脸的特效生成装置还包括播放设置模块，用于在生成所述特效的参数之前，响应于接收到播放设置命令，设置特效的播放顺序和/或播放时间。
进一步的，所述播放顺序是基于消息设置的；所述消息用于控制所述特效的开始或停止。
进一步的，所述特效的参数具体包括：所述特效的位置以及所述特效的尺寸。
进一步的，所述特效的位置以及所述特效的尺寸由所述参考点的位置以及所述参考点间的距离确定。
进一步的，所述特效制作模块包括：选择模块，用于响应于接收到的资源包选择命令，选择资源包；解析显示模块，用于解析所述资源包，并显示配置界面；资源配置模块，用于响应于接收到的配置命令，对所述资源包中的资源进行配置；第一显示模块，用于根据配置后的资源形成所述特效，并将所述特效显示在标准人脸图像上。
进一步的，所述对所述资源包中的资源进行配置包括：配置资源的尺寸、位置和旋转中心。
根据本公开的又一个方面，本公开提供一种电子设备，包括：存储器，用于存储非暂时性计算机可读指令；以及，处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现上述任一方法所述的步骤。
根据本公开的又一个方面，本公开提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行上述任一方法中所述的步骤。
本公开实施例提供一种基于人脸的特效生成方法、装置、电子设备和计算机可读存储介质。其中，该基于人脸的特效生成方法包括：显示标准人脸图像；响应于接收到参考点选择命令，在标准人脸图像上选择参考点；响应于接收到特效制作操作，在标准人脸图像上制作特效；生成所述特效的参数；获取从图像传感器中识别出的第一人脸图像；根据所述参考点以及所述特效的参数，在第一人脸图像上生成所述特效。本公开实施例通过特效制作操作，用户可以方便的对特效进行配置和编辑，并且由于选择了人脸特征点为参考点，并且记录了特效与参考点之间的相对关系，大大降低了特效的编辑难度以及编辑时间，且特效会一直跟踪人脸变化而发生相应的变化，从而提高了用户体验效果。
上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例,并配合附图，详细说明如下。
附图说明
图1为根据本公开一个实施例的基于人脸的特效生成方法的流程示意图；
图2为根据图1所示实施例中生成特效的参数的实施方式的示意图；
图3为根据本公开又一实施例的基于人脸的特效生成方法的流程示意图；
图4为根据本公开又一实施例的基于人脸的特效生成方法的流程示意图
图5a为根据本公开一实施例的基于人脸的特效生成装置的结构示意图；
图5b为根据本公开图5a中的实施例的基于人脸的特效生成装置中的特效模块的结构示意图；
图6为根据本公开又一实施例的基于人脸的特效生成装置的结构示意图；
图7为根据本公开又一实施例的基于人脸的特效生成装置的结构示意图；
图8为根据本公开一个实施例的电子设备的结构示意图；
图9为根据本公开一个实施例的计算机可读存储介质的结构示意图；
图10为根据本公开一个实施例的基于人脸的特效生成终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
为了解决如何提高用户体验效果的技术问题，本公开实施例提供一种基于人脸的特效生成方法。如图1所示，该基于人脸的特效生成方法主要包括如下步骤s1至步骤s6。其中：
步骤s1：显示标准人脸图像。
在显示装置上显示标准人脸图像，所述标准人脸图像是预先设置好的人脸图像，通常来说，该标准人脸图像为正面人脸图像，且该标准人脸图像带有预先设置好的特征点，其中特征点的数量可以设置，用户可以自由设定所需要的特征点的数量。图像的特征点是指图像中具有鲜明特性并能够有效反映图像本质特征且能够标识图像中目标物体的点。如果目标物体为人脸，那么就需要获取人脸关键点，如果目标图像为一栋房子，那么就需要获取房子的关键点。以人脸为例说明关键点的获取方法，人脸轮廓主要包括眉毛、眼睛、鼻子、嘴巴和脸颊5个部分，有时还会包括瞳孔和鼻孔，一般来说实现对人脸轮廓较为完整的描述，需要关键点的个数在60个左右，如果只描述基本结构，不需要对各部位细节进行详细描述，或不需要描述脸颊，则可以相应降低关键点数目，如果需要描述瞳孔、鼻孔或者需要更细节的五官特征，则可以增加关键点的数目。在图像上进行人脸关键点提取，相当于寻找每个人脸轮廓关键点在人脸图像中的对应位置坐标，即关键点定位，这一过程需要基于关键点对应的特征进行，在获得了能够清晰标识关键点的图像特征之后，依据此特征在图像中进行搜索比对，在图像上精确定位关键点的位置。由于特征点在图像中仅占据非常小的面积(通常只有几个至几十个像素的大小)，特征点对应的特征在图像上所占据的区域通常也是非常有限和局部的，目前用的特征提取方式有两种：(1)沿轮廓垂向的一维范围图像特征提取；(2)特征点方形邻域的二维范围图像特征提取。上述两种方式有很多种实现方法，如asm和aam类方法、统计能量函数类方法、回归分析方法、深度学习方法、分类器方法、批量提取方法等等。上述各种实现方法所使用的关键点个数，准确度以及速度各不相同，适用于不同的应用场景。
步骤s2：响应于接收到的参考点选择命令，在标准人脸图像上选择参考点。
在一个实施例中，所述参考点为人脸特征点，选择的参考点可以为一个或者多个。在具体实现中，用户可以通过鼠标或者键盘等输入设备，发送选择命令，比如使用鼠标点选显示装置上所显示的特征点或者使用键盘输入特征点的编号来选择相应的特征点，将所选择的特征点作为参考点，所述参考点用于记录所述特效在人脸上的相对位置以及大小比例。
步骤s3：响应于接收到的特效制作操作，在标准人脸图像上制作特效。
在一个实施例中，所述特效制作操作可以是制作特效贴纸操作，所述特效贴纸可以是2d贴纸，将所述2d贴纸覆盖于人脸上，以展示特定的效果。针对人脸来说，所述特效可以是静态特效，如一张图，或者动态特效，比如多帧动画。制作特效时，接收用户发送的资源包选择命令，所述资源包中包括制作特效所需要的素材，如图片、声音、视频等，根据所述选择命令，选择对应的资源包，如果资源包中没有任何素材，可以导入素材或者导入资源包；当选择资源包之后，对资源包进行分析，并显示配置界面，比如资源包中包括一个图片，所述图片为一个眼镜，则该眼镜显示于默认位，并在眼镜周边显示配置界面，所述配置界面上包括眼镜的属性参数，所述属性参数包括位置、旋转中心、尺寸等等，用户可以对上述属性参数进行配置，根据所述配置生成一个眼镜的特效，所述特效覆盖于标准人脸图像上；对于所述位置、尺寸和旋转中心，可以通过对应的位置控件、尺寸控件和旋转中心控件来控制所述资源的位置、尺寸和旋转中心；进一步的，在一个典型应用中，用户可以通过拖拽2d贴纸的缩放框进行位置调整，可以通过拖拽2d贴纸缩放框的角调整2d贴纸的尺寸，还可以通过画布缩放命令，缩放标准人脸图像，间接达到调整2d贴纸尺寸的效果；旋转中心可以设置为任何一个特征点，可以使用鼠标点选或者直接在配置界面中输入特征的编号，选中旋转中心之后，所述2d贴纸可以根据旋转命令围绕该旋转中心旋转。所述资源包中可以包括序列帧，用户可以选择对每一帧分别进行配置。上述配置方式以及属性参数仅为举例，并不对本公开构成限定，实际上任何需要配置或者可以配置的属性参数均可以在本公开的技术方案中使用。
步骤s4：生成所述特效的参数。
在一个实施例中，所述特效的参数至少包括特效的位置以及特效的尺寸；在该实施例中，所述特效的位置和特效的尺寸是特效在标准人脸图像中的相对位置和相对大小，该相对位置和相对大小由参考点来表示。如图2所述，选择特征点a点和特征点b点为参考点，所述特效为一个椭圆，椭圆的中心点为c点,其长轴的长度为a，短轴的长度为b，d点为从c点向线段ab做垂线的垂点。其中a点的坐标为(xa,ya),b点的坐标为(xb,yb),c点的坐标为(xc,yc)，d点的坐标为(xd,yd),则可以得到4个线性差值系数
步骤s5：获取从图像传感器中识别出的第一人脸图像。
该步骤中，获取从摄像头中识别出来的人脸图像，该人脸图像可以是从真实的人识别出来的人脸，也可以是使用摄像头拍摄包括人脸的图片或者视频所识别出的人脸，本公开不做限制，总之该人脸图像有别于标准人脸图像。
识别人脸图像，主要是在图像中检测出人脸，人脸检测是任意给定一个图像或者一组图像序列，采用一定策略对其进行搜索，以确定所有人脸的位置和区域的一个过程，从各种不同图像或图像序列中确定人脸是否存在，并确定人脸数量和空间分布的过程。通常人脸检测的方法可以分为4类：(1)基于先验知识的方法，该方法将典型的人脸形成规则库对人脸进行编码，通过面部特征之间的关系进行人脸定位；(2)特征不变方法，该方法在姿态、视角或光照条件改变的情况下找到稳定的特征，然后使用这些特征确定人脸；(3)模板匹配方法，该方法存储几种标准的人脸模式，用来分别描述整个人脸和面部特征，然后计算输入图像和存储的模式间的相互关系并用于检测；(4)基于外观的方法，该方法与模板匹配方法相反，从训练图像集中进行学习从而获得模型，并将这些模型用于检测。在此使用第(4)种方法中的一个实现方式来说明人脸检测的过程：首先需要提取特征完成建模，本实施例使用haar特征作为判断人脸的关键特征，haar特征是一种简单的矩形特征，提取速度快，一般haar特征的计算所使用的特征模板采用简单的矩形组合由两个或多个全等的矩形组成，其中特征模板内有黑色和白色两种矩形；之后，使用adaboost算法从大量的haar特征中找到起关键作用的一部分特征，并用这些特征产生有效的分类器，通过构建出的分类器可以对图像中的人脸进行检测。本实施例中图像中的人脸可以是一个或多个。
可以理解的是，由于每种人脸检测算法各有优点，适应范围也不同，因此可以设置多个不同的检测算法，针对不同的环境自动切换不同的算法，比如在背景环境比较简单的图像中，可以使用检出率较差但是速度较快的算法；在背景环境比较复杂的图像中，可以使用检出率较高但是速度较慢的算法；对于同一图像，也可以使用多种算法多次检测以提高检出率。
步骤s6:根据所述参考点以及所述特效的参数，在第一人脸图像上生成所述特效。
在该步骤中，根据参考点的编号以及步骤s4中生成的特效参数，在从摄像头中识别出的人脸图像上生成与标准人脸图像上相同的特效。
由于标准人脸图像上的特效到图像传感器所采集到第一人脸图像的特效需要有一个映射关系，根据映射的方式不同，特效的方式可以分为固定特效和跟踪特效，在一个实施例中使用固定特效，这种特效比较简单，只需要设置整个特效范围在图像传感器中的绝对位置即可，其实现方式可以是将显示装置与图像传感器的图像采集窗口的像素点一一对应，判断特效在显示装置中的位置，之后对图像传感器采集窗口采集到的图像的对应位置进行相应的特效处理，这种特效处理方式的优点是简单易操作，该实现方式所使用的参数都相对于采集窗口的位置；在另一个实施例中，生成特效图像时，先获取步骤s1中的标准人脸图像的特征点，通过所述特征点确定所述特效在标准人脸图像中的位置；从通过图像传感器所采集到的图像中识别与标准人脸图像对应的第一人脸图像；将在标准人脸图像中所确定的位置映射到第一人脸图像中；对第一人脸图像做特效处理，生成特效图像。该方式中，确定特效在第一人脸图像中的相对位置，无论第一人脸图像如何移动变化，所述特效总位于该相对位置上，达到跟踪特效的目的。在一个典型的应用中，所述标准人脸图像经过三角剖分，有106个特征点，利用特效和特征点的相对位置确定作用范围在人脸图像中的相对位置，对摄像头采集到的人脸图像做同样的三角剖分，之后当摄像头中的人脸发生移动或转动时，所述特效可以一直固定在人脸上的相对位置上，以达到追踪特效的效果。
举例来说，使用19和20号特征点作为参考点，那么在第一人脸图像中使用相同的特征点，在第一人脸图像中查找对应的19和20号特征点a’和b’，获取这两个点在第一人脸图像中的坐标，使用λ1计算特效中心点c’到a’和b’的连线的垂点d’,之后根据λ2计算出c’的位置，使用λ3和λ4计算出特效的尺寸，对第一人脸图像上的特效进行缩放。这样就完成了利用参考点和特效的参数，将所述特效映射到第一人脸图像上的步骤。
可以理解的是，当图像中识别出多个人脸图像时，用户可以选择需要进行特效制作的一个人脸图像，也可以选择多个人脸图像做相同或者不同的处理。举例来说，在制作特效时，可以对标准人脸进行编号，如id1和id2，分别对id1和id2标准人脸图像设置特效，所述特效可以相同也可以不同，当从摄像头中识别出多个人脸图像，根据识别出的顺序对所述多个人脸图像添加特效，比如先识别出1号人脸，则在1号人脸上添加id1的标准人脸图像上的特效，之后识别出2号人脸，则在2号人脸上添加id2的标准人脸图像上的特效；如果只制作了id1的标准人脸图像特效，则可以在1号和2号人脸图像上均添加id1的标准人脸图像上的特效，也可以只在1号人脸上添加特效。
在一个实施例中，所述标准人脸图像被分为多个区域，比如眼睛区域、鼻子区域、嘴巴区域、脸颊区域、眉毛区域、额头区域等等，每个区域中都包括优化的特征点，所述优化的特征点是指通过数据分析后筛选出来的，更具代表性的特征点，这些特征点代表所处的区域，比如选择了眼睛区域的特征点作为参考点，则表示选择了眼睛区域作为特效制作的目标区域，针对每个区域可以分别制作多个子特效，每个子特效分别跟踪自己所处的区域，子特效合在一起为一个特效，这样做的好处是：减少特征点的数量，不需要在多个特征点中选择作为参考点的特征点，所有展示给用户的特征点都是优化过的，用户只要选中区域就选择了区域中的特征点；可以将一个大特效拆成多个子特效来制作，降低制作难度。
本公开实施例中，在标准人脸图像上编辑人脸特效，之后基于所选择的参考点和所述特效的属性的相对关系，将人脸特效映射到图像传感器所采集到的图像中。已有技术中，特效需要通过第三方工具制作，使用时灵活性不足，不能实时对特效进行配置，另外特效只能固定在图像窗口的固定位置，当人脸发生移动或旋转时，特效不能跟随人脸发生相对移动或旋转，降低了用户体验。而本实施例中，通过特效制作操作，用户可以方面的对特效进行配置和编辑，并且由于选择了人脸特征点为参考点，并且记录了特效与参考点之间的相对关系，因此无论图像传感器中采集的第一人脸图像如何移动或旋转，特效都会根据参考点的变化进行相对的变化，因此相较于已有技术，大大降低了特效的编辑难度以及编辑时间，且特效会一直跟踪人脸变化而发生相应的变化，从而提高了用户体验效果。
在一个可选的实施例中，如图3所示，步骤s4即生成所述特效的参数的步骤之前，还可以包括：
步骤s31，响应于接收到的触发条件设置命令，设置特效的触发条件。
在该可选实施例中，特效只有满足一定的条件才会触发显示，所述触发条件可以是用户的动作、表情、声音或者终端的参数等等。所述动作可以是面部动作，比如眨眼、嘴巴大张、摇头、点头、眉毛挑动，比如特效为眼镜的2d贴纸，则可以设置触发条件为快速眨眼两次，当检测到用户快速的眨眼两次，在用户的眼睛上显示眼镜的2d贴纸；所述表情可以是高兴、沮丧、愤怒等等，比如特效为眼泪的2d贴纸，则可以设置触发条件为沮丧的表情，当检测到用户的表情为沮丧时，在用户的眼睛下方显示眼泪的2d贴纸；当触发条件为声音时，可以检测用户的语音或者环境音，当检测到预定声音时，触发对应的特效；当触发条件为终端参数时，可以监控终端中的各部件的参数，比如终端的姿态、晃动等等，通过姿态或者晃动触发对应的特效，在此不再一一列举，可以理解的是该触发条件可以是任何适用于本公开技术方案中的触发条件，触发条件可以是一个或多个，在此不做限制。所述触发可以是触发开始或者触发消失，触发开始为出现触发条件时，对应的特效出现，触发消失为出现触发条件时，对应的特效消失；所述触发条件还可以包括触发后的延迟时间，就是触发条件出现之后，延迟多长时间特效出现或者消失。
在该实施例中，所述特效的参数中进一步包括了特效的触发条件。
在一个可选的实施例中，如图4所示，步骤s4即生成所述特效的参数的步骤之前，还可以包括：
步骤s32，响应于接收到播放设置命令，设置特效的播放顺序和/或播放时间。
在该可选实施例中，可以设置多个特效的播放顺序和播放时间。在一个实施例中，包括三个特效，分别为特效1、特效2和特效3，设置特效的播放顺序为特效1、特效3和特效2，则特效就会根据该顺序依次播放；在设置播放顺序时，可以直接对特效的播放顺序进行编号设置，比如特效1的播放顺序是1，特效2的播放顺序是3，特效3的播放顺序是2，也可以通过可视化的方法，显示一个时间轴，直接在时间轴上设置特效的id，比如显示一个时间轴，在时间轴的正方向上依次标注特效1、特效3和特效2，以设置特效的播放顺序。在默认的情况下，特效是依次播放的，也就是与播放时间无关，只有当一个特效的所有帧序列都播放完了之后，才播放下一个特效；在该实施例中，还可以设置特效的播放时间，所述播放时间可以是时间长度，也可以是播放的次数，比如特效1播放10秒钟或者特效1播放10次，播放的次数是指特效的序列帧完整循环播放的次数；播放顺序和播放次数可以单独使用也可以结合使用，当单独使用播放顺序时，所有特效依次播放1次，当单独使用播放时间时，所有特效一起播放，但是结束时间可能根据播放时间的不同而不同，当播放顺序和播放时间同时使用时，默认情况下，按照播放顺序，每个特效按照播放时间播放完之后播放下一个特效；在一种更灵活的设置中，播放顺序可以基于消息配置，比如设置首先播放特效1，当特效1播放到第n帧的时候，发送消息给特效3，使特效3开始播放，当特效3播放到第m帧时，使特效1停止播放并使特效2开始播放，使用这种基于消息的播放顺序配置，可以更灵活的设置特效之间的启停关系，使特效之间的组合和衔接更加丰富多变，在使用基于消息的播放顺序配置时，可以设置播放时间也可以不设置播放时间，另外也可以设置消息和播放时间的优先级，比如当特效1的播放时间设置为10秒，但是当特效3发送消息让特效1停止播放时，特效1还未播放10秒钟，则可以根据设置的优先级来判断是否停止播放，如果播放时间的优先级大于消息的优先级，则特效1继续播放到10秒之后停止，如果消息的优先级大于播放时间的优先级，则特效1立刻停止播放。上述设置均为举例说明，方便理解，在实际使用中，播放顺序和播放时间可以按照任意方式组合使用，优先级也可以任意设置。播放顺序和播放时间可以是全局参数，比如在多个人脸图像的场景下，每个人脸都包括不同的多个特效，则这些特效之间的播放顺序和播放时间统一设置，在一个例子中，检测到两个人脸图像，人脸1上包括特效1和特效2，人脸2上包括特效3和特效4，则可以设置先播放特效1，播放10秒，之后播放特效3播放2秒，之后播放特效2和特效4，播放5秒，这样可以做到多个人脸的多个特效之间的轮播，以产生互动效果。
在该实施例中，所述特效的参数中进一步包括了特效的播放顺序和播放时间。
可以理解的是，上述两个实施例中对触发条件的设置和对播放顺序、播放时间的设置是可以混合使用的，具体设置的前后顺序在本公开中不做限定，可以根据需要任意调换，在生成特效的参数之前所做涉及的操做和设置，最后都可以形成对应的特效的参数，被用于生成从图像传感器中识别出的人脸的特效。
在上文中，虽然按照上述的顺序描述了上述方法实施例中的各个步骤，本领域技术人员应清楚，本公开实施例中的步骤并不必然按照上述顺序执行，其也可以倒序、并行、交叉等其他顺序执行，而且，在上述步骤的基础上，本领域技术人员也可以再加入其他步骤，这些明显变型或等同替换的方式也应包含在本公开的保护范围之内，在此不再赘述。
下面为本公开装置实施例，本公开装置实施例可用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。
本公开实施例提供一种基于人脸的特效生成装置。该装置可以执行上述基于人脸的特效生成方法实施例中所述的步骤。如图5a所示，该装置主要包括：显示模块51、参考点选择模块52、特效制作模块53、特效参数生成模块54、人脸图像获取模块55和特征生成模块56。其中：显示模块51，用于显示标准人脸图像；参考点选择模块52，用于响应于接收到参考点选择命令，在标准人脸图像上选择参考点；特效制作模块53，用于响应于接收到特效制作操作，在标准人脸图像上制作特效；特效参数生成模块54，用于生成所述特效的参数；人脸图像获取模块55，用于获取从图像传感器中识别出的第一人脸图像；特效生成模块56，用于根据所述参考点以及所述特效的参数，在第一人脸图像上生成所述特效。
如图5b所示，在一个可选的实施例中，所述特效制作模块53进一步包括：
选择模块531，用于响应于接收到的资源包选择命令，选择资源包；
解析显示模块532，用于解析所述资源包，并显示配置界面；
资源配置模块533，用于响应于接收到的配置命令，对所述资源包中的资源进行配置；
第一显示模块534，用于根据配置后的资源形成所述特效，并将所述特效显示在标准人脸图像上。
上述基于人脸的特效生成装置与上述图1所示实施例中的基于人脸的特效生成方法对应一致，具体细节可参考上述对基于人脸的特效生成方法的描述，在此不再赘述。
本公开实施例中，在标准人脸图像上编辑人脸特效，之后基于所选择的参考点和所述特效的属性的相对关系，将人脸特效映射到图像传感器所采集到的图像中。已有技术中，特效需要通过第三方工具制作，使用时灵活性不足，不能实时对特效进行配置，另外特效只能固定在图像窗口的固定位置，当人脸发生移动或旋转时，特效不能跟随人脸发生相对移动或旋转，降低了用户体验。而本实施例中，通过特效制作操作，用户可以方面的对特效进行配置和编辑，并且由于选择了人脸特征点为参考点，并且记录了特效与参考点之间的相对关系，因此无论图像传感器中采集的第一人脸图像如何移动或旋转，特效都会根据参考点的变化进行相对的变化，因此相较于已有技术，大大降低了特效的编辑难度以及编辑时间，且特效会一直跟踪人脸变化而发生相应的变化，从而提高了用户体验效果。
如图6所示，在一个可选的实施例中，基于人脸的特效生成装置，还包括触发条件设置模块61，用于：响应于接收到的触发条件设置命令，设置所述特效的触发条件。
上述基于人脸的特效生成装置与上述图3所示实施例中的基于人脸的特效生成方法对应一致，具体细节可参考上述对基于人脸的特效生成方法的描述，在此不再赘述。
如图7所示，在一个可选的实施例中，基于人脸的特效生成装置，还包括播放设置模块71，用于：响应于接收到播放设置命令，设置所述特效的播放顺序和/或播放时间。
上述基于人脸的特效生成装置与上述图4所示实施例中的基于人脸的特效生成方法对应一致，具体细节可参考上述对基于人脸的特效生成方法的描述，在此不再赘述。
有关基于人脸的特效生成实施例的工作原理、实现的技术效果等详细说明可以参考前述基于人脸的特效生成方法实施例中的相关说明，在此不再赘述。
图8是图示根据本公开的实施例的电子设备框图。如图8所示，根据本公开实施例的电子设备80包括存储器81和处理器82。
该存储器81用于存储非暂时性计算机可读指令。具体地，存储器81可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
该处理器82可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备80中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器82用于运行该存储器81中存储的该计算机可读指令，使得该电子设备80执行前述的本公开各实施例的基于人脸的特效生成方法的全部或部分步骤。
本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质90，其上存储有非暂时性计算机可读指令91。当该非暂时性计算机可读指令91由处理器运行时，执行前述的本公开各实施例的基于人脸的特效生成方法的全部或部分步骤。
上述计算机可读存储介质90包括但不限于：光存储介质(例如：cd－rom和dvd)、磁光存储介质(例如：mo)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置rom的媒体(例如：rom盒)。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
图10是图示根据本公开实施例的终端设备的硬件结构示意图。如图10所示，该基于人脸的特效生成终端100包括上述基于人脸的特效生成装置实施例。
该终端设备可以以各种形式来实施，本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字tv、台式计算机等等的固定终端设备。
作为等同替换的实施方式，该终端还可以包括其他组件。如图10所示，该图像特效处理终端100可以包括电源单元101、无线通信单元102、a/v(音频/视频)输入单元103、用户输入单元104、感测单元105、接口单元106、控制器107、输出单元108和存储单元109等等。图10示出了具有各种组件的终端，但是应理解的是，并不要求实施所有示出的组件，也可以替代地实施更多或更少的组件。
其中，无线通信单元102允许终端100与无线通信系统或网络之间的无线电通信。a/v输入单元103用于接收音频或视频信号。用户输入单元104可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元105检测终端100的当前状态、终端100的位置、用户对于终端100的触摸输入的有无、终端100的取向、终端100的加速或减速移动和方向等等，并且生成用于控制终端100的操作的命令或信号。接口单元106用作至少一个外部装置与终端100连接可以通过的接口。输出单元108被构造为以视觉、音频和/或触觉方式提供输出信号。存储单元109可以存储由控制器107执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据。存储单元109可以包括至少一种类型的存储介质。而且，终端100可以与通过网络连接执行存储单元109的存储功能的网络存储装置协作。控制器107通常控制终端设备的总体操作。另外，控制器107可以包括用于再现或回放多媒体数据的多媒体模块。控制器107可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元101在控制器107的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
本公开提出的基于人脸的特效生成方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，本公开提出的图像特效处理方法的各种实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，本公开提出的基于人脸的特效生成方法的各种实施方式可以在控制器107中实施。对于软件实施，本公开提出的基于人脸的特效生成方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储单元109中并且由控制器107执行。
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
- 还没有人留言评论。精彩留言会获得点赞！