图像处理方法、装置、设备及计算机可读存储介质与流程
本申请实施例涉及互联网技术领域，涉及但不限于一种图像处理方法、装置、设备及计算机可读存储介质。
背景技术：
相关技术中的人脸重现技术，主要是利用大数据驱动模型训练得到图像处理网络，在模型的训练时设置原始图像与目标图像的身份信息一致，用大量图片数据对图像处理网络中的生成器网络进行训练，进而通过训练得到的图像处理网络实现人脸重现。
但是，申请人在实施本申请实施例的过程中发现，相关技术中的方法仅局限于特定目标人脸的重现，训练出来的图像处理网络只适用于单一目标人脸的重现，对其他目标人脸不适用，而且对单一目标人脸的训练需要大量的数据支持，使得重新训练新的图像处理网络不实际，同时，由于大多数网络训练时设置原始图像与目标图像的身份信息一致，使得网络对不同身份人脸的重现适应性差，网络对不同的图像进行人脸重现时的合成准确度较低。
技术实现要素：
本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质，由于无需设置第一图像和第二图像的身份信息一致，且对身份特征向量和姿态特征向量进行处理得到图像合成向量，因此，可以提高图像合成时的图像重现适应性，且能够对第一图像和第二图像进行准确的图像合成处理。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，包括：
获取第一图像和第二图像；
对所述第一图像中的第一目标对象进行身份特征提取，得到所述第一图像的身份特征向量；
对所述第二图像中的第二目标对象进行姿态特征提取，得到所述第二图像的姿态特征向量；
基于所述身份特征向量和所述姿态特征向量，得到对应于所述第一图像和所述第二图像的图像合成向量；
根据所述图像合成向量，生成所述第一图像和所述第二图像的合成图像；所述合成图像中的第一目标对象具有所述第二目标对象的姿态。
本申请实施例提供一种图像处理装置，包括：
获取模块，用于获取第一图像和第二图像；
身份特征提取模块，用于对所述第一图像中的第一目标对象进行身份特征提取，得到所述第一图像的身份特征向量；
姿态特征提取模块，用于对所述第二图像中的第二目标对象进行姿态特征提取，得到所述第二图像的姿态特征向量；
处理模块，用于基于所述身份特征向量和所述姿态特征向量，得到对应于所述第一图像和所述第二图像的图像合成向量；
生成模块，用于根据所述图像合成向量，生成所述第一图像和所述第二图像的合成图像；所述合成图像中的第一目标对象具有所述第二目标对象的姿态。
本申请实施例提供一种图像处理设备，包括：
存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述的方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现上述的方法。
本申请实施例具有以下有益效果：
通过分别对第一图像中的第一目标对象进行身份特征提取、和对第二图像中的第二目标对象进行姿态特征提取，对应得到身份特征向量和姿态特征向量，从而对身份特征向量和姿态特征向量进行处理，得到第一图像和第二图像的合成图像。如此，由于无需设置第一图像和第二图像的身份信息一致，且对身份特征向量和姿态特征向量进行处理，因此，可以提高图像合成时的图像重现适应性，且能够对第一图像和第二图像进行准确的图像合成处理。
附图说明
图1是本申请实施例提供的图像处理系统的一个可选的架构示意图；
图2是本申请实施例提供的服务器的结构示意图；
图3是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图4是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图5是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图6是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图7是本申请实施例提供的图像处理方法的一个可选的流程示意图；
图8是本申请实施例提供的图像处理网络的训练方法的一个可选的流程示意图；
图9是本申请实施例提供的图像处理方法的整体框架流程图；
图10是本申请实施例提供的人脸标志预处理的实现过程示意图；
图11是本申请实施例提供的元学习策略的梯度更新过程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在解释本申请实施例之前，首先对本申请中涉及到的专业名词进行解释：
1)人脸重现：是指给定原始人脸和目标人脸，由计算机合成虚拟的仿真人脸，该虚拟的仿真人脸的身份信息与目标人脸的身份信息保持一致，表情信息与原始人脸的表情信息保持一致。
2)元学习：也称学会学习，是使计算机拥有学习的能力，发现学习规律。且面对新的任务时，可以通过少量的训练就掌握规律。
3)少样本：是指在进行人脸重现时只提供目标人脸的少量样本，例如，一般只提供几帧图像进行人脸重现。
为了更好地理解本申请实施例中提供的图像处理方法，首先对相关技术中的图像处理方法进行说明：
相关技术中的人脸重现技术主要是利用大数据驱动的方法，训练时设置原始图像与目标图像的身份信息一致，用大量图片数据对生成器网络进行训练。对于训练时未出现过的目标图像，有些技术能通过微调(finetune)的方式对相关技术中的模型进行调整。
但是，相关技术中的方法局限于对特定目标人脸的重现，训练出来的网络只适用于单一目标人脸的重现，对其它目标人脸不适用。而且，对单一目标人脸的训练需要大量的数据支持，使得重新训练新的人脸模型不实际。另外，通过对大量数据训练的网络进行finetune来实现对新人脸的重现，虽然可行但是由于新人脸样本有限，在给定finetune计算量的条件下效果一般。再另外，由于大多数网络训练时设置原始图像与目标图像的身份信息一致，使得网络对不同身份人脸重现适应性差，网络对不同的图像进行人脸重现时的合成准确度较低。
基于相关技术所存在的上述至少一个问题，本申请实施例提供一种图像处理方法，首先，对待处理的第一图像中的第一目标对象进行身份特征提取，得到第一图像的身份特征向量；对待处理的第二图像中的第二目标对象进行姿态特征提取，得到第二图像的姿态特征向量；然后，对身份特征向量和姿态特征向量进行处理，得到对应于第一图像和第二图像的图像合成向量；最后，根据图像合成向量，确定第一图像和第二图像的合成图像。如此，由于无需设置第一图像和第二图像的身份信息一致，且对身份特征向量和姿态特征向量进行处理得到图像合成向量，因此，可以提高图像合成时的图像重现适应性，且能够对第一图像和第二图像进行准确的图像合成处理。
下面说明本申请实施例提供的图像处理设备的示例性应用，本申请实施例提供的图像处理设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)、智能机器人等任意具有屏幕显示功能的终端，也可以实施为服务器。下面，将说明图像处理设备实施为服务器时的示例性应用。
参见图1，图1是本申请实施例提供的图像处理系统10的一个可选的架构示意图。为实现对待处理的第一图像和第二图像进行合成，以得到具有第一图像的身份信息且具有第二图像的姿态信息的合成图像，本申请实施例提供的图像处理系统10中包括终端100、网络200和服务器300。其中，终端100上运行有应用程序，该应用程序可以是图像处理应用或者图像显示应用，在实现本申请实施例的图像处理方法时，终端100在当前的展示页面100-1上显示待处理第一图像和第二图像，其中，第一图像中具有第一目标对象，第二图像中具有第二目标对象，终端100通过网络200，将展示页面100-1上所显示的第一图像和第二图像发送给服务器300，服务器300对第一图像中的第一目标对象进行身份特征提取，得到第一图像的身份特征向量；对第二图像中的第二目标对象进行姿态特征提取，得到第二图像的姿态特征向量；对身份特征向量和姿态特征向量进行实例归一化处理，得到对应于第一图像和第二图像的图像合成向量；根据图像合成向量，确定第一图像和第二图像的合成图像。在形成合成图像之后，将合成图像通过网络200反馈给终端100；终端100在获取到合成图像之后，在展示页面100-1上同时显示第一图像、第二图像和合成图像以供用户查看，也可以仅显示合成图像。
本申请实施例涉及的图像处理方法还可以基于人工智能(ai，artificialintelligence)技术实现，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(cv，computervision)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(ml，machinelearning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉技术、机器学习等技术，将在下述实施例中进行说明。
图2是本申请实施例提供的服务器300的结构示意图，图2所示的服务器300包括：至少一个处理器310、存储器350、至少一个网络接口320和用户接口330。服务器300中的各个组件通过总线系统340耦合在一起。可理解，总线系统340用于实现这些组件之间的连接通信。总线系统340除包括数据总线之外，还包括电源总线、控制总线和姿态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统340。
处理器310可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digitalsignalprocessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口330包括使得能够呈现媒体内容的一个或多个输出装置331，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口330还包括一个或多个输入装置332，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器350可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器350可选地包括在物理位置上远离处理器310的一个或多个存储设备。存储器350包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom，readonlymemory)，易失性存储器可以是随机存取存储器(ram，randomaccessmemory)。本申请实施例描述的存储器350旨在包括任意适合类型的存储器。在一些实施例中，存储器350能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统351，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块352，用于经由一个或多个(有线或无线)网络接口320到达其他计算设备，示例性的网络接口320包括：蓝牙、无线相容性认证(wifi)、和通用串行总线(usb，universalserialbus)等；
输入处理模块353，用于对一个或多个来自一个或多个输入装置332之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器350中的一种图像处理装置354，该图像处理装置354可以是服务器300中的图像处理装置，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块3541、身份特征提取模块3542、姿态特征提取模块3543、处理模块3544和生成模块3545，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld，programmablelogicdevice)、复杂可编程逻辑器件(cpld，complexprogrammablelogicdevice)、现场可编程门阵列(fpga，field-programmablegatearray)或其他电子元件。
下面将结合本申请实施例提供的服务器300的示例性应用和实施，说明本申请实施例提供的图像处理方法。参见图3，图3是本申请实施例提供的图像处理方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
步骤s301，获取第一图像和第二图像。
这里，可以接收图像处理请求，图像处理请求中包括第一图像和第二图像，图像处理请求用于请求对第一图像和第二图像进行图像合成，得到具有第一图像的身份信息且具有第二图像的姿态信息的合成图像。
步骤s302，对第一图像中的第一目标对象进行身份特征提取，得到第一图像的身份特征向量。
这里，第一图像中包括至少一个第一对象，在进行图像合成之前，需要确定第一图像中用于提供身份信息的第一目标对象，然后对第一目标对象进行身份特征提取。在一些实施例中，可以根据第一图像的聚焦位置确定第一目标对象，或者根据第一图像中的每个第一对象的位置，将距离拍摄位置最近的第一对象确定为第一目标对象，或者根据第一图像中的每个第一对象的清晰度，将具有最高清晰度的第一对象确定为第一目标对象，或者用户可以预先标定出需要提供身份信息的第一目标对象，服务器在接收第一图像的同时，接收用户的标定信息，根据标定信息确定出第一目标对象。
在另一些实施例中，如果检测到第一图像中只有一个第一对象，则可以直接将这一个第一对象确定为第一目标对象。
在一些实施例中，确定第一目标对象的方法可以采用人工智能技术来实现，通过人工智能技术，实现对第一图像的识别，以确定出第一图像中的第一对象，然后根据第一对象的属性信息(例如，聚焦位置、位置和清晰度等信息)在多个第一对象中确定出第一目标对象。
身份特征提取是指对能够表征第一目标对象的身份信息的区域的特征进行提取，得到该区域的特征向量，将多个能够表征第一目标对象的身份信息的区域的特征进行综合，即得到第一图像的身份特征向量。
举例来说，如果第一目标对象为人物，那么，能够表征身份信息的区域可以是面部信息，例如眼睛、鼻子、嘴巴、眉毛和脸型等特征，或者身高、胖瘦和体型等特征。
步骤s303，对第二图像中的第二目标对象进行姿态特征提取，得到第二图像的姿态特征向量。
这里，第二图像中包括至少一个第二对象，在进行图像合成之前，也需要确定第二图像中用于提供身份信息的第二目标对象。本申请实施例中，可以采用与上述确定第一目标对象相同的方法来确定第二目标对象。
姿态特征提取是指对能够表征第二目标对象的姿态信息的区域的特征进行提取，得到该区域的特征向量，并将得到的特征向量确定为第二目标对象的姿态信息。
本申请实施例中，姿态信息包括但不限于脸部姿态信息、手势信息、身体姿势信息和神态信息等，其中，脸部姿态信息包括但不限于脸部表情信息。例如，当需要将第一图像的身份信息与第二图像的表情信息进行结合时，则提取的第二图像的姿态特征向量可以是第二目标对象的表情信息对应的特征向量。本申请实施例中，可以预先设置第二目标对象的姿态信息的类型，在图像合成过程中，则根据第二目标对象的姿态信息的类型确定第二目标对象的目标区域，然后获取目标区域的特征向量，以得到姿态特征向量。
步骤s304，基于身份特征向量和姿态特征向量，得到对应于第一图像和第二图像的图像合成向量。
这里，可以对身份特征向量和姿态特征向量进行实例归一化处理，得到第一图像和所述第二图像的图像合成向量，当然，在其他实施例中，还可以采用其他处理方式进行图像合成，得到第一图像和第二图像的图像合成向量。
本申请实施例中，实例归一化处理可以是自适应的实例归一化处理，可以是在归一化处理的基础上结合全连接处理，对身份特征向量和姿态特征向量在归一处处理时计算均值和方差的基础上，通过全连接处理，得到身份特征向量和姿态特征向量的均值和方差，也就是说，将归一化处理得到的均值和方差与全连接处理得到的均值和方法进行关联，从而实现通过实例归一化处理后，图像合成向量即具有第一图像的身份信息，还具有第二图像的姿态信息。
步骤s305，根据图像合成向量，生成第一图像和第二图像的合成图像。
这里，按照图像合成向量所对应的信息，将图像合成向量转换成合成图像，该合成图像是集合了第一图像的身份信息和第二图像的姿态信息的图像，即合成图像中的第一目标对象具有第二目标对象的姿态。举例来说，第一图像中的第一目标对象具有身份a，第二图像中的第二目标对象具有表情b，则生成的合成图像是同时具有身份a和表情b的图像。
本申请实施例提供的图像处理方法，通过分别对第一图像中的第一目标对象进行身份特征提取、和对第二图像中的第二目标对象进行姿态特征提取，对应得到身份特征向量和姿态特征向量，从而对身份特征向量和姿态特征向量进行处理，得到第一图像和第二图像的合成图像。如此，由于无需设置第一图像和第二图像的身份信息一致，且对身份特征向量和姿态特征向量进行实例归一化处理，因此，可以提高图像合成时的图像重现适应性，且能够对第一图像和第二图像进行准确的图像合成处理。
在一些实施例中，图像处理系统中至少包括终端和服务器，其中终端用于显示待处理的第一图像和第二图像，服务器用于对第一图像和第二图像进行合成，得到合成图像。图4是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图4所示，方法包括以下步骤：
步骤s401，终端获取第一图像和第二图像。
这里，第一图像和第二图像可以是终端拍摄的图像，也可以是从网络上下载的图像，也可以是接收其他设备发送的图像。本申请实施例中，在获取到第一图像和第二图像之后，将第一图像和第二图像封装于图像处理请求中，图像处理请求用于请求对第一图像和第二图像进行重现，以合成第一图像和第二图像。
在一些实施例中，用户还可以通过终端对第一图像和第二图像进行标定，以从第一图像中标定出需要进行合成的第一目标对象、和从第二图像中标定出需要进行合成的第二目标对象。
步骤s402，终端向服务器发送图像处理请求。
步骤s403，服务器解析图像处理请求，得到第一图像和第二图像。
步骤s404，服务器对第一图像中的第一目标对象进行身份特征提取，得到第一图像的身份特征向量。
步骤s405，服务器对第二图像中的第二目标对象进行姿态特征提取，得到第二图像的姿态特征向量。
需要说明的是，步骤s404中的身份特征提取过程和步骤s405中的姿态特征提取过程，分别与上述步骤s302和步骤s303中的过程类似，本申请实施例不再赘述。
步骤s406，服务器对姿态特征向量进行归一化处理，得到归一化特征向量。
这里，归一化处理是指计算所有姿态特征向量的均值和方差，将得到的均值和方法确定为归一化特征向量。
步骤s407，服务器对归一化特征向量和身份特征向量进行全连接处理，得到对应于第一图像和第二图像的图像合成向量。
在计算得到归一化特征向量之后，通过全连接网络对归一化特征向量和身份特征向量进行全连接处理，计算归一化特征向量和身份特征向量的均值和方差，将该均值和方差对应的向量，确定为图像合成向量。
步骤s408，服务器根据图像合成向量，生成第一图像和第二图像的合成图像。
步骤s409，服务器将合成图像发送给终端。
步骤s410，终端在当前界面上显示合成图像。
本申请实施例提供的图像处理方法，可以提供一图像处理应用，图像处理应用运行于终端上，服务器可以是该图像处理应用的客户端服务器。用户可以在终端上所运行的图像处理应用的客户端上进行操作，触发图像处理过程。本申请实施例中，当用户想要对第一图像和第二图像进行合成时，通过终端上的客户端进行操作，使得终端与服务器进行交互，进而实现图像合成过程，且图像合成过程中，无需设置第一图像和第二图像的身份信息一致，且对身份特征向量和姿态特征向量进行实例归一化处理，因此，可以提高图像合成时的图像重现适应性，且能够对第一图像和第二图像进行准确的图像合成处理，提高用户使用体验。
基于图3，图5是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图5所示，在一些实施例中，步骤s302可以通过以下步骤实现：
步骤s501，获取第一目标对象中的至少两个第一标志对应的图像数据。
这里，第一标志是指第一图像中第一目标对象中的任意一个点，第一标志用于标识该点的位置，在第一图像中，第一目标对象是由大量的点标志连续拼接而形成的。
第一标志对应的图像数据可以是第一标志对应的点的像素或者坐标。
步骤s502，对至少两个第一标志对应的图像数据进行归一化处理，得到第一归一化数据。
这里，对至少两个第一标志对应的图像数据进行归一化处理可以是取至少两个第一标志对应的图像数据的均值和方差，将均值和方差确定为第一归一化数据。
步骤s503，获取至少两个图像数据的图像数据均值。
这里，是将所获取的全部的图像数据求均值，得到图像数据均值。
步骤s504，根据第一归一化数据和图像数据均值，确定第一图像的身份特征向量。
基于图5，图6是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图6所示，在一些实施例中，步骤s501可以通过以下步骤实现：
步骤s601，确定第一目标对象中的至少两个第一区域。
这里，第一区域可以是第一目标对象中的任意区域，也可以是第一目标对象中能够表征身份信息的区域，例如，当第一目标对象是人脸图像时，第一区域可以是眼睛区域、鼻子区域和眉毛区域等。
步骤s602，对第一目标对象中的至少两个第一区域进行图像标志预处理，得到每一第一区域的第一标志。
这里，图像标志预处理是指对第一区域中的点进行提取，以得到具有连续图像数据的点标志，将这些点标志确定为第一区域中的第一标志。举例来说，连续图像数据是指如果任意点对应的图像数据(例如像素值)与相邻点的图像数据的差值较小，表明该区域的图像是连续的图像，因此该区域的图像数据是有效的图像数据，则可以将该区域的点标志确定为第一标志。
步骤s603，获取每一第一标志对应的图像数据。
请继续参照图6，在一些实施例中，步骤s504可以通过以下步骤实现：
步骤s604，将第一归一化数据与图像数据均值之间的差值，确定为第一图像的姿态信息。
步骤s605，根据图像数据均值和第一图像的姿态信息，确定第一图像的身份特征向量。
需要说明的是，在一些实施例中，在对第二图像确定姿态特征向量时，也可以采用与本申请实施例中确定身份特征向量的过程类似的方法。所不同的仅在于，在确定出第二图像的姿态信息之后，直接根据姿态信息获取第二图像的姿态特征向量，而无需再根据图像数据均值和第二图像的姿态信息确定第二图像的身份特征向量。
基于图3，图7是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图7所示，在一些实施例中，步骤s303可以通过以下步骤实现：
步骤s701，确定第二目标对象中至少两个第二标志对应的图像数据。
这里，第二标志的确定过程可以与上述步骤s602中的方法类似，对第二目标对象中的至少两个第二区域进行图像标志预处理，得到每一第二区域的第二标志。在确定出第二标志之后，根据第二标志在第二目标对象中的位置，确定对应的图像数据。
在一些实施例中，姿态信息包括表情信息，对应地，步骤s701可以通过以下步骤实现：
步骤s7011，确定第二目标对象的面部图像。
步骤s7012，在面部图像中，确定与表情信息相关的至少两个第二区域。
这里，与表情信息相关的至少两个第二区域包括但不限于：眼睛区域和眉毛区域。
步骤s7013，对至少两个第二区域进行图像标志预处理，得到每一第二区域的第二标志。
步骤s7014，获取每一第二标志对应的图像数据。
步骤s702，对至少两个第二标志对应的图像数据进行归一化处理，得到第二归一化数据。
步骤s703，获取至少两个第二标志对应的图像数据的图像数据均值。
这里，获取图像数据均值是计算至少两个第二标志中的全部第二标志对应的图像数据的均值。
步骤s704，将第二归一化数据与图像数据均值之间的差值，确定为第二图像的姿态特征向量。
这里，在确定第二图像的姿态特征向量时，可以计算第二归一化数据与图像数据均值之间的差值，将该差值直接确定为第二图像的姿态特征向量。
本申请实施例提供的图像处理方法，通过对提取的身份特征向量和姿态特征向量进行实例归一化处理，且在实例归一化处理过程之前，分别计算归一化数据和图像数据均值，并根据图像数据均值和归一化数据计算得到第一图像的身份信息或第二图像的姿态信息，如此能够通过精确的计算而得到准确的身份信息和姿态信息，从而保证后续更加准确的实例归一化处理，得到更加准确的图像合成向量，进而得到更加准确的合成图像，实现对第一图像和第二图像的准确合成。
在一些实施例中，本申请实施例提供的图像处理方法还可以采用基于人工智能技术所训练得到的图像处理网络实现，即采用图像处理网络来确定第一图像和第二图像的合成图像。或者，可以采用人工智能技术对第一图像和第二图像进行识别和处理，得到最终的合成图像。
图8是本申请实施例提供的图像处理网络的训练方法的一个可选的流程示意图，如图8所示，训练方法包括以下步骤：
步骤s801，将第一样本图像和第二样本图像输入至图像处理网络中，通过图像处理网络中的标志预处理模型，确定出第一样本图像的第一样本标志和第二样本图像的第二样本标志。
这里，将第一样本图像和第二样本图像作为样本数据输入至图像处理网络中，其中，第一样本图像用于提供样本身份信息，第二样本图像用于提供样本姿态信息。
本申请实施例中，第一样本标志是对第一样本图像进行图像标志预处理所得到的点标志，第二样本标志是对第二样本图像进行图像标志预处理所得到的点标志。在实现的过程中，可以通过图像处理网络中的标志预处理模型，对第一样本图像和第二样本图像分别进行图像标志预处理，以得到第一样本标志和第二样本标志。
步骤s802，通过图像处理网络中的目标身份编码器对第一样本图像进行身份特征提取，得到第一样本图像的样本身份特征向量。
在一些实施例中，步骤s802可以通过以下步骤实现：
步骤s8021，将第一样本标志，输入至目标身份编码器中。步骤s8022，通过目标身份编码器中的至少一个下采样层和至少一个卷积层对第一样本标识对应的特征向量依次进行至少一次下采样处理和至少一次卷积处理，得到第一样本图像的样本身份特征向量。
步骤s803，通过图像处理网络中的特征提取层对第二样本标志进行特征提取，得到第二样本图像的样本姿态特征向量。
步骤s804，通过图像处理网络中的生成器对样本身份特征向量和样本姿态特征向量进行实例归一化处理，得到对应于第一样本图像和第二样本图像的样本合成向量。
在一些实施例中，步骤s804可以通过以下步骤实现：
步骤s8041，将样本身份特征向量和样本姿态特征向量输入至生成器中。步骤s8042，通过生成器中的编码器对样本身份特征向量和样本姿态特征向量分别进行编码，对应得到身份编码向量和姿态编码向量。步骤s8043，通过生成器中的自适应实例归一化层对身份编码向量和姿态编码向量进行自适应实例归一化处理，得到对应于第一样本图像和第二样本图像的样本合成向量。
步骤s805，将样本合成向量输入至预设损失模型中，得到损失结果。
这里，预设损失模型用于将样本合成向量与预设的合成向量进行比较，得到损失结果，其中，预设的合成向量可以是用户预先设置的与第一样本图像和第二样本图像对应的合成向量。
本申请实施例中，根据样本合成向量可以确定出样本合成图像，根据预设的合成向量可以确定出预设的合成图像。预设损失模型中包括损失函数，通过损失函数可以计算样本合成图像与预设的合成图像之间的相似度，在计算过程中，可以通过计算样本合成向量与预设的合成向量之间的距离，得到样本合成图像与预设的合成图像之间的相似度，并根据相似度确定上述损失结果。当样本合成向量与预设的合成向量之间的距离越大时，样本合成图像与预设的合成图像之间的相似度越小，表明模型的训练结果与真实值的差距较大，需要进行进一步的训练；当样本合成向量与预设的合成向量之间的距离越小时，样本合成图像与预设的合成图像之间的相似度越大，表明模型的训练结果更加接近真实值。
步骤s806，根据损失结果，对标志预处理模型、目标身份编码器和生成器中的网络参数进行修正，得到修正后的图像处理网络。
这里，当上述相似度大于预设相似度阈值时，则损失结果表明当前的图像处理网络中的标志预处理模型，不能准确的确定出第一样本图像的第一样本标志和第二样本图像的第二样本标志，和/或，目标身份编码器不能准确的对第一样本图像进行身份特征提取，和/或，生成器不能准确的对第二样本标志进行特征提取，得到第二样本图像的准确的样本姿态特征向量。因此，需要对当前的图像处理网络进行修正。那么，可以根据上述相似度，对标志预处理模型、目标身份编码器和生成器中的至少一个进行修正，直至图像处理网络输出的样本合成图像与预设的合成图像之间的相似度满足预设条件时，将对应的图像处理网络确定为训练好的图像处理网络。
本申请实施例提供的图像处理网络的训练方法，由于将第一样本图像和第二样本图像输入至图像处理网络中，依次通过图像处理网络中的标志预处理模型、目标身份编码器和生成器进行处理之后，得到样本合成向量，并将样本合成向量输入至预设损失模型中，得到损失结果。因此，能够根据损失结果对标志预处理模型、目标身份编码器和生成器中的至少一个进行修正，所得到的图像处理网络能够准确的对第一图像和第二图像进行合成处理，得到符合用户需求的合成图像，从而提供用户的使用体验。
在一些实施例中，步骤s806可以通过以下步骤实现：
步骤s8061，在第n次网络更新时，获取网络参数的第一更新梯度。
步骤s8062，在第n+1次网络更新时，获取网络参数的第二更新梯度。其中，第二更新梯度是在第一更新梯度的基础上所得到的更新梯度。
步骤s8063，将第一更新梯度与第二更新梯度之和，确定为第n+2次网络更新时网络参数的目标更新梯度。
步骤s8064，采用目标更新梯度，对标志预处理模型、目标身份编码器和生成器中的网络参数进行修正，得到修正后的图像处理网络。
本申请实施例中，将前一次对网络参数的更新梯度作为当前对网络参数的更新基础，并将连续两次的更新梯度之和确定为下一次参数更新的目标更新梯度，如此迭代更新，能够实现对网络参数的有序和有向更新，使得更新后的网络参数逐渐接近真实参数值，从而提高网络的训练准确度和训练效率。
在一些实施例中，在通过所述目标身份编码器对所述第一样本图像进行身份特征提取之前，方法还包括：
步骤s81，对第一样本标志对应的特征向量进行维度变换处理；其中，维度变换处理后的特征向量的维度与自适应实例归一化层的向量维度相同。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例提供一种图像处理方法，该图像处理方法是一种针对人脸图片的生成方法。本申请实施例实现了一种快速有效的人脸重现算法，给定的原始人脸图片和少量样本的目标人脸图片，本申请实施例通过对人脸标志的预处理，对目标人脸进行编码，并通过一个生成器网络，重现出人脸图片，且重现出的人脸图片保持与目标人脸的身份信息一致，与原始人脸的表情一致。
举例来说，给定身份图片a，姿态图片b(或表情图片)，本申请实施例可以控制生成具有b的表情的a的人脸。此外，本申请实施例也支持生成直接指定特定表情姿态的人脸图片，例如用户可以通过自行绘制人脸标志来指定人脸图片的姿态，本申请实施例将生成具有用户指定表情姿态的a的人脸。
本申请实施例主要由人脸标志预处理网络(landmarkprocessor)、目标人脸编码器(targetencoder)和生成器网络(generator)构成。通过输入待编辑的少量的目标人脸图片a和原始人脸的姿态图片b，这些图片首先会被送入人脸标志预处理网络，每一张人脸图片都对应着一个1*68*2的特征向量，这些特征向量包含眼睛、鼻子、嘴巴、眉毛及脸型的信息。目标人脸图像和其特征向量的连接结果(concatenate)被送入目标人脸编码网络，它输出的是1*1*512的进行编码后的身份特征向量。原始人脸的标志特征向量(对应上述姿态特征向量)作为生成器网络的输入，通过身份特征向量在自适应实例归一化层经过的调节，使得最终生成的图片的身份信息得到强化。本申请实施例最终生成的虚拟人脸图片修改了目标人脸的表情信息，但在很大程度上保存原有的目标人脸的身份信息。
本申请实施例利用元学习的方法，有目的地模拟有限样本学习的人脸重现任务，通过让网络学会适应有限样本学习，来提升给定少量样本和计算量的限制下的重现效果。同时本申请实施例利用人脸标志转换的策略，在重现时考虑人脸标志的不一致性，减缓了身份差距带来的影响，使得生成结果更加真实。
本申请实施例可以对人脸图片进行保身份指定面部表情的编辑。用户上传身份图片a和表情图片b至后台服务器，后台服务器采用特定算法，快速生成合成图像，该合成图像拥有a的身份和b的表情，并将拥有a的身份和b的表情的人脸图像返回给用户。此外，用户也可以上传身份图片a和自己编辑的人脸表情标志图至后台服务器，后台服务器采用特定算法，生成拥有a的身份和b的表情的人脸图像，并返回给用户。
本申请实施例的方法包括对输入图片的人脸标志预处理、基于条件生成对抗网络(conditionalgan，conditionalgenerativeadversarialnetwork)的人脸生成和元学习策略。图9是本申请实施例提供的图像处理方法的整体框架流程图，如图9所示，目标图片xt(对应上述第一图像)和原始图片xs(对应上述第二图像，由于输入的原始图片xs可以为多张图片，因此，图9中采用
在人脸标志预处理时，本申请实施例使用了基于人脸标志分解的人脸标志预处理方案。图10是本申请实施例提供的人脸标志预处理的实现过程示意图，如图10所示，给定输入图像1001，先通过三维密集面对齐(3ddfa，3ddensefacealignment)的方式得到三维人脸标志1002，然后进过归一化得到，得到归一化后的人脸标志
其中，
其中，
所有人脸数据的均值部分
请继续参照图10，多层感知器(multi-layerperceptron，mlp)1003的输入由rgb图像通过vggface网络1004编码的特征向量与归一化的人脸标志
在基于条件gan的人脸生成过程中，其中，基于条件gan的人脸生成过程由一个目标身份编码器e、一个生成器g和一个判别器d组成，如图9所示的目标身份编码器902、生成器903和判别器904。
其中，目标身份编码器：用于接收目标图像及其人脸标志作为输入，通过一系列的下采样卷积层对身份信息进行编码，并采用编码的最后一层的特征向量作为身份特征向量。
生成器g：用于接受原始图像的人脸标志和目标身份编码器e得到的身份特征向量作为输入，生成器g的网络结构为编码解码器。能够对接受原始图像的人脸标志进行编码，并在解码阶段通过自适应实例归一化层强化生成图像的身份信息。在一些实施例中，在利用目标身份编码器e得到的身份特征向量之前，首先利用mlp进行特征向量维度的变换以适应自适应实例归一化层的维度要求。
判别器d：采用条件gan的思想，输入图像、人脸标志和身份id，来判断生成图像是否保持目标图像的身份信息以及是否贴近原始图像的人脸标志。
本申请实施例中，整个网络的优化目标函数如以下公式(1-3)：
l＝lgan+λcntlcnt+λfmlfm+λmchlmch(1-3)；
其中，l表示目标函数；lgan表示对抗损失；lcnt表示内容重建损失；λcnt表示内容重建损失的权重；lfm表示特征匹配损失；λfm表示特征匹配损失的权重；lmch表示编码匹配损失；λmch表示编码匹配损失的权重。
判别器d的判别输出结果
其中，d(xs,ls,t；θd,w)表示对标定好的真实图片(groundtruth)与xs的人脸标志ls进行判别所得到的第一判别结果；
下面对本申请实施例的元学习策略进行说明。
本申请实施例提出了一种元学习策略使模型能够更快地适应新人物。如图11所示，是本申请实施例提供的元学习策略的梯度更新过程示意图，给定人脸重现模型的预训练的参数(这里的预训练的参数可以是上述公式(1-4)中的θd)，本申请实施例模拟少样本学习问题，取不同的新人物的少量样本，对预训练模型进行特定更新计算量的参数更新。本申请实施例中，可以通过reptile的方案更新模型的参数，使得更新的模型能更快地的适应给定少量样本和特定更新计算量的新人物重现任务。这样，在实际应用中，用户只需给定少量的目标人物，网络能在特定更新计算量(时间)内实现更好的人脸重现。
如图11所示，预训练的参数θ＝(θm,θg,θd)，预训练的参数θ表示权重；图11中的实线表示元学习过程；图11中的虚线标识微调过程。
如图11的左图所示，对于三个不同的目标图像1101、1102和1103，对应的预训练的参数θ的更新梯度分别为
本申请实施例中，可以通过reptile的方案更新模型的参数，如图11的右图所示，如果采用相关技术中的maml算法来计算更新梯度的话，得到的更新梯度是g2；如果采用相关技术中的预训练(pretrain)算法来计算更新梯度的话，得到的更新梯度是g1；而如果采用本申请实施例提供的reptile的方案计算更新梯度的话，对于图11左图中的目标图像1101，更新梯度
本申请实施例实现了一种灵活的人脸重现算法，该方法能够快速地根据用户提供的身份图片和表情图片生成合成人脸，也可以是由用户提供表情信息。本方法具有潜在的商业价值。
需要说明的是，对于本申请实施例中描述的各个模型和器件，不限定使用文中描述的具体网络结构，用其他结构的深度神经网络实现框架中的部件也在本申请实施例的保护范围之内。另外，本申请实施例也不限定文中提到的元学习方案，用其他元学习方案也在本申请实施例的保护范围之内。
下面继续说明本申请实施例提供的图像处理装置354实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器350的图像处理装置354中的软件模块可以是服务器300中的图像处理装置，包括：
获取模块3541，用于获取第一图像和第二图像；
身份特征提取模块3542，用于对所述第一图像中的第一目标对象进行身份特征提取，得到所述第一图像的身份特征向量；
姿态特征提取模块3543，用于对所述第二图像中的第二目标对象进行姿态特征提取，得到所述第二图像的姿态特征向量；
处理模块3544，用于基于所述身份特征向量和所述姿态特征向量，得到对应于所述第一图像和所述第二图像的图像合成向量；
生成模块3545，用于根据所述图像合成向量，生成所述第一图像和所述第二图像的合成图像；所述合成图像中的第一目标对象具有所述第二目标对象的姿态。
在一些实施例中，所述身份特征提取模块还用于：获取所述第一目标对象中的至少两个第一标志对应的图像数据；对至少两个第一标志对应的图像数据进行归一化处理，得到第一归一化数据；获取至少两个所述图像数据的图像数据均值；根据所述第一归一化数据和所述图像数据均值，确定所述第一图像的身份特征向量。
在一些实施例中，所述身份特征提取模块还用于：确定所述第一目标对象中的至少两个第一区域；对所述第一目标对象中的所述至少两个第一区域进行图像标志预处理，得到每一所述第一区域的第一标志；获取每一所述第一标志对应的所述图像数据。
在一些实施例中，所述身份特征提取模块还用于：将所述第一归一化数据与所述图像数据均值之间的差值，确定为所述第一图像的姿态信息；根据所述图像数据均值和所述第一图像的姿态信息，确定所述第一图像的身份特征向量。
在一些实施例中，所述姿态特征提取模块还用于：确定所述第二目标对象中至少两个第二标志对应的图像数据；对至少两个第二标志对应的图像数据进行归一化处理，得到第二归一化数据；获取至少两个第二标志对应的图像数据的图像数据均值；将所述第二归一化数据与所述图像数据均值之间的差值，确定为所述第二图像的姿态特征向量。
在一些实施例中，所述姿态信息包括表情信息；
所述姿态特征提取模块还用于：确定所述第二目标对象的面部图像；在所述面部图像中，确定与所述表情信息相关的至少两个第二区域；对所述至少两个第二区域进行图像标志预处理，得到每一所述第二区域的第二标志；获取每一所述第二标志对应的所述图像数据。
在一些实施例中，所述归一化处理模块还用于：对所述姿态特征向量进行归一化处理，得到归一化特征向量；对所述归一化特征向量和所述身份特征向量进行全连接处理，得到对应于所述第一图像和所述第二图像的所述图像合成向量。
在一些实施例中，所述装置还包括：处理模块，用于采用图像处理网络确定所述第一图像和所述第二图像的合成图像；
其中，所述图像处理网络通过以下步骤进行训练：将第一样本图像和第二样本图像输入至所述图像处理网络中，通过所述图像处理网络中的标志预处理模型，确定出所述第一样本图像的第一样本标志和所述第二样本图像的第二样本标志；通过所述图像处理网络中的目标身份编码器对所述第一样本图像进行身份特征提取，得到所述第一样本图像的样本身份特征向量；通过所述图像处理网络中的特征提取层对所述第二样本标志进行特征提取，得到所述第二样本图像的样本姿态特征向量；通过所述图像处理网络中的生成器对所述样本身份特征向量和所述样本姿态特征向量进行实例归一化处理，得到对应于所述第一样本图像和所述第二样本图像的样本合成向量；将所述样本合成向量输入至预设损失模型中，得到损失结果；根据所述损失结果，对所述标志预处理模型、所述目标身份编码器和所述生成器中的网络参数进行修正，得到修正后的图像处理网络。
在一些实施例中，所述图像处理网络通过以下步骤进行训练：将所述第一样本标志，输入至所述目标身份编码器中；通过所述目标身份编码器中的至少一个下采样层和至少一个卷积层对所述第一样本标识对应的特征向量依次进行至少一次下采样处理和至少一次卷积处理，得到所述第一样本图像的样本身份特征向量。
在一些实施例中，所述图像处理网络通过以下步骤进行训练：将所述样本身份特征向量和所述样本姿态特征向量输入至所述生成器中；通过所述生成器中的编码器对所述样本身份特征向量和所述样本姿态特征向量分别进行编码，对应得到身份编码向量和姿态编码向量；通过所述生成器中的自适应实例归一化层对所述身份编码向量和所述姿态编码向量进行自适应实例归一化处理，得到对应于所述第一样本图像和所述第二样本图像的样本合成向量。
在一些实施例中，所述图像处理网络通过以下步骤进行训练：在通过所述目标身份编码器对所述第一样本图像进行身份特征提取之前，对所述第一样本标志对应的特征向量进行维度变换处理；其中，维度变换处理后的特征向量的维度与所述自适应实例归一化层的向量维度相同。
在一些实施例中，所述图像处理网络通过以下步骤进行训练：在第n次网络更新时，获取所述网络参数的第一更新梯度；在第n+1次网络更新时，获取所述网络参数的第二更新梯度；其中，所述第二更新梯度是在所述第一更新梯度的基础上所得到的更新梯度；将所述第一更新梯度与所述第二更新梯度之和，确定为第n+2次网络更新时所述网络参数的目标更新梯度；采用所述目标更新梯度，对所述标志预处理模型、所述目标身份编码器和所述生成器中的网络参数进行修正，得到所述修正后的图像处理网络。
需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的方法。
本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图3示出的方法。
在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(fram，ferromagneticrandomaccessmemory)、只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmablereadonlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammablereadonlymemory)、带电可擦可编程只读存储器(eeprom，electricallyerasableprogrammablereadonlymemory)、闪存、磁表面存储器、光盘、或光盘只读存储器(cd-rom，compactdisk-readonlymemory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hypertextmarkuplanguage)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！