一种图像处理、直播方法及相关装置与流程

本发明实施例涉及直播技术，尤其涉及一种图像处理、直播方法及相关装置。

背景技术：

在直播平台中，主播用户可以在进行节目直播时，使用直播平台所提供的人脸处理工具，对该节目所对应的直播视频流中的人脸图像进行图像处理，以调整主播用户在直播视频流中的人物形象。具体的，该人物形象可以用人脸属性进行表示，如该人脸属性包括性别、年龄、身份、鼻型、眼型、嘴型、发型、发色、肤色、国籍等。进一步的，调整人物形象则是对人脸属性的调整，如，增强/减弱/改变性别、变老或变年轻、加强或减弱眼袋、大眼或小眼、变胖或变瘦、增强或减弱妆容等。

一般的，对于每种人脸属性的更改，需要开发该人脸属性对应的图像处理工具。当需要对人脸图像同时进行多种人脸属性的更改时，需要依次使用多种人脸属性对应的图像处理工具。一方面，每种图像处理方式之间具有关联性，使用次序的不同，容易对更改的效果产生影响；另一方面，由于每种图像处理方式均需独立开发，增加了开发难度和开发时间。

技术实现要素：

本发明提供一种图像处理、直播方法及相关装置，以实现同时更改原始图像数据的人脸属性，减少开发人员的开发难度和开发时间。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：

获取原始图像数据，所述原始图像数据中具有人物形象；

从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征；

调整所述原始属性特征，得到目标属性特征；

使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据。

进一步的，所述方法基于人脸生成器和人脸编码器，所述人脸生成器包括：解码网络；

所述从所述原始图像数据中提取原始属性特征，包括：

将所述原始图像数据输入所述人脸编码器进行编码处理，输出原始人脸编码；

将所述原始人脸编码输入所述解码网络进行解码处理，输出包括至少一种人脸属性的原始属性特征。

进一步的，所述人脸生成器还包括与解码网络连接的图像重构网络，所述图像重构网络用于输入多组用于表征人脸属性的特征，以重构图像数据；

所述调整所述原始属性特征，得到目标属性特征，包括：

接收第一用户操作；

确定所述第一用户操作所选择的包括人脸图像的参考图像数据；

从所述参考图像数据中提取表征人脸属性的特征，作为参考属性特征；

将预设组数的所述原始属性特征，作为输入所述图像重构网络的目标属性特征；

在所述目标属性特征中，将与所述参考属性特征归属于同一组的原始属性特征，替换为所述参考属性特征。

进一步的，所述调整所述原始属性特征，得到目标属性特征，包括：

接收第二用户操作；

确定所述第二用户操作所选择的、关于目标人脸属性的调整幅度，所述目标人脸属性为所述原始图像数据中所具有的、待调整的人脸属性；

确定与所述目标人脸属性关联的调整方向；

将所述原始属性特征沿所述调整方向移动所述调整幅度，得到调整后的人脸属性的目标属性特征。

进一步的，所述确定与所述目标人脸属性关联的调整方向，包括：

获取样本图像数据，所述样本图像数据标记有关于所述目标人脸属性的第一属性向量和第二属性向量；

从所述样本图像数据中提取关于所述目标人脸属性的样本属性特征；

在所述属性特征所构成的特征空间中，确定超平面，所述超平面将所述特征空间分为第一特征空间和第二特征空间，其中，所述第一特征空间中包括标记为第一属性向量的图像数据的属性特征，所述第二特征空间中包括标记为第二属性向量的图像数据的属性特征；

将所述超平面的法向量作为与所述目标人脸属性关联的调整方向。

进一步的，所述获取样本图像数据，包括：

随机生成至少一个人脸编码；

将所述人脸编码分别输入所述人脸生成器进行图像重构处理，得到至少一个样本图像数据；

确定预置的、用于识别所述目标人脸属性的分类模型，所述目标人脸属性使用第一属性向量或第二属性向量进行表征；

将所述样本图像数据输入所述分类模型进行识别处理，确定所述样本图像数据归属于第一属性向量或第二属性向量的概率；

筛选出所述概率的前n个的样本图像数据。

在又一实施例中，所述确定与所述目标人脸属性关联的调整方向，包括：

获取第一基准图像数据和第二基准图像数据，所述第二基准图像数据为更改所述第一基准图像数据的目标人脸属性所得到的图像数据；

从所述第一基准图像数据中提取第一基准属性特征；

从所述第二基准图像数据中提取第二基准属性特征；

将所述第二基准属性特征与所述第一基准属性特征的差值，作为调整方向。

进一步的，所述图像重构网络包括多层依次相连的特征重构层；

所述使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据，包括：

针对本层的特征重构层，接收上一层特征重构层输出的候选图像；

接收待输入本层特征重构层的目标属性特征；

在本层的特征重构层中，使用所述目标属性特征对所述候选图像进行重构，获得的特征图像；

若本层的特征重构层为最后一层，则输出所述特征图像为目标图像数据；

若本层的特征重构层非最后一层，则输出所述特征图像为新的候选图像。

第二方面，本发明实施例还提供了一种直播方法，该方法包括：

采集原始视频数据，所述原始视频数据中包括原始图像数据，所述原始图像数据中具有主播用户；

从每帧所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述主播用户的人脸属性的特征；

调整所述原始属性特征，得到目标属性特征；

使用每帧所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据；

播放由具有所述目标图像数据的目标视频数据。

进一步的，所述播放由具有所述目标图像数据的目标视频数据，包括：

对相邻两帧的所述目标图像数据进行处理，得新的所述目标图像数据；

播放具有新的所述目标图像数据的目标视频数据。

第三方面，本发明实施例还提供了一种图像处理装置，该装包括：

原始图像数据获取模块，用于获取原始图像数据，所述原始图像数据中具有人物形象；

原始属性特征提取模块，用于从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征；

调整模块，用于调整所述原始属性特征，得到目标属性特征；

重构模块，用于使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据。

第四方面，本发明实施例还提供了一种直播装置，该装置包括：

采集模块，用于采集原始视频数据，所述原始视频数据中包括原始图像数据，所述原始图像数据中具有主播用户；

特征提取模块，用于从每帧所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述主播用户的人脸属性的特征；

属性调整模块，用于调整所述原始属性特征，得到目标属性特征；

图像重构模块，用于使用每帧所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据；

播放模块，用于播放由具有所述目标图像数据的目标视频数据。

第五方面，本发明实施例还提供了一种图像处理设备，该设备包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的图像处理方法。

第六方面，本发明实施例还提供了一种直播设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面中任一所述的直播方法。

第七方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的图像处理方法。

第八方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如第二方面中任一所述的直播方法。

本发明通过获取原始图像数据，所述原始图像数据中具有人物形象；从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征；调整所述原始属性特征，得到目标属性特征；使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据，解决在使用不同图像处理方式对人脸属性进行调整时，调整次序不同所带来的效果互相影响的问题，实现同时更改原始图像数据的人脸属性，以对原始图像数据中的人物形象进行调整，进而减少开发人员的开发难度和开发时间。

附图说明

图1a为本发明实施例一提供的一种图像处理方法的流程图；

图1b为本发明实施例一提供的一种人脸编码器的结构示意图；

图1c为本发明实施例一提供的一种人脸生成器的结构示意图；

图2为本发明实施例二提供的一种原始属性特征的调整子方法的流程图；

图3为本发明实施例三提供的一种原始属性特征的调整子方法的流程图；

图4为本发明实施例四提供的一种直播方法的流程图；

图5为本发明实施例五提供的一种图像处理装置的结构示意图；

图6为本发明实施例六提供的一种直播装置的结构示意图；

图7为本发明实施例七提供的一种图像处理设备的结构示意图；

图8为本发明实施例八提供的一种直播设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1a为本发明实施例一提供的一种图像处理方法的流程图，图1b为本发明实施例一提供的一种人脸编码器的结构示意图，图1c为本发明实施例一提供的一种人脸生成器的结构示意图。本实施例可适用于使用图像处理技术更改图像数据中的人物形象的情况，具体的，用于更改该人物形象的人物属性。参考图1a，该方法可以由图像处理设备来执行，该图像处理设备可以是电脑、服务器、移动终端等。

本实施例中，在更改该人物形象的人物属性的应用场景中，可以通过输入初始图像数据，从该初始图像数据中确定人脸数据的区域，在该区域中对该人脸数据进行人脸关键点的检测，并对该人脸数据根据该人脸关键点进行对齐。进一步，可以将对齐后的人脸数据作为原始人脸数据，使用本实施例提供的图像处理方法进行调整，得到具有更改后的人物属性的目标图像数据。可以将该目标图像数据根据人脸关键点与初始图像数据中的人脸数据进行对齐，并使用该目标图像数据替换初始图像数据中的人脸数据。

参考图1b-1c，该方法可以基于人脸编码器和人脸生成器。该人脸编码器用于将输入的图像数据进行编码处理，得到图像编码。该人脸生成器用于将输入的图像编码进行处理，重新生成图像数据。

其中，该人脸编码器10包括连接的图像分解网络11和编码网络12。该图像分解网络11用于将输入的图像数据x进行特征提取处理，得到属性特征w，该属性特征w为人物形象的人脸属性的特征。该编码网络12用于将输入的属性特征w进行编码处理，得到人脸编码z；在图1b所示的人脸编码器10中，该图像分解网络11可以使用卷积神经网络(convolutionalneuralnetwork,cnn)进行实现，该编码网络12可以使用全连接层(fullconnectedlayer,fc)进行实现。

其中，该人脸生成器20包括：连接的解码网络21和图像重构网络22。该解码网络21可以对输入的人脸编码z进行解码处理，得到属性特征w’。该图像重构网络22用于输入多组用于表征人脸属性的特征，即属性特征w’，以重构图像数据x’。该图像重构网络22包括多层依次相连的特征重构层，每层该特征重构层均连接有神经元节点node，用于输入各自对应的一组关于人脸特征的属性特征w’，最后一层该特征重构层用于输出具有多组该人脸属性的图像数据x’。在图1c所示的人脸生成器20中，该解码网络21可以使用全连接层进行实现，该图像重构网络22可以使用卷积神经网络进行实现。

需要注意的是，当人脸编码器10和人脸生成器20一起使用时，x是输入的人物形象的图像数据，z是输出的人脸编码，属性特征w是位于该人脸编码器10中间的属性特征。人脸编码器10中的属性特征w及人脸生成器20中的属性特征w’，具备一定程度的解耦特性。

需要注意的是，编码网络12和解码网络21均为可选模块，当在人脸编码器仅包括图像分解网络11、人脸生成器20仅包括图像重构网络22时，z＝w,w'＝z。

该方法具体包括如下步骤：

s110、获取原始图像数据，所述原始图像数据中具有人物形象。

本实施例中，原始图像数据中具有人物形象。该人物形象可以用人脸属性进行表示，如该人脸属性包括性别、年龄、身份、鼻型、眼型、嘴型、发型、发色、肤色、国籍等。

本实施例中，该原始图像数据包括该人物形象对应的人脸数据。

在一实施例中，可以通过输入初始图像数据，从该初始图像数据中确定人脸数据的区域，在该区域中对该人脸数据进行人脸关键点的检测，并对该人脸数据根据该人脸关键点进行对齐。进一步，可以将对齐后的人脸数据作为原始人脸数据。

s120、从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征。

本实施例中，人物形象的人脸属性可以使用属性特征进行表征。示例性，在以向量表示属性特征时，该向量可以用于表示多种人脸特征，可以是向量中的每一位单独表示一种人脸属性，当然也可以是使用整个向量确定一种人脸属性。

本实施例中，从原始图像数据提取的人物形象的属性特征，为原始属性特征。

在一实施例中，可以通过将原始图像数据输入人脸编码器进行编码处理，输出原始人脸编码；将原始人脸编码输入解码网络进行解码处理，输出包括至少一种人脸属性的原始属性特征。

s130、调整所述原始属性特征，得到目标属性特征。

本实施例中，可以通过调整人物形象的属性特征，来实现如对该人物形象的人脸属性的调整，如，增强/减弱/改变性别、变老或变年轻、加强或减弱眼袋、大眼或小眼、变胖或变瘦、增强或减弱妆容等。

在调整人物形象的人脸属性时，通常采用调整人脸编码的方式。由于在人脸编码z的分布空间中，假如z的取样空间是一个固定形态的分布(例如平均值是0，标准差是1的正态分布)，使用人脸编码z表示的属性特征容易耦合在一起。这就使得采用调整人脸编码的方式的调整效果是无法掌控的。则可以使用编码网络12和解码网络21分别获取属性特征w和属性特征w’。

相对而言，由于人脸编码器10中的属性特征w及人脸生成器20中的属性特征w’，能够在一定程度上解离属性特征在原来z所在空间的耦合状态。也就是说，原始属性特征不同于原始人脸编码，原始属性特征之间是一定程度解耦的。为了说明清楚解耦的性质，进一步的，可以在以属性特征w所构建的属性特征空间中。由于解耦的性质，在该属性特征空间中可以确定出对于每一种人脸属性的方向向量。该方向向量可以作为该人脸属性所对应的调整方向，当沿着该调整方向调整原始属性特征在该属性特征空间中的位置时，可以相应的，调整该人物形象的该人脸属性。这就使得采用调整属性特征w’(即原始属性特征)的方式的调整效果是可以得到掌控的。

s140、使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据。

本实施例中，可以使用上述的图像重构网络对目标属性特征进行图像重构处理。具体的，参考图1c所示的图像重构网络的结构，可以通过针对本层的特征重构层，接收上一层特征重构层输出的候选图像；接收待输入本层特征重构层的目标属性特征；在本层的特征重构层中，使用目标属性特征对候选图像进行重构，获得的特征图像；若本层的特征重构层为最后一层，则输出特征图像为目标图像数据；若本层的特征重构层非最后一层，则输出特征图像为新的候选图像。

在一实施例中，对应于原始图像数据为初始图像数据中的人脸数据的情况，可以将该目标图像数据根据人脸关键点与初始图像数据中的人脸数据进行对齐，并使用该目标图像数据替换初始图像数据中的人脸数据。

本实施例的技术方案，通过获取原始图像数据，所述原始图像数据中具有人物形象；从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征；调整所述原始属性特征，得到目标属性特征；使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据，区别于每次调整不同人脸属性时所带来的调整效果无法确定的问题，本技术方案采用调整具有解耦性质的原始属性特征，解决在使用不同图像处理方式对人脸属性进行调整时，调整次序不同所带来的效果互相影响的问题，实现同时更改原始图像数据的人脸属性，以对原始图像数据中的人物形象进行调整，进而减少开发人员的开发难度和开发时间，而且调整效果可以确定。

实施例二

图2为本发明实施例二提供的一种原始属性特征的调整子方法的流程图。本实施例在上述实施例的基础上进一步细化，对以参考图像的调整方式的原始属性特征的调整子方法进行详细描述。本实施例中，目标属性特征除了可以来自原始属性特征，还可以来自参考图像数据。

在参考图像的调整方式中，参考图2，步骤s130可以进一步细化为步骤s210-s250：

s210、接收第一用户操作。

本实施例中，可以设置一选择页面，可以通过该选择页面导入或选择参考图像数据。第一用户操作为作用于该选择页面的用户操作。该参考图像数据可以是用户导入的包括人脸图像的图像数据，也可以是随机生成的包括人脸图像的图像数据。

s220、确定所述第一用户操作所选择的包括人脸图像的参考图像数据；

本实施例中，将该第一用户操作所作用的参考图像数据，确定为选择的参考图像数据。

一般的，用户可以根据个人喜好选择参考图像数据，使得最终重构的目标图像数据，具有参考图像数据中的人脸属性。示例性的，用户可以挑选具有大眼睛、鹰钩鼻、尖下巴等人脸属性的参考图像数据，使得最终重构的目标图像数据中的人物形象，同样具有参考图像数据的大眼睛、鹰钩鼻、尖下巴等人脸属性；也可以基于用户本人的脸，根据用户的喜好来调整一个或多个人脸属性(比如年龄、性别、吸引力、胖瘦等)，而且调整的程度和方向(比如年龄有变老和变年轻2个方向)皆可由用户控制。这两种人脸属性的调整方式可以同时进行。

s230、从所述参考图像数据中提取表征人脸属性的特征，作为参考属性特征。

本实施例中，可以通过将参考图像数据输入人脸编码器进行编码处理，输出参考人脸编码；将参考人脸编码输入解码网络进行解码处理，输出包括至少一种人脸属性的参考属性特征。

s240、将预设组数的所述原始属性特征，作为输入所述图像重构网络的目标属性特征。

本实施例中，目标属性特征用于进行图像重构处理，得到目标图像数据。

本实施例中，可以将多组目标属性特征输入图像重构网络进行图像重构处理，以输出目标图像数据。

具体的，参考图1c，该图像重构网络22包括多层依次相连的特征重构层，每层该特征重构层均连接有神经元节点node，用于对输入各自对应的一组关于人脸特征的目标属性特征，最后一层该特征重构层用于输出具有该目标属性特征所表征的人脸属性的目标图像数据。

本实施例中，每一组原始属性特征将输入各自对应的特征重构层。

s250、在所述目标属性特征中，将与所述参考属性特征归属于同一组的原始属性特征，替换为所述参考属性特征。

本实施例中，通过设置目标属性特征除了可以来自原始属性特征，还可以来自参考图像数据，使得图像重构处理得到目标图像数据，具有参考图像数据中的人脸属性。

进一步的，人脸生成器的训练过程中，可以确定每层特征重构层所针对的人脸属性，如一层特征重构层主要用于对脸部轮廓的重构，一层特征重构层主要用于对性别的重构；一层特征重构层主要用于对脸部细节的重构；一层特征重构层主要用于对人脸国藉的重构等。

由于参考属性特征同样可以用于表征多种人脸属性，可以将待调整的人脸属性，作为目标属性；进一步的，可以将该参考属性特征输入该目标属性所对应的特征重构层，即可以确定该参考属性特征对应的组别，如输入第一层特征重构层，则参考属性特征归属于第一组。进一步的，在使用原始属性特征构成的目标属性特征中，将与参考属性特征归属于同一组的原始属性特征，替换为参考属性特征。

实施例三

图3为本发明实施例三提供的一种原始属性特征的调整子方法的流程图。本实施例在上述实施例的基础上进一步细化，对以确定调整方向的方式的原始属性特征的调整子方法进行详细描述。

在确定调整方向的方式中，参考图3，步骤s130可以进一步细化为步骤s310-s340：

s310、接收第二用户操作。

本实施例中，可以设置一属性选择页面，可以通过该属性选择页面确定待调整的人脸属性。第二用户操作为作用于该属性选择页面的用户操作。

s320、确定所述第二用户操作所选择的、关于目标人脸属性的调整幅度，所述目标人脸属性为所述原始图像数据中所具有的、待调整的人脸属性。

本实施例中，可以通过调整人物形象的属性特征，来实现如对该人物形象的人脸属性的调整，如，增强/减弱/改变性别、变老或变年轻、加强或减弱眼袋、大眼或小眼、变胖或变瘦、增强或减弱妆容等。本实施例中的调整幅度，则可以用于表示调整该目标人脸属性的程度。如调整该目标人脸属性为使得人物形象变老或变年轻，则在往变老的调整方向所对应的调整幅度越高，则调整后的人物形象也越老。

s330、确定与所述目标人脸属性关联的调整方向。

本实施例中，由于人脸编码器10中的属性特征w及人脸生成器20中的属性特征w’，能够在一定程度上解离属性特征在原来z所在空间的耦合状态。也就是说，原始属性特征不同于原始人脸编码，原始属性特征之间是一定程度上解耦的。

在一实施中，可以通过获取样本图像数据，样本图像数据标记有关于目标人脸属性的第一属性向量和第二属性向量。如该目标人脸属性为性别，则第一属性向量可以表征男性，第二属性向量可以表征女性；又如目标人脸属性为眼型，则第一属性向量可以表征大眼，第二属性向量可以表征小眼，大眼和小眼的区分可以使用一预设的标准的眼睛进行界定。从样本图像数据中提取关于目标人脸属性的样本属性特征；在属性特征所构成的特征空间中，确定超平面；将超平面的法向量作为与目标人脸属性关联的调整方向。其中，超平面将特征空间分为第一特征空间和第二特征空间，第一特征空间中包括标记为第一属性向量的图像数据的属性特征，第二特征空间中包括标记为第二属性向量的图像数据的属性特征。示例性的，可以使用该样本图像数据训练得到支持向量机，该支持向量机的超平面的法向量即为调整方向。

进一步的，可以通过随机生成至少一个人脸编码；将人脸编码分别输入人脸生成器进行图像重构处理，得到至少一个样本图像数据；确定预置的、用于识别目标人脸属性的分类模型，目标人脸属性使用第一属性向量或第二属性向量进行表征；将样本图像数据输入分类模型进行识别处理，确定样本图像数据归属于第一属性向量或第二属性向量的概率；筛选出概率的前n个的样本图像数据，可以使得样本图像数据的属性特征在属性特征空间中具有明显的分离效果，不至于第一特征空间中包括标记为第二属性向量的图像数据的属性特征，第二特征空间中包括标记为第一属性向量的图像数据的属性特征。由此，可以提高确定该调整方向的准确性。

在又一实施例中，可以通过获取第一基准图像数据和第二基准图像数据，第二基准图像数据为更改第一基准图像数据的目标人脸属性所得到的图像数据；从第一基准图像数据中提取第一基准属性特征；从第二基准图像数据中提取第二基准属性特征；将第二基准属性特征与第一基准属性特征的差值，作为调整方向。示例性的，可以取2张图片，这2张图片只有某一人脸属性不同，然后把这两张图片分别输入到编码器算出属性特征,这两个属性特征的差就是该人脸属性的调整方向(比如一张原人脸，一张原人脸经过瘦脸，这2张人脸图片的属性特征之差就是瘦脸的调整方向)。

s340、将所述原始属性特征沿所述调整方向移动所述调整幅度，得到调整后的人脸属性的目标属性特征。

示例性的，目标属性特征可以表示为：wnew’＝w’+αδw，其中，wnew’为目标属性特征，w’为原始属性特征，α为调整幅度，δw为表征的调整方向。

实施例四

图4为本发明实施例四提供的一种直播方法的流程图。本实施例可适用于使用图像处理技术更改直播视频中主播用户的人物形象的情况，具体的，用于更改该主播用户的人物属性。该方法可以由直播设备来执行，该直播设备可以是电脑、服务器、移动终端等。

参照图4，该方法具体包括如下步骤：

s410、采集原始视频数据，所述原始视频数据中包括原始图像数据，所述原始图像数据中具有主播用户。

本实施例中，可以从原始视频数据中提取初始图像数据，并进一步的，从该初始图像数据中确定主播用户的人脸数据的区域，在该区域中对该人脸数据进行人脸关键点的检测，并对该人脸数据根据该人脸关键点进行对齐。进一步，可以将对齐后的人脸数据作为原始人脸数据。

s420、从每帧所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述主播用户的人脸属性的特征。

本实施例中，主播用户的人脸属性可以使用属性特征进行表征。示例性，在以向量表示属性特征时，该向量可以用于表示多种人脸特征，可以是向量中的每一位单独表示一种人脸属性，当然也可以是使用整个向量确定一种人脸属性。

本实施例中，从原始图像数据提取的主播用户的属性特征，为原始属性特征。

在一实施例中，可以通过将原始图像数据输入人脸编码器进行编码处理，输出原始人脸编码；将原始人脸编码输入解码网络进行解码处理，输出包括至少一种人脸属性的原始属性特征。

s430、调整所述原始属性特征，得到目标属性特征。

本实施例中，可以通过调整主播用户的属性特征，来实现如对该主播用户的人脸属性的调整，如，增强/减弱/改变性别、变老或变年轻、加强或减弱眼袋、大眼或小眼、变胖或变瘦、增强或减弱妆容等。

在调整主播用户的人脸属性时，通常采用调整人脸编码的方式。由于在人脸编码z的分布空间中，使用人脸编码z表示的属性特征容易耦合在一起。这就使得采用调整人脸编码的方式的调整效果是无法掌控的。

相对而言，由于人脸编码器10中的属性特征w及人脸生成器20中的属性特征w’，能够在一定程度上解离属性特征在原来z所在空间的耦合状态。也就是说，原始属性特征不同于原始人脸编码，原始属性特征之间是一定程度解耦的。为了说明清楚解耦的性质，进一步的，可以在以属性特征w所构建的属性特征空间中。由于解耦的性质，在该属性特征空间中可以确定出对于每一种人脸属性所方向向量。该方向向量可以作为该人脸属性所对应的调整方向，当沿着该调整方向调整原始属性特征在该属性特征空间中的位置时，可以相应的，调整该主播用户的该人脸属性。这就使得采用调整属性特征w’(即原始属性特征)的方式的调整效果是可以得到掌控的。

本实施例中，原始属性特征的调整子方法具有两种形式：参考图像的调整方式和确定调整方向的方式。

一、参考图像的调整方式

本实施例中，可以通过接收第一用户操作；确定第一用户操作所选择的包括人脸图像的参考图像数据；从参考图像数据中提取表征人脸属性的特征，作为参考属性特征；将预设组数的原始属性特征，作为输入图像重构网络的目标属性特征；在目标属性特征中，将与参考属性特征归属于同一组的原始属性特征，替换为参考属性特征。

二、确定调整方向的方式

本实施例中，可以通过接收第二用户操作；确定第二用户操作所选择的、关于目标人脸属性的调整幅度，目标人脸属性为原始图像数据中所具有的、待调整的人脸属性；确定与目标人脸属性关联的调整方向；将原始属性特征沿调整方向移动调整幅度，得到调整后的人脸属性的目标属性特征。

s440、使用每帧所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据。

本实施例中，可以使用上述的图像重构网络对目标属性特征进行图像重构处理。具体的，参考图1c所示的图像重构网络的结构，可以通过针对本层的特征重构层，接收上一层特征重构层输出的候选图像；接收待输入本层特征重构层的目标属性特征；在本层的特征重构层中，使用目标属性特征对候选图像进行重构，获得的特征图像；若本层的特征重构层为最后一层，则输出特征图像为目标图像数据；若本层的特征重构层非最后一层，则输出特征图像为新的候选图像。

在一实施例中，对应于原始图像数据为初始图像数据中的人脸数据的情况，可以将该目标图像数据根据人脸关键点与初始图像数据中的人脸数据进行对齐，并使用该目标图像数据替换初始图像数据中的人脸数据。

s450、播放由具有所述目标图像数据的目标视频数据。

本实施例中，通过对相邻两帧的所述目标图像数据进行处理，得新的所述目标图像数据；播放具有新的所述目标图像数据的目标视频数据。

本实施例中，该处理可以包括对齐处理、融合处理或平滑处理等。

本实施例中，该对应处理用于检测目标图像数据中的人脸关键点，进一步的，对齐相邻两帧的目标图像数据中的人脸关键点。一般的，所检测到的人脸关键点可以设置有编号，可以确定相邻两帧的目标图像数据中编号一致的人脸关键点具有对应关系，将具有对应关系的两个人脸关键点进行对齐。

该平滑处理可以是根据上一帧的目标图像数据的人脸关键点拉伸当前帧目标图像数据的人脸关键点，可以表示为：

dt＝αdt+(1-β)dt-1

其中，dt是前帧目标图像数据的人脸关键点，dt-1是目标图像数据的人脸关键点，β是超参数。经过这个操作后，帧间的主播用户的人脸属性调整效果会变得更平滑。

进一步的，本实施例中，该融合处理用于将多帧目标图像数据组合得到目标视频数据，则该目标视频数据是由已替换了人脸数据的初始图像数据组合得到。

本实施例的技术方案，通过采集原始视频数据，所述原始视频数据中包括原始图像数据，所述原始图像数据中具有主播用户；从每帧所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述主播用户的人脸属性的特征；调整所述原始属性特征，得到目标属性特征；使用每帧所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据；播放由具有所述目标图像数据的目标视频数据，区别于每次调整不同人脸属性时所带来的调整效果无法确定的问题，本技术方案采用调整具有解耦性质的原始属性特征，解决在使用不同图像处理方式对人脸属性进行调整时，调整次序不同所带来的效果互相影响的问题，实现同时更改原始图像数据的人脸属性，以对原始图像数据中的人物形象进行调整，进而减少开发人员的开发难度和开发时间，而且调整效果可以确定。进一步的，通过对相邻两帧的目标图像数据进行平滑处理，可以保证相邻两帧的目标图像数据在播放过程中的稳定性，不至于出现抖动的情况。

实施例五

图5为本发明实施例五提供的一种图像处理装置的结构示意图。

参照图5，该图像处理装置具体包括如下结构包括：原始图像数据获取模块510、原始属性特征提取模块520、调整模块530和重构模块540。

原始图像数据获取模块510，用于获取原始图像数据，所述原始图像数据中具有人物形象。

原始属性特征提取模块520，用于从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征。

调整模块530，用于调整所述原始属性特征，得到目标属性特征。

重构模块540，用于使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据。

本实施例的技术方案，通过获取原始图像数据，所述原始图像数据中具有人物形象；从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征；调整所述原始属性特征，得到目标属性特征；使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据，区别于每次调整不同人脸属性时所带来的调整效果无法确定的问题，本技术方案采用调整具有解耦性质的原始属性特征，解决在使用不同图像处理方式对人脸属性进行调整时，调整次序不同所带来的效果互相影响的问题，实现同时更改原始图像数据的人脸属性，以对原始图像数据中的人物形象进行调整，进而减少开发人员的开发难度和开发时间，而且调整效果可以确定。

在上述技术方案的基础上，所述方法基于人脸生成器和人脸编码器，所述人脸生成器包括：解码网络；原始属性特征提取模块520，包括：

编码单元，用于将所述原始图像数据输入所述人脸编码器进行编码处理，输出原始人脸编码。

解码单元，用于将所述原始人脸编码输入所述解码网络进行解码处理，输出包括至少一种人脸属性的原始属性特征。

在上述技术方案的基础上，所述人脸生成器还包括与解码网络连接的图像重构网络，所述图像重构网络用于输入多组用于表征人脸属性的特征，以重构图像数据；调整模块530，包括：

第一用户操作接收单元，用于接收第一用户操作。

参考图像数据确定单元，用于确定所述第一用户操作所选择的包括人脸图像的参考图像数据。

参考属性特征提取单元，用于从所述参考图像数据中提取表征人脸属性的特征，作为参考属性特征。

目标属性特征初始单元，用于将预设组数的所述原始属性特征，作为输入所述图像重构网络的目标属性特征。

替换单元，用于在所述目标属性特征中，将与所述参考属性特征归属于同一组的原始属性特征，替换为所述参考属性特征。

在上述技术方案的基础上，调整模块530，包括：

第二用户操作接收单元，用于接收第二用户操作。

目标人脸属性确定单元，用于确定所述第二用户操作所选择的、关于目标人脸属性的调整幅度，所述目标人脸属性为所述原始图像数据中所具有的、待调整的人脸属性。

调整方向确定单元，用于确定与所述目标人脸属性关联的调整方向。

目标属性特征确定单元，用于将所述原始属性特征沿所述调整方向移动所述调整幅度，得到调整后的人脸属性的目标属性特征。

在上述技术方案的基础上，调整方向确定单元，包括：

样本图像数据获取子单元，用于获取样本图像数据，所述样本图像数据标记有关于所述目标人脸属性的第一属性向量和第二属性向量。

样本属性特征提取子单元，用于从所述样本图像数据中提取关于所述目标人脸属性的样本属性特征。

超平面确定子单元，用于在所述属性特征所构成的特征空间中，确定超平面，所述超平面将所述特征空间分为第一特征空间和第二特征空间，其中，所述第一特征空间中包括标记为第一属性向量的图像数据的属性特征，所述第二特征空间中包括标记为第二属性向量的图像数据的属性特征。

第一调整方向确定子单元，用于将所述超平面的法向量作为与所述目标人脸属性关联的调整方向。

在上述技术方案的基础上，样本图像数据获取子单元，具体的用于随机生成至少一个人脸编码；将所述人脸编码分别输入所述人脸生成器进行图像重构处理，得到至少一个样本图像数据；确定预置的、用于识别所述目标人脸属性的分类模型，所述目标人脸属性使用第一属性向量或第二属性向量进行表征；将所述样本图像数据输入所述分类模型进行识别处理，确定所述样本图像数据归属于第一属性向量或第二属性向量的概率；筛选出所述概率的前n个的样本图像数据。

在上述技术方案的基础上，调整方向确定单元，包括：

基准图像获取子单元，用于获取第一基准图像数据和第二基准图像数据，所述第二基准图像数据为更改所述第一基准图像数据的目标人脸属性所得到的图像数据；

第一基准提取子单元，用于从所述第一基准图像数据中提取第一基准属性特征；

第二基准提取子单元，用于从所述第二基准图像数据中提取第二基准属性特征；

第二调整方向确定子单元，用于将所述第二基准属性特征与所述第一基准属性特征的差值，作为调整方向。

在上述技术方案的基础上，所述图像重构网络包括多层依次相连的特征重构层；重构模块540，包括：

候选图像接收单元，用于针对本层的特征重构层，接收上一层特征重构层输出的候选图像。

目标属性特征接收单元，用于接收待输入本层特征重构层的目标属性特征；

重构单元，用于在本层的特征重构层中，使用所述目标属性特征对所述候选图像进行重构，获得的特征图像。

第一输出单元，用于若本层的特征重构层为最后一层，则输出所述特征图像为目标图像数据。

第二输出单元，用于若本层的特征重构层非最后一层，则输出所述特征图像为新的候选图像。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例六

图6为本发明实施例六提供的一种直播装置的结构示意图。

参照图6，该直播装置，包括：采集模块610、特征提取模块620、属性调整模块630、图像重构模块640和播放模块650。

采集模块610，用于采集原始视频数据，所述原始视频数据中包括原始图像数据，所述原始图像数据中具有主播用户；

特征提取模块620，用于从每帧所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述主播用户的人脸属性的特征；

属性调整模块630，用于调整所述原始属性特征，得到目标属性特征；

图像重构模块640，用于使用每帧所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据；

播放模块650，用于播放由具有所述目标图像数据的目标视频数据。

本实施例的技术方案，通过采集原始视频数据，所述原始视频数据中包括原始图像数据，所述原始图像数据中具有主播用户；从每帧所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述主播用户的人脸属性的特征；调整所述原始属性特征，得到目标属性特征；使用每帧所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据；播放由具有所述目标图像数据的目标视频数据，区别于每次调整不同人脸属性时所带来的调整效果无法确定的问题，本技术方案采用调整具有解耦性质的原始属性特征，解决在使用不同图像处理方式对人脸属性进行调整时，调整次序不同所带来的效果互相影响的问题，实现同时更改原始图像数据的人脸属性，以对原始图像数据中的人物形象进行调整，进而减少开发人员的开发难度和开发时间，而且调整效果可以确定。进一步的，通过对相邻两帧的目标图像数据进行平滑处理，可以保证相邻两帧的目标图像数据在播放过程中的稳定性，不至于出现抖动的情况。

在上述技术方案的基础上，播放模块650，包括：

平滑单元，用于对相邻两帧的所述目标图像数据进行平滑处理，得新的所述目标图像数据。

播放单元，用于播放具有新的所述目标图像数据的目标视频数据。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

实施例七

图7为本发明实施例七提供的一种图像处理设备的结构示意图。如图7所示，该图像处理设备包括：处理器70、存储器71、输入装置72以及输出装置73。该图像处理设备中处理器70的数量可以是一个或者多个，图7中以一个处理器70为例。该图像处理设备中存储器71的数量可以是一个或者多个，图7中以一个存储器71为例。该图像处理设备的处理器70、存储器71、输入装置72以及输出装置73可以通过总线或者其他方式连接，图7中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的图像处理方法对应的程序指令/模块(例如，图像处理装置中的原始图像数据获取模块510、原始属性特征提取模块520、调整模块530和重构模块540)。存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或者字符信息，以及产生与图像处理设备的观众用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置73可以包括扬声器等音频设备。需要说明的是，输入装置72和输出装置73的具体组成可以根据实际情况设定。

处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的图像处理方法。

实施例八

图8为本发明实施例八提供的一种直播设备的结构示意图。如图8所示，该直播设备包括：处理器80、存储器81、输入装置82以及输出装置83。该直播设备中处理器80的数量可以是一个或者多个，图8中以一个处理器80为例。该直播设备中存储器81的数量可以是一个或者多个，图8中以一个存储器81为例。该直播设备的处理器80、存储器81、输入装置82以及输出装置83可以通过总线或者其他方式连接，图8中以通过总线连接为例。该直播设备可以是电脑和服务器等。本实施例以直播设备为服务器进行详细说明，该服务器可以是独立服务器或集群服务器。

存储器81作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明任意实施例所述的直播方法对应的程序指令/模块(例如，直播装置中的采集模块610、特征提取模块620、属性调整模块630、图像重构模块640和播放模块650)。存储器81可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器81可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器81可进一步包括相对于处理器80远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置82可用于接收输入的数字或者字符信息，以及产生与直播设备的观众用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置83可以包括扬声器等音频设备。需要说明的是，输入装置82和输出装置83的具体组成可以根据实际情况设定。

处理器80通过运行存储在存储器81中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的直播方法。

实施例九

本发明实施例九还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像处理方法，包括：

获取原始图像数据，所述原始图像数据中具有人物形象；

从所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述人物形象的人脸属性的特征；

调整所述原始属性特征，得到目标属性特征；

使用所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的图像处理方法操作,还可以执行本发明任意实施例所提供的图像处理方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的图像处理方法。

值得注意的是，上述图像处理装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例十

本发明实施例十还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种直播方法，包括：

采集原始视频数据，所述原始视频数据中包括原始图像数据，所述原始图像数据中具有主播用户；

从每帧所述原始图像数据中提取原始属性特征，所述原始属性特征为表征所述主播用户的人脸属性的特征；

调整所述原始属性特征，得到目标属性特征；

使用每帧所述目标属性特征进行图像重构处理，得到具有调整后的所述人脸属性的目标图像数据；

播放由具有所述目标图像数据的目标视频数据。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的直播方法操作,还可以执行本发明任意实施例所提供的直播方法中的相关操作，且具备相应的功能和有益效果。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的直播方法。

值得注意的是，上述直播装置中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。