一种服务器、显示设备及图像处理方法与流程

本技术涉及图像预处理，尤其涉及一种服务器、显示设备及图像处理方法。

背景技术：

1、艺术风格肖像在与漫画、动画、海报和广告相关的行业中具有广泛的应用，基于定制化样例的人脸风格迁移是计算机视觉领域一个热门问题。它的目的是将样例给定的艺术化人脸图像的风格转移到目标人脸上，只需提供一定数量的艺术人脸图像，任何没有美术基础的新手都能够轻松地将自然人脸图像转换为高质量的风格人脸图像。

2、采用图像转换的方法可以达到获取风格人脸图像的目的。训练网络学习真实人脸和艺术人像之间的映射关系，这类方法依赖大量的训练数据且只适用于小尺寸图像，难以满足实际需求。基于图像翻译、图像风格化的人脸风格化方法有很多种，但这些方法往往依赖大量的训练数据且生成图像的质量有限。比如animegan和cartoon gan等图像风格转换和图像到图像的转换模型相比，它们在质量、图像分辨率、数据需求和效率方面都存在一定问题，模型鲁棒性不高，对于训练数据需求较高，大量的成对数据提升了训练成本，训练出来的模型也不能很好地支持风格转换的强度调节，使得转换效果固定单一。同时该类方法只能学习风格数据集的一个总体风格，无法指定样例风格达到“定制化”的效果。

技术实现思路

1、本技术一些实施例提供了一种服务器、显示设备及图像处理方法，通过对人脸图像数据进行人脸分割预处理，得到真人形象域的结构特征，并通过外部网络控制目标域的生成转换，引入艺术风格特征，得到高清风格化人脸图像。

2、第一方面，本技术一些实施例中提供一种服务器，被配置为：

3、接收人脸图像数据；

4、对所述人脸图像数据进行人脸分割预处理，得到至少一个内部中间风格编码特征，所述内部中间风格编码特征为自然人脸风格的编码特征；

5、获取外部中间风格编码特征，所述外部中间风格编码特征为目标风格的编码特征；

6、将所述内部中间风格编码特征和所述外部中间风格编码特征输入训练好的风格对抗生成网络模型中，生成目标风格化人脸图像数据。

7、在一些实施例中，所述服务器执行对所述人脸图像数据进行人脸分割预处理，得到至少一个内部中间风格编码特征，被进一步配置为：

8、对所述人脸图像数据进行人像抠图处理，得到抠图后的人脸图像；

9、对所述抠图后的人脸图像进行画质增强处理，得到人脸增强图像；

10、对所述人脸增强图像进行人脸分割预处理，得到至少一个内部中间风格编码特征。

11、在一些实施例中，所述服务器执行对所述人脸图像数据进行人脸分割预处理，得到至少一个内部中间风格编码特征，被进一步配置为：

12、确定所述人脸图像数据中人脸关键点数据；

13、如果基于所述人脸关键点数据确定人脸关键点位置不正，则校正人脸关键点；

14、基于校正后人脸关键点的数据及分割模型对所述人脸图像数据进行人脸分割预处理，得到至少一个内部中间风格编码特征。

15、在一些实施例中，所述服务器获取外部中间风格编码特征，被进一步配置为：

16、将至少一个风格图像输入外部风格编码器中，得到外部风格编码特征；

17、将所述外部风格编码特征通过映射网络，得到至少一个外部中间风格编码特征；

18、将所述外部中间风格编码特征存储至预设地址；

19、从所述预设地址中获取外部中间风格编码特征。

20、在一些实施例中，所述服务器执行将所述内部中间风格编码特征和所述外部中间风格编码特征输入训练好的风格对抗生成网络模型中，生成目标风格化人脸图像数据，被进一步配置为：

21、将目标位置的外部中间风格编码特征经线性层编码，得到外部结构风格编码特征；

22、将所述外部结构风格编码特征经过卷积和上采样，得到卷积特征；

23、将所述卷积特征输入残差模块，得到残差特征；

24、计算所述残差特征与预置权重的乘积；

25、确定人脸结构特征为所述乘积与所述内部中间风格编码特征之和；

26、将非目标位置的外部中间风格编码特征经线性层编码，得到外部颜色风格编码特征；

27、将所述外部颜色风格编码特征和所述内部中间风格编码特征加权后，得到颜色特征；

28、基于所述人脸结构特征和所述颜色特征调整所述人脸图像数据，生成目标风格化人脸图像数据。

29、在一些实施例中，所述服务器，被配置为：

30、接收风格强度参数；

31、基于风格强度参数确定风格权重；

32、计算所述残差特征与所述风格权重的乘积；

33、确定人脸结构特征为所述乘积与所述内部中间风格编码特征之和；

34、基于所述人脸结构特征调整所述人脸图像数据。

35、在一些实施例中，所述服务器，被配置为：

36、接收背景强度参数；

37、基于背景强度参数确定颜色权重；

38、将所述外部颜色风格编码特征和所述内部中间风格编码特征通过所述颜色权重加权后，得到颜色特征；

39、基于所述颜色特征调整所述人脸图像数据。

40、在一些实施例中，在生成目标风格化人脸图像数据之后，所述服务器，被配置为：

41、接收显示设备发送用户输入的语音数据；

42、根据所述语音数据生成播报文本；

43、根据基于所述播报文本合成播报语音；

44、根据所述播报语音确定关键点序列；

45、根据所述关键点序列和所述目标风格化人脸图像数据合成数字人图像数据；

46、将所述数字人图像数据和所述播报语音发送至所述显示设备，以使所述显示设备播放所述播报语音并根据数字人图像数据播放数字人的图像。

47、第二方面，本技术一些实施例中提供一种显示设备，包括：

48、显示器，被配置为显示用户界面；

49、通信器，被配置为与服务器进行数据通信；

50、控制器，被配置为：

51、接收用户输入的语音数据；

52、将所述语音数据通过所述通信器发送至服务器；

53、接收所述服务器基于所述语音数据下发的数字人数据；

54、基于所述数字人数据播放数字人的图像和音频。

55、第三方面，本技术一些实施例中提供一种图像处理方法，应用于服务器，包括：

56、接收人脸图像数据；

57、对所述人脸图像数据进行人脸分割预处理，得到至少一个内部中间风格编码特征，所述内部中间风格编码特征包括自然人脸风格的编码特征；

58、获取外部中间风格编码特征，所述外部中间风格编码特征包括目标风格的编码特征；

59、将所述内部中间风格编码特征和所述外部中间风格编码特征输入训练好的风格对抗生成网络模型中，生成目标风格化人脸图像数据。

60、本技术的一些实施例提供一种服务器、显示设备及图像处理方法。所述方法包括：接收人脸图像数据；对人脸图像数据进行人脸分割预处理，得到至少一个内部中间风格编码特征，其中，内部中间风格编码特征包括自然人脸风格的编码特征；获取外部中间风格编码特征，其中，外部中间风格编码特征包括目标风格的编码特征；将内部中间风格编码特征和外部中间风格编码特征输入训练好的风格对抗生成网络模型中，生成目标风格化人脸图像数据。本技术实施例通过对人脸图像数据进行人脸分割预处理，得到真人形象域的结构特征，并通过外部网络控制目标域的生成转换，引入艺术风格特征，得到高清风格化人脸图像。本技术实施例是具有通用性的风格迁移方案，使用风格对抗生成网络模型在小规模艺术人像数据集上微调达到高清人脸风格化，只需要几十个或几百个风格样本，精确模拟风格样本中样例的风格特征，在小规模数据上实现了基于样例级别的高清人脸风格化的效果。