基于深度学习的人脸超分辨率图形重建方法及系统与流程

本发明涉及人工智能领域，特别涉及一种基于深度学习的人脸超分辨率图形重建方法及系统。

背景技术：

1、现在主流的超分辨率方法基本上分为两大类基于插值的原始方法和基于深度学习的方法基于插值的方法是最基本的超分辨率方法之一。它的优点是简单易懂，计算速度快，可以在不需要太多计算资源的情况下快速实现。但是，由于它只是简单地对像素进行插值，因此它的超分辨率效果很有限，很难获得高质量的超分辨率图像。

2、然而现有深度学习方法在模型训练时会因为模型复杂度高所需算力过多，而导致训练时间过长，网络处理过程中特征图的冗余信息过多，处理复杂纹理例如边界尾影和过渡细节方面的存在的困难，高清的人像数据集少数据量小，所以无法达到很好的泛化效果。

技术实现思路

1、基于此，本申请实施例提供了一种基于深度学习的人脸超分辨率图形重建方法及系统，能够解决现有技术所存在的问题。

2、第一方面，提供了一种基于深度学习的人脸超分辨率图形重建方法，该方法包括：

3、获取原始人脸图像，将所述原始人脸图像进行预处理；

4、将预处理后的原始人脸图像输入到训练完成的人脸超分辨率图形重建模型中，获得基于原始人脸图像所重建的目标人脸图像；

5、其中，所述人脸超分辨率图形重建模型的处理过程具体包括：

6、获取图像数据集，对图像数据集进行预处理；其中，所述图像数据集中包括高分辨率图像和低分辨率图像所组成的训练数据对，所述预处理至少包括去噪对齐和裁剪；

7、对预处理后的图像数据集进行特征提取；其中，使用快速傅里叶卷积加速特征提取；

8、将输入的低分辨率图像传递到深度卷积神经网络中，然后学习生成一个残差图像；通过使用上采样技术将残差图像转换为更高分辨率的图像，并使用混合自注意力学习网络提取高低分辨率之间的特征；

9、使用gan网络生成当前迭代轮次的高分辨率图像，并使用感知损失衡量当前生成的高分辨率图像与图像数据集中包括的高分辨率图像之间差异，根据感知损失调整模型参数，并进行迭代直至完成训练。

10、可选地，所述获取图像数据集，对图像数据集进行预处理，包括：

11、收集高分辨率图像和低分辨率图像的训练数据对，其中，采用插值、降采样生成低分辨率图像数据集。

12、可选地，使用混合自注意力学习网络提取高低分辨率之间的特征，包括：

13、使用自注意力机制和adain来合成高分辨率特征；其中，adain可以将低分辨率特征调整为适合高分辨率特征的统计分布；自注意力机制可以增强特征表示能力，并提高图像的清晰度。

14、可选地，深度卷积神经网络中的卷积层为一个卷积核大小为3×3、步长为1、输出通道为128的卷积层。

15、可选地，深度卷积神经网络中的残差块包括1个通用卷积层，设置的激活函数为relu，并采用正则化规范处理；每两层残差块之间增加一个捷径，即将上一个残差块的输入直接向下一个残差块的输入连接了一条传递线来进行恒等映射，以进行残差计算。

16、第二方面，提供了一种基于深度学习的人脸超分辨率图形重建系统，该系统包括：

17、获取模块，用于获取原始人脸图像，将所述原始人脸图像进行预处理；

18、重建模块，用于将预处理后的原始人脸图像输入到训练完成的人脸超分辨率图形重建模型中，获得基于原始人脸图像所重建的目标人脸图像；

19、其中，所述重建模块中还包括训练单元具体包括：

20、获取图像数据集，对图像数据集进行预处理；其中，所述图像数据集中包括高分辨率图像和低分辨率图像所组成的训练数据对，所述预处理至少包括去噪对齐和裁剪；

21、对预处理后的图像数据集进行特征提取；其中，使用快速傅里叶卷积加速特征提取；

22、将输入的低分辨率图像传递到深度卷积神经网络中，然后学习生成一个残差图像；通过使用上采样技术将残差图像转换为更高分辨率的图像，并使用混合自注意力学习网络提取高低分辨率之间的特征；

23、使用gan网络生成当前迭代轮次的高分辨率图像，并使用感知损失衡量当前生成的高分辨率图像与图像数据集中包括的高分辨率图像之间差异，根据感知损失调整模型参数，并进行迭代直至完成训练。

24、可选地，所述获取模块包括：

25、收集高分辨率图像和低分辨率图像的训练数据对，其中，采用插值、降采样生成低分辨率图像数据集。

26、可选地，使用混合自注意力学习网络提取高低分辨率之间的特征，包括：

27、使用自注意力机制和adain来合成高分辨率特征；其中，adain可以将低分辨率特征调整为适合高分辨率特征的统计分布；自注意力机制可以增强特征表示能力，并提高图像的清晰度。

28、可选地，深度卷积神经网络中的卷积层为一个卷积核大小为3×3、步长为1、输出通道为128的卷积层。

29、可选地，深度卷积神经网络中的残差块包括1个通用卷积层，设置的激活函数为relu，并采用正则化规范处理；每两层残差块之间增加一个捷径，即将上一个残差块的输入直接向下一个残差块的输入连接了一条传递线来进行恒等映射，以进行残差计算。

30、本申请实施例提供的技术方案中首先获取原始人脸图像，将原始人脸图像进行预处理；将预处理后的原始人脸图像输入到训练完成的人脸超分辨率图形重建模型中，获得基于原始人脸图像所重建的目标人脸图像；其中，人脸超分辨率图形重建模型的处理过程具体包括：输入数据集预处理去噪对齐和裁剪；使用快速傅里叶卷积加速特征提取；用残差学习高低分辨率的残差；使用上采样把分辨率转化为高分辨率；使用混合自注意力学习提取高低分辨率之间的特征；使用gan网络生成高分辨率图像使用感知损失衡量差异迭代输出。可以看出，本发明解决了现在一些模型训练因为模型复杂度高所需算力过多，训练时间过长，网络训练过程中特征图的冗余信息过多，处理复杂纹理例如边界尾影和过渡细节方面的存在的困难，高清的人像数据集少数据量小，无法达到很好的泛化效果的问题。

技术特征：

1.一种基于深度学习的人脸超分辨率图形重建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于深度学习的人脸超分辨率图形重建方法，其特征在于，所述获取图像数据集，对图像数据集进行预处理，包括：

3.根据权利要求1所述的基于深度学习的人脸超分辨率图形重建方法，其特征在于，使用混合自注意力学习网络提取高低分辨率之间的特征，包括：

4.根据权利要求1所述的基于深度学习的人脸超分辨率图形重建方法，其特征在于，深度卷积神经网络中的卷积层为一个卷积核大小为3×3、步长为1、输出通道为128的卷积层。

5.根据权利要求1所述的基于深度学习的人脸超分辨率图形重建方法，其特征在于，深度卷积神经网络中的残差块包括1个通用卷积层，设置的激活函数为relu，并采用正则化规范处理；每两层残差块之间增加一个捷径，即将上一个残差块的输入直接向下一个残差块的输入连接了一条传递线来进行恒等映射，以进行残差计算。

6.一种基于深度学习的人脸超分辨率图形重建系统，其特征在于，所述系统包括：

7.根据权利要求6所述的基于深度学习的人脸超分辨率图形重建系统，其特征在于，所述获取模块包括：

8.根据权利要求6所述的基于深度学习的人脸超分辨率图形重建系统，其特征在于，使用混合自注意力学习网络提取高低分辨率之间的特征，包括：

9.根据权利要求6所述的基于深度学习的人脸超分辨率图形重建系统，其特征在于，深度卷积神经网络中的卷积层为一个卷积核大小为3×3、步长为1、输出通道为128的卷积层。

10.根据权利要求6所述的基于深度学习的人脸超分辨率图形重建系统，其特征在于，深度卷积神经网络中的残差块包括1个通用卷积层，设置的激活函数为relu，并采用正则化规范处理；每两层残差块之间增加一个捷径，即将上一个残差块的输入直接向下一个残差块的输入连接了一条传递线来进行恒等映射，以进行残差计算。

技术总结
本申请公开了一种基于深度学习的人脸超分辨率图形重建方法及系统。首先获取原始人脸图像，将原始人脸图像进行预处理；然后将预处理后的原始人脸图像输入到训练完成的人脸超分辨率图形重建模型中，获得基于原始人脸图像所重建的目标人脸图像；处理过程具体包括：输入数据集预处理去噪对齐和裁剪；使用快速傅里叶卷积加速特征提取；用残差学习高低分辨率的残差；使用上采样把分辨率转化为高分辨率；使用混合自注意力学习提取高低分辨率之间的特征；使用GAN网络生成高分辨率图像使用感知损失衡量差异迭代输出。本发明有效提高了所合成图像的清晰度。

技术研发人员：袁海杰,常磊磊,解仑
受保护的技术使用者：小哆智能科技（北京）有限公司
技术研发日：
技术公布日：2024/1/16