图片校正方法、装置、电子设备和计算机可读存储介质与流程

本发明涉及画质增强领域，具体而言，涉及一种图片校正方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、现有技术中，通常会基于不同的预训练模型对数据集中的低质(lq)样本进行画质增强来构造高质(hq)样本，利用lq-hq样本对来训练画质增强模型。如图1所示，在真人直播场景下，为了尽可能保证在实际业务上的应用效果，会从直播间拉流直播视频并提取视频帧作为lq样本，然后将lq图片区分为人脸区域和背景区域，对人脸区域和背景区域采用对应的预训练开源模型来进行画质增强得到对应的hq图片，保证两部分各自的画质效果最佳，最后使用人脸图片集(即图1中的数据集1)中的lq-hq样本对和背景图片集(即图1中的数据集2)中的lq-hq样本对训练画质增强模型。

2、然而，由于人脸区域和背景区域采用的增强模型不同，使得人脸区域和背景区域在画质增强后的特征表示在交叉区域上差异较大，因此这种方式构造的人脸图片集和背景图片集之间交叉的退化空间较小，在基于人脸图片集和背景图片集训练画质增强模型时，模型能够学习到的共同特征比较少，从而导致图片增强效果不好。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种图片校正方法、装置、电子设备和计算机可读存储介质，以解决现有技术中采用不同增强模型获得的人脸图片集和背景图片集之间交叉的退化空间小，进而导致训练的画质增强模型的图片增强效果不好的问题。

2、为了实现上述目的，本发明实施例采用的技术方案如下：

3、第一方面，本发明提供一种图片校正方法，所述方法包括：

4、从构建好的人脸图片集和背景图片集中获取样本对；所述样本对包括低质图片和所述低质图片对应的高质图片；

5、将所述样本对输入训练好的图片校正模型，通过所述图片校正模型获取退化表征向量，并根据所述退化表征向量重建所述低质图片对应的校正高质图片；所述退化表征向量表征所述低质图片相对于所述高质图片的退化程度；

6、根据所述低质图片对应的校正高质图片，更新所述人脸图片集和所述背景图片集中所述低质图片对应的高质图片，以通过更新后的人脸图片集和背景图片集训练画质增强模型。

7、在可选的实施方式中，所述图片校正模型包括退化表征提取网络和重建网络，所述将所述样本对输入训练好的图片校正模型，通过所述图片校正模型获取退化表征向量，并根据所述退化表征向量重建所述低质图片对应的校正高质图片，包括：

8、将所述样本对输入所述退化表征提取网络，通过所述退化表征提取网络对输入的样本对进行退化表征提取，得到对应的退化表征向量；

9、将所述退化表征向量和所述样本对中的低质图片输入所述重建网络，通过所述重建网络根据所述退化表征向量重建所述低质图片对应的校正高质图片。

10、在可选的实施方式中，所述退化表征提取网络包括浅层特征提取模块、特征融合模块和深层特征提取模块，所述将所述样本对输入所述退化表征提取网络，通过所述退化表征提取网络对输入的样本对进行退化表征提取，得到对应的退化表征向量，包括：

11、将所述样本对输入所述浅层特征提取模块，通过所述浅层特征提取模块分别对所述样本对中的低质图片和高质图片进行浅层特征提取，得到所述低质图片对应的特征图和所述高质图片对应的特征图；

12、通过所述特征融合模块对输入的所述低质图片对应的特征图和所述高质图片对应的特征图进行特征融合，得到融合特征图；

13、通过所述深层特征提取模块对输入的所述融合特征图进行深层特征提取，得到对应的退化表征向量。

14、在可选的实施方式中，所述图片校正模型通过以下步骤训练得到：

15、每次根据从直播视频流中提取的低质视频帧获取第一训练数据对、第二训练数据对、第三训练数据对和第四训练数据对；所述第一训练数据对包括低质人脸图片和第一高质人脸图片，所述第二训练数据对包括所述低质人脸图片和第二高质人脸图片，所述第三训练数据对包括低质背景图片和第一高质背景图片，所述第四训练数据对包括所述低质背景图片和第二高质背景图片；所述第一高质人脸图片和所述第二高质人脸图片分别通过预训练的人脸增强模型和背景增强模型对所述低质人脸图片进行画质增强得到，所述第一高质背景图片和所述第二高质背景图片分别通过所述人脸增强模型和所述背景增强模型对所述低质背景图片进行画质增强得到；

16、将所述第一训练数据对、所述第二训练数据对、所述第三训练数据对和所述第四训练数据对输入预先构建的图片校正模型中，获取所述图片校正模型的退化表征提取网络和重建网络的输出结果，并根据所述输出结果计算所述图片校正模型的整体损失；

17、根据所述整体损失对所述退化表征提取网络和所述重建网络的网络参数进行迭代更新，得到训练好的图片校正模型。

18、在可选的实施方式中，所述每次根据从直播视频流中提取的低质视频帧获取第一训练数据对、第二训练数据对、第三训练数据对和第四训练数据对，包括：

19、从所述低质视频帧中分别提取低质人脸图片和低质背景图片；

20、将所述低质人脸图片分别采用所述人脸增强模型和所述背景增强模型进行画质增强，得到对应的第一高质人脸图片和第二高质人脸图片；

21、将所述低质背景图片分别采用所述人脸增强模型和所述背景增强模型进行画质增强，得到对应的第一高质背景图片和第二高质背景图片。

22、在可选的实施方式中，所述整体损失的计算公式为：

23、其中，α0、α1、α2、β0、β1为设定常数，分别表示基于所述人脸增强模型的重建损失、退化向量损失和退化向量交换损失，分别表示基于所述背景增强模型的重建损失、退化向量损失和退化向量交换损失。

24、第二方面，本发明提供一种图片校正装置，所述装置包括：

25、图片获取模块，用于从构建好的人脸图片集和背景图片集中获取样本对；所述样本对包括低质图片和所述低质图片对应的高质图片；

26、图片处理模块，用于将所述样本对输入训练好的图片校正模型，通过所述图片校正模型获取退化表征向量，并根据所述退化表征向量重建所述低质图片对应的校正高质图片；所述退化表征向量表征所述低质图片相对于所述高质图片的退化程度；

27、图片更新模块，用于根据所述低质图片对应的校正高质图片，更新所述人脸图片集和所述背景图片集中所述低质图片对应的高质图片，以通过更新后的人脸图片集和背景图片集训练画质增强模型。

28、在可选的实施方式中，所述图片校正模型包括退化表征提取网络和重建网络，所述图片处理模块用于将所述样本对输入所述退化表征提取网络，通过所述退化表征提取网络对输入的样本对进行退化表征提取，得到对应的退化表征向量；将所述退化表征向量和所述样本对中的低质图片输入所述重建网络，通过所述重建网络根据所述退化表征向量重建所述低质图片对应的校正高质图片。

29、第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述实施方式中任一项所述的图片校正方法的步骤。

30、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的图片校正方法的步骤。

31、本发明实施例提供的图片校正方法、装置、电子设备和计算机可读存储介质，该方法包括：从构建好的人脸图片集和背景图片集中获取样本对；样本对包括低质图片和低质图片对应的高质图片；将样本对输入训练好的图片校正模型，通过图片校正模型获取退化表征向量，并根据退化表征向量重建低质图片对应的校正高质图片；退化表征向量表征低质图片相对于高质图片的退化程度；根据低质图片对应的校正高质图片，更新人脸图片集和背景图片集中低质图片对应的高质图片，以通过更新后的人脸图片集和背景图片集训练画质增强模型。由于人脸图片集和背景图片集中的低质图片和高质图片是通过同一个图片校正模型生成退化表征向量，并使用退化表征向量来重建低质图片对应的校正高质图片，使得校正后的人脸图片和背景图片中存在的共同特征会更多，从而扩大了人脸图片集和背景图片集之间交叉的退化空间，基于更新后的人脸图片集和背景图片集训练的画质增强模型的图片增强效果也会更好。

32、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。