图像画质增强方法、装置、电子设备和存储介质与流程

本发明涉及画质增强领域，具体而言，涉及一种图像画质增强方法、装置、电子设备和存储介质。

背景技术：

1、在直播场景下，宽带成本在企业的运营成本中占有较大的比重。为了节省带宽成本，通常会将视频流的编码码率设置得比较低，同时在后续的优化上可能还会进一步压低码率来控制成本，而视频码率和视频画质通常是高度相关的，同一个画质的视频，采用高码率的编码结果和低码率的编码结果会有很大的画质差异，在这一背景下应用画质增强模型，必然需要考虑码率对输入画质增强模型的图像造成的影响。

2、目前业务上通用的做法是，在视频码率变化后，测试之前的画质增强模型的增强效果是否满足要求，如果不满足效果要求，需要重新基于新的视频码率对应的图像构造训练数据以及重新训练模型，整个流程繁琐冗长。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种图像画质增强方法、装置、电子设备和存储介质，以解决现有技术中在视频码率发生变化的情况下需要重新训练模型，导致整个流程繁琐冗长的问题。

2、为了实现上述目的，本发明实施例采用的技术方案如下：

3、第一方面，本发明提供一种图像画质增强方法，所述方法包括：

4、根据视频流的编码码率获取码率向量；

5、将所述码率向量和所述视频流中的每一帧待处理图像输入预先训练的图像处理模型；

6、通过所述图像处理模型基于所述码率向量生成调整参数，并根据所述调整参数对所述待处理图像进行画质增强处理，得到所述待处理图像对应的高质图像；所述调整参数用于调整所述图像处理模型在画质增强处理过程中提取的特征图。

7、在可选的实施方式中，所述图像处理模型包括画质增强网络和码率调制网络；所述通过所述图像处理模型基于所述码率向量生成调整参数，并根据所述调整参数对所述待处理图像进行画质增强处理，得到所述待处理图像对应的高质图像，包括：

8、通过所述码率调制网络基于所述码率向量生成调整参数，并将所述调整参数输出到所述画质增强网络；

9、通过所述画质增强网络基于所述调整参数对所述待处理图像进行画质增强处理，得到所述待处理图像对应的高质图像。

10、在可选的实施方式中，所述码率调制网络包括特征提取模块、第一调整参数生成模块和第二调整参数生成模块；所述通过所述码率调制网络基于所述码率向量生成调整参数，并将所述调整参数输出到所述画质增强网络，包括：

11、通过所述特征提取模块对所述码率向量进行特征提取，将得到的码率特征向量分别输出到所述第一调整参数生成模块和所述第二调整参数生成模块；

12、通过所述第一调整参数生成模块对所述码率特征向量进行特征提取，并生成第一调整参数输出到所述画质增强网络；

13、通过所述第二调整参数生成模块对所述码率特征向量进行特征提取，并生成第二调整参数输出到所述画质增强网络。

14、在可选的实施方式中，所述画质增强网络包括编码器、解码器和残差连接模块，所述编码器的输入端和所述解码器的输出端均与所述残差连接模块相连，所述编码器的输出端与所述解码器的输入端相连；所述通过所述画质增强网络基于所述调整参数对所述待处理图像进行画质增强处理，得到所述待处理图像对应的高质图像，包括：

15、通过所述编码器对所述待处理图像进行特征提取，并根据所述第一调整参数对所述编码器中提取的深度特征图的数据分布进行调整，最终输出编码器特征图到所述解码器；

16、通过所述解码器对所述编码器特征图进行特征提取，并根据所述第二调整参数对所述解码器中提取的深度特征图的数据分布进行调整，最终输出解码器特征图到所述残差连接模块；

17、通过所述残差连接模块将所述解码器特征图和所述待处理图像相加，得到所述待处理图像对应的高质图像。

18、在可选的实施方式中，所述编码器中调整后的深度特征图为其中，fc表示所述编码器中调整前的深度特征图，f′c表示所述编码器中调整后的深度特征图，μ(fc)和σ(fc)分别表示fc对应的均值和标准差，σc和μc根据所述第一调整参数获得；

19、所述解码器中调整后的深度特征图为其中，fd表示所述解码器中调整前的深度特征图，f′d表示所述解码器中调整后的深度特征图，μ(fd)和σ(fd)分别表示fd对应的均值和标准差，σd和μd根据所述第二调整参数获得。

20、在可选的实施方式中，所述根据视频流的编码码率获取码率向量，包括：

21、当多个预设码率中存在与视频流的编码码率一致的预设码率时，对所述视频流的编码码率进行量化得到码率向量；

22、当多个预设码率中不存在与视频流的编码码率一致的预设码率时，确定多个所述预设码率中与所述视频流的编码码率最接近的目标码率，并对所述目标码率进行量化得到码率向量。

23、在可选的实施方式中，所述图像处理模型通过以下步骤训练得到：

24、从预先构建的训练数据集中选取样本图像以及与所述样本图像内容相同的高画质样本图像；所述训练数据集包括多个预设码率对应的图像数据集，各所述图像数据集中的样本图像从对应预设码率的样本视频中提取得到，不同样本视频通过使用不同预设码率对同一视频进行编码得到；

25、对所述样本图像对应的预设码率进行量化得到对应的预设码率向量；

26、将所述高画质样本图像作为所述样本图像的标签，将带有所述标签的样本图像和所述预设码率向量输入预先构建的图像处理模型，获得所述图像处理模型的输出结果；

27、根据所述图像处理模型的输出结果与所述样本图像的标签计算损失值；

28、根据所述损失值对所述图像处理模型的参数进行迭代更新，最终得到训练好的图像处理模型。

29、第二方面，本发明提供一种图像画质增强装置，所述装置包括：

30、量化模块，用于根据视频流的编码码率获取码率向量；

31、输入模块，用于将所述码率向量和所述视频流中的每一帧待处理图像输入预先训练的图像处理模型；

32、处理模块，用于通过所述图像处理模型基于所述码率向量生成调整参数，并根据所述调整参数对所述待处理图像进行画质增强处理，得到所述待处理图像对应的高质图像；所述调整参数用于调整所述图像处理模型在画质增强处理过程中提取的特征图。

33、第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述实施方式中任一项所述的图像画质增强方法的步骤。

34、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的图像画质增强方法的步骤。

35、本发明实施例提供的图像画质增强方法、装置、电子设备和存储介质，该方法包括：根据视频流的编码码率获取码率向量，将码率向量和视频流中的每一帧待处理图像输入预先训练的图像处理模型，通过图像处理模型基于码率向量生成调整参数，并根据调整参数对待处理图像进行画质增强处理，得到待处理图像对应的高质图像；调整参数用于调整图像处理模型在画质增强处理过程中提取的特征图。由于图像处理模型可以基于编码码率对应的码率向量对提取的特征图进行调整，故图像增强效果与编码码率是高度相关的，在编码码率发生变化时，可以自适应变化后的编码码率，并保证该编码码率下的画质增强效果，无需重新训练模型，从而大大缩短了模型的研发周期。

36、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。