基于场景分析的图像重建方法和装置、设备和存储介质与流程

本发明涉及图像处理，特别涉及基于场景分析的图像重建方法和装置、设备和存储介质。

背景技术：

1、随着超清视频编码技术、网络视频技术、先进显示技术和高速传输技术的发展，全部数据链路都支持高清压缩视频(1920x1080、3840×2160、7680×4320)。而存量视频版权资产中，具有大量的低分辨率视频(比如：480x320、720x480、1280x720)。网络视频平台感知全链路的视频服务质量，在视频服务质量的约束下，给视频订阅用户提供最佳分辨率的片源。

2、在上述需求的推动下，超分辨率图像重建技术(super resolution imagereconstruction，srir或sr)在网络视频领域具有很大的潜力。超分辨率图像重建技术能够将低分辨率(low-resolution，lr)视频重建为高分辨率(high-resolution，hr)视频，直接提高了网络视频的图像质量、降低网络传输负载、并提高了用户观看视频的体验。

3、超分辨率图像重建技术可以分为传统超分算法和深度学习超分算法两类。传统超分算法依靠数字图像处理技术进行像素级重建，典型的算法包括：基于插值的超分算法和基于退化模型的超分算法。深度学习超分算法通过深度神经网络(deep neural networks，dnn)对图像进行非线性变换；通过不同感受野的卷积神经网络(convolutional neuralnetworks，cnn)提取图像的多层次图像特征；通过网络结构串联发现图像的潜在的分布规律，从而获得低分辨率图像与高分辨率图像之间映射关系，进而实现智能的超分重建。

4、但是，目前的超分辨率图像重建，整个视频片源在重建时使用的是同一套超分辨率网络模型参数，重建得到的超分辨率图像质量难以提升。

技术实现思路

1、本发明提供基于场景分析的图像重建方法和装置、设备和存储介质，其能够针对场景特征给出了针对性优化参数，在不需要大量算力的情况下提升超分辨率图像的质量。

2、在本发明的一个方面，提供一种基于场景分析的图像重建方法。该方法包括步骤：获取视频图像，并对所述视频图像进行场景分析，得到所述视频图像的场景类型；根据所述场景类型选择对应的场景优化参数，并利用所述场景优化参数更新图像超分辨率网络模型的权重；以及结合所述视频图像的低级图像特征与所述权重得到所述视频图像的融合特征图，并根据所述融合特征图生成所述视频图像的超分辨率图像。

3、在一些实施例中，获取视频图像包括：使用视频解码器对待解码视频进行解码以得到所述视频图像。

4、在一些实施例中，该方法还包括：判断所述视频图像中是否有新的场景类型；若是，则当所述新的场景类型稳定或者所述视频图像与所述新的场景类型匹配时，切换到所述新的场景类型。

5、在一些实施例中，根据所述场景类型选择对应的场景优化参数包括：根据所述场景类型选择对应的场景复杂度量化指标，所述场景优化参数包括场景类型及其场景复杂度量化指标。

6、在一些实施例中，利用所述场景优化参数更新图像超分辨率网络模型的权重包括：根据所述场景优化参数中的场景复杂度量化指标，更新所述图像超分辨率网络模型中与所述场景复杂度量化指标对应的场景类型关联的卷积层的权重。

7、在一些实施例中，结合所述视频图像的低级图像特征与所述权重得到所述视频图像的融合特征图包括：基于所述低级图像特征与所述权重的融合来得到所述融合特征图。

8、在一些实施例中，该方法还包括：使用低级图像特征提取网络提取所述视频图像的低级图像特征。

9、在一些实施例中，该方法还包括：对所述视频图像和所述融合特征图分别进行图像质量评价；若图像质量符合预设标准，则根据所述融合特征图生成所述视频图像的超分辨率图像。

10、在一些实施例中，根据所述融合特征图生成所述视频图像的超分辨率图像包括：使用尺寸调整网络模型对所述融合特征图进行尺寸调整，生成所述视频图像的超分辨率图像。

11、在一些实施例中，在生成所述视频图像的超分辨率图像之前，该方法还包括：将尺寸调整后的视频图像输入图像增强卷积层。

12、在本发明的另一方面，提供一种基于场景分析的图像重建装置。该装置包括：存储器，被配置为存储视频图像；一个或多个处理器，被耦合到所述存储器，并且被配置为：获取视频图像，并对所述视频图像进行场景分析，得到所述视频图像的场景类型；根据所述场景类型选择对应的场景优化参数，并利用所述场景优化参数更新图像超分辨率网络模型的权重；以及结合所述视频图像的低级图像特征与所述权重得到所述视频图像的融合特征图，并根据所述融合特征图生成所述视频图像的超分辨率图像。

13、在本发明的又一方面，提供一种电子设备。该电子设备包括存储器，被配置为存储处理器可执行程序；以及处理器，被配置为执行所述计算机程序以执行上述的基于场景分析的图像重建方法。

14、在本发明的再一方面，提供一种计算机存储介质。该介质上存储有计算机程序，所述计算机程序被处理器执行以实现上述的基于场景分析的图像重建方法。

15、根据本发明，对视频图像进行场景类型的识别，根据场景类型选择场景优化参数，利用场景优化参数更新图像超分辨率网络的权重；然后利用超分辨率重建网络生成超分辨率图像。相对于现有技术中整个片源使用同一套超分辨率网络模型参数的方法，本发明基于场景分析的超分辨率算法，能够针对场景特征向图像超分辨率网络给出了针对性的优化参数，使得具备低算力的嵌入式和移动芯片能够运行超分辨率模型，超分辨率图像质量有明显地提升。

技术特征：

1.一种基于场景分析的图像重建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取视频图像包括：

3.根据权利要求1所述的方法，其特征在于，还包括：

4.根据权利要求1所述的方法，其特征在于，根据所述场景类型选择对应的场景优化参数包括：

5.根据权利要求4所述的方法，其特征在于，利用所述场景优化参数更新图像超分辨率网络模型的权重包括：

6.根据权利要求1所述的方法，其特征在于，结合所述视频图像的低级图像特征与所述权重得到所述视频图像的融合特征图包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

8.根据权利要求7所述的方法，其特征在于，还包括：

9.根据权利要求1所述的方法，其特征在于，根据所述融合特征图生成所述视频图像的超分辨率图像包括：

10.根据权利要求9所述的方法，其特征在于，在生成所述视频图像的超分辨率图像之前，还包括：

11.一种基于场景分析的图像重建装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括：

13.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现根据权利要求1至10中任意一项所述的方法。

技术总结
本发明公开了基于场景分析的图像重建方法和装置、设备和存储介质。所述方法包括：获取视频图像，并对所述视频图像进行场景分析，得到所述视频图像的场景类型；根据所述场景类型选择对应的场景优化参数，并利用所述场景优化参数更新图像超分辨率网络模型的权重；以及结合所述视频图像的低级图像特征与所述权重得到所述视频图像的融合特征图，并根据所述融合特征图生成所述视频图像的超分辨率图像。本发明能够针对场景特征向图像超分辨率网络给出了针对性的优化参数，使得具备低算力的嵌入式和移动芯片能够运行超分辨率模型，超分辨率图像质量有明显地提升。

技术研发人员：胡宏波
受保护的技术使用者：瑞芯微电子股份有限公司
技术研发日：
技术公布日：2024/1/15