面向特定下游视觉任务的图像复原方法及装置

本发明涉及图像处理，尤其涉及一种面向特定下游视觉任务的图像复原方法及装置。

背景技术：

1、现有的图像复原方法中，大多数的图像复原方法都将图像复原模型的优化目标设计为最大化峰值信噪比(peak signal-to-noise ratio，psnr)或最大化结构相似性(structural similarity，ssim)。

2、然而，psnr和ssim这两项评估指标无法反映真实的图像质量。因此，通过psnr和ssim作为优化目标进行图像复原得到的复原图像视觉效果并不好，在下游任务中表现不佳、准确率低。

技术实现思路

1、本发明提供一种面向特定下游视觉任务的图像复原方法及装置，用以解决现有技术中图像复原方法的缺陷在下游任务中表现不佳、准确率低，实现复原图像直接面向下游视觉任务的需求优化，在下游视觉任务中获得更好的表现。

2、本发明提供一种面向特定下游视觉任务的图像复原方法，包括：

3、将目标图像的图像特征输入训练好的智能体模型，得到参数调整量；并基于所述参数调整量，对图像复原工具箱中的算法包含的多个调节参数进行调整；

4、使用调整后的图像复原工具箱对所述目标图像进行处理得到复原图像，并基于图像质量评估模型，获取所述复原图像对应的图像质量分数；

5、将所述复原图像作为更新的目标图像，并重复所述得到参数调整量、所述对图像复原工具箱中的算法包含的多个调节参数进行调整、所述得到复原图像以及所述获取所述复原图像对应的图像质量分数的步骤，直至达到设定终止条件，将获取的多个图像质量分数中的最大值对应的复原图像作为所述目标图像的图像复原结果进行输出；

6、其中，所述智能体模型基于第一样本图像集、所述图像复原工具箱和所述图像质量评估模型训练得到；所述图像质量评估模型根据带有图像质量分数标签的第二样本图像集训练得到；所述图像质量分数标签用于反映所述第二样本图像集中的样本图像在下游视觉任务中的表现。

7、根据本发明提供的一种面向特定下游视觉任务的图像复原方法，所述智能体模型的训练方法包括：

8、从第一样本图像集中选取目标样本图像，对所述目标样本图像进行图像复原处理，获取所述图像复原处理的过程中每一次迭代所对应的训练数据并存储；其中，每一次迭代所对应的训练数据包括：当次迭代中输入图像的图像特征，当次迭代中所述智能体模型输出的参数调整量，当次迭代中输出图像的图像特征，以及当次迭代中所述输出图像与所述输入图像的图像质量分数之差；

9、从当前存储的所有训练数据中随机选择一条训练数据，基于强化学习算法对所述智能体模型的网络权重进行更新；

10、在所述智能体模型的训练迭代次数达到第一阈值的情况下，得到训练好的智能体模型；在所述智能体模型的训练迭代次数未达到第一阈值的情况下，从所述第一样本图像集中选取新的目标样本图像，并重复所述对所述目标样本图像进行图像复原处理，所述获取所述图像复原处理的过程中每一次迭代所对应的训练数据并存储，以及所述对所述智能体模型的网络权重进行更新的步骤，直至所述智能体模型的训练迭代次数达到第一阈值，得到训练好的智能体模型。

11、根据本发明提供的一种面向特定下游视觉任务的图像复原方法，所述智能体模型包括actor网络和critic网络；

12、其中，所述actor网络用于预测所述图像复原工具箱中的算法包含的多个调节参数的参数调整量，所述critic网络用于评价所述actor网络输出的参数调整量。

13、根据本发明提供的一种面向特定下游视觉任务的图像复原方法，所述设定终止条件包括：

14、图像复原处理的过程的迭代次数达到第二阈值；和/或，

15、所述智能体模型输出的参数调整量小于第三阈值。

16、根据本发明提供的一种面向特定下游视觉任务的图像复原方法，所述图像质量评估模型为盲图像质量评价biqa模型。

17、根据本发明提供的一种面向特定下游视觉任务的图像复原方法，所述图像复原工具箱中的算法包括图像去噪算法、色彩调整算法、亮度调整算法、对比度调整算法和边缘增强算法中的一种或多种；

18、其中，每种算法包含至少一个调节参数，用于表征算法的调整强度。

19、本发明还提供一种面向特定下游视觉任务的图像复原装置，包括：

20、调整单元，用于将目标图像的图像特征输入训练好的智能体模型，得到参数调整量；并基于所述参数调整量，对图像复原工具箱中的算法包含的多个调节参数进行调整；

21、评分单元，用于使用调整后的图像复原工具箱对所述目标图像进行处理得到复原图像，并基于图像质量评估模型，获取所述复原图像对应的图像质量分数；

22、输出单元，用于将所述复原图像作为更新的目标图像，并重复所述得到参数调整量、所述对图像复原工具箱中的算法包含的多个调节参数进行调整、所述得到复原图像以及所述获取所述复原图像对应的图像质量分数的步骤，直至达到设定终止条件，将获取的多个图像质量分数中的最大值对应的复原图像作为所述目标图像的图像复原结果进行输出；

23、其中，所述智能体模型基于第一样本图像集、所述图像复原工具箱和所述图像质量评估模型训练得到；所述图像质量评估模型根据带有图像质量分数标签的第二样本图像集训练得到；所述图像质量分数标签用于反映所述第二样本图像集中的样本图像在下游视觉任务中的表现。

24、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述面向特定下游视觉任务的图像复原方法。

25、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述面向特定下游视觉任务的图像复原方法。

26、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述面向特定下游视觉任务的图像复原方法。

27、本发明提供的面向特定下游视觉任务的图像复原方法及装置，通过根据训练好的智能体模型对图像复原工具箱中的算法包含的多个调节参数进行调整；使用调整后的图像复原工具箱对目标图像进行处理得到复原图像，并基于图像质量评估模型获取复原图像对应的图像质量分数，将复原图像作为更新的目标图像，并重复图像复原过程直至达到设定终止条件，将获取的多个图像质量分数中的最大值对应的复原图像作为目标图像的图像复原结果进行输出，图像质量评估模型根据带有图像质量分数标签的样本图像集训练得到，图像质量分数标签用于反映样本图像集中的样本图像在下游视觉任务中的表现，图像质量分数越高的复原图像在下游视觉任务中表现越好，从而复原图像直接面向下游视觉任务的需求优化，能在下游视觉任务中获得更好的表现。

技术特征：

1.一种面向特定下游视觉任务的图像复原方法，其特征在于，包括：

2.根据权利要求1所述的面向特定下游视觉任务的图像复原方法，其特征在于，所述智能体模型的训练方法包括：

3.根据权利要求2所述的面向特定下游视觉任务的图像复原方法，其特征在于，所述智能体模型包括actor网络和critic网络；

4.根据权利要求1所述的面向特定下游视觉任务的图像复原方法，其特征在于，所述设定终止条件包括：

5.根据权利要求1至4任一所述的面向特定下游视觉任务的图像复原方法，其特征在于，所述图像质量评估模型为盲图像质量评价biqa模型。

6.根据权利要求1至4任一所述的面向特定下游视觉任务的图像复原方法，其特征在于，所述图像复原工具箱中的算法包括图像去噪算法、色彩调整算法、亮度调整算法、对比度调整算法和边缘增强算法中的一种或多种；

7.一种面向特定下游视觉任务的图像复原装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述面向特定下游视觉任务的图像复原方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述面向特定下游视觉任务的图像复原方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述面向特定下游视觉任务的图像复原方法。

技术总结
本发明提供一种面向特定下游视觉任务的图像复原方法及装置，其中方法包括：将目标图像的图像特征输入训练好的智能体模型，得到参数调整量；基于参数调整量，对图像复原工具箱中的算法包含的多个调节参数进行调整；使用调整后的图像复原工具箱对目标图像进行处理得到复原图像，基于图像质量评估模型，获取复原图像对应的图像质量分数；将复原图像作为更新的目标图像，并重复上述步骤，直至达到设定终止条件，将获取的多个图像质量分数中的最大值对应的复原图像作为目标图像的图像复原结果输出。从而复原图像直接面向下游视觉任务的需求优化，能在下游视觉任务中获得更好的表现。

技术研发人员：王隽,李兵,胡卫明
受保护的技术使用者：中国科学院自动化研究所
技术研发日：
技术公布日：2024/1/15