一种针对图像质量评估模型的生成对抗样本方法及系统

本发明涉及图像质量评估领域，尤其涉及一种针对图像质量评估模型的生成对抗样本方法及系统。

背景技术：

1、图像质量评估(iqa)旨在量化数字图像的感知质量，为用户提供良好的体验质量。它一直是图像处理和理解领域的一个重要研究课题。过去提出了许多iqa方法，主要可分为主观方法和客观方法两类。主观图像质量评估需要评估人员对大量图像进行评分来进行估计，但这是耗费人力和时间的。相比之下，客观图像质量评估使用主观评估数据(例如，平均意见得分(mos))进行指导，并能够自动预测图像的感知质量，这吸引了研究人员的广泛兴趣。根据原始参考图像的可用性，客观图像质量评估大致可以分为全参考图像质量评估(fr-iqa)和无参考图像质量评估(nr-iqa)。fr-iqa方法依赖于参考的未失真图像进行质量预测，这对于原始图像无法访问的场景来说是不切实际的。因此，大量的工作致力于研究无参考图像质量评估，它在监测图像质量和优化真实世界的图像处理系统方面发挥着重要作用。

2、由于深度神经网络(dnn)在各个领域取得了革命性的成功，基于深度神经网络的无参考图像质量评估方法得到了广泛的研究，并取得了最先进的性能。然而，最近的研究表明，基于dnn的模型容易受到对抗样本的影响。换言之，训练有素的基于深度神经网络的无参考图像质量评估模型会错误地预测通过对原始图像进行小扰动生成的对抗样本的质量分数。因此，为了提高无参考图像质量评估模型的稳健性，深入了解其由对抗扰动引起的潜在漏洞是必不可少的，针对无参考图像质量评估模型生成对抗样本，进而通过对抗样本修正模型的错误评估是非常重要的。最近的研究通常是在清楚目标图像质量评估模型内部的模型架构和参数信息的前提下，设计具有针对性的对抗样本来修正目标图像质量评估模型。然而，在实际应用过程中，我们通常所面临的情况是不清楚目标图像质量评估模型内部的模型架构和参数信息，只能获取模型的输入与输出，这通常称为黑盒模式。如何在黑盒模式下高效且准确地生成目标模型的对抗样本是图像质量评估领域中急需解决的技术问题。

技术实现思路

1、针对上述技术问题，本发明提供一种针对图像质量评估模型的生成对抗样本方法及系统，仅根据目标模型预测的质量分数就可以生成有效的对抗样本，提高生成对抗样本的效率和有效性。

2、第一方面，本发明实施例提供一种针对图像质量评估模型的生成对抗样本方法，包括：

3、获取无参考图像质量评估模型和原始图像；

4、对原始图像进行初始化扰动，获得第一扰动图像；

5、根据所述无参考图像质量评估模型构建对应的双向损失函数，所述双向损失函数用于确定对所述第一扰动图像迭代优化的方向；

6、根据所述双向损失函数计算所述原始图像与所述第一扰动图像的第一损失值；

7、根据所述第一损失值和所述双向损失函数对所述第一扰动图像进行预设次数的迭代优化，获得所述无参考图像质量评估模型的对抗样本，其中，在每轮迭代过程中，对当前的第一扰动图像施加扰动获得第二扰动图像，当所述原始图像和所述第二扰动图像通过双向损失函数计算出的第二损失值小于所述第一损失值时，使用所述第二扰动图像替换所述第一扰动图像，使用所述第二损失值替换所述第一损失值。

8、本发明实施例提供一种针对图像质量评估模型的生成对抗样本方法，首先对原始图像进行初始化扰动，生成用于迭代优化的第一扰动图像，然后根据无参考图像质量评估模型构建对应的双向损失函数，进而使用双向损失函数控制迭代优化的优化方向；在迭代优化过程中，每一次迭代都对当前的第一扰动图像施加扰动，获得第二扰动图像，并对比第一损失值和第二损失值，当第二损失值小于所述第一损失值时，说明本次迭代生成的第二扰动图像与原始图像的差异更大，即生成了更有效的对抗样本，则用第二扰动图像替换第一扰动图像。在优化迭代预设次数后，第一扰动图像必然已经经过了多次替换，且与原始图像的差异达到最大化，则将此时的第一扰动图像作为最终的扰动图像，即为本发明最终生成的对抗样本，在不探究模型内部构造的前提下实现了对无参考图像质量评估模型生成对抗样本，提高生成对抗样本的效率和有效性。

9、在一种可能实现的方式中，所述对原始图像进行初始化扰动，获得第一扰动图像，包括：

10、将原始图像中的每一个元素随机与第一预设值或第二预设值相加，获得随机扰动图像；

11、将所述随机扰动图像裁剪到[0,1]的图像域范围内，获得所述第一扰动图像。

12、本发明实施例提供一种对原始图像进行初始化扰动的方法，将原始图像中的每个原始都随机加上两个预设值的其中之一，实现了对原始图像的初始化扰动，并且在实际应用过程中，第一预设值和第二预设值会设置为较小的两个值，使得随机扰动图像与原始图像在人眼观察中并无较大差异，但实际上图像中的全部数值均发生了变化，会对无参考图像质量评估模型产生一定程度的误导，高效地产生了一个初始对抗样本。将所述随机扰动图像裁剪到[0,1]的图像域范围内，统一图像的数值范围，为后续的迭代优化做数据准备，提高生成对抗样本的效率和有效性。

13、在一种可能实现的方式中，所述根据所述无参考图像质量评估模型构建对应的双向损失函数，包括：

14、根据所述无参考图像质量评估模型确定质量评估分数的上限和下限；

15、将所述无参考图像质量评估模型集成到所述双向损失函数中，使得所述双向损失函数根据所述无参考图像质量评估模型对两张图像的质量评估分数计算所述两张图像的损失值。

16、进一步的，所述双向损失函数的具体公式为：

17、

18、其中，为图像和图像x的损失值，为图像的质量评估分数，为图像x的质量评估分数，β1和β2分别为所述无参考图像质量评估模型的评估分数上限和下限。

19、本发明实施例提供一种构建对应的双向损失函数的方法，双向损失函数的作用在于控制优化迭代的方向，使第一扰动图像的质量分数朝着离其原始图像的质量分数更远的边界方向偏离，实现最大的偏差。在具体的公式中，如果大于那么图像x很可能是高质量图像，在这种情况下，直接输出的值作为损失值，使得在迭代优化过程中，算法会不断搜索更小的的值，进而导致原始图像x和第一扰动图像的的偏差最大化；对于其他情况，则选择相反的方向来最大化偏差，提高生成对抗样本的有效性。

20、在一种可能实现的方式中，所述对当前的第一扰动图像施加扰动获得第二扰动图像，包括：

21、根据所述第一扰动图像和所述原始图像的差异计算获得差异图像；

22、生成若干个相同尺寸的正方形补丁，所述正方形补丁的尺寸根据所述第一扰动图像的尺寸和图像通道数确定；

23、对所述各个正方形补丁的各个颜色通道内的元素进行独立采样，其中，对第一正方形补丁的第一颜色通道内的全部元素随机选取相同的第一预设值或第二预设值，即为对第一正方形补丁的第一颜色通道内的元素进行的独立采样；

24、将所述若干个正方形补丁放置于所述差异图像中的随机位置并用所述正方形补丁中的内容替换所述差异图像中对应位置的内容，获得更新图像；

25、将所述更新图像与所述原始图像融合，获得所述第二扰动图像，并将所述第二扰动图像裁剪到[0,1]的图像域范围内。

26、本发明实施例进一步说明了在迭代优化过程中对当前的第一扰动图像施加扰动获得第二扰动图像的具体过程，通过对第一扰动图像和原始图像差的异图像进行随机修改，实现对第一扰动图像施加扰动。其中，对所述各个正方形补丁的各个颜色通道内的元素进行独立采样，确保了扰动的随机性，同时相同颜色通道内的元素会采样相同的预设值，则减小了扰动的人眼观察差异，使得对第一扰动图像施加扰动后生成的第二扰动图像在人眼观察中与原始的图像的差异较小，而在无参考图像质量评估模型的视角内差异较大，提高生成对抗样本的有效性。

27、进一步的，所述正方形补丁的尺寸在迭代过程中按照预设的规则缩小。

28、本发明实施例进一步限定了所述正方形补丁的尺寸在迭代过程中按照预设的规则缩小，这种衰减方案的动机是首先进行广泛的搜索来探索解空间，而在后续的迭代过程中逐步缩小正方形补丁的尺寸，提高迭代优化的速度。通过这种方式，本发明实施例可以在显著加速搜索的同时找到最佳扰动，提高生成对抗样本的效率。

29、第二方面，相应的，本发明实施例提供一种针对图像质量评估模型的生成对抗样本系统，包括获取模块、初始化模块、损失函数构建模块、损失值计算模块以及迭代优化模块；

30、其中，所述获取模块用于获取无参考图像质量评估模型和原始图像；

31、所述初始化模块用于对原始图像进行初始化扰动，获得第一扰动图像；

32、所述损失函数构建模块用于根据所述无参考图像质量评估模型构建对应的双向损失函数，所述双向损失函数用于确定对所述第一扰动图像迭代优化的方向；

33、所述损失值计算模块用于根据所述双向损失函数计算所述原始图像与所述第一扰动图像的第一损失值；

34、所述迭代优化模块用于根据所述第一损失值和所述双向损失函数对所述第一扰动图像进行预设次数的迭代优化，获得所述无参考图像质量评估模型的对抗样本，其中，在每轮迭代过程中，对当前的第一扰动图像施加扰动获得第二扰动图像，当所述原始图像和所述第二扰动图像通过双向损失函数计算出的第二损失值小于所述第一损失值时，使用所述第二扰动图像替换所述第一扰动图像，使用所述第二损失值替换所述第一损失值。

35、在一种可能实现的方式中，所述初始化模块对原始图像进行初始化扰动，获得第一扰动图像，包括：

36、将原始图像中的每一个元素随机与第一预设值或第二预设值相加，获得随机扰动图像；

37、将所述随机扰动图像裁剪到[0,1]的图像域范围内，获得所述第一扰动图像。

38、在一种可能实现的方式中，所述损失函数构建模块根据所述无参考图像质量评估模型构建对应的双向损失函数，包括：

39、根据所述无参考图像质量评估模型确定质量评估分数的上限和下限；

40、将所述无参考图像质量评估模型集成到所述双向损失函数中，使得所述双向损失函数根据所述无参考图像质量评估模型对两张图像的质量评估分数计算所述两张图像的损失值。

41、进一步的，所述双向损失函数的具体公式为：

42、

43、其中，为图像和图像x的损失值，为图像的质量评估分数，为图像x的质量评估分数，β1和β2分别为所述无参考图像质量评估模型的评估分数上限和下限。

44、在一种可能实现的方式中，所述迭代优化模块包括差异计算单元、补丁生成单元、采样单元、替换单元以及融合单元；

45、其中，所述差异计算单元用于根据所述第一扰动图像和所述原始图像的差异计算获得差异图像；

46、所述补丁生成单元用于生成若干个相同尺寸的正方形补丁，所述正方形补丁的尺寸根据所述第一扰动图像的尺寸和图像通道数确定；

47、所述采样单元用于对所述各个正方形补丁的各个颜色通道内的元素进行独立采样，其中，对第一正方形补丁的第一颜色通道内的全部元素随机选取相同的第一预设值或第二预设值，即为对第一正方形补丁的第一颜色通道内的元素进行的独立采样；

48、所述替换单元用于将所述若干个正方形补丁放置于所述差异图像中的随机位置并用所述正方形补丁中的内容替换所述差异图像中对应位置的内容，获得更新图像；

49、所述融合单元用于将所述更新图像与所述原始图像融合，获得所述第二扰动图像，并将所述第二扰动图像裁剪到[0,1]的图像域范围内。

50、进一步的，所述正方形补丁的尺寸在迭代过程中按照预设的规则缩小。