一种智能评价方法、装置、设备及计算机可读存储介质与流程

本发明涉及一种图像质量评价，尤其涉及一种基于深度卷积神经网络的对无参考高动态范围图像的评价方法、设备、装置以及计算机可读存储介质。

背景技术：

1、高动态范围(high dynamic range，hdr)成像技术的发展改变了传统的图像显示方式，其能够带给人们更真实的视觉体验。然而图像在采集、压缩、存储和传输过程中，不可避免地会引入降质。图像质量直接反映了用户的体验质量，降低甚至彻底杜绝降质是图像消费者的共同愿望，对高动态范围图像的质量评价进行研究能够有效帮助解决一些降质问题。

2、图像质量评价从方法上可分为主观质量评价方法和客观质量评价方法，主观质量评价方法耗时多、费用高、难以操作，因此，需要建立合适的客观质量评价模型对图像质量进行预测。高动态范围图像的客观质量评价方法可分为基于低动态范围(low dynamicrange，ldr)图像质量评价的高动态范围图像质量评价方法和针对高动态范围图像设计的质量评价方法。传统的低动态范围图像质量评价方法，如mse(psnr)、ssim、mssim、vif、vsnr等，这些方法不能直接用于高动态范围图像的质量评价，因为这些方法都是在假定图像的像素值和人眼感知的像素值满足线性关系的条件下设计的，而这在高动态范围图像中并不成立。基于低动态范围图像质量评价的高动态范围图像质量评价方法需要先对图像进行log运算或pu编码预处理，使得图像的像素值和人眼感知的像素值大致满足线性关系，再使用低动态范围图像的质量评价方法，该方法经过log运算或pu编码预处理后，虽然评价效果有了大幅提升，但是有待进一步提高，因为它们不能体现高动态范围图像在动态范围、对比度提高之后，具有的与低动态范围图像不同的视觉注意力机制。

3、目前，针对高动态范围图像设计的质量评价方法只有几种，典型的有mantiuk等提出的视觉差异预测方法hdr-vdp-2及其权重优化的hdr-vdp-2.2方法，以及针对高动态范围视频质量评价设计的hdr-vqm方法。这几种方法都很好的模拟了人眼对高动态范围图像的高亮度范围的感知，得到了广泛地应用。但是，这几种方法都是全参考的高动态范围图像质量评价方法，需要参考图像和失真图像，然而在实际应用中，参考图像往往是不可获取或不存在的。目前，对无参考高动态范围图像客观质量评价方法的研究还比较缺乏。因此，对无参考高动态范围图像的质量进行准确评价是一个迫切需要解决的问题。

4、优秀的高动态范围图像客观质量评价方法应能够很好地反映人眼视觉感知特性，人眼对图像失真的感知是色度失真和亮度失真共同作用的结果，上述针对高动态范围图像设计的全参考客观质量评价方法都只考虑了亮度失真，忽略了色度失真，这与人眼视觉感知不符，尤其对色彩鲜明的高动态范围图像。

5、本发明涉及一种图像质量评价方法，旨在解决无参考高动态范围hdr图像的质量评价问题；

6、随着手机影像技术的快速发展，人们对于图像质量的要求越来越高，对于图像动态范围的要求也越来越高，当然，针对图像质量评价方法也越来越多样，但如何基于人类视觉对图像进行评价仍然是个难点；

7、hdr图像可以在同一张图像中同时展示高亮区域和低亮区域，曝光显示范围更加宽广，更符合人类视觉特征。hdr可以很好地解决显示问题，使图像细节更加丰富。因此，要保证系统能够提供良好的视觉体验，对hdr图像质量的评价至关重要。

8、人眼主观评价虽然是图像质量的最终标准，但是要评价大量的图像数据过于浪费时间且枯燥繁琐，没有办法成为主流快速评价的方法；

9、根据图像客观评价方法对参考图像的依赖程度，客观质量评价方法可分为全参考、半参考和无参考三种图像质量评价方法。随着研究的不断深入，全参考质量评价方法的准确性越来越高，但是这种方法需要大量的无失真参考图像，对于快速评估一组图像的质量很难实现。因此，无参考图像质量评价方法不需要无失真的参考图像的任何信息，仅根据失真图像就可以评估失真图像的质量，因此已成为机器视觉和图像处理领域的一个研究热点。

技术实现思路

1、本发明的目的在于提供一种基于深度神经网络的高动态范围图像评价方法、设备、装置、及计算机可读存储介质用以提高hdr的评价质量和提高评价效率。

2、第一方面，本发明实施例提供一种基于深度神经网络的高动态范围图像评价方法，其特征在于，所述评价方法包括：通过深度卷神经网络对所述高动态范围图像中的场景识别和兴趣区域划分；将所述场景识别和兴趣区域划分后的所述高动态范围图像形成训练数据集；通过构建数据分析模型和打分模型，共享所述训练数据集；通过移动视觉应用的高效卷积神经网络作为基础，完成所述数据分析模型训练；所述数据分析模型根据输入的数据进行所述场景识别信息的分析和所述兴趣区域的抽取；所述打分模型则根据所述数据分析模型输出的所述场景识别信息和所述兴趣区域完成高动态范围图像的打分；将收集的验证集图像依次送入训练好的所述分析模型和打分模型中，核验感兴趣区域的划分及最终打分与预期的符合度。

3、本发明实施例提供的扫码设备的有益效果在于：本发明旨在排除了图像上其它诸如色彩、构图等对动态范围自动评价的影响，相较于人工的方式进行hdr图像动态范围打分的方式，使用深度学习的方式完成图像数据分析及效果打分能有效的提升图像质量评价的效率并降低图像评价的成本，同时使用深度学习的方式构建标准打分模型能有效避免人工打分过程中容易出现的主观印象及效果偏见，大大的提升了评价的质量及客观化。

4、相较于传统的使用一个模型进行hdr图像动态范围评价的深度学习模型，其容易受到来自色彩、畸变、构图等其它图像特征的影响，造成动态范围评价造成影响，导致动态范围评价结果引入了其它噪声元素，最终影响动态范围评价结果。同时人眼对不同场景的动态范围评价标准相差巨大，对于不同场景的评价差异较大。

5、相较于前述两种方案，本发明将数据特征的采集按场景分类，使用前置数据处理模型完成数据特征的抽取及场景信息的获取；通过前置特征采集模块的输出的场景信息及特征信息作为打分模型的输入，有效的避免了色彩、构图等其它噪声信息对动态范围评价的影响，同时由于打分模型区分了场景信息，因此其对场景不敏感，评价更为客观。

6、在进一步的实施例里提供的评价方法，所述通过移动视觉应用的高效卷积神经网络作为基础，完成所述数据分析模型的训练，包括：述数据分析模型引入注意力模块，并使用hard_s i gmo id替换relu函数作为激活函数,所述注意力模块捕捉训练数据集中所述高动态范围图像的全局信息特征和局部信息特征之间的联系。

7、在进一步的实施例里提供的评价方法，所述注意力模块由第一卷积层、第二卷积层、池化层、归一化层、hard_s i gmo i d激活函数、第三卷积层构成。

8、在一些实施例里提供的评价方法，所述打分模型与所述数据分析模型一致。

9、在其他一些实施例里提供的评价方法，包括：构建初始训练集，所述初始训练集包含不同智能移动终端采集的不同曝光等级的所述高动态范围图像；将所述初始训练集针对高动态范围图像的兴趣区域分别进行不可复制的打分标注。

10、在还有一些的实施例里提供的评价方法，包括：通过使用mobi l enet v3模型构建数据分析模型，对所述初始训练集进行训练。

11、在可选的一些实施例里提供的评价方法，通过mobi l enet v3模型构建打分模型，对所述初始训练集进行训练。

12、在一种可能的实现方案中，第二方面本发明创造提供了一种基于深度神经网络的高动态范围图像评价装置，包括：

13、训练数据集，包含不同智能移动终端采集的不同曝光等级的所述高动态范围图像；数据分析模块，对所述高动态范围图像中的场景识别和兴趣区域划分；

14、打分模块，对根据所述数据分析模型输出的所述场景识别信息和所述兴趣区域完成高动态范围图像的打分；

15、所述数据集供所述数据分析模型和打分模型共享综合数据验证模块，收集验证集图像，将所述验证集图像依次送入训练好的所述分析模型和打分模型中，核验感兴趣区域的划分及最终打分与预期的符合度。

16、在一种可能的实现方案中，第三方面本发明创造提供了一种智能评价设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述处理器执行所述计算机程序，以实现如权利要求1至7中任意一项所述的评价方法。

17、第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述评价方法的步骤。