基于深度元学习的无参考光场图像质量评估方法及系统

本发明涉及图像处理，具体地，涉及一种基于深度元学习的无参考光场图像质量评估方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

背景技术：

1、随着沉浸式多媒体技术和虚拟现实技术的发展，光场技术已经成为计算视觉领域的一个研究热点，近年来吸引了许多相关研究人员的关注。由于光场是空间中的光的集合，通过获取和显示光场图像可以直观地再现三维(3d)世界。由于其丰富的空间和角度信息，光场被广泛用于图像应用中，包括深度估计、重新聚焦、三维重建等。但是，在光场处理的每个环节中，失真效应是不可避免的，这导致了光场内容感知质量的下降。为了指导和监督光场图像(lfi)的获取、处理和应用，设计一个符合人类视觉系统的光场图像质量评估(lfiqa)模型至关重要。

2、然而，现有的光场图像质量评估模型大多是基于传统的机器学习来手动提取特征，再通过质量回归模型(比如支持向量机(svr))来将输入的图像特征映射到其质量分数上。虽然效果很好，但是并没有实现全自动的客观评估，没有带来很多便利。同时，研究发现，使用深度卷积神经网络的图像质量评估已经在低维图像评估模型上得到了很好的效果。不幸的是，lfiqa是一个小样本问题，大多数光场数据集包含的图像内容相对较少。因此，大多数现有的基于深度学习的图像质量评价(iqa)模型不能很好地适应高维的lfiqa模型，导致在评估不同类型的失真时容易出现欠拟合或过拟合问题。而且不少iqa模型没有考虑到光场图像信息极为丰富的特点，没有将其空间信息和角度信息都结合在一起进行评估，导致在评估某些由重建等破坏角度信息的扭曲时，不能达到很好的效果。同时，由于图像质量评估需要依赖于人眼识别，因此模型是否符合人眼视觉特效也特别重要，有些模型并没有很好的结合人眼识别特性进行图片质量评估，因此它们的效果达不到一定的高度。

3、经过检索发现：

4、公开号为cn115937064a的中国发明专利申请《一种基于空间和角度测量的光场图像质量评价方法》，包括：采用多频带局部二值模式算法从4维光场图像的子孔径图像阵列中提取光场图像的空间特征；利用基于熵加权局部相位量化的特征提取算法提取4维光场图像的微透镜图像阵列的特征作为光场图像的角度特征；将所述光场图像的空间特征和所述光场图像的角度特征进行特征融合得到一维特征向量；对所述一维特征向量进行支持向量回归池化操作后得到光场图像的质量分数，本发明通过对子孔径图像和宏像素分别进行特征提取以有效地量化光场图像的空间质量和角度一致性，避免了光场图像的质量受空间质量和角度一致性制约的问题。该方法仍然存在如下技术问题：

5、该方法仍然采用传统的手工提取特征的方法，手动提取特征之后还需要用支持向量回归机等回归手段映射到图像的质量分数上。

6、该方法对不同扭曲类型图像没有很好的适应性，可能导致在某些扭曲评分上较低。

技术实现思路

1、本发明针对现有技术中存在的上述不足，提供了一种基于深度元学习的无参考光场图像质量评估方法及系统。

2、根据本发明的一个方面，提供了一种基于深度元学习的无参考光场图像质量评估方法，包括：

3、分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集；

4、构建包含swim transformer网络结构的深度元学习模型；

5、基于所述训练集，学习失真的先验知识，得到质量先验模型；

6、在测试集上对所述质量先验模型进行微调，得到最终的光场图像质量评估模型；

7、利用所述光场图像质量评估模型对待评估光场图像进行光场图像质量评估。

8、优选地，所述分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集，包括：

9、将光场图像根据其失真类型划分为多个无参考光场图像质量评估任务，用于构建训练集；其中，在同一个数据集中，具有相同失真类型的光场图像划分成一组，每一组作为一种光场图像质量评估任务；

10、将未知失真类型的光场图像作为目标评估任务，用于构建测试集；

11、将作为无参考光场图像质量评估任务的光场图像和作为目标评估任务的光场图像分别转化成macpi模式，得到无参考光场图像质量评估所需的训练集和测试集。

12、优选地，所述构建包含swim transformer网络结构的深度元学习模型，包括：

13、构建swim transformer网络和全连接层网络；其中：

14、所述swim transformer网络，包括：依次连接的patchembed模块、四个basiclayer模块和一个linear层；其中，前三个basiclayer模块均包括swin transformer block子模块和patch merging子模块，第四个basiclayer模块包括transformer block子模块；最后连入全连接层；

15、所述patchembed模块用于将维度为h x w x c的输入光场图像分成n个大小为p*p*c的patch，再将其展平，其中然后输入至所述第一个basiclayer模块的swintransformer block子模块；

16、所述patch merging子模块用于在每一个所述swin transformer block子模块后降低图片分辨率，调整通道数，形成层次化的图像；

17、所述全连接层网络用于将所述swim transformer网络输出的图像的特征映射到输出结果，最后输出的值即为光场图像的预测质量分数值。

18、优选地，前三个所述basiclayer模块中的swin transformer block子模块的个数分别为2、2和18。

19、优选地，第四个所述basiclayer模块中的transformer block子模块为2个。

20、优选地，所述全连接层网络包括3层全连接层，所述swim transformer网络输出的图像通过3层全连接层将光场图像的特征逐层映射到最终的输出结果中，最后输出的值即为光场图像预测的质量分数值。

21、优选地，所述基于所述训练集，学习失真的先验知识，包括：

22、将训练集中的光场图像x作为输入，依次经过swim transformer网络和全连接层网络，生成输出值其中，输出值为光场图像x的预测质量分数，定义为：

23、

24、式中，θ是初始化的模型参数，fθ是包含swim transformer网络结构的深度元学习模型；

25、采用平均平方误差(mse)损失函数通过梯度下降法不断训练，使得预测质量分数与输入图像x的真实质量分数y之间的差异最小化；其中，平均平方误差损失函数为l：

26、

27、式中，n为每个任务中的输入图像数量，i为当前输入图像；

28、将光场图像数据集中不同失真类型的无参考光场图像质量评估任务划分为训练集其中，分别为每个任务的支持集和查询集，共有n个无参考光场图像质量评估任务；

29、采用adam优化器在支持集上迭代更新神经网络权重，其中，adam的第t+1时间步骤的梯度gt为：

30、

31、当前模型参数θt的更新公式为：

32、

33、式中，θ′为更新过后的模型参数的值，α为学习率，∈被设置为10-8以避免除数为零，mt为动量，vt为梯度变化的方差，mt和vt分别为梯度的第一矩和第二矩估计值，分别表示为：

34、

35、

36、式中，β1和β2系数是指数衰减率，分别控制权重分布和之前梯度平方的影响；和分别为第t时间步骤的β1和β2的值，随着t的增大，它们的值越来越趋于0；

37、采用adam优化器在查询集上对模型参数进行了第二次更新，则：

38、

39、将光场图像数据集中k个无参考光场图像质量评估任务的更新梯度进行迭代，获得的最终的模型参数θ为：

40、

41、θi是第k个任务更新过后的参数值，最后根据所有更新得到模型的最终参数θ，得到的最终的包含swim transformer网络结构的深度元学习模型fθ，即为质量先验模型。

42、优选地，所述在测试集上对质量先验模型进行微调，包括：

43、从测试集中划分出m个带有质量分数值的光场图像作为训练样本；

44、采用平均平方误差损失函数最小化光场图像的预测质量分数和真实质量分数y之间的误差；

45、采用adam优化器更新质量先验模型的网络参数，对所述质量先验模型进行微调，得到具有最佳预测质量分数的光场图像质量评估模型。

46、根据本发明的另一个方面，提供了一种基于深度元学习的无参考光场图像质量评估系统，包括：

47、数据集构建模块，该模块用于分别构建包含无参考光场图像质量评估任务的训练集和包含目标评估任务的测试集；

48、模型构建模块，该模块用于构建包含swim transformer网络结构的深度元学习模型；

49、模型元训练模块，该模块基于所述训练集，学习失真的先验知识，得到质量先验模型；

50、模型微调模块，该模块用于在测试集上对所述质量先验模型进行微调，得到最终的光场图像质量评估模型；

51、质量评估模块，该模块利用所述光场图像质量评估模型对待评估光场图像进行光场图像质量评估。

52、根据本发明的第三个方面，提供了一种计算机终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述中任一项所述的方法，或，运行上述中任一项所述的系统。

53、根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述中任一项所述的方法，或，运行上述中任一项所述的系统。

54、由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：

55、本发明告别传统的手动提取图像特征的机器学习方法，采用机器学习领域中的深度学习技术，通过学习样本图像数据的内在规律和表示层次，在学习过程中获得对图像数据的解释信息，像机器人一样能够自主实现所需要的性能。由于采用了深度学习方案，可以实现全自动学习光场图像扭曲的知识，对扭曲图像做评估，解决传统机器学习手工提取特征的不便利性。

56、本发明采用深度元学习模型，解决光场图像的小样本特性在深度学习中带来的过拟合或者欠拟合问题，同时对不同失真类型的图像有较好的泛化能力。由于采用了元学习，可以实现对光场图像中各种扭曲的质量评估，解决光场数据集小样本特性在深度学习时可能产生的拟合问题，以及对各种不同扭曲的不适应性。

57、本发明将输入的图像转化成macpi(宏像素图像)模式，macpi是固定一个空间信息和角度信息构成的，能很好的结合两者信息，使得信息提取更为全面。由于采用了macpi模式，可以使得光场图像的空间和角度信息很好的结合起来，解决模型因为忽略了图像角度信息导致在某些角度扭曲的评估过程中达不到很好的效果。

58、本发明加入swim transformer网络结构，其注意力机制特性使得模型符合人眼视觉特性，大大提高了实验效果。由于采用了swim transformer网络结构，可以使得评估效果符合人眼视觉特性，解决模型因不符合人眼视觉特性导致结果不符合实际或者性能低。

59、本发明采用了深度学习方案，可以实现全自动学习光场图像扭曲的知识，对扭曲图像做评估，解决传统机器学习手工提取特征的不便利性。

60、本发明采用了元学习，可以实现对光场图像中各种扭曲的质量评估，不会产生因为扭曲类型带来的不适应性。