基于显著性加权的无参考全景图像质量评价方法

本发明属于图像处理，具体涉及到无参考全景图像质量评价方法。

背景技术：

1、图像质量评价即使用计算机模拟人眼对图像的感知质量进行评估。从人眼观察图像的习惯特点出发，构建网络模型往往能取得与主观感知一致性较高的结果，合理考虑人眼视觉系统特性是图像质量评价问题的重要突破口。

2、在使用虚拟现实设备观察全景图像时，视觉内容首先由3d球坐标中的球体表示，然后被渲染为与球体相切的平面段，该平面段称为视口。视口的生成就是模拟人眼在虚拟现实中的观察行为，相较于全景图像的默认投影格式等矩形投影，视口更符合人眼的感知过程。由于人眼无法同时关注所有视口图像，因此依据视口对人眼的吸引程度进行不同处理极有必要。

技术实现思路

1、本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种符合人眼视觉系统特性、与主观评价一致、效率高的基于显著性加权的无参考全景图像质量评价方法。

2、解决上述技术问题所采用的技术方案是由下述步骤组成：

3、(1)选择数据集

4、将全景图像质量评价数据集中的全景图像以8：2分为训练集、测试集，训练集与测试集之间没有重叠。

5、(2)图像预处理

6、通过立方体投影，将训练集和测试集的全景图像映射得到前、后、左、右、上、下六张视口图像。

7、(3)构建sw-piqa网络

8、sw-piqa网络由特征提取模块1与显著性加权模块2并联后与质量回归模块3串联构成。

9、所述的显著性加权模块2由显著性模块与权重分配模块串联构成。

10、所述的质量回归模块3由加权模块与回归模块串联构成。

11、(4)训练sw-piqa网络

12、1)构建损失函数

13、按下式构建损失函数loss：

14、

15、其中，m为测试集的数量，spj为全景图像的预测质量分数，stj为全景图像的真实质量分数。

16、2)训练sw-piqa网络

17、软件条件为centos7.5操作系统，基于pytorch1.7.0框架，将训练集输入到sw-piqa网络进行训练，训练参数学习率为0.0001，平滑系数alpha为0.9，批处理量为16，训练轮数为25，训练至损失函数收敛。

18、(5)测试sw-piqa网络

19、将测试集输入到训练后的sw-piqa网络中，得到全景图像的预测图像质量分数。

20、在本发明的步骤(3)构建sw-piqa网络中，所述的特征提取模块1由六条resnet34卷积神经网络并联构成，六条resnet34卷积神经网络分别提取前、后、左、右、上、下六张视口图像的特征σn如下：

21、

22、其中，特征的维度为512，εn为7×7的矩阵，n∈{1,2,…,6}。

23、在本发明的步骤(3)构建sw-piqa网络中，所述的回归模块由全连接层fc1与全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6相互并联后，再与全连接层fc7串联构成，全连接层fc1、全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6的输入为512，输出为10；全连接层fc7的输入为60、输出为1。

24、在本发明的步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

25、按下式确定视口图像中每个像素点的显著性值sk：

26、

27、其中，n1为像素点k的子区域的像素点数量，n2为像素点k的子区域邻域的像素点数量，n1和n2为有限的正整数，vp为子区域中像素点对应的特征向量，vq为子区域邻域中像素点对应的特征向量，d[·]表示子区域的平均特征向量和子区域邻域的平均特征向量之间的距离度量。

28、在本发明的步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

29、按下式确定视口图像中每个像素点的显著性值sk：

30、

31、其中，ik为视口图像中像素点k的像素值，ii为视口图像中像素点i的像素值，n为视口图像中的像素点数量，n为有限的正整数，||·||为欧式距离。

32、在本发明的步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

33、按下式确定视口图像中每个像素点的显著性值sk：

34、sk＝||iμ-iωk||

35、其中，iμ为视口图像的全局平均像素值，iωk为高斯滤波后的视口图像中像素点k的像素值。

36、在本发明的步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

37、按下式确定视口图像中每个像素点的显著性值sk：

38、

39、其中，c为像素点k的颜色值，r为颜色总数，fl为颜色cl在图像中出现的概率，dc[c,cl]代表图像中颜色值c与cl之间的颜色距离度量。

40、在本发明的步骤(3)构建sw-piqa网络中，所述的权重分配模块的构建方法如下：

41、按下式确定六张视口图像的权重wn：

42、

43、

44、其中，sn分别表示第n张视口图像的显著性总值，表示第n张视口图像中像素点k的显著性值；输出权重wn，构建成权重分配模块。

45、在本发明的步骤(3)构建sw-piqa网络中，所述的加权模块的构建方法如下：

46、按下式确定视口图像的加权特征en：

47、en＝σn⊙wn

48、其中，⊙表示点乘，构建成加权模块。

49、本发明的有益效果是：

50、该质量评价方法将单幅全景图像转换为六幅视口图像，采用显著性检测方法提取显著性图，根据显著性图为每个视口图像自适应地分配权重；将视口图像作为输入送至并行的卷积神经网络，分别提取出六幅视口图像的特征，将特征与其对应的权重进行点乘获得加权特征向量，六个加权特征向量回归获得该幅全景图像的质量预测分数。经仿真对比实验表明，本发明方法能够更准确地预测失真图像的感知质量水平，对不同数据集都有较好的质量预测结果，与主观质量评价一致性较高。本发明可用于全景图像的质量评价。

技术特征：

1.一种基于显著性加权的无参考全景图像质量评价方法，其特征在于由下述步骤组成：

2.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于：在步骤(3)构建sw-piqa网络中，所述的特征提取模块1由六条resnet34卷积神经网络并联构成，六条resnet34卷积神经网络分别提取前、后、左、右、上、下六张视口图像的特征σn如下：

3.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建sw-piqa网络中，所述的回归模块由全连接层fc1与全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6相互并联后，再与全连接层fc7串联构成，全连接层fc1、全连接层fc2、全连接层fc3、全连接层fc4、全连接层fc5、全连接层fc6的输入为512，输出为10；全连接层fc7的输入为60、输出为1。

4.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

5.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

6.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

7.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建sw-piqa网络中，所述的显著性模块的构建方法如下：

8.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建sw-piqa网络中，所述的权重分配模块的构建方法如下：

9.根据权利要求1所述的基于显著性加权的无参考全景图像质量评价方法，其特征在于在步骤(3)构建sw-piqa网络中，所述的加权模块的构建方法如下：

技术总结
一种基于显著性加权的无参考全景图像质量评价方法，由选择数据集、图像预处理、构建SW‑PIQA网络、训练SW‑PIQA网络、测试SW‑PIQA网络组成。将全景图像投影成六个视口图像，解决了等矩形投影格式造成的拉伸形变问题，符合人眼的主观感知；通过显著性检测方法和卷积神经网络分别获取了各视口图像的显著性和图像特征，对各视口图像提取出的图像特征进行自适应加权融合，对加权特征进行回归得到图像质量预测分数。经仿真对比实验证明表明，本发明方法对不同数据集都有较好的质量预测结果，与人的主观评分相符，适用于不同的失真类型。

技术研发人员：艾达,白岩松,鹿明月,胥策,艾宇
受保护的技术使用者：西安邮电大学
技术研发日：
技术公布日：2024/1/15