一种全景拼接图像质量评价方法

1.本发明涉及一种图像质量评价技术，尤其是涉及一种全景拼接图像质量评价方法。


背景技术：

2.图像拼接技术可以将多张具有重叠部分的单视点图像组合成宽视角高分辨率的全景图像，是计算机视觉领域的热点问题。早期的图像拼接技术通过标准镜头拍摄单视点图像，其视角在50
°
左右，需要多张不同方位的单视点图像才能生成全方位的全景图像，这不仅对拍摄过程提出了更高的要求，而且多次图像拼接操作更容易引入图像失真。近年来，鱼眼相机以其视角大的优势受到了广泛的关注，利用鱼眼相机在相反的方向拍摄两张鱼眼图像即可获得全方位的场景信息。然而，鱼眼图像之间有限的重叠区域对几何对齐提出了更高的要求，不一致的图像捕获设置会导致在拼接缝附近出现颜色失真现象，因此，设计有效的全景拼接图像质量评价方法可以辅助拼接算法的优化，对于虚拟现实技术的发展具有重要意义。
3.尽管图像质量评价方法越来越成熟，但现有的图像质量评价方法主要考虑扩散失真对图像质量的影响，而拼接图像的失真主要来自于错位、鬼影、形变等局部误差，这是传统的图像质量评价方法所没有考虑的。此外，现有的拼接图像质量评价方法只考虑了部分失真属性对图像质量的影响，而缺乏对拼接图像失真全面的考虑。因此如何在评价过程中有效地提取出视觉特征，使得客观评价结果更加符合人类视觉系统的感知，是在对全景拼接图像进行客观质量评价过程中需要解决的问题。


技术实现要素：

4.本发明所要解决的技术问题是提供一种全景拼接图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知之间的相关性。
5.本发明解决上述技术问题所采用的技术方案为：一种全景拼接图像质量评价方法，其特征在于包括以下步骤：
6.步骤1：选取两张由不同方位的两幅鱼眼图像拼接得到的全景拼接图像，将由90
°
方位和270
°
方位的两幅鱼眼图像拼接得到的全景拼接图像作为失真图像，并记为is，将is中坐标位置为(u,v)的像素点的像素值记为is(u,v)；将由0
°
方位和180
°
方位的两幅鱼眼图像拼接得到的全景拼接图像作为参考图像，并记为ig，将ig中坐标位置为(u,v)的像素点的像素值记为ig(u,v)；其中，1≤u≤w，1≤v≤h，w表示is和ig的宽度，h表示is和ig的高度；
7.步骤2：对is进行投影变换，获得is对应的n1个失真拼接视口图像和n2个失真显著视口图像，将is对应的第i个失真拼接视口图像记为将is对应的第j个失真显著视口图像记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
8.同样，对ig进行投影变换，获得ig对应的n1个参考拼接视口图像和n2个参考显著视口图像，将ig对应的第i个参考拼接视口图像记为将ig对应的第j个参考显著视口图像记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
9.其中，n1≥1，n2≥1，1≤i≤n1，1≤j≤n2；
10.步骤3：采用sift-flow方法建立ig对应的每个参考拼接视口图像与is对应的每个失真拼接视口图像之间的匹配关系，得到ig对应的每个参考拼接视口图像中的每个像素点的sift-flow向量，对于与采用sift-flow方法建立与之间的匹配关系，得到中的每个像素点的sift-flow向量，将中坐标位置为的像素点的sift-flow向量记为
11.同样，采用sift-flow方法建立ig对应的每个参考显著视口图像与is对应的每个失真显著视口图像之间的匹配关系，得到ig对应的每个参考显著视口图像中的每个像素点的sift-flow向量，对于与采用sift-flow方法建立与之间的匹配关系，得到中的每个像素点的sift-flow向量，将中坐标位置为的像素点的sift-flow向量记为
12.其中，用于表示水平方向，用于表示垂直方向，表示的水平偏移量，表示的垂直偏移量，表示的水平偏移量，表示的垂直偏移量；
13.步骤4：采用简单线性迭代聚类方法对ig对应的每个参考拼接视口图像进行超像素分块，对于对进行超像素分块得到n
seed
个互不重叠的超像素块，将中的第ξ个超像素块中的所有像素点的坐标位置构成的集合记为然后根据ig对应的每个参考拼接视口图像中的每个像素点的sift-flow向量，确定ig对应的每个参考拼接视口图像中的每个超像素块在is对应的每个失真拼接视口图像中匹配的超像素块，对于根据中的每个像素点的sift-flow向量，确定在中与中的每个超像素块匹配的超像素块，将在中与中的第ξ个超像素块匹配的超像素块中的所有像素点的坐标位置构成的集合记为其中，n
seed
≥1，1≤ξ≤n
seed
；
14.同样，采用简单线性迭代聚类方法对ig对应的每个参考显著视口图像进行超像素分块，对于对进行超像素分块得到n
seed
个互不重叠的超像素块，将中的第ξ个超像素块中的所有像素点的坐标位置构成的集合记为然后根据ig对应的每个参考显著视口图像中的每个像素点的sift-flow向量，确定ig对应的每个参考显著视口图像中的每个超像素块在is对应的每个失真显著视口图像中匹配的超像素块，对于根据中的每个
像素点的sift-flow向量，确定在中与中的每个超像素块匹配的超像素块，将在中与中的第ξ个超像素块匹配的超像素块中的所有像素点的坐标位置构成的集合记为
15.步骤5：根据ig对应的每个参考拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中的每个超像素块及ig对应的每个参考拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中的每个超像素块在is对应的每个失真拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中匹配的超像素块，计算is对应的每个失真拼接视口图像中的每个超像素块的边缘感知特征，将在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征记为其中，的维数为1
×
3，表示在的灰度图像的局部导向核特征张量的第一主成分中与的灰度图像的局部导向核特征张量的第一主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征，表示在的灰度图像的局部导向核特征张量的第二主成分中与的灰度图像的局部导向核特征张量的第二主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征，表示在的灰度图像的局部导向核特征张量的第三主成分中与的灰度图像的局部导向核特征张量的第三主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征；
16.步骤6：根据ig对应的每个参考拼接视口图像中的每个超像素块及ig对应的每个参考拼接视口图像中的每个超像素块在is对应的每个失真拼接视口图像中匹配的超像素块，计算is对应的每个失真拼接视口图像中的每个超像素块的形变感知特征，将在中与中的第ξ个超像素块匹配的超像素块的形变感知特征记为的第ξ个超像素块匹配的超像素块的形变感知特征记为其中，的维数为1
×
2，表示中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的长宽比相似性，表示中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的边界相似性；
17.步骤7：根据ig对应的每个参考拼接视口图像的h分量、s分量和v分量中的每个超像素块及ig对应的每个参考拼接视口图像的h分量、s分量和v分量中的每个超像素块在is对应的每个失真拼接视口图像的h分量、s分量和v分量中匹配的超像素块，计算is对应的每个失真拼接视口图像中的每个超像素块的颜色感知特征，将在中与中的第ξ个超像素块匹配的超像素块的颜色感知特征记为匹配的超像素块的颜色感知特征记为其中，的维数为1
×
3，表示在中与中的第ξ个超像素块匹配的超像素块的h通道的颜色感知特征，表示在中与中的第ξ个超像素块匹配的超像素块的s通道的颜色感知特征，表示中与中的第ξ个超像素块匹配的超像素块的v通道的颜色感知特征；
18.步骤8：对is对应的每个失真拼接视口图像中的所有超像素块的边缘感知特征进行自适应融合，得到is对应的每个失真拼接视口图像的边缘感知特征，将的边缘感知特征记为同样，对is对应的每个失真拼接视口图像中的所有超像素块的形变感知特征进行自适应融合，得到is对应的每个失真拼接视口图像的形变感知特征，将的形变感知特征记为对is对应的每个失真拼接视口图像中的所有超像素块的颜色感知特征进行自适应融合，得到is对应的每个失真拼接视口图像的颜色感知特征，将的颜色感知特征记为其中，的维数为1
×
3，的维数为1
×
2，的维数为1
×
3；
19.步骤9：通过is对应的每个失真拼接视口图像与ig对应的每个参考拼接视口图像之间的互信息值，计算is对应的每个失真拼接视口图像的信息感知特征，将的信息感知特征记为征记为其中，表示的信息熵，表示的信息熵，表示和联合分布的信息熵，的维数为1
×
1；
20.步骤10：根据is对应的每个失真拼接视口图像的边缘感知特征、形变感知特征、颜色感知特征、信息感知特征，获取is对应的每个失真拼接视口图像的特征矢量，将的特征矢量记为矢量记为其中，表示将连接起来形成一个特征矢量，的维数为1
×
9；
21.步骤11：按照步骤5至步骤10的过程，以相同的方式获取is对应的每个失真显著视口图像中的每个超像素块的边缘感知特征、形变感知特征、颜色感知特征，进而获取is对应的每个失真显著视口图像的边缘感知特征、形变感知特征、颜色感知特征，并获取is对应的每个失真显著视口图像的信息感知特征，最终获取is对应的每个失真显著视口图像的特征矢量，将的特征矢量记为其中，表示的边缘感知特征，的维数为1
×
3，表示的形变感知特征，的维数为1
×
2，表示的颜色感知特征，的维数为1
×
3，表示的信息感知特征，的维数为1
×
1，的维数为1
×
9；
22.步骤12：根据is对应的所有失真拼接视口图像的特征矢量和is对应的所有失真显著视口图像的特征矢量，计算is的特征矢量，记为f，f＝w
t
×ft
+wa×
fa；其中，f
t
表示拼接区域特征矢量，f
t
的维数为1
×
9，fa表示显著区域特征矢量，fa的维数为1
×
9，f的维数为1
×
9，w
t
为f
t
的权重，wa为fa的权重，w
t
+wa＝1，
23.步骤13：选取n'幅全景拼接图像作为失真图像及每幅全景拼接图像对应的交叉参
考图像作为参考图像，并构成图像集合；然后采用主观质量评价方法，获取图像集合中的每幅失真图像的平均主观评分值，将图像集合中的第i'幅失真图像的平均主观评分值记为mos
i'
；并按照步骤2至步骤12的过程，以相同的方式获取图像集合中的每幅失真图像的特征矢量，将图像集合中的第i'幅失真图像的特征矢量记为f
i'
；再将图像集合中的所有失真图像按场景内容进行分类，假设共有k'个图像类；其中，n'＞1，1≤i'≤n'，mos
i'
∈[0,7]，f
i'
的维数为1
×
9，k'＞1；
[0024]
步骤14：从图像集合中随机选择k'-1个图像类的所有失真图像构成训练集；然后将训练集中的所有失真图像的特征矢量和平均主观评分值构成训练样本数据集合；接着采用多元线性回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造全景拼接图像的多元线性回归训练模型，记为全景拼接图像的多元线性回归训练模型，记为其中，训练集中的失真图像的总幅数为m幅，1≤m＜n'，为函数表示形式，上标“t”表示向量或矩阵的转置，f
inp
表示全景拼接图像的多元线性回归训练模型的输入矢量，为失真图像的特征矢量，f
inp
的维数为1
×
9，表示全景拼接图像的多元线性回归训练模型的输入矢量f
inp
的线性函数；
[0025]
步骤15：将图像集合中剩余的1个图像类的所有失真图像构成测试集；然后将测试集中的所有失真图像的特征矢量构成测试样本数据集合；接着根据构造得到的全景拼接图像的多元线性回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的失真图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的失真图像的客观质量评价预测值记为quality
η
，其中，1≤η≤n'-m，f
η
表示测试样本数据集合中的第η个特征矢量，f
η
的维数为1
×
9，表示f
η
的线性函数；
[0026]
步骤16：重复执行步骤14至步骤15共k'次，使图像集合中的每幅失真图像有且仅有一次属于测试集，得到图像集合中的每幅失真图像的客观质量评价预测值。
[0027]
所述的步骤2中，和及和的获取过程为：
[0028]
步骤2_1：将is从等矩形坐标系转换到几何坐标系，得到对应的球面全景图像，记为i
sphere,s
，将i
sphere,s
中坐标位置为(φ,θ)的像素点的像素值记为i
sphere,s
(φ,θ)，其中，φ为几何坐标系中的经度坐标，θ为几何坐标系中的纬度坐标，-π≤φ≤π，φ＝0和φ＝π对应两条拼接缝的位置；
[0029]
步骤2_2：将i
sphere,s
分别沿着n1个拼接视口的球面中心点的坐标投影得到n1个失真拼接视口图像，将i
sphere,s
沿着第i个拼接视口的球面中心点的坐标投影得到的第i个失真拼接视口图像记为将中坐标位置为的像素点的像素值记为
其中，n1≥1，1≤i≤n1，代表坐标位置即即表示第i个拼接视口的球面中心点的经度坐标，表示第i个拼接视口的球面中心点的纬度坐标，表示第i个拼接视口在球面采样点处的经度坐标，表示第i个拼接视口在球面采样点处的纬度坐标，的步进大小为的步进大小为αi表示第i个失真拼接视口图像的视角大小；
[0030]
步骤2_3：采用全景卷积360
°
单图像显著性预测方法，提取is的显著图，记为ia，将ia中坐标位置为(u,v)的像素点的像素值即is中坐标位置为(u,v)的像素点的显著性值记为ia(u,v)；然后对ia中的所有像素点的坐标位置按像素点的像素值的大小降序排列，将排列后的坐标位置构成的集合记为{p1,p2,p3,...,pw×h}；其中，p1＝(u1,v1)表示排列后的第1个坐标位置，即为ia中像素值最大的像素点的坐标位置，p2＝(u2,v2)表示排列后的第2个坐标位置，即为ia中像素值次大的像素点的坐标位置，p3＝(u3,v3)表示排列后的第3个坐标位置，即为ia中像素值第三大的像素点的坐标位置，pw×h＝(uw×h,vw×h)表示排列后的第w
×
h个坐标位置，即为ia中像素值最小的像素点的坐标位置；
[0031]
步骤2_4：选择第1个显著视口的球面中心点的坐标具体过程为：
[0032]
依次遍历{p1,p2,p3,...,pw×h}中的每个坐标位置，将p1从等矩形坐标系转换到几何坐标系，得到变换后的坐标位置，记为p1'，p1'＝(φ1,θ1)，然后分别计算p1'与n1个拼接视口的球面中心点的坐标的角度距离，将p1'与第i个拼接视口的球面中心点的坐标的角度距离记为di，接着获取最小角度距离，记为d
min
，d
min
＝min(di|1≤i≤n1)；再判断d
min
是否大于阈值d
th
，如果d
min
大于阈值d
th
，则将p1'作为第1个显著视口的球面中心点的坐标，重新记为作为第1个显著视口的球面中心点的坐标，重新记为如果d
min
不大于阈值d
th
，则遍历p2，按针对p1的过程以相同的方式先获取p2变换后的坐标位置p2'，后计算变换后的坐标位置p2'与n1个拼接视口的球面中心点的坐标的角度距离，再获取最小角度距离，最后若最小角度距离大于阈值d
th
，则将p2'作为第1个显著视口的球面中心点的坐标，重新记为点的坐标，重新记为若最小角度距离不大于阈值d
th
，则遍历p3，以此类推，直至找出满足获得的最小角度距离大于阈值d
th
的条件下的pb，将pb变换后的坐标位置pb'作为第1个显著视口的球面中心点的坐标，重新记为'作为第1个显著视口的球面中心点的坐标，重新记为其中，min()为最小值函数，pb∈{p1,p2,p3,...,pw×h}，pb＝(ub,vb)表示排列后的第b个坐标位置，b∈[1,w
×
h]，p2'＝(φ2,θ2)，pb'＝(φb,θb)，表示第1个显著视口的球面中心点的经度坐标，表示第1个显著视口的球面中心点的纬度坐
标；
[0033]
步骤2_5：依次选择第2个至第n2个显著视口的球面中心点的坐标，对于选择第个显著视口的球面中心点的坐标的具体过程为：
[0034]
设定已经选定的第个显著视口的球面中心点的坐标对应于{p1,p2,p3,...,pw×h}中的然后在{p1,p2,p3,...,pw×h}中从开始依次遍历后续的每个坐标位置，将从等矩形坐标系转换到几何坐标系，得到变换后的坐标位置，记为从等矩形坐标系转换到几何坐标系，得到变换后的坐标位置，记为接着分别计算与n1个拼接视口的球面中心点的坐标的角度距离，将与第i个拼接视口的球面中心点的坐标的角度距离记为的角度距离记为之后获取最小角度距离，记为并分别计算与已经选定的第1个至第个显著视口的球面中心点的坐标的角度距离，将与第个显著视口的球面中心点的坐标的角度距离记为的角度距离记为之后获取最小角度距离，记为再判断和是否均大于阈值d
th
，如果和均大于阈值d
th
，则将作为第个显著视口的球面中心点的坐标，重新记为如果不满足和均大于阈值d
th
的条件，则遍历按针对的过程以相同的方式先获取变换后的坐标位置后计算变换后的坐标位置与n1个拼接视口的球面中心点的坐标的角度距离及获取最小角度距离，并计算变换后的坐标位置与已经选定的所有显著视口的球面中心点的坐标的角度距离及获取最小角度距离，最后若获取的两个最小角度距离均大于阈值d
th
，则将作为第个显著视口的球面中心点的坐标，重新记为若获取的两个最小角度距离均不大于阈值d
th
，则遍历以此类推，直至找出满足获得的两个最小角度距离均大于阈值d
th
的条件下的坐标位置；其中，n2≥1，≥1，的初始值为2，表示第个显著视口的球面中心点的经度坐标，表示第个显著视口的球面中心点的纬度坐标，表示排列后的第个坐标位置，表示排列后的第个坐标位置，
[0035]
步骤2_6：将步骤2_4得到的第1个显著视口的球面中心点的坐标及步骤2_5得到的第2个至第n2个显著视口的球面中心点的坐标构成一个集合，记为
然后将i
sphere,s
分别沿着n2个显著视口的球面中心点的坐标投影得到n2个失真显著视口图像，将i
sphere,s
沿着第j个显著视口的球面中心点的坐标投影得到的第j个失真显著视口图像记为将中坐标位置为的像素点的像素值记为的像素点的像素值记为其中，1≤j≤n2，表示第j个显著视口的球面中心点的坐标，表示第j个显著视口的球面中心点的经度坐标，表示第j个显著视口的球面中心点的纬度坐标，表示第j个显著视口在球面采样点处的经度坐标，表示第j个显著视口在球面采样点处的纬度坐标，的步进大小为的步进大小为βj表示第j个失真显著视口图像的视角大小；
[0036]
按照步骤2_1至步骤2_6获取is对应的n1个失真拼接视口图像和n2个失真显著视口图像的过程，以相同的方式获取ig对应的n1个参考拼接视口图像和n2个参考显著视口图像，将ig对应的第i个参考拼接视口图像记为将ig对应的第j个参考显著视口图像记为
[0037]
所述的步骤5中，的获取过程为：
[0038]
步骤5_1：将转换为灰度图像，记为然后计算中的每个像素点对应的导向矩阵，将中的第q个像素点对应的导向矩阵记为中的第q个像素点对应的导向矩阵记为其中，表示中的像素点的总个数，ωq表示以中的第q个像素点的坐标位置为中心点的矩形窗中的所有像素点的坐标位置构成的集合，表示以中的第q个像素点的坐标位置为中心点的矩形窗中的第q'个像素点的坐标位置，表示以中的第q个像素点的坐标位置为中心点的矩形窗中的像素点的总个数，表示中以中的第q个像素点的坐标位置为中心点的矩形窗中的第q'个像素点的像素值，表示以中的第q个像素点的坐标位置为中心点的矩形窗中的第q'个像素点的横坐标，表示以中的第q个像素点的坐标位置为中心点的矩形窗中的第q'个像素点的纵坐标，
符号为求偏导符号；
[0039]
步骤5_2：计算中的每个像素点与以其为中心像素点的周围p
×
p邻域内的每个邻域像素点之间的相似性，将中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第个邻域像素点之间的相似性记为然后获取中的每个像素点的局部导向核特征向量，将中的第q个像素点的局部导向核特征向量记为其中，p≥3，exp()表示以自然底数e为底的指数函数，表示中以中的第q个像素点为中心像素点的周围p
×
p邻域内的第个邻域像素点的坐标位置，若在范围外则令的维数为1
×
(p
×
p-1)，h
q,1
表示中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第1个邻域像素点之间的相似性，h
q,2
表示中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第2个邻域像素点之间的相似性，h
q,p
×
p-1
表示中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第p
×
p-1个邻域像素点之间的相似性；
[0040]
步骤5_3：组合中的所有像素点的局部导向核特征向量，得到的局部导向核特征张量，记为将中坐标位置为的像素点的像素值记为然后采用主成分分析方法提取的第一主成分、第二主成分、第三主成分，对应记为的第一主成分、第二主成分、第三主成分，对应记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0041]
步骤5_4：按照步骤5_1至步骤5_3的过程，以相同的方式获取的灰度图像，通过计算的灰度图像中的每个像素点对应的导向矩阵，获取的灰度图像的局部导向核特征张量再提取的第一主成分、第二主成分、第三主成分，对应记为的第一主成分、第二主成分、第三主成分，对应记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0042]
步骤5_5：计算中的第ξ个超像素块的像素值均值，记为中的第ξ个超像素块的像素值均值，记为同样，计算中的第ξ个超像素块的像素值均值，记
为计算中的第ξ个超像素块的像素值均值，记为计算在中与中的第ξ个超像素块匹配的超像素块的像素值均值，记为素块匹配的超像素块的像素值均值，记为计算在中与中的第ξ个超像素块匹配的超像素块的像素值均值，记为计算在中与中的第ξ个超像素块匹配的超像素块的像素值均值，记为的超像素块的像素值均值，记为其中，表示统计中的第ξ个超像素块中的像素点的总个数，表示统计在中与中的第ξ个超像素块匹配的超像素块中的像素点的总个数；
[0043]
步骤5_6：计算在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征，记为计算在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征，记为计算在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征，记为
[0044]
步骤5_7：将连接起来形成一个特征矢量，作为连接起来形成一个特征矢量，作为
[0045]
所述的步骤6中，的获取过程为：
[0046]
步骤6_1：采用长宽比相似性评价方法获取中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的长宽比相似性，记为根据和计算得到；
[0047]
步骤6_2：提取中的第ξ个超像素块中的所有边界点，并构成一个集合，记为同样，提取在中与中的第ξ个超像素块匹配的超像素块中的所有边界点，并构成一个集合，记为然后采用动态时间规划算法获取中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的边界相似性，记为根据和计算得到；
[0048]
步骤6_3：将和连接起来形成一个特征矢量，作为
[0049]
所述的步骤7中，的获取过程为：
[0050]
步骤7_1：将在hsv颜色空间的h分量、s分量和v分量对应记为在hsv颜色空间的h分量、s分量和v分量对应记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0051]
步骤7_2：将在hsv颜色空间的h分量、s分量和v分量对应记为在hsv颜色空间的h分量、s分量和v分量对应记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0052]
步骤7_3：计算中的第ξ个超像素块的色调信息均值，记为中的第ξ个超像素块的色调信息均值，记为并计算在中与中的第ξ个超像素块匹配的超像素块的色调信息均值，记为然后计算在中与中的第ξ个超像素块匹配的超像素块的h通道的颜色感知特征，记为
[0053]
同样，计算中的第ξ个超像素块的饱和度信息均值，记为中的第ξ个超像素块的饱和度信息均值，记为并计算在中与中的第ξ个超像素块匹配的超像素块的饱和度信息均值，记为然后计算在中与中的第ξ个超像素块匹配的超像素块的s通道的颜色感知特征，记为
[0054]
同样，计算中的第ξ个超像素块的明度信息均值，记为中的第ξ个超像素块的明度信息均值，记为并计算在中与中的第ξ个超像素块匹配的超像素块的明度信息均值，记为然后计算在中与中的第ξ个超像素块匹配的超像素块的v通道的颜色感知特征，记为
[0055]
其中，表示统计中的第ξ个超像素块中的像素点的总个数，表示统计在中与中的第ξ个超像素块匹配的超像素块中的像素点的总个数；
[0056]
步骤7_3：将连接起来形成一个特征矢量，作为连接起来形成一个特征矢量，作为
[0057]
所述的步骤8中，的获取过程为：
[0058]
步骤8_1：计算中的每个超像素块的结构复杂度权重，将中的第ξ个超像素块的结构复杂度权重记为其中，exp()表示以自然底数e为底的指数函数，σ为用于控制非线性函数的饱和点的参数，表示中的第ξ个超像素块的平均边缘强度，表示中的第ξ个超像素块的像素值均值，表示中的第ξ个超像素块的像素值均值，表示中的第ξ个超像素块的像素值均值，表示的灰度图像的局部导向核特征张量经主成分分析后得到的第一主成分，表示的灰度图像的局部导向核特征张量经主成分分析后得到的第二主成分，表示的灰度图像的局部导向核特征张量经主成分分析后得到的第三主成分；
[0059]
步骤8_2：计算中的每个超像素块的匹配置信度权重，将中的第ξ个超像素块的匹配置信度权重记为的匹配置信度权重记为其中，表示统计中的第ξ个超像素块中的像素点的总个数，δ为用于提高稳定性的常数，表示根据和之间的像素点匹配关系由中的匹配像素点重建出的参考视口图像中坐标位置为的像素点的像素值；
[0060]
步骤8_3：计算中的每个超像素块的最终权重，将中的第ξ个超像素块的最终权重记为然后获取然后获取
[0061]
与现有技术相比，本发明的优点在于：
[0062]
本发明方法结合全景拼接图像的失真分布特性和人们的观看行为，预测了拼接视口图像和显著视口图像，在训练阶段，考虑到鬼影、形变、色差、空洞等失真对图像质量的影
响，提取边缘感知特征、形变感知特征、颜色感知特征、信息感知特征构成特征矢量，并将拼接视口特征矢量和显著视口特征矢量结合构成全景拼接图像的特征矢量，然后利用多元线性回归对所有全景拼接图像的特征矢量进行训练，构造全景拼接图像的多元线性回归训练模型；在测试阶段，通过计算测试集中的全景拼接图像的特征矢量，并根据训练阶段构造的全景拼接图像多元线性回归训练模型，预测得到测试集中的全景拼接图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且较为全面地反映了全景拼接图像的失真情况，因此，有效地提高了客观评价结果与人眼主观感知之间的相关性。
附图说明
[0063]
图1为本发明方法的总体实现框图。
具体实施方式
[0064]
以下结合附图实施例对本发明作进一步详细描述。
[0065]
本发明提出的一种全景拼接图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
[0066]
步骤1：选取两张由不同方位的两幅鱼眼图像拼接得到的全景拼接图像，将由90
°
方位和270
°
方位的两幅鱼眼图像拼接得到的全景拼接图像作为失真图像，并记为is，将is中坐标位置为(u,v)的像素点的像素值记为is(u,v)；将由0
°
方位和180
°
方位的两幅鱼眼图像拼接得到的全景拼接图像作为参考图像，并记为ig，将ig中坐标位置为(u,v)的像素点的像素值记为ig(u,v)；其中，1≤u≤w，1≤v≤h，w表示is和ig的宽度，h表示is和ig的高度。
[0067]
步骤2：考虑到全景拼接图像的失真分布特性和人们的观看行为，对is进行投影变换，获得is对应的n1个失真拼接视口图像和n2个失真显著视口图像，将is对应的第i个失真拼接视口图像记为将is对应的第j个失真显著视口图像记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0068]
同样，对ig进行投影变换，获得ig对应的n1个参考拼接视口图像和n2个参考显著视口图像，将ig对应的第i个参考拼接视口图像记为将ig对应的第j个参考显著视口图像记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0069]
其中，n1≥1，n2≥1，在本实施例中取n1＝6、n2＝6，1≤i≤n1，1≤j≤n2。
[0070]
在此具体实施例中，所述的步骤2中，和及和的获取过程为：
[0071]
步骤2_1：将is从等矩形坐标系转换到几何坐标系，得到对应的球面全景图像，记为i
sphere,s
，将i
sphere,s
中坐标位置为(φ,θ)的像素点的像素值记为i
sphere,s
(φ,θ)，其中，φ为几何坐标系中的经度坐标，θ为几何坐标系中的纬度
坐标，-π≤φ≤π，π＝3.14159
…
，φ＝0和φ＝π对应两条拼接缝的位置。
[0072]
步骤2_2：将i
sphere,s
分别沿着n1个拼接视口的球面中心点的坐标投影得到n1个失真拼接视口图像，将i
sphere,s
沿着第i个拼接视口的球面中心点的坐标投影得到的第i个失真拼接视口图像记为将中坐标位置为的像素点的像素值记为的像素点的像素值记为其中，n1≥1，1≤i≤n1，代表坐标位置即即表示第i个拼接视口的球面中心点的经度坐标，表示第i个拼接视口的球面中心点的纬度坐标，表示第i个拼接视口在球面采样点处的经度坐标，表示第i个拼接视口在球面采样点处的纬度坐标，的步进大小为的步进大小为的步进大小为αi表示第i个失真拼接视口图像的视角大小。
[0073]
在本实施例中，取n1＝6，取＝6，取＝6，取＝6，取＝6，取＝6，取符号“∪”为并集运算符号，即第1个失真拼接视口图像的视角α1和第4个失真拼接视口图像的视角α4为第2个失真拼接视口图像的视角α2、第3个失真拼接视口图像的视角α3、第5个失真拼接视口图像的视角α5和第6个失真拼接视口图像的视角α6为
[0074]
步骤2_3：采用现有的全景卷积360
°
单图像显著性预测(panoramic convolutions for360
°
single-image saliency prediction)方法，提取is的显著图，记为ia，将ia中坐标位置为(u,v)的像素点的像素值即is中坐标位置为(u,v)的像素点的显著性值记为ia(u,v)；然后对ia中的所有像素点的坐标位置按像素点的像素值的大小降序排列，将排列后的坐标位置构成的集合记为{p1,p2,p3,...,pw×h}；其中，p1＝(u1,v1)表示排列后的第1个坐标位置，即为ia中像素值最大的像素点的坐标位置，p2＝(u2,v2)表示排列后的第2个坐标位置，即为ia中像素值次大的像素点的坐标位置，p3＝(u3,v3)表示排列后的第3个坐标位置，即为ia中像素值第三大的像素点的坐标位置，pw×h＝(uw×h,vw×h)表示排列后的第w
×
h个坐标位置，即
为ia中像素值最小的像素点的坐标位置。
[0075]
步骤2_4：选择第1个显著视口的球面中心点的坐标具体过程为：
[0076]
依次遍历{p1,p2,p3,...,pw×h}中的每个坐标位置，将p1从等矩形坐标系转换到几何坐标系，得到变换后的坐标位置，记为p1'，p1'＝(φ1,θ1)，然后分别计算p1'与n1个拼接视口的球面中心点的坐标的角度距离，将p1'与第i个拼接视口的球面中心点的坐标的角度距离记为di，接着获取最小角度距离，记为d
min
，d
min
＝min(di|1≤i≤n1)；再判断d
min
是否大于阈值d
th
，如果d
min
大于阈值d
th
，则将p1'作为第1个显著视口的球面中心点的坐标，重新记为'作为第1个显著视口的球面中心点的坐标，重新记为如果d
min
不大于阈值d
th
，则遍历p2，按针对p1的过程以相同的方式先获取p2变换后的坐标位置p2'，后计算变换后的坐标位置p2'与n1个拼接视口的球面中心点的坐标的角度距离，再获取最小角度距离，最后若最小角度距离大于阈值d
th
，则将p2'作为第1个显著视口的球面中心点的坐标，重新记为'作为第1个显著视口的球面中心点的坐标，重新记为若最小角度距离不大于阈值d
th
，则遍历p3，以此类推，直至找出满足获得的最小角度距离大于阈值d
th
的条件下的pb，将pb变换后的坐标位置pb'作为第1个显著视口的球面中心点的坐标，重新记为第1个显著视口的球面中心点的坐标，重新记为其中，min()为最小值函数，在本实施例中取d
th
＝30
°
，pb∈{p1,p2,p3,...,pw×h}，pb＝(ub,vb)表示排列后的第b个坐标位置，b∈[1,w
×
h]，p2'＝(φ2,θ2)，pb'＝(φb,θb)，表示第1个显著视口的球面中心点的经度坐标，表示第1个显著视口的球面中心点的纬度坐标。
[0077]
步骤2_5：依次选择第2个至第n2个显著视口的球面中心点的坐标，对于选择第个显著视口的球面中心点的坐标的具体过程为：
[0078]
设定已经选定的第个显著视口的球面中心点的坐标对应于{p1,p2,p3,...,pw×h}中的然后在{p1,p2,p3,...,pw×h}中从开始依次遍历后续的每个坐标位置，将从等矩形坐标系转换到几何坐标系，得到变换后的坐标位置，记为从等矩形坐标系转换到几何坐标系，得到变换后的坐标位置，记为接着分别计算与n1个拼接视口的球面中心点的坐标的角度距离，将与第i个拼接视口的球面中心点的坐标的角度距离记为的角度距离记为之后获取最小角度距离，记为并分别计算与已经选定的第1个至第个显著视口的球面中心点的坐标的角度距离，将与第个显著视口的球面中心点的坐标的角度距离记为的角度距离记为
之后获取最小角度距离，记为再判断和是否均大于阈值d
th
，如果和均大于阈值d
th
，则将作为第个显著视口的球面中心点的坐标，重新记为如果不满足和均大于阈值d
th
的条件，则遍历按针对的过程以相同的方式先获取变换后的坐标位置后计算变换后的坐标位置与n1个拼接视口的球面中心点的坐标的角度距离及获取最小角度距离，并计算变换后的坐标位置与已经选定的所有显著视口的球面中心点的坐标的角度距离及获取最小角度距离，最后若获取的两个最小角度距离均大于阈值d
th
，则将作为第个显著视口的球面中心点的坐标，重新记为若获取的两个最小角度距离均不大于阈值d
th
，则遍历以此类推，直至找出满足获得的两个最小角度距离均大于阈值d
th
的条件下的坐标位置；其中，n2≥1，在本实施例中取n2＝6，6，的初始值为2，表示第个显著视口的球面中心点的经度坐标，表示第个显著视口的球面中心点的纬度坐标，表示排列后的第个坐标位置，表示排列后的第个坐标位置，
[0079]
步骤2_6：将步骤2_4得到的第1个显著视口的球面中心点的坐标及步骤2_5得到的第2个至第n2个显著视口的球面中心点的坐标构成一个集合，记为然后将i
sphere,s
分别沿着n2个显著视口的球面中心点的坐标投影得到n2个失真显著视口图像，将i
sphere,s
沿着第j个显著视口的球面中心点的坐标投影得到的第j个失真显著视口图像记为将中坐标位置为的像素点的像素值记为的像素点的像素值记为其中，1≤j≤n2，表示第j个显著视口的球面中心点的坐标，表示第j个显著视口的球面中心点的经度坐标，表示第j个显著视口的球面中心点的纬度坐标，表示第j个显著视口在球面采样点处的经度坐标，表示第j个显著视口在球面采样点处的纬度坐标，的步进大小为的步进大小为的步进大小为βj表示第j个失真显著视口图像的视角大小，在
本实施例中
[0080]
按照步骤2_1至步骤2_6获取is对应的n1个失真拼接视口图像和n2个失真显著视口图像的过程，以相同的方式获取ig对应的n1个参考拼接视口图像和n2个参考显著视口图像，将ig对应的第i个参考拼接视口图像记为将ig对应的第j个参考显著视口图像记为
[0081]
步骤3：采用现有的sift-flow方法建立ig对应的每个参考拼接视口图像与is对应的每个失真拼接视口图像之间的匹配关系，得到ig对应的每个参考拼接视口图像中的每个像素点的sift-flow向量，对于与采用现有的sift-flow方法建立与之间的匹配关系，得到中的每个像素点的sift-flow向量，将中坐标位置为的像素点的sift-flow向量记为
[0082]
同样，采用现有的sift-flow方法建立ig对应的每个参考显著视口图像与is对应的每个失真显著视口图像之间的匹配关系，得到ig对应的每个参考显著视口图像中的每个像素点的sift-flow向量，对于与采用现有的sift-flow方法建立与之间的匹配关系，得到中的每个像素点的sift-flow向量，将中坐标位置为的像素点的sift-flow向量记为flow向量记为
[0083]
其中，用于表示水平方向，用于表示垂直方向，表示的水平偏移量，表示的垂直偏移量，表示的水平偏移量，表示的垂直偏移量。
[0084]
步骤4：采用现有的简单线性迭代聚类(simple linear iterative clustering，slic)方法对ig对应的每个参考拼接视口图像进行超像素分块，对于对进行超像素分块得到n
seed
个互不重叠的超像素块，将中的第ξ个超像素块中的所有像素点的坐标位置构成的集合记为然后根据ig对应的每个参考拼接视口图像中的每个像素点的sift-flow向量，确定ig对应的每个参考拼接视口图像中的每个超像素块在is对应的每个失真拼接视口图像中匹配的超像素块，对于根据中的每个像素点的sift-flow向量，确定在中与中的每个超像素块匹配的超像素块，将在中与中的第ξ个超像素块匹配的超像素块中的所有像素点的坐标位置构成的集合记为其中，n
seed
≥1，在本实施例中取n
seed
＝50，1≤ξ≤n
seed
。
[0085]
同样，采用现有的简单线性迭代聚类(simple linear iterative clustering，slic)方法对ig对应的每个参考显著视口图像进行超像素分块，对于对进行超像素分块得到n
seed
个互不重叠的超像素块，将中的第ξ个超像素块中的所有像素点的坐标位置构成的集合记为然后根据ig对应的每个参考显著视口图像中的每个像素点的sift-flow向量，确定ig对应的每个参考显著视口图像中的每个超像素块在is对应的每个失真显
著视口图像中匹配的超像素块，对于根据中的每个像素点的sift-flow向量，确定在中与中的每个超像素块匹配的超像素块，将在中与中的第ξ个超像素块匹配的超像素块中的所有像素点的坐标位置构成的集合记为
[0086]
步骤5：根据ig对应的每个参考拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中的每个超像素块及ig对应的每个参考拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中的每个超像素块在is对应的每个失真拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中匹配的超像素块，计算is对应的每个失真拼接视口图像中的每个超像素块的边缘感知特征，将在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征记为其中，的维数为1
×
3，表示在的灰度图像的局部导向核特征张量的第一主成分中与的灰度图像的局部导向核特征张量的第一主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征，表示在的灰度图像的局部导向核特征张量的第二主成分中与的灰度图像的局部导向核特征张量的第二主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征，表示在的灰度图像的局部导向核特征张量的第三主成分中与的灰度图像的局部导向核特征张量的第三主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征。
[0087]
在此具体实施例中，所述的步骤5中，的获取过程为：
[0088]
步骤5_1：将转换为灰度图像，记为然后计算中的每个像素点对应的导向矩阵，将中的第q个像素点对应的导向矩阵记为中的第q个像素点对应的导向矩阵记为其中，表示中的像素点的总个数，ωq表示以中的第q个像素点的坐标位置为中心点的矩形窗中的所有像素点的坐标位置构成的集合，在本实施例中矩形窗的大小为5
×
5，表示以中的第q个像素点的坐标位置为中心点的矩形窗中的第q'个像素点的坐标位置，表示以中的第q个像素点的坐标位置为中心点的矩形窗中的像素点的总个数，在本实施例中表示中以中的第q个像素点的坐标位置为中心点的矩形窗中的第q'个像素点的像素值，表示以中的第q个像素点的坐标位置为中心点的矩形窗中的第q'个像素点的横坐标，表示以中的第q个像素点
的坐标位置为中心点的矩形窗中的第q'个像素点的纵坐标，符号为求偏导符号。
[0089]
在此可以对中的每个像素点对应的导向矩阵进行谱分解得到两个奇异值，对进行谱分解的过程为：得到的两个奇异值分别记为s1和s2，然后在保持主方向的特征向量不变的情况下，对两个奇异值进行正则化操作，使导向矩阵的谱分解公式转变为黎曼度量，描述为：其中，λ1和λ2为谱分解得到的两个特征值，上标“t”表示向量或矩阵的转置，和表示对应的主方向的特征向量，ε和τ为用于增加稳定性的常数，ψ为用于增强或抑制局部梯度信息的常数，在本实施例中取ε＝10-1
、τ＝1、ψ＝1。
[0090]
步骤5_2：计算中的每个像素点与以其为中心像素点的周围p
×
p邻域内的每个邻域像素点之间的相似性，将中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第个邻域像素点之间的相似性记为然后获取中的每个像素点的局部导向核(local steering kernel，lsk)特征向量，将中的第q个像素点的局部导向核特征向量记为其中，p≥3，在本实施例中取p＝5，exp()表示以自然底数e为底的指数函数，e＝2.71828...，表示中以中的第q个像素点为中心像素点的周围p
×
p邻域内的第个邻域像素点的坐标位置，若在范围外则令的维数为1
×
(p
×
p-1)，h
q,1
表示中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第1个邻域像素点之间的相似性，h
q,2
表示中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第2个邻域像素点之间的相似性，h
q,p
×
p-1
表示中的第q个像素点与以其为中心像素点的周围p
×
p邻域内的第p
×
p-1个邻域像素点之间的相似性，在以中的第q个像素点为中心像素点的周围p
×
p邻域内除中心像素点外的p
×
p-1个像素点称为中心像素点的邻域像素点。
[0091]
步骤5_3：组合中的所有像素点的局部导向核特征向量，得到的局部导向核特征张量，记为将中坐标位置为的像素点的像素值记为然后采用现有的主成分分析(principal component analysis，pca)方法提取的第一主成分、第二主成分、第三主成分，对应记为将中坐标位置为的像素点的
像素值记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0092]
步骤5_4：按照步骤5_1至步骤5_3的过程，以相同的方式获取的灰度图像，通过计算的灰度图像中的每个像素点对应的导向矩阵，获取的灰度图像的局部导向核特征张量再提取的第一主成分、第二主成分、第三主成分，对应记为的第一主成分、第二主成分、第三主成分，对应记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0093]
步骤5_5：计算中的第ξ个超像素块的像素值均值，记为中的第ξ个超像素块的像素值均值，记为同样，计算中的第ξ个超像素块的像素值均值，记为计算中的第ξ个超像素块的像素值均值，记为计算在中与中的第ξ个超像素块匹配的超像素块的像素值均值，记为像素块匹配的超像素块的像素值均值，记为计算在中与中的第ξ个超像素块匹配的超像素块的像素值均值，记为计算在中与中的第ξ个超像素块匹配的超像素块的像素值均值，记为的超像素块的像素值均值，记为其中，表示统计中的第ξ个超像素块中的像素点的总个数，表示统计在中与中的第ξ个超像素块匹配的超像素块中的像素点的总个数。
[0094]
步骤5_6：计算在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征，记为计算在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征，记为计算在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征，记为
[0095]
步骤5_7：将连接起来形成一个特征矢量，作为
[0096]
步骤6：根据ig对应的每个参考拼接视口图像中的每个超像素块及ig对应的每个参考拼接视口图像中的每个超像素块在is对应的每个失真拼接视口图像中匹配的超像素块，计算is对应的每个失真拼接视口图像中的每个超像素块的形变感知特征，将在中与中的第ξ个超像素块匹配的超像素块的形变感知特征记为其中，的维数为1
×
2，表示中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的长宽比相似性，表示中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的边界相似性。
[0097]
在此具体实施例中，所述的步骤6中，的获取过程为：
[0098]
步骤6_1：采用现有的长宽比相似性(aspect ratio similarity)评价方法获取中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的长宽比相似性，记为根据和计算得到。
[0099]
步骤6_2：提取中的第ξ个超像素块中的所有边界点(即轮廓线上的像素点)，并构成一个集合，记为同样，提取在中与中的第ξ个超像素块匹配的超像素块中的所有边界点，并构成一个集合，记为然后采用现有的动态时间规划算法(dynamic time warping，dtw)获取中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的边界相似性，记为根据和计算得到。
[0100]
步骤6_3：将和连接起来形成一个特征矢量，作为
[0101]
步骤7：根据ig对应的每个参考拼接视口图像的h分量、s分量和v分量中的每个超像素块及ig对应的每个参考拼接视口图像的h分量、s分量和v分量中的每个超像素块在is对应的每个失真拼接视口图像的h分量、s分量和v分量中匹配的超像素块，计算is对应的每个失真拼接视口图像中的每个超像素块的颜色感知特征，将在中与中的第ξ个超像素块匹配的超像素块的颜色感知特征记为匹配的超像素块的颜色感知特征记为其中，的维数为1
×
3，表示在中与中的第ξ个超像素块匹配的超像素块的h通道的颜色感知特征，表示在中与中的第ξ个超像素块匹配的超像素块的s通道的颜色感知特征，表示中与中的第ξ个超像素块匹配的超像素块的v通道的颜色感知特征。
[0102]
在此具体实施例中，所述的步骤7中，的获取过程为：
[0103]
步骤7_1：将在hsv颜色空间的h分量、s分量和v分量对应记为在hsv颜色空间的h分量、s分量和v分量对应记为将中坐标位置为的像素点的像素值记为将中坐标位置为
的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0104]
步骤7_2：将在hsv颜色空间的h分量、s分量和v分量对应记为在hsv颜色空间的h分量、s分量和v分量对应记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为
[0105]
步骤7_3：计算中的第ξ个超像素块的色调信息均值，记为中的第ξ个超像素块的色调信息均值，记为并计算在中与中的第ξ个超像素块匹配的超像素块的色调信息均值，记为然后计算在中与中的第ξ个超像素块匹配的超像素块的h通道的颜色感知特征，记为
[0106]
同样，计算中的第ξ个超像素块的饱和度信息均值，记为中的第ξ个超像素块的饱和度信息均值，记为并计算在中与中的第ξ个超像素块匹配的超像素块的饱和度信息均值，记为然后计算在中与中的第ξ个超像素块匹配的超像素块的s通道的颜色感知特征，记为
[0107]
同样，计算中的第ξ个超像素块的明度信息均值，记为中的第ξ个超像素块的明度信息均值，记为并计算在中与中的第ξ个超像素块匹配的超像素块的明度信息均值，记为然后计算在中与中的第ξ个超像素块匹配的超像素块的v通道的颜色感知特征，记为
[0108]
其中，表示统计中的第ξ个超像素块中的像素点的总个数，表示统计在中与中的第ξ个超像素块匹配的超像素块中的像素点的总个数。
[0109]
步骤7_3：将连接起来形成一个特征矢量，作为
[0110]
步骤8：对is对应的每个失真拼接视口图像中的所有超像素块的边缘感知特征进行自适应融合，得到is对应的每个失真拼接视口图像的边缘感知特征，将的边缘感知特征记为同样，对is对应的每个失真拼接视口图像中的所有超像素块的形变感知特征进行自适应融合，得到is对应的每个失真拼接视口图像的形变感知特征，将的形变感知特征记为对is对应的每个失真拼接视口图像中的所有超像素块的颜色感知特征进行自适应融合，得到is对应的每个失真拼接视口图像的颜色感知特征，将的颜色感知特征记为其中，的维数为1
×
3，的维数为1
×
2，的维数为1
×
3。
[0111]
在此具体实施例中，所述的步骤8中，的获取过程为：
[0112]
步骤8_1：计算中的每个超像素块的结构复杂度权重，将中的第ξ个超像素块的结构复杂度权重记为其中，exp()表示以自然底数e为底的指数函数，e＝2.71828...，σ为用于控制非线性函数的饱和点的参数，在本实施例中取σ＝0.1，表示中的第ξ个超像素块的平均边缘强度，表示中的第ξ个超像素块的像素值均值，表示中的第ξ个超像素块的像素值均值，表示中的第ξ个超像素块的像素值均值，表示的灰度图像的局部导向核特征张量经主成分分析后得到的第一主成分，表示的灰度图像的局部导向核特征张量经主成分分析后得到的第二主成分，表示的灰度图像的局部导向核特征张量经主成分分析后得到的第三主成分；在此为了获得更好的加权效果，对超像素块的平均边缘强度进行非线性变换。
[0113]
步骤8_2：计算中的每个超像素块的匹配置信度权重，将中的第ξ个超像素块的匹配置信度权重记为的匹配置信度权重记为其中，表示统计中的第ξ个超像素块中的像素点的总个数，δ为用于提高稳定性的常数，在本实施例中取δ＝10-6
，表示根据和之间的像素点匹配关系由中的匹配像素点重建出的参考视口图像中坐标位置为的像素点的像素值。
[0114]
步骤8_3：计算中的每个超像素块的最终权重，将中的第ξ个超像素块的最终
权重记为然后获取然后获取
[0115]
步骤9：通过is对应的每个失真拼接视口图像与ig对应的每个参考拼接视口图像之间的互信息值，计算is对应的每个失真拼接视口图像的信息感知特征，将的信息感知特征记为其中，表示的信息熵，表示的信息熵，表示和联合分布的信息熵，的维数为1
×
1。
[0116]
步骤10：根据is对应的每个失真拼接视口图像的边缘感知特征、形变感知特征、颜色感知特征、信息感知特征，获取is对应的每个失真拼接视口图像的特征矢量，将的特征矢量记为其中，表示将连接起来形成一个特征矢量，的维数为1
×
9。
[0117]
步骤11：按照步骤5至步骤10的过程，以相同的方式获取is对应的每个失真显著视口图像中的每个超像素块的边缘感知特征、形变感知特征、颜色感知特征，进而获取is对应的每个失真显著视口图像的边缘感知特征、形变感知特征、颜色感知特征，并获取is对应的每个失真显著视口图像的信息感知特征，最终获取is对应的每个失真显著视口图像的特征矢量，将的特征矢量记为其中，表示的边缘感知特征，的维数为1
×
3，表示的形变感知特征，的维数为1
×
2，表示的颜色感知特征，的维数为1
×
3，表示的信息感知特征，的维数为1
×
1，的维数为1
×
9。在此，用到了失真显著视口图像和参考显著视口图像的相关信息，如中的每个像素点的sift-flow向量，中的超像素块及在中与中的每个超像素块匹配的超像素块。
[0118]
步骤12：根据is对应的所有失真拼接视口图像的特征矢量和is对应的所有失真显著视口图像的特征矢量，计算is的特征矢量，记为f，f＝w
t
×ft
+wa×
fa；其中，f
t
表示拼接区域特征矢量，f
t
的维数为1
×
9，fa表示显著区域特征矢量，fa的维数为1
×
9，f的维数为1
×
9，w
t
为f
t
的权重，wa为fa的权重，w
t
+wa＝1，在本实施例中取w
t
＝0.83、wa＝0.17，在本实施例中取在本实施例中取
[0119]
步骤13：选取n'幅全景拼接图像作为失真图像及每幅全景拼接图像对应的交叉参
考图像作为参考图像，并构成图像集合；然后采用主观质量评价方法，获取图像集合中的每幅失真图像的平均主观评分值，将图像集合中的第i'幅失真图像的平均主观评分值记为mos
i'
；并按照步骤2至步骤12的过程，以相同的方式获取图像集合中的每幅失真图像的特征矢量，将图像集合中的第i'幅失真图像的特征矢量记为f
i'
；再将图像集合中的所有失真图像按场景内容进行分类，假设共有k'个图像类；其中，n'＞1，1≤i'≤n'，mos
i'
∈[0,7]，f
i'
的维数为1
×
9，k'＞1，在本实施例中k'＝12。
[0120]
步骤14：从图像集合中随机选择k'-1个图像类的所有失真图像构成训练集；然后将训练集中的所有失真图像的特征矢量和平均主观评分值构成训练样本数据集合；接着采用多元线性回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造全景拼接图像的多元线性回归训练模型，记为全景拼接图像的多元线性回归训练模型，记为其中，训练集中的失真图像的总幅数为m幅，1≤m＜n'，为函数表示形式，上标“t”表示向量或矩阵的转置，f
inp
表示全景拼接图像的多元线性回归训练模型的输入矢量，为失真图像的特征矢量，f
inp
的维数为1
×
9，表示全景拼接图像的多元线性回归训练模型的输入矢量f
inp
的线性函数。
[0121]
步骤15：将图像集合中剩余的1个图像类的所有失真图像构成测试集；然后将测试集中的所有失真图像的特征矢量构成测试样本数据集合；接着根据构造得到的全景拼接图像的多元线性回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的失真图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的失真图像的客观质量评价预测值记为quality
η
，其中，1≤η≤n'-m，f
η
表示测试样本数据集合中的第η个特征矢量，f
η
的维数为1
×
9，表示f
η
的线性函数。
[0122]
步骤16：重复执行步骤14至步骤15共k'次，使图像集合中的每幅失真图像有且仅有一次属于测试集，得到图像集合中的每幅失真图像的客观质量评价预测值。
[0123]
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
[0124]
在本实施例中，采用本发明方法对北京航空航天大学建立的交叉参考全景拼接图像质量评价数据库进行测试。该数据库包含12个不同的场景，可以分为室内和室外两大类，共292组鱼眼图像。其中，室内场景有：会议室、教室、楼梯、地下停车场、舞蹈房、阅览室、休息室和走廊；室外场景有：街道、篮球场、住宅区和空旷地带。对这些鱼眼图像采用7种不同的拼接方法进行拼接，得到了2044幅不同质量的全景拼接图像，并给出了每幅全景拼接图像的平均主观评分值。
[0125]
在本实施例中，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的pearson相关系数(pearson linear correlation coefficient，plcc)、spearman相关系数(spearman rank order correlation coefficient，srocc)、均方误差(root mean squared error，rmse)，plcc和rmse反映客观质量评价预测值的准确性，srocc反映其单调性。对图像集合中的每幅失真图像的客观质量评价预测值和平均主观
评分值计算非线性回归条件下的pearson相关系数，非线性回归条件下的pearson相关系数的值越大，说明全景拼接图像的多元线性回归训练模型越好；对图像集合中的每幅失真图像的客观质量评价预测值和平均主观评分值计算非线性回归条件下的spearman相关系数，非线性回归条件下的spearman相关系数的值越大，说明全景拼接图像的多元线性回归训练模型越好；对图像集合中的每幅失真图像的客观质量评价预测值和平均主观评分值计算非线性回归条件下的均方误差，非线性回归条件下的均方误差的值越小，说明全景拼接图像的多元线性回归训练模型越好。
[0126]
表1给出了采用本发明方法得到的客观质量评价预测值与平均主观评分值之间的相关性。
[0127]
表1采用本发明方法得到的客观质量评价预测值与平均主观评分值之间的pearson相关系数、spearman相关系数和均方误差比较
[0128] pearson相关系数spearman相关系数均方误差本发明方法0.86680.82980.8976
[0129]
从表1中可以看出，采用本发明方法得到的客观质量评价预测值与平均主观评分值之间的相关性是很高的，充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。