基于多区域多层次的色调映射全向图像质量评价方法

文档序号:25427577发布日期:2021-06-11 21:41阅读:62来源:国知局
基于多区域多层次的色调映射全向图像质量评价方法
本发明涉及一种图像质量评价方法,尤其是涉及一种基于多区域多层次的色调映射全向图像质量评价方法。
背景技术
:全向相机可以捕获360°视场,其能够提供给用户身临其境的体验,但是,真实的光照在一个完整的场景中变化快且范围大,在大范围的光照条件下,普通的全向成像会产生像素曝光不足或过度曝光的区域。高动态范围全向图像的提出解决了普通的全向成像存在的技术问题,通过全向相机多次曝光合成的高动态范围全向图像具有更大的照度变化范围和更丰富的细节信息。要在有限带宽的信道上传输高动态范围全向图像,就需要采用jpeg-xt对高动态范围全向图像进行压缩来节省比特率。此外,为了兼容目前的头戴式显示器(head-mounteddisplay,hmd),还需要利用色调映射(tm)算子对编解码后的高动态范围全向图像进行动态范围的压缩,以供用户在现有的hmd上观看,然而,在色调映射全向图像(tonemappingomnidirectionalimage,tm-oi)的成像、处理、编码、显示等过程中,会不可避免地引入失真,导致图像质量下降。因此,如何有效地评估tm-oi的质量将会是一个挑战。目前没有针对tm-oi提出的客观质量评价方法,并且现有的客观质量评价方法缺乏对tm-oi成像处理系统所引入的特有失真的考虑,也缺乏对jpeg-xt编码压缩产生的块效应失真和tm算子处理所导致的失真之间混合影响的考虑。此外,也没有考虑到用户通过hmd观看tm-oi时专注视口图像内容,使得其失真表现比在普通2d显示器中观看高动态范围图像更加明显。因此,研究一种色调映射高动态范围全向图像无参考质量评价方法是非常有必要的。技术实现要素:本发明所要解决的技术问题是提供一种基于多区域多层次的色调映射全向图像质量评价方法,其能够有效地提高客观评价结果与人眼主观感知质量之间的相关性。本发明解决上述技术问题所采用的技术方案为:一种基于多区域多层次的色调映射全向图像质量评价方法,其特征在于包括以下步骤:步骤1:选取num组等矩形投影格式的失真色调映射全向图像构成失真图像集,每组中的所有失真色调映射全向图像的场景内容相同,并获取每组中的每幅失真色调映射全向图像的主观评分值;其中,num为正整数,num>1,每组中至少包含2幅失真色调映射全向图像;步骤2:将失真图像集中当前待处理的失真色调映射全向图像定义为当前图像;步骤3:将当前图像记为ierp;然后对ierp进行视口绘制,且绘制过程中d-2个视口以等间隔的角度均匀环绕在赤道区域,2个视口分别以球面的南极点和北极点作为视口中心点,共绘制得到ierp的d幅视口图像,将ierp的第d幅视口图像记为vd;其中,d为正整数,d≥6,1≤d≤d,视口图像的宽度和高度对应为w和h;步骤4:将ierp的每幅视口图像划分为纹理平坦区域和纹理复杂区域两个区域,将vd的纹理平坦区域和纹理复杂区域对应记为和步骤5:对ierp的每幅视口图像的纹理平坦区域和纹理复杂区域分别进行位平面层分解,得到各自对应的8幅位平面图像;然后通过计算ierp的每幅视口图像的纹理平坦区域的前4幅位平面图像各自的局部特征,获取ierp的每幅视口图像的纹理平坦区域的局部特征向量,将的局部特征向量记为并通过计算ierp的每幅视口图像的纹理复杂区域的后4幅位平面图像各自的局部特征,获取ierp的每幅视口图像的纹理复杂区域的局部特征向量,将的局部特征向量记为其中,和的维数均为1×4;步骤6:将ierp的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域三个区域,将vd的高亮区域、低暗区域以及中间亮度区域对应记为以及步骤7:对ierp的每幅视口图像的高亮区域、低暗区域以及中间亮度区域分别进行基本层和细节层分解;然后通过ierp的每幅视口图像的高亮区域的细节层,获取ierp的每幅视口图像的高亮区域的局部特征,将的局部特征记为同样,通过ierp的每幅视口图像的低暗区域的细节层,获取ierp的每幅视口图像的低暗区域的局部特征,将的局部特征记为再通过计算ierp的每幅视口图像的中间亮度区域的基本层中的每个像素点的局部对比度归一化值,获取ierp的每幅视口图像的中间亮度区域的局部特征向量,将的局部特征向量记为其中,的维数为1×3;步骤8:将ierp的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量、高亮区域和低暗区域各自的局部特征、中间亮度区域的局部特征向量合并形成该幅视口图像的特征向量,对于vd,将合并形成一个行向量,作为vd的特征向量,记为fd,然后将ierp的所有视口图像的特征向量合并形成ierp的特征向量,记为ferp,ferp=[f1,f2,…,fd,…,fd];其中,f的维数为1×13,ferp的维数为1×13d,f1表示ierp的第1幅视口图像v1的特征向量,f2表示ierp的第2幅视口图像v2的特征向量,fd表示ierp的第d幅视口图像vd的特征向量;步骤9:将失真图像集中下一幅待处理的失真色调映射全向图像作为当前图像,然后返回步骤步骤3继续执行,直至失真图像集中的所有失真色调映射全向图像处理完毕,得到失真图像集中的每幅失真色调映射全向图像的特征向量;步骤10:从失真图像集中随机选取num-1组失真色调映射全向图像,将选取的这些失真色调映射全向图像的特征向量和主观评分值构成训练数据;然后将训练数据中的特征向量作为样本输入,将训练数据中的主观评分值作为标签输入,通过随机森林的池化,训练得到失真色调映射全向图像客观质量评价模型;步骤11:将剩余的1组中的每幅失真色调映射全向图像作为测试图像,将每幅测试图像的特征向量输入到失真色调映射全向图像客观质量评价模型中,预测得到该幅测试图像的客观质量评价值。所述的步骤4中,和的获取过程为:步骤4_1:对vd进行灰度转换,得到vd对应的灰度图;然后使用canny算子对vd对应的灰度图进行边缘提取,得到边缘提取后的图像,记为v1;步骤4_2:对v1进行膨胀处理,得到膨胀后的图像,记为v2;步骤4_3:用长度为8像素的线段对v2进行边缘填补,得到边缘填补后的图像,记为v3;步骤4_4:使用孔洞填充算法对v3进行填充,得到孔洞填充好的图像,记为v4;步骤4_5:使用去噪算法去除v4中面积小于1000像素的区域,得到去噪后的图像,记为v5;步骤4_6:遍历v5中的所有像素点,标记出v5中像素值为255的所有像素点;然后将vd中与v5中标记出的所有像素点对应位置的像素点构成的区域作为纹理复杂区域将vd中其余所有像素点构成的区域作为纹理平坦区域所述的步骤5中,和的获取过程为:步骤5_1:对进行位平面层分解,得到的8幅位平面图像,将的第p幅位平面图像记为将中坐标位置为(i,j)的像素点的像素值记为同样,对vcd进行位平面层分解,得到vcd的8幅位平面图像,将vcd的第p幅位平面图像记为将中坐标位置为(i,j)的像素点的像素值记为其中,1≤p≤8,1≤i≤w,1≤j≤h,表示中坐标位置为(i,j)的像素点的像素值,表示vd中属于的所有像素点的坐标位置构成的集合,表示vcd中坐标位置为(i,j)的像素点的像素值,表示vd中属于vcd的所有像素点的坐标位置构成的集合,mod为取余函数;步骤5_2:计算的前4幅位平面图像各自的局部特征,将的第p'幅位平面图像的局部特征记为的获取过程为:计算以中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵,共得到个熵,然后计算个熵的平均值,并将该平均值作为的局部特征再将的前4幅位平面图像的局部特征按序构成的局部特征向量其中,1≤p'≤4,nwid的值为3或5或7或9或11,表示包含的像素点的总个数,的维数为1×4,符号“[]”为向量表示符号,对应表示的第1幅位平面图像、第2幅位平面图像、第3幅位平面图像、第4幅位平面图像各自的局部特征,若nwid×nwid邻域内存在像素点不属于则该像素点的像素值置为0;步骤5_3:计算vcd的后4幅位平面图像各自的局部特征,将vcd的第p”幅位平面图像的局部特征记为的获取过程为:计算以中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵,共得到个熵,然后计算个熵的平均值,并将该平均值作为的局部特征再将vcd的后4幅位平面图像的局部特征按序构成vcd的局部特征向量fcd,其中,5≤p”≤8,表示vcd包含的像素点的总个数,的维数为1×4,对应表示vcd的第5幅位平面图像、第6幅位平面图像、第7幅位平面图像、第8幅位平面图像各自的局部特征,若nwid×nwid邻域内存在像素点不属于则该像素点的像素值置为0。所述的步骤6中,以及的获取过程为:步骤6_1:计算vd的图像亮度直方图的均值作为vd的亮度中值,记为然后将vd中亮度值大于的所有像素点构成的区域记为将vd中亮度值小于的所有像素点构成的区域记为步骤6_2:在中,根据最大熵分割法计算的亮度最大熵阈值,再将中亮度值大于的亮度最大熵阈值的所有像素点构成的区域作为高亮区域同样,在中,根据最大熵分割法计算的亮度最大熵阈值,再将中亮度值小于的亮度最大熵阈值的所有像素点构成的区域作为低暗区域步骤6_3:将vd中除去和外的所有像素点构成的区域作为中间亮度区域所述的步骤7中,的获取过程为:步骤7_1:通过分层优化模型计算的基本层然后计算的细节层,记为将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为其中,表示求使得括号内的表达式取得最小值时的值,1≤i≤w,1≤j≤h,表示vd中属于的所有像素点的坐标位置构成的集合,表示中坐标位置为(i,j)的像素点的像素值,表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值,符号“||||”为取模操作符号,λ1和λ2均为常数,s的值为0或1,s的值为0时表示沿水平方向的偏导数运算,s的值为1时表示沿垂直方向的偏导数运算,th()为阈值函数,ξ为函数参数;同样,通过分层优化模型计算的基本层然后计算的细节层,记为将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为其中,表示求使得括号内的表达式取得最小值时的值,表示vd中属于的所有像素点的坐标位置构成的集合,表示中坐标位置为(i,j)的像素点的像素值,表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值;通过分层优化模型计算的基本层其中,表示求使得括号内的表达式取得最小值时的值,表示vd中属于的所有像素点的坐标位置构成的集合,表示中坐标位置为(i,j)的像素点的像素值,表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值;步骤7_2:计算以中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差,共得到个标准差;然后计算个标准差的平均值,并将该平均值作为的局部特征其中,n'wid的值为3或5或7或9或11,表示包含的像素点的总个数,若n'wid×n'wid邻域内存在像素点不属于则该像素点的像素值置为0;同样,计算以中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差,共得到个标准差;然后计算个标准差的平均值,并将该平均值作为的局部特征其中,表示包含的像素点的总个数,若n'wid×n'wid邻域内存在像素点不属于则该像素点的像素值置为0;步骤7_3:计算中的每个像素点的局部对比度归一化值,将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的局部对比度归一化值记为然后计算中的所有像素点的局部对比度归一化值的直方图分布;接着利用零均值的广义高斯分布对中的所有像素点的局部对比度归一化值的直方图分布进行拟合,拟合公式为:拟合得到拟合参数再根据得到的局部特征向量其中,表示以中与中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的均值,表示以中与中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的标准差,若8邻域范围内存在像素点不属于则该像素点的像素值置为0,g()为零均值的广义高斯分布函数,为g()的输入,表示中的所有像素点的局部对比度归一化值的直方图分布,表示中的所有像素点的局部对比度归一化值的直方图分布的均值,为的形状参数,为的尺度参数,γ()为gamma函数,exp()表示以自然基数e为底的指数函数,符号“||”为取绝对值符号,的维数为1×3。与现有技术相比,本发明的优点在于:本发明方法考虑到用户通过hmd观看tm-oi(色调映射全向图像)时专注视口图像内容,使得其失真表现比在普通2d显示器中观看高动态范围图像更加明显,因此通过提取视口图像,在视口图像中进行特征提取,来模拟用户通过hmd观看tm-oi的行为;本发明方法对tm-oi进行纹理分割,并对图像的纹理分割区域(即纹理平坦区域和纹理复杂区域)进行了位平面层分解,进一步提取感知特征来表征这部分失真的特殊表现,并对tm-oi进行亮度分割,对亮度分割区域(即高亮区域、低暗区域以及中间亮度区域)进行了基本层和细节层分解,提取不同特征来表示tm-oi的失真;本发明方法利用随机森林的池化对特征进行融合,训练得到色调映射全向图像客观质量评价模型,利用该模型进行预测得到测试图像的客观质量评价值,与人眼主观感知质量具有更好的一致性。附图说明图1为本发明方法的总体实现框图;图2为10个视口选取的示意图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。考虑到图像投影格式的转换和沉浸式环境中用户行为所导致的独特失真表现,以及色调映射高动态范围全向图像处理过程中引入的混叠失真在不同区域的不同表现,本发明提出了一种基于多区域多层次的色调映射全向图像质量评价方法,其挑选视口图像,同时,针对不同区域混叠失真的表现不同,对不同区域提取不同图像层进行特征提取。本发明提出的一种基于多区域多层次的色调映射全向图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:步骤1:选取num组等矩形投影格式(equirectangularprojection,erp)的失真色调映射全向图像构成失真图像集,每组中的所有失真色调映射全向图像的场景内容相同,并获取每组中的每幅失真色调映射全向图像的主观评分值;其中,num为正整数,num>1,在本实施例中取num=16,每组中至少包含2幅失真色调映射全向图像。步骤2:将失真图像集中当前待处理的失真色调映射全向图像定义为当前图像。步骤3:将当前图像记为ierp;然后采用现有技术对ierp进行视口绘制,且绘制过程中d-2个视口以等间隔的角度均匀环绕在赤道区域,2个视口分别以球面的南极点和北极点作为视口中心点,共绘制得到ierp的d幅视口图像,将ierp的第d幅视口图像记为vd;其中,d为正整数,d≥6,在本实施例中取d=10,1≤d≤d,视口图像的宽度和高度对应为w和h。图2给出了10个视口选取的示意图,从图2中可以看出选取了南极点和北极点以及赤道上等间隔的点作为视口中心点。步骤4:将ierp的每幅视口图像划分为纹理平坦区域和纹理复杂区域两个区域,将vd的纹理平坦区域和纹理复杂区域对应记为和vcd。在本实施例中,所述的步骤4中,和vcd的获取过程为:步骤4_1:对vd进行灰度转换,得到vd对应的灰度图;然后使用现有的canny算子对vd对应的灰度图进行边缘提取,得到边缘提取后的图像,记为v1。步骤4_2:对v1进行膨胀处理,得到膨胀后的图像,记为v2;膨胀处理可使得图像尽量构成一个联通区域。步骤4_3:用长度为8像素的线段对v2进行边缘填补,得到边缘填补后的图像,记为v3。步骤4_4:使用现有的孔洞填充算法对v3进行填充,得到孔洞填充好的图像,记为v4。步骤4_5:使用现有的去噪算法去除v4中面积小于1000像素的区域,得到去噪后的图像,记为v5;在此,去噪直接选用matlab自带的函数bwareaopen来实现。步骤4_6:遍历v5中的所有像素点,标记出v5中像素值为255的所有像素点;然后将vd中与v5中标记出的所有像素点对应位置的像素点构成的区域作为纹理复杂区域vcd,将vd中其余所有像素点构成的区域作为纹理平坦区域步骤5:对ierp的每幅视口图像的纹理平坦区域和纹理复杂区域分别进行位平面层分解,得到各自对应的8幅位平面图像;然后通过计算ierp的每幅视口图像的纹理平坦区域的前4幅位平面图像各自的局部特征,获取ierp的每幅视口图像的纹理平坦区域的局部特征向量,将的局部特征向量记为并通过计算ierp的每幅视口图像的纹理复杂区域的后4幅位平面图像各自的局部特征,获取ierp的每幅视口图像的纹理复杂区域的局部特征向量,将vcd的局部特征向量记为fcd;其中,和fcd的维数均为1×4。在本实施例中,所述的步骤5中,和fcd的获取过程为:步骤5_1:对进行位平面层分解,得到的8幅位平面图像,将的第p幅位平面图像记为将中坐标位置为(i,j)的像素点的像素值记为同样,对vcd进行位平面层分解,得到vcd的8幅位平面图像,将vcd的第p幅位平面图像记为将中坐标位置为(i,j)的像素点的像素值记为其中,1≤p≤8,1≤i≤w,1≤j≤h,表示中坐标位置为(i,j)的像素点的像素值,表示vd中属于的所有像素点的坐标位置构成的集合,表示vcd中坐标位置为(i,j)的像素点的像素值,表示vd中属于vcd的所有像素点的坐标位置构成的集合,mod为取余函数。步骤5_2:计算的前4幅位平面图像各自的局部特征,将的第p'幅位平面图像的局部特征记为的获取过程为:计算以中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵,共得到个熵,然后计算个熵的平均值,并将该平均值作为的局部特征再将的前4幅位平面图像的局部特征按序构成的局部特征向量其中,1≤p'≤4,nwid的值为3或5或7或9或11,在本实施例中取nwid的值为5,表示包含的像素点的总个数,的维数为1×4,符号“[]”为向量表示符号,对应表示的第1幅位平面图像、第2幅位平面图像、第3幅位平面图像、第4幅位平面图像各自的局部特征,若nwid×nwid邻域内存在像素点不属于则该像素点的像素值置为0。步骤5_3:计算vcd的后4幅位平面图像各自的局部特征,将vcd的第p”幅位平面图像的局部特征记为的获取过程为:计算以中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵,共得到个熵,然后计算个熵的平均值,并将该平均值作为的局部特征再将vcd的后4幅位平面图像的局部特征按序构成vcd的局部特征向量其中,5≤p”≤8,表示vcd包含的像素点的总个数,fcd的维数为1×4,对应表示vcd的第5幅位平面图像、第6幅位平面图像、第7幅位平面图像、第8幅位平面图像各自的局部特征,若nwid×nwid邻域内存在像素点不属于则该像素点的像素值置为0。步骤6:将ierp的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域三个区域,将vd的高亮区域、低暗区域以及中间亮度区域对应记为以及在本实施例中,所述的步骤6中,以及的获取过程为:步骤6_1:计算vd的图像亮度直方图的均值作为vd的亮度中值,记为然后将vd中亮度值大于的所有像素点构成的区域记为将vd中亮度值小于的所有像素点构成的区域记为步骤6_2:在中,根据现有的最大熵分割法计算的亮度最大熵阈值,再将中亮度值大于的亮度最大熵阈值的所有像素点构成的区域作为高亮区域同样,在中,根据现有的最大熵分割法计算的亮度最大熵阈值,再将中亮度值小于的亮度最大熵阈值的所有像素点构成的区域作为低暗区域步骤6_3:将vd中除去和外的所有像素点构成的区域作为中间亮度区域步骤7:对ierp的每幅视口图像的高亮区域、低暗区域以及中间亮度区域分别进行基本层和细节层分解;然后通过ierp的每幅视口图像的高亮区域的细节层,获取ierp的每幅视口图像的高亮区域的局部特征,将的局部特征记为同样,通过ierp的每幅视口图像的低暗区域的细节层,获取ierp的每幅视口图像的低暗区域的局部特征,将的局部特征记为再通过计算ierp的每幅视口图像的中间亮度区域的基本层中的每个像素点的局部对比度归一化值,获取ierp的每幅视口图像的中间亮度区域的局部特征向量,将的局部特征向量记为其中,的维数为1×3。在本实施例中,所述的步骤7中,的获取过程为:步骤7_1:通过分层优化模型计算的基本层然后计算的细节层,记为将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为其中,表示求使得括号内的表达式取得最小值时的值,1≤i≤w,1≤j≤h,表示vd中属于的所有像素点的坐标位置构成的集合,表示中坐标位置为(i,j)的像素点的像素值,表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值,符号“||||”为取模操作符号,λ1和λ2均为常数,在本实施例中取λ1=0.3、λ2=0.01λ1,s的值为0或1,s的值为0时表示沿水平方向的偏导数运算,s的值为1时表示沿垂直方向的偏导数运算,th()为阈值函数,ξ为函数参数。同样,通过分层优化模型计算的基本层然后计算的细节层,记为将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为其中,表示求使得括号内的表达式取得最小值时的值,表示vd中属于的所有像素点的坐标位置构成的集合,表示中坐标位置为(i,j)的像素点的像素值,表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值。通过分层优化模型计算的基本层其中,表示求使得括号内的表达式取得最小值时的值,表示vd中属于的所有像素点的坐标位置构成的集合,表示中坐标位置为(i,j)的像素点的像素值,表示中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值。步骤7_2:计算以中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差,共得到个标准差;然后计算个标准差的平均值,并将该平均值作为的局部特征其中,n'wid的值为3或5或7或9或11,在本实施例中取n'wid的值为5,表示包含的像素点的总个数,若n'wid×n'wid邻域内存在像素点不属于则该像素点的像素值置为0。同样,计算以中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差,共得到个标准差;然后计算个标准差的平均值,并将该平均值作为的局部特征其中,表示包含的像素点的总个数,若n'wid×n'wid邻域内存在像素点不属于则该像素点的像素值置为0。步骤7_3:计算中的每个像素点的局部对比度归一化值,将中与中坐标位置为(i,j)的像素点对应坐标位置的像素点的局部对比度归一化值记为然后计算中的所有像素点的局部对比度归一化值的直方图分布;接着利用零均值的广义高斯分布对中的所有像素点的局部对比度归一化值的直方图分布进行拟合,拟合公式为:拟合得到拟合参数再根据得到的局部特征向量其中,表示以中与中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的均值,表示以中与中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的标准差,若8邻域范围内存在像素点不属于则该像素点的像素值置为0,g()为零均值的广义高斯分布函数,为g()的输入,表示中的所有像素点的局部对比度归一化值的直方图分布,表示中的所有像素点的局部对比度归一化值的直方图分布的均值,为的形状参数,为的尺度参数,γ()为gamma函数,exp()表示以自然基数e为底的指数函数,e=2.17…,符号“||”为取绝对值符号,的维数为1×3。步骤8:将ierp的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量、高亮区域和低暗区域各自的局部特征、中间亮度区域的局部特征向量合并形成该幅视口图像的特征向量,对于vd,将合并形成一个行向量,作为vd的特征向量,记为fd,然后将ierp的所有视口图像的特征向量合并形成ierp的特征向量,记为ferp,ferp=[f1,f2,…,fd,…,fd];其中,f的维数为1×13,ferp的维数为1×13d,f1表示ierp的第1幅视口图像v1的特征向量,f2表示ierp的第2幅视口图像v2的特征向量,fd表示ierp的第d幅视口图像vd的特征向量。步骤9:将失真图像集中下一幅待处理的失真色调映射全向图像作为当前图像,然后返回步骤步骤3继续执行,直至失真图像集中的所有失真色调映射全向图像处理完毕,得到失真图像集中的每幅失真色调映射全向图像的特征向量。步骤10:从失真图像集中随机选取num-1组失真色调映射全向图像,将选取的这些失真色调映射全向图像的特征向量和主观评分值构成训练数据;然后将训练数据中的特征向量作为样本输入,将训练数据中的主观评分值作为标签输入,通过随机森林的池化,训练得到失真色调映射全向图像客观质量评价模型。步骤11:将剩余的1组中的每幅失真色调映射全向图像作为测试图像,将每幅测试图像的特征向量输入到失真色调映射全向图像客观质量评价模型中,预测得到该幅测试图像的客观质量评价值。为了进一步说明本发明方法的可行性和有效性,进行下列实验。选取色调映射全向图像数据库,该数据库包含16组不同场景内容的失真色调映射高动态范围全向图像,包含4种不同等级的jpeg-xt编码失真(即将参数(q,q)分别设置为(5,10)、(60,25)、(14,40)、(95,95))、5种不同的色调映射失真,共320幅失真色调映射全向图像;除此之外,提供了每幅失真色调映射全向图像的主观评分值。在此,随机选取该数据库中的15组不同场景内容的失真色调映射全向图像的特征向量及主观评分值构成训练数据,将该数据库中剩余的1组的失真色调映射全向图像作为测试图像。上述5种不同的色调映射失真分别来源于r.fattal,r.lischinski,m.werman,“gradientdomainhighdynamicrangecompression,”acmtransactionsongraphics,vol.21,no.3,pp.249-256,2002.(基于梯度域的高动态范围压缩算法)、i.r.khan,s.rahardja,m.m.khan,“atone-mappingtechniquebasedonhistogramusingasensitivitymodelofthehumanvisualsystem,”ieeetransactionsonindustrialelectronics,vol.65,no.4,pp.3469-3479,2017.(一种基于直方图且使用人类视觉系统灵敏度模型的色调映射技术)、z.liang,j.xu,d.zhang,z.caoandl.zhang,"ahybridl1-l0layerdecompositionmodelfortonemapping,"2018ieee/cvfconferenceoncomputervisionandpatternrecognition,saltlakecity,ut,2018,pp.4758-4766.(一种用于色调映射的l1-l0层分解模型)、r.mantiuk,k.myszkowski,h.p.seidel,“aperceptualframeworkforcontrastprocessingofhighdynamicrangeimages,”acmtransactionsonappliedperception,2006,3(3):286-308.(高动态范围图像对比度处理的感知框架)、e.reinhard,m.stark,p.shirley,“photographictonereproductionfordigitalimages,"acmtransactionsongraphics,vol.21,no.3,pp.267-276,2002.(数字图像的摄影色调再现技术)。按本发明方法的过程得到每幅测试图像的客观质量评价值,分析利用本发明方法获取的每幅测试图像的客观质量评价值与主观评分值之间的相关性。这里,选取3个评价指标用于衡量本发明方法的好坏,分别是pearson线性相关系数(pearsonlinearcorrelationcoefficient,plcc)、spearman顺序相关系数(spearmanrank-ordercorrelationcoefficient,srocc)和均方根误差(rootmeansquarederror,rmse)这三个值分别表示所预测的客观质量评价值和实际分数的相关性。plcc和srocc其值在(0,1)之间,且越接近于1越好,rmse越小越好。表1给出了利用本发明方法预测得到的测试图像的客观质量评价值的性能指标。表1测试图像的客观质量评价值与主观评分值之间的相关性的性能指标指标类型plccsroccrmse本发明方法0.8250.8121.231从表1中可以看出,本发明方法所提取的失真色调映射高动态范围全向图像的特征向量考虑了用户通过hmd观看图像的感知特性以及jpeg-xt编码压缩和色调映射算法导致的混叠失真现象,使得最终结果取得较好的表现,其中plcc相关系数达到了0.825,srocc相关系数达到了0.812,而rmse达到了1.231,该结果表明本发明方法的客观评价结果与人眼主观感知的结果较为一致,充分说明了本发明方法的有效性。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1