一种基于曝光情况分析的色阶映射图像质量评价方法与流程

文档序号:11254336阅读:392来源:国知局
本发明涉及一种图像质量评价技术,尤其是涉及一种基于曝光情况分析的色阶映射图像质量评价方法。
背景技术
:随着图像采集以及成像技术的迅速发展,高动态范围成像技术由于能够展现更为丰富的图像场景信息,已经得到了越来越多的关注,并逐渐成为了成像显示领域的研究焦点。然而,现阶段各类图像处理系统中普遍使用的仍然是传统的低动态范围显示设备,因此在实际应用中需要对高动态范围图像使用色阶映射算子进行处理,从而使其后向兼容于传统的低动态范围显示设备。由于色阶映射算子的非线性映射关系,经过其处理后生成的色阶映射图像不可避免地会出现质量下降的现象。因此,如何准确有效地评价色阶映射图像的质量对于色阶映射算法的设计以及高动态范围成像系统的开发均有着积极的推动作用。对于色阶映射图像的质量评价可分为主观质量评价和客观质量评价两大类。由于视觉信息最终由人眼所接受,因此主观质量评价的准确性最为可靠,然而主观质量评价需要观察者打分得到,费时费力且不易集成于成像系统之中。相反,客观质量评价能够在系统中实时地调整系统参数,从而实现高质量成像系统应用。因此,准确有效且客观的色阶映射图像质量评价方法具有很好的实际应用价值。目前,已有一系列色阶映射图像客观质量评价方法被相继提出。其中具有代表性的方法主要有:1)tone-mappedimagequalityindex(tmqi):该方法结合了两种在传统图像质量评价领域性能较好的评价方法,即多尺度结构相似度算法和自然图像统计算法,并在其基础上进行改进,使其能够完成色阶映射图像的质量评价。2)featuresimilarityfortone-mappedimage(fsitm):该方法在性能优秀的传统图像质量评价方法featuresimilarity(fsim)算法的基础上,加入了面向色阶映射图像的色彩空间拓展模型,使其能够完成色阶映射图像的质量评价。通过上述介绍可以看出,目前现有的色阶映射图像质量评价方法主要通过在传统图像质量评价方法的基础上进行改进得到。然而,造成色阶映射图像质量下降的失真现象与传统图像质量评价中所面对的失真类型之间存在较大差异。因此,在传统图像质量评价中性能较好的特征提取等方法并不能准确地对色阶映射图像中的失真进行描述,因此现有方法的主观一致性仍然有待提高。技术实现要素:本发明所要解决的技术问题是提供一种基于曝光情况分析的色阶映射图像质量评价方法,其能够有效地提高客观评价结果与人眼主观感知质量之间的相关性。本发明解决上述技术问题所采用的技术方案为:一种基于曝光情况分析的色阶映射图像质量评价方法,其特征在于包括以下步骤:①令shdr表示未经处理的宽度为w且高度为h的高动态范围图像,令stm表示shdr经过色阶映射算子处理后所生成的色阶映射图像,并将stm作为待评价的色阶映射图像;②对shdr的亮度分量进行不同程度的预曝光处理,生成shdr的亮度分量的曝光过度图像和曝光不足图像,对应记为eiover和eiunder;③将eiover划分为个互不重叠的尺寸大小为2u×2v的图像块;然后从eiover中的所有图像块中找出曝光过度块;接着将eiover中的所有曝光过度块构成曝光过度区域,记为其中,符号为向下取整运算符号,u和v取区间[2,5]内的相同的整数;同样,将eiunder划分为个互不重叠的尺寸大小为2u×2v的图像块;然后从eiunder中的所有图像块中找出曝光不足块;接着将eiunder中的所有曝光不足块构成曝光不足区域,记为④将shdr划分为个互不重叠的尺寸大小为2u×2v的图像块;然后根据以及将shdr划分为易曝光过度区域、易曝光不足区域以及易曝光正常区域,对应记为rover、runder以及rnormal;⑤将stm划分为个互不重叠的尺寸大小为2u×2v的图像块;然后将stm中与rover相对应的区域作为色阶映射易曝光过度区域,并记为r1;并将stm中与runder相对应的区域作为色阶映射易曝光不足区域,并记为r2;将stm中与rnormal相对应的区域作为色阶映射易曝光正常区域,并记为r3;⑥判断r1中的每个图像块是否出现曝光过度现象,如果出现曝光过度现象,则将该图像块判定为色阶映射曝光过度块;然后统计r1中的色阶映射曝光过度块的总个数,记为同样,判断r2中的每个图像块是否出现曝光不足现象,如果出现曝光不足现象,则将该图像块判定为色阶映射曝光不足块;然后统计r2中的色阶映射曝光不足块的总个数,记为⑦根据和计算stm的曝光异常率,记为ηabnormal,其中,表示r1中的图像块的总个数,表示r2中的图像块的总个数;⑧计算r1的曝光过度残差能量,记为e1,并计算r2的曝光不足残差能量,记为e2,其中,μ1,n表示stm的亮度分量中与r1中的第n个图像块对应的区域中的所有像素点的像素值的均值,μ2,n'表示stm的亮度分量中与r2中的第n'个图像块对应的区域中的所有像素点的像素值的均值,为极端曝光过度亮度值,为极端曝光不足亮度值,⑨将r3从rgb色彩空间转换至opponentcolorspace,记为r3';然后计算r3'中的所有像素点的红绿通道的分量值的均值和方差,对应记为μrg和σrg;并计算r3'中的所有像素点的黄蓝通道的分量值的均值和方差,对应记为μyb和σyb;再计算r3'的曝光色彩指数,记为c3,其中,ωc表示色彩均值权重;⑩获取stm的特征向量,记为其中,符号“[]”为向量表示符号;选取ntest幅高动态范围图像;然后利用不同的色阶映射算子生成ntest幅色阶映射图像,将这ntest幅色阶映射图像的集合作为训练图像集,记为dtest;接着利用主观质量评价方法评价出dtest中的每幅色阶映射图像的平均主观评分差值,将dtest中的第m幅色阶映射图像的平均主观评分差值记为dmosm;再按照步骤①至步骤⑩的过程,以相同的方式获得dtest中的每幅色阶映射图像的特征向量,将dtest中的第m幅色阶映射图像的特征向量记为其中,ntest>1,1≤m≤ntest,1≤dmosm≤100;采用支持向量回归对dtest中的所有色阶映射图像各自的平均主观评分差值以及特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优权值矢量vbest和最优偏置项bbest;之后利用vbest和bbest构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对进行测试,预测得到stm的客观质量评价预测值,记为q,q=f(xdis),其中,q是xdis的函数,f()为函数表示形式,xdis为输入,xdis用于代表(vbest)t为vbest的转置,为xdis的线性函数。所述的步骤②中的eiover和eiunder的获取过程为:将eiover中坐标位置为(x,y)的像素点的像素值记为eiover(x,y),将eiunder中坐标位置为(x,y)的像素点的像素值记为eiunder(x,y),其中,1≤x≤w,1≤y≤h,符号为向下取整运算符号,fover表示eiover对应的进光量参数,fover=8,funder表示eiunder对应的进光量参数,funder=0,ihdr(x,y)表示shdr的亮度分量ihdr中坐标位置为(x,y)的像素点的像素值,γ为伽马校正参数;所述的步骤③中,从eiover中的所有图像块中找出曝光过度块的具体过程为:对于eiover中的第i个图像块,计算该图像块中的所有像素点的像素值的均值;然后比较该图像块中的所有像素点的像素值的均值与曝光过度阈值thover的大小,若均值大于曝光过度阈值thover,则将该图像块确定为曝光过度块;其中,所述的步骤③中,从eiunder中的所有图像块中找出曝光不足块的具体过程为:对于eiunder中的第i个图像块,计算该图像块中的所有像素点的像素值的均值;然后比较该图像块中的所有像素点的像素值的均值与曝光不足阈值thunder的大小,若均值小于曝光不足阈值thunder,则将该图像块确定为曝光不足块。所述的曝光过度阈值thover的取值为所述的曝光不足阈值thunder的取值为其中,αover为曝光过度控制因子,αover=0.8,表示eiover中的所有像素点的像素值的均值,αunder为曝光不足控制因子,αunder=1.2,表示eiunder中的所有像素点的像素值的均值。所述的步骤④中的rover、runder以及rnormal的确定过程为:④_1a、将shdr中当前待处理的图像块定义为当前图像块;④_1b、设当前图像块为shdr中的第i个图像块,并记为其中,④_1c、如果且则将确定为易曝光过度块;如果且则将确定为易曝光不足块;如果且则将确定为易曝光正常块;如果且则也将确定为易曝光正常块;其中,表示eiover中的第i个图像块,表示eiunder中的第i个图像块;④_1d、将shdr中下一个待处理的图像块作为当前图像块,然后返回步骤④_1b继续执行,直至shdr中的所有图像块均处理完毕,再将shdr中的所有易曝光过度块构成的区域作为易曝光过度区域rover,将shdr中的所有易曝光不足块构成的区域作为易曝光不足区域runder,将shdr中的所有易曝光正常块构成的区域作为易曝光正常区域rnormal。所述的步骤⑥中,r1中的色阶映射曝光过度块的判定过程为:将stm的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块;对于r1中的第n个图像块,记为r1,n,计算stm的亮度分量中与r1,n对应的图像块中的所有像素点的像素值的均值和标准差,对应记为μ1,n和σ1,n;如果满足条件μ1,n>200且σ1,n<σtm,则将r1,n判定为色阶映射曝光过度块;其中,表示r1中的图像块的总个数,σtm表示stm的亮度分量中的所有像素点的像素值的标准差;所述的步骤⑥中,r2中的色阶映射曝光不足块的判定过程为:将stm的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块;对于r2中的第n'个图像块,记为r2,n',计算stm的亮度分量中与r2,n'对应的图像块中的所有像素点的像素值的均值和标准差,对应记为μ2,n'和σ2,n';如果满足条件μ2,n'<50且σ2,n'<σtm,则将r2,n'判定为色阶映射曝光不足块;其中,表示r2中的图像块的总个数,σtm表示stm的亮度分量中的所有像素点的像素值的标准差。与现有技术相比,本发明的优点在于:本发明方法采用了预曝光的方式对高动态范围图像中各区域的曝光属性进行了探索,并相应的将高动态范围图像划分为易曝光过度区域、易曝光不足区域以及易正常曝光区域三部分,并在不同区域提取不同的质量特征,这样可以使得后续的质量特征提取更有针对性。本发明方法考虑到色阶映射图像与传统图像中失真形态的差异,在曝光区域分割的基础上,在色阶映射图像中提取曝光异常率、曝光不足残差能量、曝光过度残差能量以及曝光色彩指数这些不同于传统图像质量评价的图像特征,从而使得所提取的特征能够更准确的反映出色阶映射图像的质量下降程度。本发明方法全面考虑到色阶映射图像与传统图像之间的差异,从曝光区域分割和质量特征提取两个角度出发进行创新和改进,从而有效提高了本发明方法得到的客观评价结果与人眼主观感知之间的相关性。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种基于曝光情况分析的色阶映射图像质量评价方法,其总体实现框图如图1所示,其包括以下步骤:①令shdr表示未经处理的宽度为w且高度为h的高动态范围图像,令stm表示shdr经过色阶映射算子处理后所生成的色阶映射图像,并将stm作为待评价的色阶映射图像。②对shdr的亮度分量进行不同程度的预曝光处理,生成shdr的亮度分量的曝光过度图像和曝光不足图像,对应记为eiover和eiunder;在此,eiover和eiunder均为极端曝光情况图像。在此具体实施例中,步骤②中的eiover和eiunder的获取过程为:将eiover中坐标位置为(x,y)的像素点的像素值记为eiover(x,y),将eiunder中坐标位置为(x,y)的像素点的像素值记为eiunder(x,y),其中,1≤x≤w,1≤y≤h,符号为向下取整运算符号,fover表示eiover对应的进光量参数,fover=8,funder表示eiunder对应的进光量参数,funder=0,ihdr(x,y)表示shdr的亮度分量ihdr中坐标位置为(x,y)的像素点的像素值,γ为伽马校正参数,在本实施例中取γ=2.2。③将eiover划分为个互不重叠的尺寸大小为2u×2v的图像块;然后从eiover中的所有图像块中找出曝光过度块;接着将eiover中的所有曝光过度块构成曝光过度区域,记为其中,符号为向下取整运算符号,u和v取区间[2,5]内的相同的整数,在本实施例中取u=v=3,即图像块的尺寸大小为8×8。同样,将eiunder划分为个互不重叠的尺寸大小为2u×2v的图像块;然后从eiunder中的所有图像块中找出曝光不足块;接着将eiunder中的所有曝光不足块构成曝光不足区域,记为在此具体实施例中,步骤③中,从eiover中的所有图像块中找出曝光过度块的具体过程为:对于eiover中的第i个图像块,计算该图像块中的所有像素点的像素值的均值;然后比较该图像块中的所有像素点的像素值的均值与曝光过度阈值thover的大小,若均值大于曝光过度阈值thover,则将该图像块确定为曝光过度块;其中,在此具体实施例中,步骤③中,从eiunder中的所有图像块中找出曝光不足块的具体过程为:对于eiunder中的第i个图像块,计算该图像块中的所有像素点的像素值的均值;然后比较该图像块中的所有像素点的像素值的均值与曝光不足阈值thunder的大小,若均值小于曝光不足阈值thunder,则将该图像块确定为曝光不足块。上述,曝光过度阈值thover的取值为所述的曝光不足阈值thunder的取值为其中,αover为曝光过度控制因子,αover=0.8,表示eiover中的所有像素点的像素值的均值,αunder为曝光不足控制因子,αunder=1.2,表示eiunder中的所有像素点的像素值的均值。④将shdr划分为个互不重叠的尺寸大小为2u×2v的图像块;然后根据以及将shdr划分为易曝光过度区域、易曝光不足区域以及易曝光正常区域,对应记为rover、runder以及rnormal。在此具体实施例中,步骤④中的rover、runder以及rnormal的确定过程为:④_1a、将shdr中当前待处理的图像块定义为当前图像块。④_1b、设当前图像块为shdr中的第i个图像块,并记为其中,④_1c、如果且则将确定为易曝光过度块;如果且则将确定为易曝光不足块;如果且则将确定为易曝光正常块;如果且则也将确定为易曝光正常块;其中,表示eiover中的第i个图像块,表示eiunder中的第i个图像块。④_1d、将shdr中下一个待处理的图像块作为当前图像块,然后返回步骤④_1b继续执行,直至shdr中的所有图像块均处理完毕,再将shdr中的所有易曝光过度块构成的区域作为易曝光过度区域rover,将shdr中的所有易曝光不足块构成的区域作为易曝光不足区域runder,将shdr中的所有易曝光正常块构成的区域作为易曝光正常区域rnormal。⑤将stm划分为个互不重叠的尺寸大小为2u×2v的图像块;然后将stm中与rover相对应的区域作为色阶映射易曝光过度区域,并记为r1;并将stm中与runder相对应的区域作为色阶映射易曝光不足区域,并记为r2;将stm中与rnormal相对应的区域作为色阶映射易曝光正常区域,并记为r3。⑥判断r1中的每个图像块是否出现曝光过度现象,如果出现曝光过度现象,则将该图像块判定为色阶映射曝光过度块;然后统计r1中的色阶映射曝光过度块的总个数,记为同样,判断r2中的每个图像块是否出现曝光不足现象,如果出现曝光不足现象,则将该图像块判定为色阶映射曝光不足块;然后统计r2中的色阶映射曝光不足块的总个数,记为在此具体实施例中,步骤⑥中,r1中的色阶映射曝光过度块的判定过程为:将stm的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块;对于r1中的第n个图像块,记为r1,n,计算stm的亮度分量中与r1,n对应的图像块中的所有像素点的像素值的均值和标准差,对应记为μ1,n和σ1,n;如果满足条件μ1,n>200且σ1,n<σtm,则将r1,n判定为色阶映射曝光过度块;其中,表示r1中的图像块的总个数,σtm表示stm的亮度分量中的所有像素点的像素值的标准差。在此具体实施例中,步骤⑥中,r2中的色阶映射曝光不足块的判定过程为:将stm的亮度分量划分为个互不重叠的尺寸大小为2u×2v的图像块;对于r2中的第n'个图像块,记为r2,n',计算stm的亮度分量中与r2,n'对应的图像块中的所有像素点的像素值的均值和标准差,对应记为μ2,n'和σ2,n';如果满足条件μ2,n'<50且σ2,n'<σtm,则将r2,n'判定为色阶映射曝光不足块;其中,表示r2中的图像块的总个数,σtm表示stm的亮度分量中的所有像素点的像素值的标准差。⑦根据和计算stm的曝光异常率,记为ηabnormal,其中,表示r1中的图像块的总个数,表示r2中的图像块的总个数。⑧计算r1的曝光过度残差能量,记为e1,并计算r2的曝光不足残差能量,记为e2,其中,μ1,n表示stm的亮度分量中与r1中的第n个图像块对应的区域中的所有像素点的像素值的均值,μ2,n'表示stm的亮度分量中与r2中的第n'个图像块对应的区域中的所有像素点的像素值的均值,为极端曝光过度亮度值,为极端曝光不足亮度值,⑨将r3从rgb色彩空间转换至opponentcolorspace(opponent色彩空间),记为r3';然后计算r3'中的所有像素点的红绿通道的分量值的均值和方差,对应记为μrg和σrg;并计算r3'中的所有像素点的黄蓝通道的分量值的均值和方差,对应记为μyb和σyb;再计算r3'的曝光色彩指数,记为c3,其中,ωc表示色彩均值权重,在本实施例中取ωc=0.3。⑩获取stm的特征向量,记为其中,符号“[]”为向量表示符号。选取ntest幅高动态范围图像;然后利用不同的色阶映射算子生成ntest幅色阶映射图像,将这ntest幅色阶映射图像的集合作为训练图像集,记为dtest;接着利用现有的主观质量评价方法评价出dtest中的每幅色阶映射图像的平均主观评分差值,将dtest中的第m幅色阶映射图像的平均主观评分差值记为dmosm;再按照步骤①至步骤⑩的过程,以相同的方式获得dtest中的每幅色阶映射图像的特征向量,将dtest中的第m幅色阶映射图像的特征向量记为其中,ntest>1,1≤m≤ntest,1≤dmosm≤100。采用支持向量回归对dtest中的所有色阶映射图像各自的平均主观评分差值以及特征向量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优权值矢量vbest和最优偏置项bbest;之后利用vbest和bbest构造得到支持向量回归训练模型;再根据支持向量回归训练模型,对进行测试,预测得到stm的客观质量评价预测值,记为q,q=f(xdis),其中,q是xdis的函数,f()为函数表示形式,xdis为输入,xdis用于代表(vbest)t为vbest的转置,为xdis的线性函数。在本实施例中,选取了德州大学奥斯汀分校live实验室所提供的tmid色阶映射图像数据库(以下简称“tmid数据库”)进行测试。tmid数据库中包含了15幅不同场景类型的原始的高动态范围图像,同时利用8种不同的色阶映射算子对于每幅原始的高动态范围图像进行色阶映射处理,共生成120幅色阶映射图像。在测试过程中,随机的将120幅色阶映射图像分为训练图像集和测试图像集两部分,按照本发明方法中的步骤①至步骤的过程,采用相同的方式计算得到测试图像集中的每幅色阶映射图像的客观质量评价预测值,然后将客观质量评价预测值与对应的平均主观评分差值进行四参数logistic函数非线性拟合,最后得到客观评价结果与主观感知之间的性能指标值。这里,利用评估图像质量评价方法的3个常用客观参量作为评价指标,即线性相关系数(correlationcoefficient,cc)、spearman等级相关系数(spearmanrankordercorrelationcoefficient,srocc)和均方根误差(rootedmeansquarederror,rmse)。cc和srocc的取值范围是[0,1],其值越接近1,表明客观评价结果准确性越高,反之,则越差。rmse值越小,表示客观评价结果的预测越准确,性能越好;反之,则越差。表示本发明方法的评价性能的cc、srocc和rmse指标如表1所列。从表1中所列的数据可见,按本发明方法计算得到的色阶映射图像的客观质量评价预测值与平均主观评分差值之间有很好的相关性,其中,cc值达到了0.8802,srocc值达到了0.8512,而rmse值低至0.8342,该结果表明本发明方法的客观评价结果与人眼主观感知的结果较为一致,充分说明了本发明方法的有效性。表1按本发明方法计算得到的测试图像集中的色阶映射图像的客观质量评价预测值与平均主观评分差值之间的相关性的性能指标指标类型ccsroccrmse最终结果0.88020.85120.8342当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1