本发明属于图像处理技术领域，涉及图像质量的评测。
背景技术：
曝光是在摄影过程中允许落在摄影介质上的总通光量，而曝光不当往往会降低采集图像的质量，这里的曝光失真被理解为由于曝光不当引起的整体质量下降。在许多工业领域中，一种能够准确地评价图像曝光等级的方法是非常需要的，例如：几乎所有的现代数码相机都能在“自动曝光”模式下工作，当用户使用这种模式拍摄图像时，相机将通过特定的自动曝光算法自动调整相关的硬件参数(如光圈、快门速度、电子增益等)使图像具有适当的曝光水平。显然，为了验证自动曝光算法的性能，一种能够精确评价获得图像的曝光等级的方法是必不可少的。另一个常见的例子是视频监控。对于视频监控来说，照明条件超出了相机的适应能力是很常见的，因此，对采集到的视频的曝光等级进行连续监测以确定其质量是十分必要的。
目前，常用的确定图像曝光等级的方法是完全基于摄影师经验，这种方法具有准确、有效等优点，但只能测试有限数量的图像样本，且费时费力，在需要实时检测曝光等级的系统中无法实现。因此，有必要建立一种能够客观地、自动地评价图像曝光等级的方法。
实际上，在图像曝光度无参考质量评价领域中，相关算法十分稀少，且均基于一个共同的经验假设，即图像的直方图在某种程度上可以反映图像的曝光等级。在这个假设中，曝光适宜的图像的直方图横跨整个亮度范围，分布较为平滑，而曝光过度与曝光不足的图像的直方图则会分别向亮部和暗部的一边偏移，曝光失真程度越大，偏移越明显。基于这一假设的代表方法有：“m.liu,p.yuan,andr.s.turner,``automaticanalysisandadjustmentofdigitalimageswithexposureproblems,”uspatent,sep.2004.”即“曝光图像的自动化分析与校正”：此专利首先提取了图像直方图的三个属性，即中心、质心、以及有效宽度，再通过预先设定的规则确定图像的曝光等级；“m.rychagovands.efimov,``imageprocessingdevicetodetermineimagequalityandmethodthereof,”uspatent,feb.2007.”即“用于确定图像质量的图像处理装置及其方法”：此专利通过比较图像直方图的均值与预先设定的阈值确定图像的曝光等级；“p.romaniak,l.janowski,m.leszczuk,andz.papir,``anoreferencemetricforthequalityassessmentofvideosaffectedbyexposuredistortion,”inproc.ieeeint.conf.multimedia.expo.,jul.2011.”即“曝光度失真视频质量无参考度量算法”此算法首先对图像分块并计算各块的亮度均值，选取均值最大的三个块计算平均亮度作为上界，选取均值最小的三个块计算平均亮度作为下界，那么图像的曝光等级则为上界与下界的均值。尽管这些方法在一定程度上可以反映图像的曝光等级，但由于它们均基于图像直方图假设，因此有一个共同的缺陷——易受图像内容的影响，当图像内容严重影响到图像直方图的分布时，基于图像直方图假设的算法将不再有效。换言之，目前图像曝光度的无参考质量评价方法研究难点在于设计一种具有场景一致性的算法。
技术实现要素：
本发明的目的在于提供一种基于神经网络的图像曝光度无参考评价方法，其解决了传统图像曝光度度量领域标准数据集缺乏、度量算法易受图像内容影响的缺点，满足实际应用对图像曝光度无参考质量评价方法的要求。
为达到上述目的，本发明的解决方案是：
一种图像曝光度无参考质量评价方法，包括以下步骤：
(一)建立图像曝光度数据集，数据集中包含具有不同曝光等级的图像，及其相应的曝光度人工评分，以作为神经网络训练与测试集合：
(a)在n_place种不同的拍摄场景下，对每一个拍摄场景采集n_expo张具有不同曝光等级的图像，采集得到n_real(即n_place与n_expo的乘积)张具有不同曝光等级的真实图像，其中n_place种场景具有高场景多样性，涵盖不同的拍摄对象(人物、植物、动物、人造物等)、不同的时间节点(早晨、中午、下午、晚上等)、不同的光照条件、以及不同的拍摄距离；
(b)从网络上收集m_origin张曝光度适宜的高质量图像，选取其中m_select张作为源图像，设定m_expo种曝光等级，通过合成图像生成模型得到m_syn(即m_select与m_expo的乘积张具有不同曝光等级的合成图像，其中m_select张源图像具有高场景多样性，涵盖四种常见图像内容类型，即人物、植物、动物、人造物；
(c)在单刺激法的实验设置下，通过人工主观评价，对n_real张具有不同曝光等级的真实图像、m_syn张具有不同曝光等级的合成图像进行曝光度评价，再通过评分后处理得到最终的图像曝光度人工评分；
(二)训练通用神经网络得到图像曝光度评分模型：
(i)选择高效的神经网络模型(googlenet、resnet、densenet、shufflenet)改写成为回归模型，记为iemnn，其中“nn”代指具体的网络模型，改写后的模型损失函数为：
其中w为网络权重，λ为正则项参数，ij与sj分别为第j个训练图像及其曝光度评分，‖w‖f返回w的frobenius范数，n为训练图像集合的个数；
(ii)使用m_syn张合成图像及其曝光度评分作为训练图像集合，得到图像曝光度评价模型；
(三)对于任意测试图像，输入图像曝光度评价模型，即可得到最终图像曝光度客观评价分数；使用n_real张真实图像及其曝光度评分作为测试图像集合，即可验证图像曝光度评价模型的有效性。
步骤(一)中，(1)在n_place个场景下采集n_expo张具有不同曝光等级图像，最终得到n_real即n_place×n_expo张具有不同曝光等级的真实图像的步骤如下：
(1-1)选择具有曝光等级调节功能的拍照设备作为采集设备，设计具有高场景多样性的采集方案，其中采集场景数n_place≥200；
(1-2)在n_place个不同场景下，采用以下3种不同策略，对每个场景选取相同的n_expo种曝光策略设置用以采集n_expo张具有不同曝光等级的图像，其中n_expo≥3，以至少包括一种曝光适宜情况、一种曝光过度情况和一种曝光不足情况：
(1-2-1)通过扩大或缩小光圈，控制固定时间片段内采集设备的通光量，光圈越大通光量越大，图像曝光过度的可能性越大；
(1-2-2)通过改变光信号模型即感光度，控制采集设备对光线的感知程度，感光度越高光线越亮，图像曝光过度的可能性越大；
(1-2-3)通过改变曝光时间，控制采集设备通光的时间片段长短，曝光时间越长通光量越大，图像曝光过度的可能性越大；
步骤(一)中，(2)通过合成图像生成模型得到m_syn张具有不同曝光等级的合成图像的步骤如下：
(2-1)由p_coll名志愿者分别从网络上收集i_coll张高质量图像，涵盖四种常见图像内容类型，即人物、植物、动物、以及人造物，其中p_coll≥4，i_coll≥1000；
(2-2)由p_select名志愿者对这m_origin(即p_coll与i_coll的乘积)张高质量图像进行曝光等级检查，保留其中得到p_agree名及以上志愿者鉴定为曝光适宜的高质量图像，最终得到m_select张曝光适宜的高质量图像，其中p_select≥5，p_agree≥70％×p_select(即70％与p_select的乘积，以下同)，m_select≥70％×m_origin；
(2-3)以m_select张曝光适宜的高质量图像作为源图像，将其从rgb三颜色通道转换到hsv色彩空间记为i，iv和is分别为i的亮度通道与饱和度通道；
(2-4)调整源图像亮度通道iv，以得到具有不同曝光等级的合成图像
其中x指代图像的空间位置，θ是可控参数，当用于生成曝光过度图像时，θ取正值，当用于生成曝光不足图像时，θ取负值；
(2-5)根据图像饱和度与图像曝光等级间的非对称逻辑函数关系，调整源图像饱和度通道is，以得到具有不同曝光等级的合成图像
其中eout(x)为具有不同曝光等级的合成图像
eout(x)＝ein(x)+eps
根据图像曝光等级与图像饱和度间的逆非对称逻辑函数关系，ein(x)可通过源图像饱和度通道得到is：
即可得到，具有不同曝光等级的合成图像
其中a为-3.2，c为0.4；
(2-6)通过调节参数θ与eps的成对取值，每张曝光适宜的高质量源图像都可以通过相同的m_expo种参数θ与eps的成对取值生成m_expo张具有不同曝光等级的合成图像，其中不同曝光等级的合成图像包括源图像本身，其中m_expo＝n_expo，最终生成m_syn(即m_select×m_expo)张具有不同曝光等级的合成图像。
步骤(一)中，(3)对n_real张具有不同曝光等级的真实图像、m_syn张具有不同曝光等级的合成图像进行曝光度人工评分的步骤如下：
(3-1)设置统一的人工评价实验环境，其中包括：
(3-1-1)实验在内部光线充足的办公室环境下进行；
(3-1-2)通用的microsoftwindows工作站环境，评分基于一般的matlab软件界面；
(3-1-3)显示器为一般的液晶显示器，分辨率至少为1920×1080；
(3-1-4)评价人员座位距离显示器大约2～2.5个屏幕高度；
(3-2)实验正式开始前，向每位评价人员简短地介绍实验的目的及流程，并进行简单的培训，向每位评价人员展示具有不同曝光等级的图片及其曝光度评分示例，这些示例图片不会出现在实验过程中；
(3-3)实验正式开始后，每位评价人员可对显示屏中展示的图片进行曝光等级选择，共op_expo个选项，，分别对应n_real张真实图像与m_syn张合成图像的曝光等级数n_expo与m_expo，其中op_expo＝n_expo＝m_expo；
(3-4)每张图像将会由p_eval名评价人员予以曝光度人工评分，其中p_eval≥10。
步骤(一)中，(4)通过评分后处理得到最终的图像曝光度人工评分的步骤如下：
(4-1)消除不同评价人员主观评价标准不同的影响：
其中dij指代第i名评价人员对第j张图像ij的评分，
(4-2)筛选出每张图像有严重偏见的主观评分：
其中
(4-3)每张图像最终评分即为剩余主观评分的均值：
其中nj为第j张图像ij有效的主观评分；
(4-4)将sj线性归一化至以0为均值的数值范围。
步骤(二)中，(5)使用m_syn张合成图像训练得到图像曝光度评价模型的步骤如下：
(5-1)搭建统一神经网络框架caffe；
(5-2)采用微调策略，使用在imagenet数据集上预先训练好的模型进行iemnn参数初始化；
(5-3)为googlenet、resnet、densenet、shufflenet设定不同的iemnn训练参数，主要包括学习率、求解器种类、批量大小、权重衰减；
(5-4)使用m_syn张合成图像及其曝光度评分训练得到最终图像曝光度评价模型。
由于采用上述方案，本发明的有益效果是：
本发明所示的一种基于神经网络的图像曝光度无参考质量评价方法，
(1)在n_place种场景下采集n_real张具有不同曝光等级的真实图像集合；
(2)以m_select张曝光适宜的高质量图像为源图像，通过曝光度合成算法生成m_syn张具有不同曝光等级的合成图像集合；
(3)在单刺激法的实验设置下，通过人工主观评价，对上述图像进行曝光等级评价，再通过评分后处理得到最终的图像曝光度人工评分；
(4)使用m_syn张合成图像及其曝光度评分训练神经网络得到图像曝光度评价模型；
(5)对于任意测试图像，输入图像曝光度评价模型，即可得到最终图像曝光度客观评价分数。
通过上述5个步骤的配合，即本发明所示的一种基于神经网络的图像曝光度无参考质量评价方法，该方法建立了首个图像曝光度标准数据集，填补了该领域数据集的缺乏，同时采用神经网络作为回归手段，并较好地克服了现有评价方法易受图像内容影响的问题；该方法的预测准确性也较高，可以满足实际应用对图像曝光度无参考质量评价方法的要求，可广泛应用于图像压缩、图像存储、图像通信、图像检测等领域。
附图说明
图1是图像曝光度数据集真实图像示例。
图2是图像曝光度数据集合成图像示例。
图3是对图像曝光度数据集进行人工评分的实验室环境图像。
图4是本发明基于神经网络的图像曝光度无参考质量评价通用框架示意图。
具体实施方式
本发明所示的基于神经网络的图像曝光度无参考质量评价方法：首先建立图像曝光度数据集，其中包括具有不同曝光等级的真实图像，以及从曝光适宜的高质量图像中生成的合成图像；通过人工主观评价，对上述图像进行曝光等级评价，再通过评分后处理得到最终的图像曝光度人工评分；使用具有不同曝光等级的合成图像及其曝光度评分作为训练集合，训练神经网络得到图像曝光度评价模型；对于任意测试图像，输入图像曝光度评价模型，即可得到最终图像曝光度客观评价分数。
以下详细描述每一步骤的细节：
(一)图像曝光度数据集的建立。
图像曝光度数据集应包含具有不同曝光等级的图像及其曝光度人工评分，其中应包括实地采集的真实图像集合，以验证算法有效性；合成算法生成的合成图像集合，以替代繁重的真实图像采集过程，达到数据扩充的目的；以及对所有图像进行统一标准下的曝光度人工评分。
因此图像曝光度数据集的建立可分为三个部分：
(1)真实图像的采集
在500种不同的拍摄场景下，对每一个拍摄场景采集7张具有不同曝光等级的图像，采集得到3,500即500×7张具有不同曝光等级的真实图像，其中500种场景具有高场景多样性，涵盖不同的拍摄对象(人物、植物、动物、人造物等)、不同的时间节点(早晨、中午、下午、晚上等)、不同的光照条件、以及不同的拍摄距离，7种曝光等级包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度。对于真实图像而言，7种曝光等级是通过设定7种曝光度调节方案，相同地作用在每一个场景上得到的。图1给出了一组具有不同曝光等级的真实图像示例。
具体采集步骤为：
(1-1)选择iphone7plus作为采集设备，设计具有高场景多样性的采集方案；
(1-2)在500个不同场景下，采用以下3种不同策略，对每个场景选取相同的7种曝光策略设置用以采集7张具有不同曝光等级的图像：
(1-2-1)通过扩大或缩小光圈，控制固定时间片段内采集设备的通光量，光圈越大通光量越大，图像曝光过度的可能性越大；
(1-2-2)通过改变光信号模型即感光度，控制采集设备对光线的感知程度，感光度越高光线越亮，图像曝光过度的可能性越大；
(1-2-3)通过改变曝光时间，控制采集设备通光的时间片段长短，曝光时间越长通光量越大，图像曝光过度的可能性越大；
(2)合成图像的生成
从网络上收集4000张曝光度适宜的高质量图像，选取其中3000张作为源图像，设定7种曝光等级，通过合成图像生成模型得到21,000即3000×7张具有不同曝光等级的合成图像，其中3000张源图像具有高场景多样性，涵盖四种常见图像内容类型，即人物、植物、动物、人造物，7种曝光等级包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度。对于合成图像而言，7种曝光等级是通过设定7种成对参数，相同地作用在每一个源图像上得到的。
图2给出了一组具有不同曝光等级的合成图像示例，其中第一列为曝光适宜的高质量源图像，其余为通过合成算法生成的合成图像。
具体合成步骤为：
(2-1)由4名志愿者分别从网络上收集1000张高质量图像，涵盖四种常见图像内容类型，即人物、植物、动物、以及人造物；
(2-2)由7名志愿者对这4000张高质量图像进行曝光等级检查，保留其中得到5名及以上志愿者鉴定为曝光适宜的高质量图像，最终得到3000张曝光适宜的高质量图像；
(2-3)以3000张曝光适宜的高质量图像作为源图像，将其从rgb三颜色通道转换到hsv色彩空间记为i，iv和is分别为i的亮度通道与饱和度通道；
(2-4)调整源图像亮度通道iv，以得到具有不同曝光等级的合成图像
其中x指代图像的空间位置，θ是可控参数，当用于生成曝光过度图像时，θ取正值，当用于生成曝光不足图像时，θ取负值；
(2-5)根据图像饱和度与图像曝光等级间的非对称逻辑函数关系，调整源图像饱和度通道is，以得到具有不同曝光等级的合成图像
其中eout(x)为具有不同曝光等级的合成图像
eout(x)＝ein(x)+eps
根据图像曝光等级与图像饱和度间的逆非对称逻辑函数关系，ein(x)可通过源图像饱和度通道得到is：
即可得到，具有不同曝光等级的合成图像
其中a为-3.2，c为0.4；
(2-6)通过调节参数θ与eps的成对取值，每张曝光适宜的高质量源图像都可以通过相同的7种参数θ与eps的成对取值生成7张(包括源图像)具有不同曝光等级的合成图像，曝光等级包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度，最终生成21,000张具有不同曝光等级的合成图像。
(3)曝光度人工评分
在单刺激法的实验设置下，通过人工主观评价，对3,500张具有不同曝光等级的真实图像、21,000张具有不同曝光等级的合成图像进行曝光度评价，再通过评分后处理得到最终的图像曝光度人工评分。图3为人工评分实验室设置。
其中人工评分实验设置如下：
(3-1)设置统一的人工评价实验环境，其中包括：
(3-1-1)实验在内部光线充足的办公室环境下进行；
(3-1-2)asusmicrosoftwindows工作站环境，评分基于图3中的matlab软件界面；
(3-1-3)显示器为液晶显示器，分辨率为1920×1080；
(3-1-4)评价人员座位距离显示器大约2～2.5个屏幕高度；
(3-2)实验正式开始前，向每位评价人员简短地介绍实验的目的及流程，并进行简单的培训，向每位评价人员展示具有不同曝光等级的图片及其曝光度评分示例，这些示例图片不会出现在实验过程中；
(3-3)实验正式开始后，每位评价人员可对显示屏中展示的图片进行曝光等级选择，共7个选项，包括极度曝光不足、曝光不足、轻度曝光不足、曝光适宜、轻度曝光过度、曝光过度、极度曝光过度，它们分别对应-3～3分，即-3分为极度曝光不足，0分为曝光适宜，3分为极度曝光过度；
(3-4)每张图像将会由20名评价人员予以曝光度人工评分。
人工评分后处理步骤如下：
(4-1)消除不同评价人员主观评价标准不同的影响：
其中dij指代第i名评价人员对第j张图像ij的评分，
(4-2)筛选出每张图像有严重偏见的主观评分：
其中
(4-3)每张图像最终评分即为剩余主观评分的均值：
其中nj为第j张图像ij有效的主观评分；
(4-4)将sj线性归一化至范围-3～3。
(二)训练通用神经网络得到图像曝光度评分模型。
选择高效的神经网络模型(googlenet、resnet、densenet、shufflenet)改写成为回归模型，记为iemnn，其中“nn”代指具体的网络模型，图4展示了iemnn的网络通用框架，改写后的模型损失函数为：
其中w为网络权重，λ为正则项参数，ij与sj分别为第j个训练图像及其曝光度评分，‖w‖f返回w的frobenius范数，n为训练图像集合的个数。再使用21,000张合成图像及其曝光度评分作为训练图像集合，即得到图像曝光度评价模型。
其中训练过程细节包括：
(5-1)搭建统一神经网络框架caffe；
(5-2)采用微调策略，使用在imagenet数据集上预先训练好的模型进行iemnn参数初始化；
(5-3)为googlenet、resnet、densenet、shufflenet设定不同的iemnn训练参数，主要包括学习率、求解器种类、批量大小、权重衰减，如表1所示：
表1iemnn关键超参数的设置
(5-4)使用21,000张合成图像及其曝光度评分训练得到最终图像曝光度评价模型；
(三)对于任意测试图像，输入图像曝光度评价模型，即可得到最终图像曝光度客观评价分数；使用3,500张真实图像及其曝光度评分作为测试图像集合，即可验证图像曝光度评价模型的有效性。
以下通过具体实验对本发明进一步说明：
实验条件与评分标准：本实验在图像曝光度数据集上进行，使用spearman等级次序相关系数(srcc)、肯德尔秩次相关系数(krcc)、皮尔森线性相关系数(plcc)以及均方根误差(rmse)用于评价方法的准确性。其中，srcc(krcc、plcc)的取值范围是0～1，越接近1，代表准确性越高，而rmse指标数值越低，代表准确性越高。挑选的比较方法共两种类别：现有的图像曝光度无参考质量评价算法与通用的无参考质量评价算法。
实验1：与现有图像曝光度无参考质量评价算法的对比实验。对比的方法包括：[1]“m.liu,p.yuan,andr.s.turner,``automaticanalysisandadjustmentofdigitalimageswithexposureproblems,”uspatent,sep.2004.”即“曝光图像的自动化分析与校正”，[2]“m.rychagovands.efimov,``imageprocessingdevicetodetermineimagequalityandmethodthereof,”uspatent,feb.2007.”即“用于确定图像质量的图像处理装置及其方法”，[3]“p.romaniak,l.janowski,m.leszczuk,andz.papir,``anoreferencemetricforthequalityassessmentofvideosaffectedbyexposuredistortion,”inproc.ieeeint.conf.multimedia.expo.,jul.2011.”即“曝光度失真视频质量无参考度量算法”，以及四种具体形式的iemnn。在这个实验中，所有的方法均在图像曝光度数据集的真实图像上进行测试；对于基于训练的方法，选取70％的合成图像作为训练，30％作为验证集合。实验结果如表2所示，从表2可以看出：本发明提出的基于神经网络的图像曝光度无参考质量评价算法明显优于其他现有方法。
表2图像曝光度无参考质量评价算法性能比较
实验2：与通用的图像无参考质量评价算法的对比实验。由于现有的图像曝光度无参考质量评价算法数量有限，因此本发明与通用的无参考质量评价算法进行了类似的对比实验。对比的方法包括10种领域内具有代表性的算法，它们是brisque、sseq、og-iqa、noreqi、cs-biqa、niqe、qac、il-niqe、lpsi、tclt。实验结果如表3所示，从表3可以看出：通用的图像无参考质量评价算法不足以解决面向图像曝光度这一特定失真类型的质量评价问题，而本发明提出的基于神经网络的图像曝光度无参考质量评价算法更具有针对性与有效性。
表2本发明算法与通用图像无参考质量评价算法的性能比较
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。