本发明涉及数字图像处理领域，涉及基于颜色恒常性的数字图像增强技术中的多尺度视网膜增强算法，具体涉及一种自适应的图像增强方法。
背景技术：
基于颜色恒常性的数字图像增强是数字图像处理领域的研究热点之一，被广泛应用于军事侦察、遥感图像、医学图像、水下图像等各领域中。颜色恒常性是指人类视觉系统能够忽视光照颜色然后识别出彩色目标物体的特性，基于颜色恒常性的图像增强试图让计算机也具有人类视觉系统的这种能力，从而提高实际中很多图像数据的应用价值。现有技术中，基于颜色恒常性的图像增强算法主要分为基于光照估计的方法和基于颜色不变假设的方法。现有的大部分的方法都是基于光照估计的方法，它们首先根据具体模型估计出场景光照，然后将它从原图中除去。其具体解决方案有通过物理建模入射光和物体表面交互估计场景光照的方法、有依据对图像的颜色分布的统计假设求解场景光照的方法和利用机器学习方法为一类有某种特性的图像集自适应选择最优参数估计场景光照的方法。基于颜色不变假设的方法与基于光照估计的方法不同，它利用目标图像中不变的颜色描述来实现颜色恒常性，其中基于retinex理论的算法是最常用、最具代表性的方法。retinex理论阐述物体的颜色是由物体对长波、中波和短波光线的反射能力决定的，而不是由反射光强度的绝对值决定的，并且物体的颜色不受光照非均匀的影响，具有一致性。依据retinex理论可以建模出物体的亮度与环境照明和物体表面对光源反射之间的关系，并利用高斯模糊将环境光的照射分量估算得出，从而得到增强后的图像。
与本发明相关的基于retinex理论的算法在不断的发展中形成了几个有代表性的成果，从单尺度retinex算法改进成多尺度加权平均retinex算法，再发展成为彩色恢复的多尺度retinex算法。单尺度retinex算法依据retinex理论，将人眼感知物体的亮度建模为环境和物体表面对照射光的反射之间的点积，其数学表达形式如下：
i(x,y)＝l(x,y)*r(x,y)
其中，i(x,y)、l(x,y)、r(x,y)分别是接收到的数字图像、环境光的照射分量和目标物体。通过对上式对数化，进一步得到下述公式：
logr(x,y)＝logi(x,y)-logl(x,y)
当用这个模型进行图像增强时，问题就变成了在已知图像数据i的时候，求解图像r的问题，其中的关键变量l，retinex理论的提出者指出它可以通过对图像i进行高斯模糊得到。因此单尺度retinex用一个高斯模糊得到对l的近似，最后将其映射到0至255便得到增强后的图像。单尺度retinex算法中尺度对算法效果影响很大，且会有偏色效果，多尺度retinex算法在其基础上加入多尺度机制，在计算logr(x,y)时用多个尺度的高斯卷积，最经典的就是三尺度，它将三个尺度下的l的估值加权平均用作对场景l的真实估值，再依据retinex模型得到增强后的图像，其数学公式如下：
其中，ii为原始输入图像的某个颜色分量，fk是k尺度下的滤波函数，k为尺度的个数，wk为第k尺度的权重。ri表示增强后的图像分量。多尺度retinex由于加入了高、中、低等多个尺度，可以同时实现输出图像高保真度，动态范围压缩，却依旧有偏色效果。带彩色恢复的多尺度retinex算法引入分量比值调整因子以降低彩色失真的影响，公式如下：
rmsrcr(x,y)＝c(x,y)rmsr(x,y)
其中，c(x,y)的计算公式如下：
其中，rmsrcr(x,y)为图像的log输出，rmsr(x,y)为多尺度retinex算法下图像的log输出，i为图像的颜色通道，g和α为超参数。该彩色恢复的多尺度retinex算法由于引入了彩色恢复机制，在一定程度上削弱了色偏，但是却在很多自然场景图像中表现出严重的白膜效果。
基于retinex理论的方法在一定程度上实现了人类视觉处理系统的颜色恒常特性，但是由于其中的尺度因素，对于实际场景中色彩丰富的图像，表现出严重的偏色失真效果，并且由于模型将图像变换到了对数域，使得处理后的图像普遍有白膜效果。
技术实现要素：
本发明的目的是针对现有技术的不足，提供了一种基于retinex理论的自适应图像增强方法，所述方法引入对输入图像色调丰富度的评估，分别针对色调丰富和色调简单的失真图像进行不同的处理，对于色调丰富的失真图像，本发明改进了多尺度retinex算法，使得它能够更好地保持较为丰富的彩色，对于色调较为简单的失真图像，本发明通过引入暗通道先验较好地解决了传统色彩保持的多尺度retinex算法的缺点。具体来说，该方法对基于retinex理论的图像增强算法的改进包括两个方面，第一是将图像转到hsv空间，并假设h色度不变，进行多尺度retinex算法；第二是针对基于retinex算法的普遍白膜问题，利用暗通道先验进行后续处理以得到更好的图像增强效果。最终，本发明形成了一个更适用于自然图像的图像增强解决方案。
本发明的目的可以通过如下技术方案实现：
一种自适应的图像增强方法，所述方法包括以下步骤：
s1、输入待处理的图像，并将其转换到hsv空间；
s2、将图像的h分量矩阵拿出，计算该h分量矩阵的信息量，作为该图像的色调丰富度指标；
s3、将色调丰富度指标与设定的阈值进行比较，如果色调丰富度指标大于设定的阈值，采用msr_hsv算法进行图像增强处理；如果色调丰富度指标小于等于设定的阈值，首先采用原始msrcr算法进行图像增强处理，再将处理后的图像用暗通道先验进行处理。
进一步地，步骤s3中所述设定的阈值为4。
进一步地，步骤s3中所述采用msr_hsv算法进行图像增强处理的具体步骤如下：
s311、准备不同尺度的高斯核，并利用快速傅里叶变换将其变换到频域；
s312、将图像的s分量和v分量分别利用快速傅里叶变换变换到频域；
s313、在频域内将不同尺度的高斯核与图像的s分量和v分量分别进行点乘，再利用逆傅里叶变换变换为空间域；
s314、将步骤s313产生的不同尺度的输出图像在对数域下与原图像的s分量和v分量分别进行差分作为响应尺度下对场景中照射图像的估值；
s315、将步骤s314产生的不同尺度的输出图像加权作为对场景中照射图像在s分量和v分量的估值；
s316、将步骤s315产生的两幅估计图像实数化，并对其进行直方图截断；
s317、将步骤s316得到的s分量和v分量与原始图像的h分量合并，并重新转换为rgb空间，将输出图像作为msr_hsv算法的输出图像。
进一步地，所述高斯核的尺度分别为1个像素、3个像素和5个像素。
进一步地，步骤s3中所述采用原始msrcr算法进行图像增强处理的具体步骤如下：
s321、准备不同尺度的高斯核，并利用快速傅里叶变换将其变换到频域；
s322、将图像的r、g、b三个颜色分量分别利用傅里叶变换变换到频域；
s323、在频域内将不同尺度的高斯核与图像的r、g、b三个颜色分量分别进行点乘，然后将其用逆傅里叶变换变换回空间域，并将该矩阵减去该矩阵中的最小值；
s324、在对数域将步骤s323计算出的估计图像与原分量图像做差分，作为各尺度下计算出的增强图像；
s325、将各分量不同尺度下估计出的增强图像做加权，作为对三个分量计算出的增强图像；
s326、利用如下公式计算出图像的平衡因子，然后利用该平衡因子计算出图像当前颜色分量下的带彩色恢复的增强图像：
rmsrcr(x,y)＝c(x,y)·rmsr(x,y)
其中，c(x,y)表示图像的平衡因子，i为图像的通道标识，ii(x,y)表示图像的第i个通道，g和α为超参数，rmsr(x,y)表示多尺度retinex算法下图像的log输出，rmsrcr(x,y)为图像该通道下的log输出；
s327、将计算出的r、g、b三个分量的增强图像合并成最终的输出图像。
进一步地，步骤s3中所述将处理后的图像用暗通道先验进行处理的具体步骤如下：
s331、将r、g、b三个通道的图像放在一起求最小，得到暗通道先验的图像；
s332、对暗通道先验的图像进行最小值滤波；
s333、计算步骤s332得到的图像的白膜透射率；
s334、将最小值滤波后的暗通道先验图像中的最大像素值与设置阈值取最小，得到单通道先验理论下的伪大气光成分；
s335、将图像分成r、g、b三个颜色通道分别计算增强图像；
s336、将步骤s335中输出的图像做导向滤波后进一步分通道计算增强图像，输出的通道图像作为最终输出的增强图像的通道图像；
s337、将上述步骤输出的三个通道的图像重新合并为新图，作为最终的输出图像。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明通过对图像进行色调丰富度评估，对色调丰富度不同的自然图像进行不同的算法处理，从而能够实现图像的自适应增强。
2、本发明对色调较为复杂的自然图像选择改进的hsv空间的多尺度retinex算法进行增强，其中保持图像色调h分量不变，对s分量和v分量进行多尺度retinex处理，从而能够较好的恢复色调较为复杂的图像，并且不带来整幅图像颜色的混淆。
3、本发明对色调较为简单的自然图像选择原始的带色彩恢复的多尺度retinex算法进行处理，并加入暗通道先验的假设，处理原始算法中会出现的白膜效果。
4、本发明通过对输入图像的色调丰富性进行精细分类，分别处理，从而使得本发明的解决方案能够更加泛化的应用到自然场景图像中。
附图说明
图1为本发明实施例一种自适应的图像增强方法的流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种自适应的图像增强方法，所述方法的流程图如图1所示，包括以下步骤：
s1、输入待处理的图像，并将其转换到hsv空间；本实施例输入两张色调丰富度不同的自然图像。
s2、将图像的h分量矩阵拿出，计算该h分量矩阵的信息量，作为该图像的色调丰富度指标；本实施例中计算图像色调丰富度的具体方法为信息量的计算，如下公式：
其中，pi为矩阵中数值落入第i个区间[0.1*(i-1),0.1*i]的点在整个矩阵中所占的比例。
s3、将色调丰富度指标与设定的阈值进行比较，如果色调丰富度指标大于设定的阈值，采用msr_hsv算法进行图像增强处理；如果色调丰富度指标小于等于设定的阈值，首先采用原始msrcr算法进行图像增强处理，再将处理后的图像用暗通道先验进行处理。本实施例中设定的阈值为4.0，对于第一幅输入图像，其色调丰富度指标计算出小于阈值，其色调分布比较简单，采用原始msrcr算法进行图像增强处理，其具体实施步骤如下：
s321、准备不同尺度的高斯核，并利用快速傅里叶变换将其变换到频域，本实施例使用的是三种不同尺度的高斯核，其尺度大小分别为15、80、250；
s322、将图像的r、g、b三个颜色分量分别利用傅里叶变换变换到频域；
s323、在频域内将不同尺度的高斯核与图像的r、g、b三个颜色分量分别进行点乘，然后将其用逆傅里叶变换变换回空间域，并将该矩阵减去该矩阵中的最小值，本实施例中为了使数值求解稳定，将该矩阵减去该矩阵中的最小值之后加一；
s324、在对数域将步骤s323计算出的估计图像与原分量图像做差分，作为各尺度下计算出的增强图像；
s325、将各分量不同尺度下估计出的增强图像做加权，作为对三个分量计算出的增强图像，本实施例中采用的是加权平均，三个系数分别为0.33、0.33、0.34；
s326、利用如下公式计算出图像的平衡因子，然后利用该平衡因子计算出图像当前颜色分量下的带彩色恢复的增强图像：
rmsrcr(x,y)＝c(x,y)·rmsr(x,y)
其中，c(x,y)表示图像的平衡因子，i为图像的通道标识，ii(x,y)表示图像的第i个通道，g和α为超参数，rmsr(x,y)表示多尺度retinex算法下图像的log输出，rmsrcr(x,y)为图像该通道下的log输出；
s327、将计算出的r、g、b三个分量的增强图像合并成最终的输出图像。
再将处理后的图像用暗通道先验进行处理，具体步骤如下：
s331、将r、g、b三个通道的图像放在一起求最小，得到暗通道先验的图像；
s332、对暗通道先验的图像进行最小值滤波，本实施例中设定的滤波窗口大小为图像尺寸的1％；
s333、计算步骤s332得到的图像的白膜透射率，本实施例中，将255减去滤波后的暗通道先验图像，然后用该图像所有像素值的和与图像尺寸的比值作为透射率的估值；
s334、将最小值滤波后的暗通道先验图像中的最大像素值与设置阈值取最小，得到单通道先验理论下的伪大气光成分，本实施例中设置阈值为210；
s335、将图像分成r、g、b三个颜色通道分别计算增强图像，计算公式如下：
其中，i为输入图像，t为透射率，a为大气光成分，j为增强后的图像；
s336、将步骤s335中输出的图像做导向滤波后进一步分通道计算增强图像，输出的通道图像作为最终输出的增强图像的通道图像，本实施例中，导向滤波窗口大小参数设置为暗通道先验滤波时窗口大小的4倍，允许误差设置为1e-6；
s337、将上述步骤输出的三个通道的图像重新合并为新图，作为最终的输出图像。
对于第二幅输入图像，其色调丰富度指标计算出大于阈值，其色调分布比较复杂，采用msr_hsv算法进行图像增强处理；具体步骤如下：
s311、准备不同尺度的高斯核，并利用快速傅里叶变换将其变换到频域，本实施例中使用的高斯核的尺度分别为15、80、250；
s312、将图像的s分量和v分量分别利用快速傅里叶变换变换到频域；
s313、在频域内将不同尺度的高斯核与图像的s分量和v分量分别进行点乘，再利用逆傅里叶变换变换为空间域；
s314、将步骤s313产生的不同尺度的输出图像在对数域下与原图像的s分量和v分量分别进行差分作为响应尺度下对场景中照射图像的估值，本实施例中，为了数值计算稳定，将差分得到的图像进行了加一；
s315、将步骤s314产生的不同尺度的输出图像加权作为对场景中照射图像在s分量和v分量的估值，本实施例中使用的是加权平均的方法，权重分别为：0.33、0.33、0.34；
s316、将步骤s315产生的两幅估计图像实数化，并对其进行直方图截断，本实施例中将直方图在0.03和0.97处进行截断；
s317、将步骤s316得到的s分量和v分量与原始图像的h分量合并，并重新转换为rgb空间，将输出图像作为msr_hsv算法的输出图像。
由上述可知，本实施例图像增强方法在进行图像增强时，对于输入图像进行色调丰富度评估，为色调较为复杂的自然图像选择改进的hsv空间的多尺度retinex算法进行增强，对色调较为简单的图像选择原始的带色彩恢复的多尺度retinex算法进行处理，并加入暗通道先验的假设，进行后续的白膜处理。改进的hsv空间的多尺度retinex算法利用hsv空间中色调、饱和度、亮度分离的性质，并观察到对于色调较为复杂的自然图像，原始带色彩恢复的多尺度retinex算法会带来颜色混淆的问题，而巧妙的将其转到hsv空间处理，在本发明中，假设s分量和v分量变换，而图像色调h分量不变进行多尺度retinex处理，从而很好的恢复了色调较为复杂的自然图像的颜色，且没有带来整幅图像颜色的混淆；对于色调较为简单的图像，原始带色彩恢复的多尺度retinex算法能够很好的恢复出色调，但由于算法将图像转换到对数空间，使得恢复出的图像有明显的白膜效果。针对该白膜效果，本发明将其视为一种雾化效果，并认为该雾化的图像与自然雾化的图像性质表现类似，满足暗通道先验的特性。本发明后续利用暗通道先验的思想对图像进一步增强，实现更佳的效果。由于本发明针对更普遍的自然场景的输入图像根据色调丰富性进行精细分类，分别处理，使得本发明的解决方案能够更加泛化的用到自然场景图像中。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。