一种夜晚低亮度图像增强系统的制作方法

本申请属于图像处理技术领域，特别是涉及一种夜晚低亮度图像增强系统。

背景技术：

夜晚城市治安管理是智慧城市建设的重要环节，近年来，无人机技术发展迅猛，将无人机应用于夜晚城市治安管理是未来城市管理的趋势。图像质量是夜晚城市治安管理的关键影响因素，由于夜晚光照不足，不论是专业相机还是消费级相机均无法拍摄到令人满意的夜间图像，因而近年来夜间图像增强技术成为国内外学者的研究热点。在无人机夜晚图片中，图像可读性直接影响了后续的识别检测。

亮度增强是提高图像质量的重要方法，已经广泛应用于水下图像重建，医学图像增强和智能交通领域。但其应用领域与夜晚无人机巡航系统差距较大，例如水下图片增强与陆地实际场景差异较大，医学领域应用主要针对物体较小且精度达微纳米级别的研究；无人驾驶与智能交通领域应用固定在道路交通。上述都是针对其主要的专业领域，对光照和环境条件的依赖性较高。但在实际的无人机巡航智能检测系统中，涉及到的场景很多，如工厂禁地、交通追踪、夜间防盗、黑暗角落行人判别等多个方面，外界环境的干扰极易造成光照不稳定，亮暗波动较大，噪声情况不明朗，增加了城市治安管理的难度，特别是监测地点离无人机距离较远的情况。针对复杂的应用场景，一些适应性较好夜晚图像增强算法被提出。shenj等人提出了通过自适应衰减量化的retinex方法来增强亮度细节(aaqr)；guptab等人提出了利用像素的伽马校正和加权累计概率分布函数来增强图像(agccpf)；guox等人提出一个去雾转换图模型来优化初始照明图，从而更好的重构光照图(lime)；fux等人提出了通过融合光照图初始估计的多阶导数来调整图像亮度(mf)；jiangb等人提出采用带颜色重构的多尺度高斯滤波来分离反射图和光照图(msrcr)；fux等人采用估计反射分量和光照分量来改变亮度。

现有的夜晚低亮度图像增强方法直接应用在无人机巡航系统，存在实时性不足，鲁棒性不足，会产生额外噪声和图像平滑等问题。

技术实现要素：

1.要解决的技术问题

基于现有的夜晚低亮度图像增强方法直接应用在无人机巡航系统，存在实时性不足，鲁棒性不足，会产生额外噪声和图像平滑等问题，本申请提供了一种夜晚低亮度图像增强系统。

2.技术方案

为了达到上述的目的，本申请提供了一种夜晚低亮度图像增强系统，包括图像增强子系统和图像降噪锐化子系统，

所述图像增强子系统包括图像映射拉伸单元和输入图像的尺度因子值最优化单元，

所述图像映射拉伸单元，用于对图像进行增强处理，

所述输入图像的尺度因子值最优化单元，用于根据图像的亮度调整图像的清晰度，

所述图像降噪锐化子系统包括颜色空间转换单元和三维块匹配单元，

所述颜色空间转换单元，用于将图像rgb颜色空间转为ycbcr颜色空间，

所述三维块匹配单元，用于实现图像降噪锐化。

本申请提供另一种实施方式为：所述图像映射拉伸单元为双曲正切曲线映射拉伸单元，所述双曲正切曲线在定义域大于零时，对高亮度抑制，对低亮度拉伸。

本申请提供另一种实施方式为：所述双曲正切曲线映射拉伸单元，根据输入图像的强度对图像增强强度进行加权，减轻高亮度区域的加强处理。

本申请提供另一种实施方式为：所述双曲正切曲线映射拉伸单元，将加权后的图像进行动态范围的拉伸。

本申请提供另一种实施方式为：所述加权系数为图像像素点的r、g和b三个通道平均值。

本申请提供另一种实施方式为：所述输入图像的尺度因子值最优化单元基于黄金分割搜索算法，所述输入图像的尺度因子取值范围为[0.1，9.9]。

本申请提供另一种实施方式为：所述三维块匹配单元包括基本估计模块、最终估计模块和非锐化滤波模块。

本申请提供另一种实施方式为：所述基本估计模块包括第一块匹配子模块、协同硬阈值滤波子模块和第一聚合子模块。

本申请提供另一种实施方式为：所述最终估计模块包括第二块匹配子模块、协同wiener滤波子模块和第二聚合子模块。

本申请提供另一种实施方式为：所述图像增强系统处理后，图像f值、图像置信度、图像基于补丁的对比度质量指标和图像对比度均有提高，其中图像f值综合反映了目标检测的精确率和召回率，是目标检测性能的综合评价指标。

3.有益效果

与现有技术相比，本申请提供的一种夜晚低亮度图像增强系统的有益效果在于：

本申请提供的夜晚低亮度图像增强系统，针对夜晚无人机视觉智能检测系统，研究先进的夜晚低亮度图像增强算法，提出了一种面向无人机视觉智能检测的夜晚低亮度图像增强方法，提高夜晚无人机巡航监控系统的图像质量，进而提高了夜晚目标识别检测准确率，有利于促进当地治安的高效管理。

本申请提供的夜晚低亮度图像增强系统，面向无人机夜晚城市治安管理，提出了融合最优双曲正切曲线和改进的三维匹配块夜晚图像增强方法，更适用于无人机夜晚巡航系统。

本申请提供的夜晚低亮度图像增强系统，面向夜晚无人机视觉智能检测系统，提出了融合最优双曲正切曲线和改进的三维匹配块夜晚图像增强方法，首先，研究最优双曲正切函数的性质，采用加权拉伸的方法将无人机采集的图像进行图像整体亮度增强；通过采用黄金分割算法最大化图像熵，实现参数的最优化；其次，提出在ycbcr空间中结合非锐化滤波技术来改进三维块匹配的增强方法，实现图像降噪锐化处理。

本申请提供的夜晚低亮度图像增强系统，与目前先进的夜晚低亮度图像增强方法相比，在无人机智能检测系统中目标识别准确率和算法运行时间都处于领先地位。对不同类型图像的鲁棒性表现更好，实时性也能满足实际应用要求。

本申请提供的夜晚低亮度图像增强系统，将处理空间从rgb颜色空间转为ycrcb颜色空间进行，直接对y通道进行亮度进行处理，避免了去燥锐化过程对颜色分量的影响。

本申请提供的夜晚低亮度图像增强系统，通过非锐化掩膜滤波改善了三维块匹配算法中图像平滑的问题，实现夜晚低亮度图像的去燥和锐化。

本申请提供的夜晚低亮度图像增强系统，综合考虑了图像亮度和图像目标识别效果，通过最优双曲正切曲线对低亮度图像进行亮度增强。通过非锐化掩膜滤波改进三维块匹配算法，实现图像的去燥和锐化，进而提高目标识别的准确率。

本申请提供的夜晚低亮度图像增强系统，在最优化k值过程采用了黄金分割算法进行自适应最优化，并通过图像亮度选择将k值分为三组，以提高算法的运行效率。

附图说明

图1是本申请的一种夜晚低亮度图像增强系统原理示意图；

图2是本申请的基于非锐化滤波的bm3d算法示意图；

图3是增强前后夜晚行人识别效果图；

图4是不同增强方法对行人识别的结果示意图；

图中：1-图像增强子系统、2-图像降噪锐化子系统、3-图像映射拉伸单元、4-输入图像的尺度因子值最优化单元、5-颜色空间转换单元、6-三维块匹配单元、7-基本估计模块、8-最终估计模块、9-非锐化滤波模块、10-第一块匹配子模块、11-协同硬阈值滤波子模块、12-第一聚合子模块、13-第二块匹配子模块、14-协同维纳滤波子模块、15-第二聚合子模块。

具体实施方式

在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。

aaqr会出现较明显的过度增强，agccpf注重保持平均亮度，出现了黑色的噪点，lime会出现图像平滑，在一些隐蔽区域的增强效果较差，mf和msrcr在实时性指标中优势不明显，且有些场景会产生红色噪点。srie的运行时间过长，不能实现实时性。

参见图1～4，本申请提供一种夜晚低亮度图像增强系统，包括图像增强子系统1和图像降噪锐化子系统2，

所述图像增强子系统1包括图像映射拉伸单元3和输入图像的尺度因子值最优化单元4，所述图像映射拉伸单元3，用于对图像进行增强处理，

所述输入图像的尺度因子值最优化单元4，用于根据图像的亮度调整图像的清晰度，

所述图像降噪锐化子系统2包括颜色空间转换单元5和三维块匹配单元6，

所述颜色空间转换单元5，用于将图像rgb颜色空间转为ycbcr颜色空间，

所述三维块匹配单元6，用于实现图像降燥锐化。

进一步地，所述图像映射拉伸单元3为双曲正切曲线映射拉伸单元，所述双曲正切曲线在定义域大于零时，对高亮度抑制，对低亮度拉伸。

进一步地，所述双曲正切曲线映射拉伸单元，根据输入图像的强度对图像增强强度进行加权，减轻高亮度区域的加强处理。

进一步地，所述双曲正切曲线映射拉伸单元，将加权后的图像进行动态范围的拉伸。

进一步地，所述加权系数为图像像素点的r、g和b三个通道平均值。

双曲正切曲线在定义域大于零时，具有高亮度抑制，低亮度拉伸的特性，能有效应用在夜晚低亮度图像增强，避免图像过度增强。基于最优双曲正切函数的低亮度图像增强方法的参数可自适应调整，能够使用黄金分割算法的最优化参数，不产生伪影，且具有普遍适应性。(1)双曲正切曲线映射拉伸图像

令无人机采集的输入彩色图像为i(x)＝{r(x)，g(x)，b(x)}，r、g、b分别是图像的三个颜色分量，将其归一为[0，1]。其中，x代表了图像像素的位置，包含横纵坐标x,y。然后，利用双曲正切函数的性质进行非线性映射，增强图像亮度。双曲正切函数表达式为：

式中φ是i(x)图像强度的缩放，即φ＝k×i(x)，其中k是输入图像的尺度因子。

为避免过增强，应根据输入图像的强度对图像增强强度进行加权，减轻高亮度区域的加强处理。加权输出表达式为：

iw(x)＝w×i(x)+(1-wd×tanh(k×i(x))(2)

式中，w是输入图像的加权系数。为了最大限度的保持图像的真实性，以该图像像素点的三通道平均值作为权值(w)。

为了使增强效果能广泛分布在整个灰度级，实现全局图像的增强，所以将加权后的图像进行动态范围的拉伸。使得拉伸后的图像为

其中，iw(x)max是加权图像iw(x)的最大灰度值，iw(x)min是加权图像iw(x)的最小灰度值。结合式(2)和式(3)，得到最终的增强公式如下：

由式(4)可知，最终的未知参数只有k，合适的k值对图像增强的结果至关重要。

进一步地，所述输入图像的尺度因子值最优化单元基于黄金分割搜索算法，所述输入图像的尺度因子取值范围为[0.1，9.9]。

图像熵是图像平均信息量的表征参量，熵值越大，图像携带的信息量越多，图像越清晰。论文采用黄金分割算法逐渐逼近最大图像熵，此时对应的k值即为最优值。图像熵的定义为：

式中p(i)是强度i在图像中出现的概率。

采用了根据图像亮度选择k值初始范围的方法，亮度的定义如下：

其中x,y为图像行数和列数，x代表像素坐标。

在无人机夜晚图像增强系统中，根据图像的亮度，考虑了算法运行的效率和实际试验情况，确定了如下方法定义k值初始范围：

三组情况分别代表了夜晚图像几乎没有灯光情况，夜晚图像存在较小区域的灯光情况，正常灯光的夜晚图像。

进一步地，所述三维块匹配单元包括基本估计模块、最终估计模块和非锐化滤波模块。

进一步地，所述基本估计模块包括第一块匹配子模块、协同硬阈值滤波子模块和第一聚合子模块。

进一步地，所述最终估计模块包括第二块匹配子模块、协同wiener滤波子模块和第二聚合子模块。

bm3d去燥是基于变换域增强稀疏表示的图像去噪策略，能更好的保留图像中的一些细节，通过搜索相似块并在变换域进行滤波，得到块评估值，最后对图像中每个点进行加权得到最终去噪效果。但是，去燥后会存在不同程度的图像模糊，为此，本申请研究了非锐化滤波算法，并将其应用于三维块匹配算法中，为了避免在进一步提高夜晚图像质量的同时影响图像的色彩，采用将rgb颜色空间的图像转为ycbcr颜色空间处理。

ycbcr颜色空间为一种颜色空间表述，其中y代表亮度分量，cb代表蓝色色度分量，cr代表红色色度分量。

(1)颜色空间转换

对图像进行降噪锐化处理的过程中，为了提高运行效率和避免对颜色分量产生影响，选择了将图像rgb颜色空间转为ycbcr颜色空间，y表征了图像的亮度信息，而cb，cr表征了图像的颜色信息，后续对y通道进行增强处理，从而避免了图像对颜色信息的影响，减少通道数也能提高算法的效率。rgb颜色空间转ycbcr颜色空间的公式为：

(2)基于非锐化滤波的三维块匹配算法

非锐化滤波能实现图像锐化，将其应用于bm3d中能有效避免去噪过程中的图像模糊，基于非锐化滤波的bm3d算法主要分为三个步骤，分别为基本估计、最终估计和非锐化滤波，具体流程如图2所示

a)基本估计

1)块匹配：查找目标区域的相似块，并将二维图像块叠加为三维数组。

2)协同硬阈值滤波：对匹配后的三维图像块进行三维变换，得到图像群组的稀疏表示，通过对变换稀疏进行硬阈值滤波来减少噪声，然后进行三维逆变换以产生所有分组块的估计，并返回图像域。需要说明的是，“协同”一词是字面意思，意思是每个分组片段协作过滤所有其他片段，因为三维片段是二维片段之间通过块匹配组合而成的，然后进行三维变换，再进行滤波操作，整个过程都是片段之间协作滤除其他片段。

3)聚合：对于三维变换后的同一个相似块可能会出现多个估计值，需要采用加权平均法获得最终的估计值。

b)最终估计：

使用基本估计作为输入，执行改进的分组和协同wiener(维纳)滤波。

1)块匹配：在基本估计中使用块匹配的方式来查找相似块的位置。利用这些位置可以得到两个三维群组，一个来自噪声图像，另一组来自基本估计图像。

2)协同wiener滤波：对两个群组进行三维变换得到变换系数，将基本估计的三维群组作为真实信号的能量谱，利用该能量谱对噪声图像进行协同维纳滤波。对滤波系数进行三维逆变换，推导出所有分组块的最终估计值，并返回到相似块的原来位置。

3)聚合：通过使用加权平均法对所有获得的局部估计进行汇总，计算出真实图像的最终估计值。

c)非锐化滤波：

在y通道进行bm3d最终估计后，我们采用非锐化滤波实现图像锐化，，再转回rgb颜色空间得到最终增强图像。非锐化掩膜滤波主要通过获得图像的非锐化图像，用过图像差分减去非锐化低频信息，进而获得图像的高频分量即校正信号，再与原图叠加得到最终的增强图。

进一步地，所述图像增强系统处理后，图像f值、图像置信度、图像基于补丁的对比度质量指标和图像对比度均有提高,其中图像f值综合反映了目标检测的精确率和召回率，是目标检测性能的综合评价指标。

大多数夜晚低亮度图像增强算法应用在狭窄的专业领域，如水下领域，医疗领域和交通领域，而对于无人机智能检测系统需要适应多场景的复杂环境并不适用，本申请能实现夜晚低亮度无人机图像增强，在采用yolov3模型对增强前后的图像进行行人识别，结果表明，图像增强后的f值提高了46％，置信度提高了38％，pcqi(基于补丁的对比度质量指标)提高了0.35，对比度提高0.02。

本申请提供的夜晚低亮度图像增强系统，与现有的先进方法相比，算法的运行时间表现较佳，对160张图像分别采用上述六种比较算法及本文算法，其平均每张图的运行时间和每秒的帧数如表1所示。可以看出agccpf的运行时间是最短的，每张图的运行时间为0.14秒，每秒运行7.1帧，aaqr、lime和本文方法的运行时间接近，每秒的帧数为3-4帧，而其他三种方法的运行时间较长，实时性性能较差，srie的运行时间达到了10.93秒，很难做到实时增强。因此，本申请能达到无人机智能检测系统的实时性要求，运行时间较佳。从增强效果看，所有先进的夜晚增强方法都能使夜晚图像实现亮度提升，但是有些存在过度增强，有些增强后存在直观上质量很差的黑点噪点；有些增强后存在较严重的红点噪声。相比之下，本申请的系统能较好的实现不同亮度不同场景的亮度增强，同时实现降噪锐化的效果，算法的鲁棒性最高。

表1不同算法运行时间

实验数据的选择：根据灯光亮暗选择了正常灯光、较暗灯光和极暗灯光三组图片；根据场景区域选择了公路和暗道两组图片，根据目标稀疏程度选择了单目标和人群密集区域，另外还考虑了远处小目标的情况，总共8组图像，每组采集了20张图像，共160张，输入图像大小为480x360。本申请所有数据的实验平台为matlab2018a，电脑系统为64位windows7，处理器为intercorei5-6500，3.2ghz，集成显卡，运行内存为8g，本文算法的平均运行时间为0.26秒，每秒3.85帧。

采用yolov3模型进行行人目标识别，从而验证本申请的增强效果。图3是采用yolov3模型对增强前后图像的行人检测结果，可以看到经过本申请的系统增强后，图像亮度很大程度提高，目标信息更加清晰。从行人识别检测结果看也验证了本申请的有效性。目标识别检测中，f值经常被用来客观评价识别检测效果，表2不同组无人机图像行人检测f值和置信度表显示，应用本申请后，各类夜晚低亮度图像增强效果明显，行人检测f值和置信度显著提高。

图3是原图识别结果，图4是本文方法处理后识别结果，灰色方框旁的数字表示置信度。

表2不同组无人机图像行人检测f值及置信度表

本申请不仅能适用无人机夜晚视觉检测系统，而且能适用于复杂环境下的夜晚低亮度图像增强，综合考虑亮度增强和图像锐化去燥。对于其他场景区域，根据其场景亮度，只需将k值最优化参数进行调整即可实现亮度增强。此外，双曲正切曲线在定义域大于零的部分能实现低亮度拉伸，高亮度抑制，利用这个性质，换成其他相应的函数比如利用正弦函数[0,π/2]的区域也能实现图像亮度增强。

尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。