低照度Bayer图像的增强方法及增强装置与流程

本发明涉及图像处理技术领域，具体而言，涉及一种低照度Bayer图像的增强及装置。

背景技术：

在图像采集和视频监控应用中，经常会遇到夜视或背光较低的场景，此时采集到的图像对比度较低，细节信息丢失严重，给后续图像分析工作带来诸多不便。利用图像增强技术可以有效提升视频监控、图像识别、计算机视觉等系统在低照度情况下的性能。

传统的灰度变化法和直方图均衡法在增强图像的同时也增强了图像中的噪声信息，使图像中的噪声信息含量增加。传统的低照度图像增强算法大多数是建立在非物理模型的基础之上，这种方法虽然可以达到一定的增强效果，但是由于没有物理模型，就没有实际的物理意义，因此不能从科学的角度纠正原始图像因低照度而造成的图像退化。

由于光线不足而造成的低照度图像，若对其进行反转运算，则得到的反转图像在视觉上与雾天图像非常相似，因此可以将去雾算法运用到低照度图像增强过程中。目前，相关技术中提出了一种暗原色先验模型，用于单幅图像去雾，该方法直接使用暗原色来估计透射图，并利用软抠图算法优化透射图，进一步恢复出清晰的图像。虽然这种方法能对浓雾图像进行处理，并且图像具有较少的Halo效应，但是软抠图算法计算量大，耗时长，严重限制了其实际应用。其实，传统的基于暗原色先验的去雾方法未考虑伪雾图像其“雾”的浓度是由于光照而非景深决定的这一特性，从而计算的透射率不够精确，以及导致伪雾图像的去雾效果不佳，继而影响图像增强的效果。同时，目标大多数基于暗原色先验去雾算法的图像增强方法都是在RGB图像上进行，其处理的数据总量大，运算效率不高，且硬件资源消耗大，难以进行嵌入式开发。

因此需要一种新的图像增强技术来对低照度图像进行增强处理。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本发明的目的在于提供一种低照度Bayer图像的增强方法及增强装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一个方面，提供一种低照度Bayer图像的增强方法，包括：

将待处理的低照度Bayer图像进行反转运算，得到伪雾图像；

计算所述伪雾图像的大气光值和透射率；

根据所述大气光值、所述透射率和所述伪雾图像，生成去雾图像；

对所述去雾图像进行反转运算，得到所述低照度Bayer图像的增强图像。

在本发明的一种示例性实施例中，计算所述伪雾图像的大气光值的步骤，包括：

对所述伪雾图像进行降采样处理，得到所述伪雾图像对应的红色子图、绿色子图和蓝色子图；

分别计算所述红色子图、绿色子图和蓝色子图的暗通道图；

按照亮度由大到小的顺序，从所述红色子图、绿色子图和蓝色子图的暗通道图中选取预定数量个像素点；

在所述伪雾图像中与所述预定数量个像素点的位置相对应的像素点中，分别计算红色分量、绿色分量和蓝色分量的亮度最大值；

根据所述红色分量、绿色分量和蓝色分量的亮度最大值，确定所述伪雾图像的大气光值。

在本发明的一种示例性实施例中，通过以下公式分别计算所述红色子图、绿色子图和蓝色子图的暗通道图：

其中，M(y)表示所述红色子图、绿色子图和蓝色子图中的任一子图，N(x)表示所述任一子图中以像素点x为中心的窗口邻域内的像素，M^dark(x)表示所述任一子图的暗通道图。

在本发明的一种示例性实施例中，计算所述伪雾图像的透射率的步骤，包括：

计算所述伪雾图像的亮度分量图，并估算所述伪雾图像的透射率图；

根据所述伪雾图像的亮度分量图和估算出的所述透射率图，计算所述伪雾图像的透射率。

在本发明的一种示例性实施例中，计算所述伪雾图像的亮度分量图的步骤，包括：

根据所述伪雾图像中每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量；

根据所述伪雾图像中所有2×2的小块对应的亮度分量，计算所述伪雾图像的亮度分量图。

在本发明的一种示例性实施例中，根据以下公式计算所述每个2×2的小块对应的亮度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个红色像素的像素值，B表示所述每个2×2的小块内的蓝色像素的像素值，R表示所述每个2×2的小块内的红色像素的像素值，Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量。

在本发明的一种示例性实施例中，根据以下公式生成所述去雾图像：

其中，I_r(x)表示所述伪雾图像，t(x)表示透射率，A表示所述大气光值，J_r(x)表示所述去雾图像。

在本发明的一种示例性实施例中，在生成所述去雾图像之前，还包括：

计算所述伪雾图像对应的完整的指定颜色分量；

以所述伪雾图像对应的完整的指定颜色分量为导向，对所述透射率进行导向滤波处理，以对所述透射率进行优化。

在本发明的一种示例性实施例中，在所述指定颜色分量为绿色分量的情况下，计算所述伪雾图像对应的完整的绿色分量的步骤，包括：

基于颜色插值法恢复所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量；

根据所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量，以及所述伪雾图像中的绿色像元，生成所述伪雾图像对应的完整的绿色分量。

根据本发明的另一方面，提供了一种低照度Bayer图像的增强装置，包括：

第一处理单元，用于将待处理的低照度Bayer图像进行反转运算，得到伪雾图像；

计算单元，用于计算所述伪雾图像的大气光值和透射率；

生成单元，用于根据所述大气光值、所述透射率和所述伪雾图像，生成去雾图像；

第二处理单元，用于对所述生成单元生成的所述去雾图像进行反转运算，得到所述低照度Bayer图像的增强图像。

在本发明的一种示例性实施例中，所述计算单元配置为：

对所述伪雾图像进行降采样处理，得到所述伪雾图像对应的红色子图、绿色子图和蓝色子图；

分别计算所述红色子图、绿色子图和蓝色子图的暗通道图；

按照亮度由大到小的顺序，从所述红色子图、绿色子图和蓝色子图的暗通道图中选取预定数量个像素点；

在所述伪雾图像中与所述预定数量个像素点的位置相对应的像素点中，分别计算红色分量、绿色分量和蓝色分量的亮度最大值；

根据所述红色分量、绿色分量和蓝色分量的亮度最大值，确定所述伪雾图像的大气光值。

在本发明的一种示例性实施例中，通过以下公式分别计算所述红色子图、绿色子图和蓝色子图的暗通道图：

其中，M(y)表示所述红色子图、绿色子图和蓝色子图中的任一子图，N(x)表示所述任一子图中以像素点x为中心的窗口邻域内的像素，M^dark(x)表示所述任一子图的暗通道图。

在本发明的一种示例性实施例中，所述计算单元配置为：

计算所述伪雾图像的亮度分量图，并估算所述伪雾图像的透射率图；

根据所述伪雾图像的亮度分量图和估算出的所述透射率图，计算所述伪雾图像的透射率。

在本发明的一种示例性实施例中，所述计算单元配置为：

根据所述伪雾图像中每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量；

根据所述伪雾图像中所有2×2的小块对应的亮度分量，计算所述伪雾图像的亮度分量图。

在本发明的一种示例性实施例中，根据以下公式计算所述每个2×2的小块对应的亮度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个红色像素的像素值，B表示所述每个2×2的小块内的蓝色像素的像素值，R表示所述每个2×2的小块内的红色像素的像素值，Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量。

在本发明的一种示例性实施例中，所述生成单元配置为根据以下公式生成所述去雾图像：

其中，I_r(x)表示所述伪雾图像，t(x)表示透射率，A表示所述大气光值，J_r(x)表示所述去雾图像。

在本发明的一种示例性实施例中，所述的低照度Bayer图像的增强装置还包括：

优化单元，用于在所述生成单元生成所述去雾图像之前，计算所述伪雾图像对应的完整的指定颜色分量，并以所述伪雾图像对应的完整的指定颜色分量为导向，对所述透射率进行导向滤波处理，以对所述透射率进行优化。

在本发明的一种示例性实施例中，在所述指定颜色分量为绿色分量的情况下，所述优化单元配置为：

基于颜色插值法恢复所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量；

根据所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量，以及所述伪雾图像中的绿色像元，生成所述伪雾图像对应的完整的绿色分量。

在本发明的一些实施例所提供的技术方案中，由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对Bayer图像进行处理，有效减少了图像增强过程中的计算量，进而降低了对系统资源的消耗，提高了图像增强算法的效率，有利于进行嵌入式开发。

在本发明的一些实施例所提供的技术方案中，由于相关技术中提出的暗原色先验模型是直接使用暗原色来计算大气光值的，这并不适用于对Bayer格式的图像进行处理，因此通过对伪雾图像进行降采样处理，然后再来计算伪雾图像的大气光值，使得能够准确计算出Bayer图像的大气光值。

同时，在本发明的一些实施例所提供的技术方案中，对于伪雾图像，影响其观测值的一个重要因子是光照，因此通过计算伪雾图像的亮度分量图，以基于亮度分量图来估算透射率，使得能够计算出更加准确的透射率。而通过对透射率进行优化处理，使得能够得到更加精确、平滑的透射率，进而能够有效增强图像的细节、亮度和清晰度，拉伸图像的对比度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本发明的第一个实施例的低照度Bayer图像的增强方法的流程图；

图2示意性示出了根据本发明的第二个实施例的低照度Bayer图像的增强方法的总体流程图；

图3示意性示出了图2中所示的低照度Bayer图像的增强方法的具体流程图；

图4示意性示出了Bayer格式图像的结构图；

图5示意性示出了根据本发明的实施例的提取Bayer图像中的亮度分量的示意图；

图6示意性示出了Bayer图像的亮度图像和透射图之间的关系示意图；

图7示意性示出了根据本发明的第一个实施例的低照度Bayer图像的增强装置的框图；

图8示意性示出了根据本发明的第二个实施例的低照度Bayer图像的增强装置的框图；

图9A示意性示出了根据本发明的第一个实施例的图像增强处理前后的对比效果示意图；

图9B示意性示出了根据本发明的第二个实施例的图像增强处理前后的对比效果示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示意性示出了根据本发明的第一个实施例的低照度Bayer图像的增强方法的流程图。

参照图1，根据本发明的第一个实施例的低照度Bayer图像的增强方法，包括以下步骤：

步骤S102，将待处理的低照度Bayer图像进行反转运算，得到伪雾图像；

步骤S104，计算所述伪雾图像的大气光值和透射率；

步骤S106，根据所述大气光值、所述透射率和所述伪雾图像，生成去雾图像；

步骤S108，对所述去雾图像进行反转运算，得到所述低照度Bayer图像的增强图像。

以下针对每个步骤进行详细说明：

在步骤S102中，由于反转图像在视觉上与白天的雾天图像非常相似，因此可以将导致雾天图像的图像退化模型运用到低照度图像的增强方法中，即将低照度Bayer图像进行反转运算，得到伪雾图像，进而通过对伪雾图像进行去雾处理来实现对低照度Bayer图像的增强处理。

同时，由于Bayer图像的数据量是RGB图像的数据量的1/3，因此通过直接对低照度Bayer图像进行处理，可以有效减少图像增强过程中的计算量，进而能够降低对系统资源的消耗，提高了图像增强算法的效率，有利于进行嵌入式开发。

对于步骤S104，以下分别介绍如何计算伪雾图像的大气光值和透射率：

根据本发明的示例性实施例，计算所述伪雾图像的大气光值的步骤，包括：

对所述伪雾图像进行降采样处理，得到所述伪雾图像对应的红色子图、绿色子图和蓝色子图；

分别计算所述红色子图、绿色子图和蓝色子图的暗通道图；

按照亮度由大到小的顺序，从所述红色子图、绿色子图和蓝色子图的暗通道图中选取预定数量个像素点；

在所述伪雾图像中与所述预定数量个像素点的位置相对应的像素点中，分别计算红色分量、绿色分量和蓝色分量的亮度最大值；

根据所述红色分量、绿色分量和蓝色分量的亮度最大值，确定所述伪雾图像的大气光值。

在本发明的一种示例性实施例中，通过以下公式分别计算所述红色子图、绿色子图和蓝色子图的暗通道图：

其中，M(y)表示所述红色子图、绿色子图和蓝色子图中的任一子图，N(x)表示所述任一子图中以像素点x为中心的窗口邻域内的像素，M^dark(x)表示所述任一子图的暗通道图。

需要说明的是：由于相关技术中提出的暗原色先验模型是直接使用暗原色来计算大气光值的，这并不适用于对Bayer格式的图像进行处理，因此通过对伪雾图像进行降采样处理，然后再来计算伪雾图像的大气光值，使得能够准确计算出Bayer图像的大气光值。

根据本发明的示例性实施例，计算所述伪雾图像的透射率的步骤，包括：

计算所述伪雾图像的亮度分量图，并估算所述伪雾图像的透射率图；

根据所述伪雾图像的亮度分量图和估算出的所述透射率图，计算所述伪雾图像的透射率。

需要说明的是：由于影响伪雾图像观测值的一个重要因子是光照，因此通过计算伪雾图像的亮度分量图，以基于亮度分量图来估算透射率，使得能够计算出更加准确的透射率。

在本发明的一种示例性实施例中，计算所述伪雾图像的亮度分量图的步骤，包括：

根据所述伪雾图像中每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量；

根据所述伪雾图像中所有2×2的小块对应的亮度分量，计算所述伪雾图像的亮度分量图。

在本发明的一种示例性实施例中，根据以下公式计算所述每个2×2的小块对应的亮度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个红色像素的像素值，B表示所述每个2×2的小块内的蓝色像素的像素值，R表示所述每个2×2的小块内的红色像素的像素值，Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量。

在步骤S106中，根据本发明的示例性实施例，根据以下公式生成所述去雾图像：

其中，I_r(x)表示所述伪雾图像，t(x)表示透射率，A表示所述大气光值，J_r(x)表示所述去雾图像。

需要说明的是，根据大气光值A和透射率t(x)计算去雾图像的公式并不仅限于上述公式，也可以是通过相应的变形公式来进行计算。

在本发明的一种示例性实施例中，在生成所述去雾图像之前，还包括：

计算所述伪雾图像对应的完整的指定颜色分量；

以所述伪雾图像对应的完整的指定颜色分量为导向，对所述透射率进行导向滤波处理，以对所述透射率进行优化。

需要说明的是：通过对透射率进行导向滤波处理，以对透射率进行优化，使得能够得到更加精确、平滑的透射率，进而能够有效增强图像的细节、亮度和清晰度，拉伸图像的对比度。

在本发明的一种示例性实施例中，在所述指定颜色分量为绿色分量的情况下，计算所述伪雾图像对应的完整的绿色分量的步骤，包括：

基于颜色插值法恢复所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量；

根据所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量，以及所述伪雾图像中的绿色像元，生成所述伪雾图像对应的完整的绿色分量。

需要说明的是：由于Bayer图像中的绿色分量为蓝色分量和红色分量的总和，绿色分量居多，而且绿色分量具有更高的信噪比，因此可以以绿色分量为导向进行导向滤波处理。

在步骤S108中，由于伪雾图像是由低照度Bayer图像进行反转运算之后得到的，因此在计算得到去雾图像之后，需要对去雾图像再次进行反转运算，以得到低照度Bayer图像的增强图像。

图2示意性示出了根据本发明的第二个实施例的低照度Bayer图像的增强方法的流程图。

参照图2，通过传感器采集到Bayer格式的低照度图像，对采集到的Bayer格式的低照度图像进行反转运算得到伪雾图像。然后对伪雾图像进行降采样处理，并通过暗原色先验规律估算伪雾图像的大气光值A，同时以伪雾图像的2×2的块为单元提取亮度分量，并基于亮度分量估计透射率，且以绿色分量为导向对透射率进行导向滤波处理来优化透射率，进而基于估算的大气光值A和优化后的透射率得到去雾图像。然后对去雾图像进行反转运算得到增强后的图像。

以下结合图3详细说明图2中所示的图像增强方案：

参照图3：

在步骤S30中，对低照度Bayer图像进行反转运算，得到伪雾图像I_r(x)。

具体地，由于反转图像在视觉上与白天的雾天图像非常相似，因此可以将导致雾天图像的图像退化模型运用到低照度图像增强方法中，即将光线不足而造成的低照度图像I(x)进行反转运算，得到反转图像I_r(x)，公式如下：

I_r(x)＝255-I(x) (公式1)

在公式1中，x是图像中的坐标点；I(x)为低照度图像；I_r(x)为反转后的图像，即伪雾图像。

McCartney提出了大气散射模型，即雾天的图像退化模型，公式如下：

R(x)＝J(x)t(x)+A(1-t(x)) (公式2)

在公式2中，R(x)为白天的雾天图像；J(x)为去雾之后的无雾图像；A是大气光值；t(x)为投射率图，即光线的传播率。

将公式2所示的图像退化模型运用到伪雾图像中可得：

I_r(x)＝J_r(x)t(x)+A(1-t(x)) (公式3)

根据公式3可知：为了得到去雾之后的无雾图像J(x)，需要获得伪雾图像I_r(x)的大气光值A和透射率t(x)。

在步骤S32中，根据Bayer图像中像素的排列方式，对伪雾图像I_r(x)进行降采样操作，再利用暗原色先验规律估算伪雾图像的大气光值A。

由于清晰无雾的图像对应的暗原色图的像素值接近零，而有雾图像对应的暗原色图的像素值较高，这说明低照度图像反转得到的伪雾图同样满足暗原色先验规律，其暗原色图可以很好地估计“雾”的浓度，因此可以采用暗原色先验方法来对环境光值A进行估计。伪雾图像的暗通道图的求解公式如公式4所示：

在公式4中，C为图像的三个颜色通道R、G、B；_N(x)为以像素点x为中心的窗口邻域内的像素；L^C(y)为伪雾图像的三个颜色通道图；L^dark(x)为暗通道图。

然而，本发明处理的是Bayer图像，暗原色先验模型可以表述为：在晴天或无雾的Bayer格式图像局部区域里，至少存在一个像素位置，其亮度值最小。则Bayer图像的暗通道图求解公式为：

在公式5中，N(x)为以像素点x为中心的窗口邻域内的像素；M(y)为伪雾图像；M^dark(x)为暗通道图。

对伪雾图像进行降采样处理，以将Bayer图像分裂成三幅子图，分别为红色子图F₁(x)、绿色子图F₂(x)、蓝色子图F₃(x)。参照图4所示的Bayer图像的结构，伪雾图像中G分量位于奇行奇列和偶行偶列，采样后行数不变，列数减半；B、R分量分别在原伪雾图像中位于奇行偶列和偶行奇列，采样后行数列数均减半。因此，针对Bayer格式的图像，求解大气光值的步骤如下：

(1)利用公式5分别对图F₁(x)、F₂(x)、F₃(x)求得暗通道图

(2)在中按亮度由大到小的顺序选取预定数量(如可以选取前0.1％)个像素点，并记录它们的位置。

(3)根据记录的选取的像素点的位置，在伪雾图像内对应位置像素点中，分别求得R、G、B三个分量的亮度最大值作为三个分量对应的大气光值A_r、A_g、A_b，进而得到伪雾图像的大气光值A＝[A_r,A_g,A_b]。其中，A_r、A_g、A_b分别对应伪雾图像中红色分量、绿色分量和蓝色分量的大气光值。

在步骤S34中，以伪雾图像I_r(x)的2×2的块为单位，提取伪雾图像I_r(x)的亮度分量，再基于伪雾图像的亮度分量估算透射率t(x)。

在真实的雾天情况下，透射率随场景点到观测点之间的距离成指数衰减，距离越远，保留的信息越少，观测的场景与实际场景差别越大。利用了暗原色先验知识去估计透射率t(x)，这种方法在处理真实的有雾图像时效果比较好。对于低照度图像的反转图像，是与雾天图像很相似的伪雾图像，有不同于雾天图像的特殊特性。对于伪雾图像，除了观测距离，影响观测值的一个重要因子就是光照。针对伪雾图像的这种特殊性，采用基于伪雾图像的亮度分量估计透射率，在保持图像的颜色的情况，计算更加精确的t(x)。

参照图5，在提取亮度分量的示意图中，Bayer图像可以看作是以2×2的块为单位，由许多GB/RG小块组成的集合。利用像素间的相似性，可以利用每个2×2小块中的R、G、B像素值提取亮度分量，公式如下：

在公式6中，G^ul和G^lr分别表示Bayer图像中2×2小块中左上角的G值和右下角的G值；Y^ul和Y^lr是分别与G^ul和G^lr相对应的亮度分量，组成亮度图像Y。

基于相关技术中提出的去雾方式直接估算透射率图，由公式6求得伪雾图像的亮度分量图，取透射率图和亮度分量图的相同位置处的像素点来观察透射率和亮度分量之间的关系，具体如图6所示。由图6可以看出Y和t(x)大致关于直线y＝c对称，即满足：

Y(x)-l＝-(t(x)-l) (公式7)

即t(x)＝2l-Y(x) (公式8)

根据本发明的示例性实施例，l可以取0.6。

在步骤S36中，通过导向滤波的方式优化透射率t(x)。

由于上述步骤中估算出的透射率t(x)不够精确和平滑，在图像边缘处的透射率的不连续性容易造成边缘处的白色边带现象。因此可以利用导向滤波器对透射率t(x)进行优化，导向滤波器同双边滤波器类似，是一种保持边缘的平滑滤波器。由于Bayer图像中，绿色分量为蓝色分量和红色分量的总和，并且人眼对绿色分量比较敏感，所以针对Bayer格式的图像的透射率，可以采用基于绿色分量为导向的导向滤波方法，其具体步骤如下：

(1)利用插值方法恢复Bayer格式的伪雾图像中蓝色像元对应的绿色分量G_b(i,j)和红色像元对应的绿色分量G_r(i,j)。

参照图4中所示的Bayer图像的结构，以图4中像素点R₃₂为例，假设Δ_h和Δ_v分别为该像素点在水平方向和垂直方向的梯度，则有：

进而计算像素点R₃₂的G_r(3,2)分量的公式为：

公式10表明：如果Δ_h＞Δ_v，即若水平方向有边缘的概率大于垂直方向，则颜色插值在垂直方向进行；如果Δ_h＜Δ_v，即若垂直方向有边缘的概率大于水平方向，则颜色插值在垂直方向进行；如果Δ_h＝Δ_v，即若该像素点处在平滑区域，则在两个方向都进行插值。

由于Bayer图像中红色像元的排列方式与蓝色像元的排列方式类似，G_b(i,j)的求解方法与公式10相同。颜色插值之后得到了完整的绿色图像G_a。

(2)采用以绿色图像G_a为导向的导向滤波方法优化透射率t(x)，得到优化的透射率t(x)'。

在Bayer图像中，利用导向滤波原理，在像素点m处的中心邻域ω(m)内，优化后投射率t(x)'为完整绿色图像G_a的线a_k性组合：

在公式11中，t(x)'为像素点m处优化后的透射率；G_a(m)为像素点m处的像素值；a_k、b_k为线性组合的两个系数。

公式12拟合了t(x)和t(x)'之间的最小距离：

在公式12中，ε是导向滤波的一个可调函数，需要根据实际情况进行取值。

采用最小二乘法求解公式12，得到系数：

在公式13中，μ_k、为完整绿色图像在邻域ω(m)内的均值和方差，|ω|为邻域内像素的个数；为透射图在邻域ω(m)内的均值。

利用公式11和公式13求得优化的投射率t(x)'更加精确和平滑，改善了图像边缘处因透射率不连续变化造成的白色边带的现象，保持了图像更多的细节信息。

在步骤S38中，根据大气光值A和优化后的透射率t(x)'得到去雾图像J_r(x)，再对J_r(x)进行反转运算得到低照度图像的增强图像。

根据公式3可得：

在求得大气光值A和透射率t(x)'之后，由公式14可得到伪雾图像的去“雾”之后的图像J_r(x)。对去“雾”图像进行反转就得到了低照度图像的增强后的图像J_d(x)，具体公式如下：

J_d(x)＝255-J_r(x) (公式15)

需要说明的是：对于伪雾图像的大气光值的计算步骤和透射率的计算步骤之间执行的先后顺序并不作具体限定，即可以按照图3中所示的流程，先计算大气光值，再计算透射率；或者先计算透射率，再计算大气光值；也可以同时计算大气光值和透射率。

图7示意性示出了根据本发明的第一个实施例的低照度Bayer图像的增强装置的框图。

参照图7，根据本发明的第一个实施例的低照度Bayer图像的增强装置700，包括：第一处理单元702、计算单元704、生成单元706和第二处理单元708。

具体地，第一处理单元702用于将待处理的低照度Bayer图像进行反转运算，得到伪雾图像；计算单元704用于计算所述伪雾图像的大气光值和透射率；生成单元706用于根据所述大气光值、所述透射率和所述伪雾图像，生成去雾图像；第二处理单元708用于对所述生成单元706生成的所述去雾图像进行反转运算，得到所述低照度Bayer图像的增强图像。

根据本发明的示例性实施例，所述计算单元704配置为：

对所述伪雾图像进行降采样处理，得到所述伪雾图像对应的红色子图、绿色子图和蓝色子图；

分别计算所述红色子图、绿色子图和蓝色子图的暗通道图；

按照亮度由大到小的顺序，从所述红色子图、绿色子图和蓝色子图的暗通道图中选取预定数量个像素点；

在所述伪雾图像中与所述预定数量个像素点的位置相对应的像素点中，分别计算红色分量、绿色分量和蓝色分量的亮度最大值；

根据所述红色分量、绿色分量和蓝色分量的亮度最大值，确定所述伪雾图像的大气光值。

根据本发明的示例性实施例，通过以下公式分别计算所述红色子图、绿色子图和蓝色子图的暗通道图：

其中，M(y)表示所述红色子图、绿色子图和蓝色子图中的任一子图，N(x)表示所述任一子图中以像素点x为中心的窗口邻域内的像素，M^dark(x)表示所述任一子图的暗通道图。

根据本发明的示例性实施例，所述计算单元704配置为：

计算所述伪雾图像的亮度分量图，并估算所述伪雾图像的透射率图；

根据所述伪雾图像的亮度分量图和估算出的所述透射率图，计算所述伪雾图像的透射率。

根据本发明的示例性实施例，所述计算单元704配置为：

根据所述伪雾图像中每个2×2的小块内的像素值，计算所述每个2×2的小块对应的亮度分量；

根据所述伪雾图像中所有2×2的小块对应的亮度分量，计算所述伪雾图像的亮度分量图。

根据本发明的示例性实施例，根据以下公式计算所述每个2×2的小块对应的亮度分量：

其中，G^ul和G^lr分别表示所述每个2×2的小块内的两个红色像素的像素值，B表示所述每个2×2的小块内的蓝色像素的像素值，R表示所述每个2×2的小块内的红色像素的像素值，Y^ul和Y^lr分别表示与G^ul和G^lr相对应的亮度分量。

根据本发明的示例性实施例，所述生成单元706配置为根据以下公式生成所述去雾图像：

其中，I_r(x)表示所述伪雾图像，t(x)表示透射率，A表示所述大气光值，J_r(x)表示所述去雾图像。

根据本发明的示例性实施例，如图8所示，根据本发明的第二个实施例的低照度Bayer图像的增强装置800，在具有图7中所示的第一处理单元702、计算单元704、生成单元706和第二处理单元708的基础上，还包括：优化单元802，用于在所述生成单元706生成所述去雾图像之前，计算所述伪雾图像对应的完整的指定颜色分量，并以所述伪雾图像对应的完整的指定颜色分量为导向，对所述透射率进行导向滤波处理，以对所述透射率进行优化。

在本发明的一种示例性实施例中，在所述指定颜色分量为绿色分量的情况下，所述优化单元802配置为：

基于颜色插值法恢复所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量；

根据所述伪雾图像中的蓝色像元对应的绿色分量和红色像元对应的绿色分量，以及所述伪雾图像中的绿色像元，生成所述伪雾图像对应的完整的绿色分量。

基于本发明上述实施例提供的低照度Bayer图像的增强方案，对低照度Bayer图像进行增强的效果如图9A和图9B所示。可见，本发明实施例提供的低照度Bayer图像的增强方案有效突出了原始低照度图像中没有的细节，增强了图像的亮度，拉伸图像的对比度，成功消除了因图像边缘处因透射率不连续性造成白色边带问题，处理后的图像真实性高。同时，由于是基于Bayer图像进行的增强处理，因此有效地减少了资源的消耗，提高了算法的运算速度，有利于嵌入式开发，如可以嵌入FPGA开发具有图像增强功能的相机或摄像机。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。