可见光与近红外图像联合处理的植被天空区域检测方法

1.本发明涉及一种可见光、近红外图像联合处理的植被天空区域检测方法，特别涉及植被天空区域概率模板的生成方法，应用到可见光、近红外图像联合处理的效果增强领域。


背景技术：

2.可见光图像(visible image,vis/rgb)通常色彩鲜艳，细节清晰，而近红外图像 (near
‑
infrared image,nir)虽然清晰度较可见光图像低，但是在透雾、夜视等方面有着显著的效果。正因两者各自的优势，rgb
‑
nir图像联合处理在诸多方面得以应用，其中图像融合是一种常见处理方法。
3.但是，在实际处理过程中，可能需要根据不同目的对植被、天空等图像区域进行优化，以达到更好的效果。例如，在图像融合中，对融合结果既需要避免植被区域因融合而亮度过高，又要避免天空区域因融合而亮度过低，使图像整体保持良好的自然度。
4.在《fast single image defogging with robust sky detection》中，作者基于暗通道先验和局部香农熵检测天空区域，然后用检测到的天空改进大气光图与透射率图，以缓解去雾过程中天空区域的过饱和现象。该文章中的天空检测算法准确率较高，但是召回率稍低，即部分天空区域不能检测到。另一方面，该算法天空检测结果为二值化模板，应用较为单一。
5.在《visible and nir image fusion using weight
‑
map
‑
guided laplacian
–
gaussian pyramidfor improving scene visibility》中，提出一种rgb
‑
nir图像融合算法，能够对图像的细节进行增强。但是该算法得到的图像颜色存在偏差，比如植被区域通常亮度过大，而天空区域则通常偏暗。
6.为了准确鲁棒地检测出植被天空区域，并且改善以上述融合算法为例的rgb
‑
nir图像联合处理算法的不足，本发明提出一种可见光、近红外图像联合处理的植被天空区域检测方法，并以一种融合算法为例，说明检测结果在改善其它算法效果中的应用。


技术实现要素：

7.本发明的目的在于利用rgb
‑
nir图像联合处理过程，对目标区域进行差异化处理，以优化处理结果，由此提出利用可见光与近红外图像联合处理的植被天空区域检测方法，包括如下步骤：
8.s1：输入已对齐的rgb
‑
nir图像对；
9.s2:生成植被区域概率模板，包括如下步骤：
10.s21：rgb图像转到灰度域；
11.s22：生成扩展ndvi模板；
12.s23：生成rgb三通道比值模板；
13.s24：以扩展ndvi模板为引导，对rgb三通道比值模板做引导滤波，得到ndvi 引导
的比值模板；
14.s25：融合扩展ndvi模板与ndvi引导的比值模板，得到植被区域概率模板，作为植被检测的结果；
15.s3：生成天空区域概率模板，包括如下步骤：
16.s31：rgb图像转到灰度域；
17.s32：使用retinex算法对rgb与nir图像进行增强，获取rgb图像各通道与nir 图像的反射分量；
18.s33：使用rgb三个通道的反射分量计算反射分量灰度图；
19.s34：基于反射分量灰度图和nir图像生成扩展ndvi模板；
20.s35：使用边缘算子提取rgb灰度图的边缘，得到边缘图像；
21.s36：对边缘图像计算局部香农熵，得到局部熵的图像；
22.s37：获取rgb图像的透射率图；
23.s38：以透射率图为引导，对局部熵的图像做引导滤波，得到透射率图引导的局部熵模板；
24.s39：计算图像的像素高度模板；
25.s310：融合扩展ndvi模板、透射率图引导的局部熵模板和像素高度模板，获得天空区域概率模板，作为天空检测的结果；
26.s4：将植被天空区域检测应用于图像融合算法，用植被区域、天空区域概率模板对rgb
‑
nir图像融合的权重矩阵进行修正，并用修正后的权重矩阵进行图像融合。
27.上述技术方案中，进一步地，所述步骤s22中，计算扩展ndvi模板的方法为：其中，i
gray
表示rgb图像的灰度图，i
nir
表示近红外图像；f
bright
(
·
)为非线性变换函数，作用是压缩亮区和拉伸暗区，以提升对比度；f
norm
(
·
)为归一化函数。
28.进一步地，所述步骤s23中，计算rgb图像三通道比值模板的方法为：其中，i
r
、i
g
、i
b
分别表示r、g、b各通道分量；f
dark
(
·
)为非线性变换函数，与f
bright
(
·
) 相反，其作用是压缩暗区和拉伸亮区；f
norm
(
·
)为归一化函数。
29.进一步地，所述步骤s25中，所述融合扩展ndvi模板与ndvi引导的比值模板的方法为相乘，并对结果归一化，即其中，m
ndvi
表示扩展ndvi模板，表示ndvi引导的比值模板。
30.进一步地，所述步骤s32中，retinex算法原理是，将一幅图像i(x)分解为光照分量 l(x)与反射分量r(x)的乘积，即i
c
(x)＝r
c
(x)l
c
(x)，c∈{r，g，b，nir}光照分量即自然的光线，反射分量则是物体真实的样貌，光线在物体表面发生反射后，两种分量相耦合。为了获得图像的反射分量，需要对光照分量进行估计，一般可以用原始rgb 图像的高斯滤波结果作为光照分量的近似，即
l
c
(x)≈gaussf
ω，θ
(i
c
(x))其中，gaussf
ω，θ
(
·
)表示高斯滤波，ω和θ为高斯滤波函数的参数。最终，在对数域计算图像的反射分量log(r
c
(x))＝log(i
c
(x))
‑
log(i
c
(x))
31.进一步地，所述步骤s34中，计算扩展ndvi模板的方法为其中，r
gray
表示反射分量的灰度图，r
nir
表示近红外图像的反射分量。
32.进一步地，所述步骤s37中，获取rgb图像的透射率图的方式采用《fast single imagedehazing using saturation based transmission map estimation》中提出的算法。
33.进一步地，所述步骤s39中，一幅图像顶部有更大概率为天空区域，而底部为天空区域的概率较小，以此为根据生成图像的像素高度模板，第一行概率为1，向下逐行非线性减小。
34.进一步地，所述步骤s310中，融合三种模板的方式为相乘，并对结果归一化，即m
sky
＝f
norm
(m
ndvi
·
m
en
·
m
height
)其中，m
ndvi
表示扩展ndvi模板，m
en
表示透射率图引导的局部熵模板，m
height
表示像素高度模板。
35.进一步地，所述步骤s4中，所述图像融合算法为《visible and nir image fusion using weight
‑
map
‑
guided laplacian
–
gaussian pyramid for improving scene visibility》中提出的算法，所述权重矩阵为该算法中rgb和nir图像的权重矩阵，分别以w
v
(x，y)和w
nir
(x，y)表示。所述修正方式为对nir图像的权重矩阵按照如下公式进行修正其中，w
nir
(x，y)为nir图像的权重矩阵。
36.本发明的有益效果为：本发明方法可以准确、鲁棒地检测出植被天空区域，在公开数据集上测试，检测结果有很高的准确率与召回率。本发明将检测的植被区域和天空区域概率模板引入图像融合算法，使最终融合结果相对不加入检测的结果在保留细节增强效果的同时，在视觉上更加真实、自然。并且，本发明具有普适的应用价值，在rgb
‑
nir图像联合处理中都能得以进一步开发应用。
附图说明
37.图1为本发明算法整体框架。
38.图2为本发明植被区域概率模板生成算法。
39.图3为本发明植被区域概率模板生成过程中的图像：(a)rgb图；(b)nir图；(c) 扩展ndvi图像；(d)比值图像；(e)导向滤波后的比值图像；(f)最终植被概率模板图。
40.图4为本发明天空区域概率模板生成算法。
41.图5为本发明nir图像与rgb图像各通道的反射分量：(a)rgb图；(b)nir图； (c)nir反射分量；(d)r通道反射分量；(e)g通道反射分量；(f)b通道反射分量。
42.图6为本发明天空区域概率模板生成过程中的图像：(a)rgb图；(b)nir图；(c) 扩
展ndvi图像；(d)局部熵图像；(e)导向滤波后的局部熵图像；(f)最终天空概率模板图。
43.图7为本发明植被检测结果展示与对比：(a)rgb图；(b)nir图；(c)传统的ndvi 指标；(d)本发明提出的植被检测结果。
44.图8为本发明天空检测结果展示与对比：(a)rgb图；(b)nir图；(c) salazar
‑
colores算法的检测结果；(d)zafarifar算法的检测结果；(e)本发明算法的天空检测结果。
45.图9为本发明图像融合结果及其与修正前结果的对比：(a)rgb图；(b)nir图；(c)无修正的原始算法的融合结果；(d)本发明算法的融合结果。
具体实施方式
46.以下结合具体实施例和附图进一步说明本发明。实施例
47.本发明方法的整体框架如图1，框架中两个主要模块，植被区域概率模板生成算法流程如图2，天空区域概率模板生成算法流程如图4。
48.根据本发明提出的算法，首先将图3(a)的原始rgb图像转化为灰度图，然后用此灰度图与图3(b)的nir图像计算扩展ndvi模板：其中，i
gray
表示rgb图像的灰度图，i
nir
表示近红外图像；f
bright
(
·
)为非线性变换函数，作用是压缩亮区和拉伸暗区，以提升对比度。f
norm
(
·
)为归一化函数。在本实施例中，)为归一化函数。在本实施例中，本实施例中参数取α＝10，β＝0.5，γ＝0.22，计算得到的扩展ndvi模板如图3(c)所示。
49.然后基于图3(a)的rgb图像计算三通道的比值模板：其中，i
r
、i
g
、i
b
分别表示r、g、b各通道分量；f
dark
(
·
)为非线性变换函数，与f
bright
(
·
) 相反，其作用是压缩暗区和拉伸亮区；f
norm
(
·
)为归一化函数。在本实施例中，f
dark
(x)＝1
‑
f
bright
(1
‑
x)计算得到的比值图像如图3(d)所示。
50.以扩展ndvi模板为引导图，对rgb三通道比值模板做引导滤波：其中，guidf
τ，∈
(
·
)表示引导滤波，τ和∈表示引导滤波函数的参数，得到ndvi引导的比值模板如图3(e)所示。
51.融合扩展ndvi模板与ndvi引导的比值模板：得到植被区域概率模板如图3(f)所示。
52.植被区域概率模板与传统ndvi指标对比结果如图7所示，传统ndvi指标计算：
53.传统的ndvi指标如果用于计算机视觉领域的植被检测，存在两个明显的缺点，其一是植被区域相对于背景对比度不高，以图7场景1
‑
3(c)中的图像为例，植被区域不能有非常明显的区分；其二是存在r通道为极限值的情况，如图7场景2，红框中的天空区域在原 rgb图中r通道值接近0，导致传统ndvi模板中该区域的概率值接近0，与实际不符合。本发明提出的算法在上述两个问题上有明显的改善。从误检测的角度考虑，算法将传统的 ndvi做了延伸，避免了单个通道为极限值的不利状况，图7场景2(d)为本发明提出的植被区域概率模板，红框中检测结果已经正确；从对比度的角度考虑，在ndvi的基础上引入 rgb图像三通道比值，有效增强了植被区域检测结果的对比度，图7场景1
‑
3中(d)相对于 (c)，在保证检测正确的前提下，对比度有了明显的提升。
54.然后进行天空区域概率模板的生成，首先对图6(a)的原始rgb和nir图像做retinex 算法的预处理，以提取图像的反射分量。retinex算法原理是，将一幅图像i(x)分解为光照分量l(x)与反射分量r(x)的乘积，即i
c
(x)＝r
c
(x)l
c
(x)，c∈{r，g，b，nir}光照分量即自然的光线，反射分量则是物体真实的样貌，光线在物体表面发生反射后，两种分量相耦合。为了获得图像的反射分量，需要对光照分量进行估计，一般可以用原始rgb 图像的高斯滤波结果作为光照分量的近似，即l
c
(x)≈gaussf
ω，θ
(i
c
(x))最终，在对数域计算图像的反射分量：log(r
c
(x))＝log(i
c
(x))
‑
log(l
c
(x))nir图像以及rgb各个通道的反射分量如图5所示。
55.使用反射分量计算扩展ndvi模板，需要对rgb各通道的反射分量计算灰度图：p
gray
＝0.299r
r
+0.587r
g
+0.114r
b
并利用其与图6(b)中nir图像的差异表征扩展ndvi：扩展ndvi模板如图6(c)所示。
56.用边缘算子提取图6(a)rgb图像的灰度图的边缘，得到边缘图像。在本实施例中，提取边缘的边缘算子采用sobel算子：其中，i
gray
表示rgb图像的灰度图，f
x
，f
y
分别代表水平、垂直方向的sobel算子，*表示卷积操作。
57.在边缘图像上计算局部香农熵：其中，l表示灰度级，在本实施例中为l＝256，p
i
表示表示灰度值i出现在像素k处的窗口ω
k
中的概率。结果得到的局部熵图像如图6(d)所示。
58.对图6(a)的rgb图像采用《fast single image dehazing using saturation basedtransmission map estimation》中提出的算法获取透射率图i
transmission
。
59.以透射率图i
transmission
为引导，对局部熵图像进行引导滤波：得到引导滤波后的局部熵模板如图6(e)所示。
60.根据一幅图像顶部有更大概率为天空区域，而底部为天空区域的概率较小，生成顶部为1，向下逐行减小的像素高度概率模板，在本实施例中，其中，r表示像素所在行数，h表示图像总高度。
61.融合扩展ndvi模板、透射率图引导的局部熵模板和像素高度模板：m
sky
＝f
norm
(m
ndvi
·
m
en
·
m
height
)最终生成的天空区域概率模板如图6(f)所示。
62.本发明提出的天空区域检测算法的效果与另外两种天空检测算法对比结果如图8所示。《fast single image defogging with robust sky detection》中，salazar
‑
colores等提出的算法得到的天空检测结果如图8(c)所示，《fast single image defogging with robust sky detection》中， zafarifar等提出的算法如图8(d)所示，本发明方法的天空检测结果如图8(e)所示。
63.本发明的算法与salazar
‑
colores等提出的算法对比，如图8(c)和(e)，两种算法在检测效果上相差不大，但是本发明的一个优势在于生成的是概率模板，在一些涉及概率、权重等数据的算法中更加适用，并且概率模板的形式可以保留图像更多的纹理细节信息，一定程度上可以防止细节的减弱，因而实际使用更加灵活可靠。
64.本发明的算法与zafarifar等的算对比，如图8(d)和(e)，观察对比图像，在图8场景1 中，结果差距主要体现在地平线处，本发明的算法在地平线出有更精确清晰的划分，同时对远处山脉的检测结果也更加准确。在图8场景2中，天空区域及边缘结果相差不大，但是在非天空区域中，zafarifar等的算法将白色墙体检测为天空，而本发明算法不存在此种问题。在图8场景3中，本发明算法在与天空颜色相近的水面处的检测更为准确。
65.对图9(a)(b)的rgb
‑
nir图像用《visible and nir image fusion using weight
‑
map
‑
guidedlaplacian
–
gaussian pyramid for improving scene visibility》中的算法进行融合，w
v
(x，y)和 w
nir
(x，y)分别表示rgb和nir图像的融合权重，融合结果如图9(c)。
66.使用植被区域、天空区域概率模板对上述算法中nir图像的融合权重进行修正，即修正后融合结果如图9(d)所示。
67.原始算法的融合结果在色彩自然度上存在一些问题。如图9场景1(c)，黄框中，云层出现一些原本不存在的颜色，而红框中植被区域亮度过大，导致视觉上非常不自然。同样在图9场景2和场景3的(c)中，植被区域也有亮度过大的问题。而在图9场景3(c)中，天空区域因受nir图像影响过大，导致融合结果中天空较为昏暗。
68.引入植被区域概率模板之后，在保持融合细节增强的同时，融合结果相对原rgb图像色彩也有所增强，但是又不会出现失真的状况，如图9(d)。
69.对于天空区域，图9场景1和场景2(c)中上述天空区域的问题，在加入天空区域概率模板之后显著改善，既保留了整体融合结果细节的增强，又确保了天空区域视觉上的真实、自然。