航空滤光片阵列多光谱图像条带灰度调整方法

1.本发明属于航空图像处理技术领域。


背景技术：

2.近年来，光谱相机已经成为重要的光电遥感载荷，其中滤光片阵列多光谱相机因其较低的平台需求，被广泛应用到无人机多光谱遥感中。滤光片阵列多光谱相机同一时刻可获取多个波段条带图像数据，再对不同时刻获取的多波段条带图像数据进行裁剪拼接处理，得到各单波段图像。由于相机在不同时刻成像曝光量存在一定差异，导致裁剪拼接后单波段图像中不同时刻条带间存在明显灰度差异，影响后续图像处理及应用需求。此外，地物灰度差异使得图像光谱特征提取变得困难、特征匹配时误匹配率增加
2.。为满足滤光片阵列多光谱数据的应用要求，必须进行灰度处理。
3.目前，图像灰度处理主要用于图像拼接领域，较为常用的是对图像进行匀光处理，例如：处理单幅图像的mask算法、同态滤波算法、retinex算法
]
等，处理多幅图像的wallis算法、直方图匹配法等。但上述算法在处理滤光片阵列多光谱图像的灰度差异时，效果并不理想。针对滤光片阵列多光谱图像灰度差异，方秀秀等提出了图像灰度线性变换方法，通过图像灰度线性变换模型调整各条带图像灰度。但该方法的图像灰度调整效果过于依赖于图像重叠区域匹配点的数量及分布，当重叠区域提取的匹配点较少、无匹配点或分布较为集中时，无法准确建立图像之间的灰度变换关系，或变换关系存在较大偏差。
4.此外，该方法也是仅考虑了单波段图像间的灰度差异，却忽略了各单波段图像之间的灰度变化关系，灰度调整后多光谱图像地物光谱特征容易出现偏差，无法准确反映地物不同波段特性。


技术实现要素：

5.本发明的目的是根据各波段图像重叠区域灰度均值比的平均值，同时对整张图像各波段进行灰度调整，调整后的拼接图像同一地物灰度一致，降低了对后期图像配准过程中特征提取与匹配影响的航空滤光片阵列多光谱图像条带灰度调整方法。
6.本发明的步骤是：s1、确定各条带图像重叠区域确定各波段条带有效区域的四个顶点坐标，并构建条带图像有效区域模板，按照图像之间平移关系分别将模板1、模板2扩展，再将扩展后模板1和模板2相乘，得到重叠区域模板，再将扩展后模板拆分为第1、2幅第1波段原模板1，然后，模板1分别与两幅多光谱图像中的第1波段图像相乘得到重叠区域图像；s2、图像重叠区域灰度均值基于单波段图像重叠区域，可以计算出图像灰度平均值以及相对于相邻影像的灰度系数，先获得相邻图像间各个波段重叠区域灰度平均值的比例系数，然后，对各波段的比例系数求平均值，得到整张图像的灰度调整系数
相邻的第i幅、第j幅图像进行调整：首先得出第i、j幅图像中第1、2、3、4、5、6、7、8波段重叠区域的平均灰度值a
i1
、a
j1
、a
i2
、a
j2
、a
i3
、a
j3
、a
i4
、a
j4
、a
i5
、a
j5
、a
i6
、a
j6
、a
i7
、a
j7
、a
i8
、a
j8
，然后获得8个波段重叠区域的灰度比c1、c2、c3、c4、c5、c6、c7、c8，则灰度调整系数g
ij
为：g
ij
作为第j幅图像的灰度调整系数，调整后图像重叠区域的灰度与第i幅图像灰度一致；s3、图像灰度调整获得图像灰度调整系数g
ij
后，就对图像进行灰度调整，选择中间的第5幅图像为基准，依次将各灰度调整系数与对应序列图像中的每个像素灰度相乘，各灰度调整系数计算公式如下：
7.本发明的滤光片阵列多光谱图像提出的灰度调整方法较目前方法有更好的灰度处理效果，较好解决了滤光片阵列式多光谱图像灰度不一致问题，调整后的单波段图像整体灰度一致，且能较好保持地物光谱信息，可以满足影像的后期处理及应用需求。
附图说明
8.图1是多光谱图像；图2是图像重叠区域；图3是第1波段重叠区域图像；图4是重叠区域图像灰度比；图5是序列图像平移与重叠区域平均灰度示意图；图6是多光谱图像拼接；图7是相邻图像的匹配点；图8是滤光片阵列多光谱图像拼接；图9是实验图像；
图10是灰度调整对比图；图11是灰度调整后效果对比；图12是灰度调整后局部放大对比图；图13是重叠区域灰度均值差值对比。
具体实施方式
9.滤光片阵列多光谱图像灰度调整技术过程与其他图像的拼接流程基本一致，主要包括空间位置确定、灰度级调整和条带图像裁剪拼接三个步骤。
10.1、图像空间位置确定图像空间位置确定主要包括条带图像投影变换和平移量确定两部分。
11.图像投影变换滤光片阵列多光谱成像时除了记录图像数据外，还记录成像时的平台状态参数信息，例如平台的位置信息(经度l、纬度b、高度h)和姿态信息(俯仰角翻滚角ω、航向角κ等)。因此，选取t1、t2、...、tn时刻n幅多条带图像。根据下面两个式子对各时刻图像进行投影变换。影变换。式中，x、y为投影后像点坐标，单位像素；h为航高；x、y为条带图像上像点坐标，单位毫米；f为相机焦距，单位毫米。a1、a2、a3、b1、b2、b3、c1、c2、c3由第二个式子计算得到。第二个式子中，ω、κ分别为相机的俯仰角、翻滚角和航向角。
12.平移量确定一般情况下，经投影变换后图像只存在平移关系，考虑到经纬度采样误差影响平移量计算精度，故本文采用sift算法确定相邻图像间平移关系。首先利用sift算法依次提取相邻序列中第ti幅图像和第tj幅图像的特征点；然后，利用匹配点对坐标(r
ik
,c
ik
)和(r
jk
,c
jk
)差均值，计算ti和tj时刻条带图像的行列平行量(r
ij
,c
ij
)，如下式所示
13.例如，相邻两幅多光谱条带图像局部sift匹配点如图7所示。计算得到的条带图像行列平行量如图8中的r
12
、c
12
、r
23
、c
23
、r
34
、c
34
、...，这样就确定了条带图像空间上的位置关系。
14.2、各条带图像灰度调整在对多幅图像进行拼接时，为了减小累计误差，一般选择中间图像为基准。而滤光片阵列多光谱图像也是对多幅图像进行灰度调整、图像拼接处理，因此，选择中间序列的多光谱图像作为基准。
15.图像灰度调整主要利用条带图像重叠区域的灰度均值，通过计算相邻多光谱图像中各个波段重叠区域灰度均值，各波段灰度均值比例的平均值用于多光谱图像灰度调整系数。对于不相邻图像，通过相邻图像间灰度传递，依次进行灰度调整。涉及到关键技术主要包括确定各条带图像重叠区域、确定图像灰度调整系数、图像灰度调整3个方面。
16.确定各条带图像重叠区域以8谱段滤光片阵列多光谱相机为例，其多光谱图像数据如图1(a)所示。波段图像过渡区域约为50行，见图1(a)中框线区域。因此，需要计算各波段条带有效区域的四个顶点坐标，并构建条带图像有效区域模板，如图1(b)所示。
17.以两幅相邻多光谱图像中第1波段图像为例，按照图像之间平移关系分别将模板1、模板2扩展，如图2(a)、(b)所示。再将扩展后模板1和模板2相乘，如图2(c)所示；得到重叠区域模板如图2(d)所示；再将扩展后模板拆分为第1、2幅第1波段原模板1，如图2(e)、(f)所示。
18.然后，模板1分别与两幅多光谱图像中的第1波段图像相乘得到重叠区域图像，如图3所示。图3中上面两幅分别为第1、2幅中的第1波段图像，图3中下面两幅分别为第1、2幅中第1波段的重叠区域图像。
19.计算图像重叠区域灰度均值基于单波段图像重叠区域，可以计算出图像灰度平均值以及相对于相邻影像的灰度系数。但使用单波段图像灰度系数调整图像灰度，容易破坏地物在不同波段下的光谱特性。因此，先计算出相邻图像间各个波段重叠区域灰度平均值的比例系数，然后，对各波段的比例系数求平均值，得到整张图像(各波段)的灰度调整系数。
20.以8谱段滤光片阵列多光谱序列图像中相邻的第i幅、第j幅图像为例进行调整，如图4所示。
21.首先计算第i、j幅图像中第1、2、3、4、5、6、7、8波段重叠区域的平均灰度值a
i1
、a
j1
、a
i2
、a
j2
、a
i3
、a
j3
、a
i4
、a
j4
、a
i5
、a
j5
、a
i6
、a
j6
、a
i7
、a
j7
、a
i8
、a
j8
，然后计算8个波段重叠区域的灰度比c1、c2、c3、c4、c5、c6、c7、c8，则灰度调整系数g
ij
为：gij
作为第j幅图像的灰度调整系数，调整后图像重叠区域的灰度与第i幅图像灰度基本一致。
22.图像灰度调整求出图像灰度调整系数g
ij
后，就可以对图像进行灰度调整。例如，以9幅多光谱条带图像为例，图像平移关系与重叠区域灰度值示意图如图5所示。
23.选择中间的第5幅图像为基准，依次将各灰度调整系数与对应序列图像中的每个像素灰度相乘，各灰度调整系数计算公式如下：
24.图像裁剪拼接通过对灰度调整后序列图像的各单波段图像进行裁剪，并按照图像间平移关系进行拼接，就得到了灰度一致的滤光片阵列多光谱单波段图像，如图6所示(为了方便表示，将条带图像按照飞行方向投影形成一维数据进行显示)。
25.实验与分析为了验证本发明提出算法的可行性，采用了某航拍无人机滤光片阵列多光谱相机拍摄某地区的多光谱图像数据进行验证实验。其中，前6张序列多光谱图像如图9所示。
26.裁剪拼接和本文灰度调整后第1波段图像如图10所示。从图10(a)中可以明显看出，直接对多光谱图像数据进行拼接的单波段图像整体灰度不均匀，同一地物存在着较大的灰度差异。图10(b)所示的图像灰度整体比较均匀，说明本文方法较好地解决条带灰度不均的问题。
27.为了更好地说明本文算法的性能，选择了滤光片型多光谱数据灰度一致性校正算法(文献12，方秀秀，黄旻，王德志，等.基于高程和地物光谱约束的多光谱图像预处理算法[j].半导体光电，2020,41(02):264-267+272.)与本发明提出的灰度调整算法进行对比实验。文献12与本文算法处理后的单波段图像如图11所示，对比图像分别为1、3、6、7和8波段图像，其中图11中左边一列、中间一列和右边一列分别为未进行灰度调整、文献12处理和本文算法处理的图像。
[0028]
由图11可知，文献12处理后的第1波段和第8波段图像较好的解决了图像灰度不均匀问题，但相邻时刻条带图像中相同波段重叠区域较小，提取的同名像素数量较少，容易造
成灰度调整系数不准确，使得第3、6、7波段图像中仍存在地物灰度不均匀问题，而且图像中部分条带的灰度差异要比未调整图像还要明显。其局部放大图如图12所示，其中，图12中左侧一列，图12中中间一列和图12中后侧一列分别为未进行灰度调整、文献12处理、本发明算法处理后的3、6、7波段图像。
[0029]
由图12可知，文献12处理后的图像灰度不一致现象更加明显。另外，第4与第5波段由于在重叠区域未提取同名像点，则无法进行灰度调整。所以，当重叠区域的匹配点数量较少时，基于匹配点灰度计算出的灰度线性变换模型具有较大偏差，会增加单波段相邻条带图像间的灰度差异。甚至提不出同名像点出现灰度无法调整的局面。
[0030]
因此，当相邻条带图像重叠率低、重叠区域匹配点数量少以及数量分布不均匀时，文献12的算法无法解决大图像灰度不一致问题，甚至会加大图像中同一区域中地物的灰度差异。而本文算法调整后各单波段图像灰度分布均匀，较好解决了多光谱单波段图像灰度不一致问题。
[0031]
为进一步说明本文算法优越性，分别计算调整后各单波段条带图像重叠区域灰度平均值的差值来说明，如图13所示(仅显示1、3、7波段图像)。
[0032]
图13纵坐标为重叠区域平均灰度差，横坐标为幅序号。如图13中左侧第一幅图序号为1时本文算法灰度差为0.0017，是通过计算第一、二幅第一个波段重叠区域平均灰度差得到的，其他波段方法相同。由图13可知，文献12处理后单波段图像重叠区域灰度均值的差值整体变化较大，说明调整后图像部分区域仍存在较大灰度差异。而本文算法中，重叠区域灰度均值差值差异较小，近似一条直线，说明相邻条带图像灰度变化较小，图像灰度近似一致。
[0033]
由此可知，本文基于相邻图像的重叠区域灰度均值计算的调整系数，充分利用了重叠区域图像的灰度信息，调整后各单波段图像灰度均匀，有效解决了单波段图像中灰度不一致问题。