一种基于深度学习和光照模型的航空遥感影像阴影去除方法

1.本发明属于遥感影像处理的应用技术领域，涉及一种航空遥感影像阴影去除方法，本发明还包括该方法的应用。


背景技术：

2.当光线被地面上的物体(如建筑物、高架构筑物、植被)遮挡时，物体的侧面和地面就会形成阴影。阴影在遥感图像中很常见，会造成信息丢失，尤其在建筑物密集的城市地区。如果能够准确提取阴影，阴影信息不仅可以用于建筑物的3d重建，还可以作为阴影恢复的重要信息来源。此外，阴影区域的准确信息恢复能够极大地促进遥感图像的进一步应用，特别是在城市遥感的地物分类和信息反演方面。
3.阴影提取的相关的方法可主要分为基于模型的方法、基于特征的方法和机器学习方法：
4.(1)基于模型的方法通常需要许多先决条件，包括传感器参数、太阳高度和方位角，才能确定阴影的位，其中最常用的是数字表面模型。然而，这些先决条件往往难以获得，因此这类方法并不适合大多数阴影检测场景。
5.(2)基于特征的方法涉及特征分类和分割，但这类方法的鲁棒性不高，在不同数据上的应用差异大。
6.(3)机器学习方法在过去几年取得了较大进展，在阴影提取领域也得到了广泛的应用。但目前的数据集大多基于单阴影场景，不太适用于复杂背景下的大尺度遥感图像。此外，已开发的网络在发现更多隐藏特征和提取精细阴影方面需要改进。
7.对于阴影信息补偿，传统方法大多是基于单个阴影的信息恢复，首先将阴影和非阴影区分开来，通过数学和物理模型从非阴影区域补偿阴影区域的信息，可分为传统阴影信息补偿方法，包括梯度校正法，直方图均衡法，线性相关校正法，以及机器学习相关方法：
8.(1)梯度校正通过计算从非阴影区域到阴影区域的梯度变化来修正阴影区域的梯信息。
9.(2)直方图均衡法通过将非阴影区域的直方图信息均衡到阴影区域来补偿阴影。
10.(3)线性相关校正法应用线性相关函数来重建阴影区域，并根据相应的非阴影区域的统计特征，通过调整阴影像素的强度来补偿阴影区域。
11.但是传统阴影补偿大部分仅适用于简单的单阴影影像，对复杂场景的大尺度遥感影像难以应用，且在信息补偿时往往将阴影边缘与阴影做同等处理，导致阴影边缘过渡补偿。
12.(4)机器学习方法，模型具有很强的泛化能力，可以通过迁移学习在多个场景中进行阴影信息恢复。但由于遥感影像无法获得阴影/无阴影影像对作为数据集，目前基于机器学习的阴影补偿方法还未能在遥感影像上得到有效应用。
13.综上所述，目前遥感影像的阴影提取与信息补偿方法仍存在不足，特别是大尺度遥感影像的阴影有效补偿，仍处于研究初期。


技术实现要素：

14.本发明要解决的技术问题是航空遥感影像受到阴影影响严重，已有阴影提取方法对细小和复杂背景的阴影提取效果有限，且目前阴影信息补偿方法对大尺度遥感影像不适用。
15.为了解决上述技术问题，本发明提供了一种基于深度学习和光照模型的遥感影像阴影去除方法，包括如下步骤：
16.(1)数据集准备：获取航空影像阴影数据集，包括原始包含阴影的影像和人工绘制的阴影掩膜，然后将原始影像从rgb空间转换到ycbcr空间，并在此空间计算阴影指数si以增强阴影的特征，将si与原始影像结合构成网络的输入数据。
17.(2)基于步骤(1)制作的数据集，使用cgan网络来训练生成提取阴影。
18.(3)对于步骤(2)生成的提取阴影，统计阴影影像半影所占像元宽度，利用形态学处理方法生成的提取阴影划分本影、半影和非阴影。
19.(4)分离本影区域和非阴影区域，在光照模型基础上，采用一种修正的直射光强和环境光强比值法对提取阴影区域进行信息补偿。
20.(5)对于步骤(3)获得的半影区域，以单像元宽度作为步长，在半影范围内，计算单像元宽度内环直射光强与环境光强比值，利用一种动态比值法对半影区域进行信息补偿。
21.优选的，获取航空影像阴影数据集包括通过航空影像采集设备获取或者收集航空影像电子数据获取的航空影像阴影数据。
22.优选的，步骤(1)数据集预处理包括：
23.(1)获取航空影像阴影数据集，包含阴影和阴影掩膜影像对，将阴影影像从rgb空间转化到ycbcr空间，所述ycbcr空间的定义如下：
[0024][0025]
式中，y为亮度分量，cb和cr为蓝差和红差色度分量，相当于hsi空间中的强度(intensity，i)、饱和度(saturation，s)和色度(hue，h)，his由三者英文名称缩写构成。
[0026]
(2)将ycbcr空间中的阴影通过阴影指数(shadow index,si)进行增强，所述si的具体定义如下：
[0027][0028]
(3)将si与原始阴影影像组合成四波段的影像作为预处理后的数据集
[0029]
优选的，步骤(2)使用cgan网络来训练生成提取阴影：
[0030]
优选的，所述cgan网络包括生成器g和鉴别器d，其中g用于生成与参考阴影掩膜接近的影像，d用于区分生成的提取阴影与参考阴影掩膜的差异。
[0031]
所述cgan网络的目标函数：
[0032][0033]
式中，原始阴影影像c1和阴影指数c2组成的约束条件c(c1，c2)为cgan网络的输入，生成提取阴影为x为生成提取阴影对应的参考阴影掩膜。
[0034]
优选的，所述cgan网络的损失函数为l1 loss。
[0035]
优选的，步骤(3)利用生成的提取阴影划分本影、半影和非阴影。
[0036]
根据光照条件不同，阴影可以分为本影和半影。本影由太阳直射光强被完全遮挡产生，而半影由太阳直射光强被部分遮挡形成。半影一般位于阴影到非阴影的过渡地带，从本影区到非阴影区域，太阳直射光强逐渐增加，阴影强度逐渐减弱。根据以上理论，统计半影的宽度可知半影一般在5个像元宽度范围内，所获得的提取阴影一般包含大部分半影，而小部分阴影强度过低的半影则不会被检测到。
[0037]
对于步骤(2)获得的提取阴影r
mask
，将其向内腐蚀3个像元的宽度，得到腐蚀后提取阴影r
umbra
作为本影区域；将r
mask
向外膨胀2个像元的宽度得到r
dilate
，则半影r
pen
定义为r
pen
＝r
umbra
∩r
dilate
，非阴影区域r
unshadow
定位为，r
unshadow
＝1-r
dilate
[0038]
优选的，步骤(4)采用一种修正的直射光强和环境光强比值法对提取阴影进行信息补偿。
[0039]
优选的，根据图像形成理论，对于影像中任意一个像素点i的值ii可表示为该像素点的光照强度li与该点反射率ri的乘积：i＝li·ri
。
[0040]
光照强度，以下简称光强，包括直接照度和环境照度，其中直接照度来自太阳直接辐射，环境光强来自天空散射。
[0041]
优选的，阴影区域由环境光强和部分或无直接照度形成的，而非阴影区域由直接光强及环境光强组成。则任何像素的值i可以表示为：
[0042][0043]
式中，对于像素i，为环境光强，为直接光强，α为直接照度的衰减因子。其中，α＝1表示该像素位于非阴影区域；α＝0表示该像素位于本影中；α∈(0，1)表示该像素位于半影中。
[0044]
根据公式(4)的理论，本影区域的信息补偿过程具体如下：
[0045]
(1)分别计算波段b，b∈{r，g，b}本影区域和非阴影区域的均值(1)分别计算波段b，b∈{r，g，b}本影区域和非阴影区域的均值
[0046]
(2)计算各波段环境光强和直接光强的比值rb，公式如下：
[0047][0048]
(3)对于提取阴影r
mask
区域的任意一个像素i，对其所在各波段进行信息补偿过程如下：
[0049][0050]
式中，为提取阴影区域像素i在波段b补偿后的值，r
mask，i
为本影区域素i在波段b的值。
[0051]
优选的，步骤(5)利用一种动态比值法对半影区域进行信息补偿。
[0052]
根据步骤(3)定义，半影区域为从本影到非阴影一个直射光强逐渐增强，阴影强度逐渐减弱的过渡地带，占据5个像元的宽度。
[0053]
假设从本影到非阴影，直射光强以一个像元宽度为步长逐渐增强，即认为半影区
域单步长范围内直射光强衰减的比例是一致的。因此，对于半影补偿，从本影到非阴影，以单个像元宽度作为最小处理单元，动态进行信息补偿。具体过程如下：
[0054]
(1)将本影r
mask
设为r
dilate，0
，设step＝1，将r
dilate，0
向外膨胀一个像元宽度得到r
dilate，step
并与本影r
umbra
做交集得到单像元宽度半影区域r
pen，step
。
[0055]
(2)分别计算波段b，b∈{r，g，b}半影区域和非阴影区域的均值(2)分别计算波段b，b∈{r，g，b}半影区域和非阴影区域的均值
[0056]
(3)计算各波段环境光强和直接光强的比值rb，公式如下：
[0057][0058]
(4)对于r
pen，step
内的任意一个像素i，对其所在各波段进行信息补偿过程如下：
[0059][0060]
式中，为r
pen，step
内像素i在波段b补偿后的值，r
pen，step，i
为该步长半影区域内像素i在波段b的值。
[0061]
(5)step＝step+1，循环步骤(1)到步骤(4)，直到step＝5。
[0062]
本发明的航空遥感影像阴影去除方法可以应用于对大尺度遥感影像去除阴影。所述的应用包括但不限于：
[0063]
指导网络发现隐藏阴影特征，提升阴影检测精度；
[0064]
在阴影信息补偿部分，使用基于光照强度比值法的阴影信息补偿方法，应用本影和非阴影区域值计算直射光强与环境光强比值，提升了本影补偿精度；
[0065]
在半影补偿部分，使用动态比值法对半影区域进行信息恢复，通过计算本影区域每个像元步长范围内直射光强与环境光强的比值，实现半影补偿。
[0066]
本发明优点在于：
[0067]
(1)在阴影检测部分，将阴影影像转化到ycbcr空间，在此空间发展了阴影指数si，在cgan网络输入层加入si，指导网络发现更多隐藏阴影特征，提升阴影检测精度。
[0068]
(2)在阴影信息补偿部分，发展了一种修正的基于光照强度比值法的阴影信息补偿方法。区别于传统方法直接利用阴影检测结果计算直射光强与环境光强比值，此方法忽略了半影区域中包含的部分直射光强，从而导致阴影补偿比例偏低。本发明明确了本影、半影和非阴影的范围，应用本影和非阴影区域值计算直射光强与环境光强比值，提升了本影补偿精度。
[0069]
(3)在半影补偿部分，发展了一种动态比值法对半影区域进行信息恢复，该方法设定从本影到非阴影区域，在每个像元步长范围内，直射光强的增加程度是一定的，进而通过计算本影区域每个像元步长范围内直射光强与环境光强的比值，最终实现半影补偿，通过实施例验证该方法可以有效补偿半影。
附图说明
[0070]
为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的每一幅附图针对本技术的部分实施例，对于本领域普
通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0071]
图1是一种基于深度学习和光照模型的遥感影像阴影去除方法的流程图。
[0072]
图2是从rgb空间转化到ycbcr空间以及si指数对阴影增强效果示意图。
[0073]
图3是本发明所用cgan网络的生成器和鉴别器具体结构和参数。
[0074]
图4是本发明半影补偿的计算过程示意图。
[0075]
图5是本发明实施例阴影去除结果示意图，(a)为原始影像，(b)为阴影提取结果，(c)为提取阴影区域信息补偿结果，(d)为半影补偿结果。
具体实施方式
[0076]
为了解决航空遥感影像受到阴影严重，已有阴影提取方法对细小和复杂背景的阴影提取效果有限，且目前阴影信息补偿方法对大尺度遥感影像不适用的问题。本发明提供了一种基于深度学习和光照模型的遥感影像阴影去除方法。本发明首先获取航空遥感影像阴影数据集，组合ycbcr空间的阴影指数与原始图像提升阴影特征；然后利用一个cgan网络对阴影进行提取；接着基于阴影提取结果，改进了基于光照模型的阴影信息恢复与边缘优化方法，并最终实现航空遥感影像的阴影有效去除。本发明的方法可以实现大尺度高分辨遥感影像阴影的高效去除。
[0077]
下面将通过本技术的实施例对技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分优选实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动所获得的所有其他实施例，都属于本技术的保护范围。
[0078]
实施例1数据集预处理
[0079]
(1)所获取航空影像阴影数据集来自网站：https://github.com/rsrscoder/aisd，包含阴影影像(包含r,g,b三个波段)和阴影掩膜(二值影像，阴影区域像素值为1，非阴影区域像素值为0)影像对，其中包含训练集412对，验证集51对，测试集51对。将数据集中所有阴影影像从rgb空间转化到ycbcr空间，所述ycbcr空间的定义如下：
[0080][0081]
式中，y为亮度分量，cb和cr为蓝差和红差色度分量，相当于hsi空间中的强度(intensity，i)、饱和度(saturation，s)和色度(hue，h)。与非阴影区域相比，阴影区域自太阳的电磁辐射被阻止，所以具有较低的强度i。同时，由于大气散射的瑞利效应，阴影区域蓝紫色波长短，饱和度s较高。因此，阴影区域像素具有较高的cb和较低的y。如图2所示，ycbcr空间中从(a)到(b)阴影区域变为绿色，这表明阴影区域cb分量增强，y显着减弱。
[0082]
(2)将ycbcr空间中的阴影通过阴影指数(shadow index,si)进行增强，所述si的具体定义如下：
[0083][0084]
式中si对阴影增强效果的示意图如图2(c)所示。
[0085]
(3)将si与原始阴影影像组合成数据对，将同时作为阴影提取网络的输入。
[0086]
实施例2训练cgan网络生成提取阴影
[0087]
对于步骤(1)预处理完的数据集，筛选80％的数据作为训练集，剩余20％的数据作为测试集。所述cgan网络由一个生成器g和一个鉴别器d构成，其中g用于生成与参考阴影掩膜接近的提取影像，d用于区分生成的提取阴影与参考阴影掩膜的差异。
[0088]
所述cgan网络的目标函数：
[0089][0090]
式中，原始阴影影像c1和阴影指数c2组成的约束条件c(c1，c2)为cgan网络的输入，生成提取阴影为x为生成提取阴影对应的参考阴影掩膜。所述cgan网络的损失函数为l1 loss。
[0091]
生成器和鉴别器各层的参数如图3(a)所示，图3(a)中的每个模块两端的宽箭头分别表示卷积层的输入通道和输出通道；
×
3表示该模块被执行了三次。虚线箭头表示反卷积层与卷积层的串联图3(b)中每个模块两端的宽箭头分别表示鉴别器卷积层的输入通道和输出通道。
[0092]
该网络通过从标准差为0.2的零均值正态分布中采样来初始化阴影检测网络的所有权重。其它参数的设置如下，kernel size为4
×
4，stride为2，padding为1，optimizer为adam，learning rate为0.0002，batch为40，训练次数为1000个epoch。该网络的训练基于pytorch框架，在包含四个nvidiartx3090gpu的服务器集群上进行。
[0093]
训练后，用训练得到的参数测试剩余20％的数据，得到测试集的阴影检测结果，此部分训练集和对应的阴影检测结果将应用于后续信息补偿的测试。
[0094]
实施例3利用生成的提取阴影划分本影、半影和非阴影
[0095]
根据光照条件不同阴影可以分为本影和半影。本影由太阳直射光强被完全遮挡产生，而半影由太阳直射光强被部分遮挡形成。半影一般位于阴影到非阴影的过渡地带，从本影区到非阴影区域，太阳直射光强逐渐增加，阴影强度逐渐减弱。根据以上理论，统计半影的宽度可知半影一般在5个像元宽度范围内，所获得的提取阴影一般包含大部分半影，而小部分阴影强度过低的半影则不会被检测到。
[0096]
对于步骤(2)获得的提取阴影r
mask
，将其向内腐蚀3个像元的宽度，得到腐蚀后提取阴影r
umbra
作为本影区域；将r
mask
向外膨胀2个像元的宽度得到r
dilate
，则半影r
pen
定义为r
pen
＝r
umbra
∩r
dilate
，非阴影区域r
unshadow
定位以为，r
unshadow
＝1-r
dilate
。
[0097]
实施例4采用一种修正的直射光强和环境光强比值法对提取阴影进行信息补偿
[0098]
根据图像形成理论，对于影像中任意一个像素点i的值ii可表示为该像素点的光照强度li与该点反射率ri的乘积：i＝li·ri
。光照强度，以下简称光强，包括直接照度和环境照度，其中直接照度来自太阳直接辐射，环境光强来自天空散射。阴影区域由环境光强和部分或无直接照度形成的，而非阴影区域由直接光强及环境光强组成。则任何像素的值i可以表示为：
[0099][0100]
式中，对于像素i，为环境光强，为直接光强，α为直接照度的衰减因子。其中，α＝1表示该像素位于非阴影区域；α＝0表示该像素位于本影中；α∈(0，1)表示该像素位于半
影中。
[0101]
根据公式(4)的理论，本影区域的信息补偿过程具体如下：
[0102]
(4)分别计算波段b，b∈{r，g，b}本影区域和非阴影区域的均值(4)分别计算波段b，b∈{r，g，b}本影区域和非阴影区域的均值
[0103]
(5)计算各波段环境光强和直接光强的比值rb，公式如下：
[0104][0105]
(6)对于提取阴影r
mask
区域的任意一个像素i，对其所在各波段进行信息补偿过程如下：
[0106][0107]
式中，为提取阴影区域像素i在波段b补偿后的值，r
mask，i
为本影区域素i在波段b的值。
[0108]
实施例5利用一种动态比值法对半影区域进行信息补偿
[0109]
根据步骤(3)定义，半影区域为从本影到非阴影一个直射光强逐渐增强，阴影强度逐渐减弱的过渡地带，占据5个像元的宽度。假设从本影到非阴影，直射光强以一个像元宽度为步长逐渐增强，即认为半影区域单步长范围内直射光强衰减的比例是一致的。因此，对于半影补偿，从本影到非阴影，以单个像元宽度作为最小处理单元，动态进行信息补偿，具体过程如下：
[0110]
(1)将本影r
mask
设为r
dilate，0
，设step＝1，将r
ailate，0
向外膨胀一个像元宽度得到r
dilate，step
并与本影r
umbra
做交集得到单像元宽度半影区域r
pen，step
。
[0111]
(2)分别计算波段b，b∈{r，g，b}半影区域和非阴影区域的均值(2)分别计算波段b，b∈{r，g，b}半影区域和非阴影区域的均值
[0112]
(3)计算各波段环境光强和直接光强的比值rb，公式如下：
[0113][0114]
(4)对于r
pen，step
内的任意一个像素i，对其所在各波段进行信息补偿过程如下：
[0115][0116]
式中，为r
pen，step
内像素i在波段b补偿后的值，r
pen，step，i
为该步长半影区域内像素i在波段b的值。
[0117]
(5)step＝step+1，循环步骤(1)到步骤(4)，直到step＝5。
[0118]
以上所述的实施例仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本技术公开的技术范围内，可以不通过创造性劳动即能够联想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以本技术中权利要求的保护范围为准。