一种建筑垃圾遥感图像样本的生成方法与流程

本发明涉及一种建筑垃圾遥感图像样本的生成方法，其是一种基于生成对抗网络与lbp算子的建筑垃圾遥感图像样本的生成方法。

背景技术：

随着工业化、城市化进程的加速,建筑业也同时快速发展,相伴而产生的建筑垃圾日益增多,中国建筑垃圾的数量已占到城市垃圾总量的1/3以上。中国正处于经济建设高速发展时期,每年不可避免地产生数亿吨建筑垃圾。如果不及时处理和利用,必将给社会、环境和资源带来不利影响,建筑垃圾的智能化监管识别研究迫在眉睫。

对于主流深度学习识别算法中,大量的训练样本是其得到最优模型的保证,而且训练样本需要包含各种不同的场景,这样才能使得模型具有足够好的鲁棒性。由于没有建筑垃圾样本集,需要首先制作建筑垃圾样本集,但是一方面满足要求的遥感影像数据量有限,另一方面人工判读解译效率往往较低,因此大型建筑垃圾样本集的制备难度较大,仅靠现有数据,需要对数据进行数据增强才能满足深度学习的大量样本要求。

在图像领域,常见的数据增强技术包括图像平移几个像素,或者图像水平翻转。然而,使用简单数据增强有时并不符合客观现实,所以更加需要生成符合现实世界建筑垃圾规律的样本作为样本集的扩充。

数据集扩展领域,唐贤伦等人提出了一种非监督式的由图像生成图像的低秩纹理生成对抗网络lr-gan算法.将传统低秩纹理映射算法作为引导加入到网络中来辅助判别器,并设计加入了低秩梯度滤波层来逼近网络的低秩最优解.牛斌等人提通过将循环神经网络和生成式对抗网络相结合的方法使循环神经网络学习到数据的序列关系和特征,使生成式对抗网络产生合理数据进而扩展人体行为数据集。李敏等人提出基于wgan结合拉普拉斯金字塔模型的级联卷积网络训练一个多尺度的卷积网络,根据输入视频序列预测未来几帧,生成比较清晰的图像。目前还没有针对遥感图像的样本生成方法。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种建筑垃圾遥感图像样本的生成方法，解决使用遥感图像进行建筑垃圾识别时遥感建筑垃圾图像样本过少问题。

为解决上述技术问题，本发明采用如下技术方案：

一种建筑垃圾遥感图像样本的生成方法，包括：

s1、遥感图像预处理制作样本数据集

s1.1、正射校正

正射校正时输入数据选择多光谱数据，dem数据选择全球分辨率为900米的dem数据，输出像元大小为4米，重采样方法为三次卷积法，输出像元大小为1米；

s1.2、图像融合

首先以全色数据为基准对多光谱数据进行配准，配准后多光谱数据的存储格式如果是bsq，将其转化为bil，提高融合效率；

s1.3、图像利用分类

将图像进行非监督土地利用分类，生成土地利用分类标注图；

s1.4、减少通道

检查融合后图像是否为四通道，若为四通道，则将图像通道融合转化为三通道；

s1.5、剪裁

将土地利用分类标注图与三通道遥感图像均剪裁为256×256；

s1.6、筛选样本

将裁好的图像进行对比查看，选出土地利用分类标注图中标记为建筑垃圾的图像，并根据图名对应，找到相应的三通道遥感图像；

s1.7、制作样本数据集

将筛选好的三通道遥感图像样本以7:3的比例生成训练集与测试集；

s2、对样本数据集进行优化调整，生成样本

s2.1、对比度调整

首先对图像的灰度图像进行自适应直方图均衡化，并使用通过rgb转lab方法替换为均衡化图像的亮度通道进行图像融合；

s2.2、网络架构

使用全卷积网络

生成器网络与判别器网络均使用全卷积网络，不使用全连接层，生成器共六层卷积网络，第一层网络结构设置为8×8×256，第二层16×16×128，第三层为32×32×64，第四层为64×64×32，第五层为128×128×16，第六层为256×256×3。判别器共四层，第一层网络结构设置为64×64×32，第二层32×32×64，第三层为16×16×128，第四层为8×8×256，每层包含leaky_relu层，且判别器不使用sigmoid函数；

s3、损失函数设计

由于遥感图像颜色分布与纹理分布存在规律，所以在网络的损失函数中增加颜色与纹理约束。判别器网络损失函数仍使用原始wgan网络损失函数，生成器网络损失函数在原始wgan网络基础上增加lbp距离运算，网络损失函数如下所示：

其中：分别表示原始图像与生成图像，表示判别器认为该图像为真的概率；n为一次输入图像的量，w与h表示单幅图像宽与高，与为原始图像与生成图像各点lbp值。

进一步的，所述步骤s1.2中，图像融合时多光谱和全色数据的空间分辨率重采样设置为4米和1米。

进一步的，还包括快速大气校正的步骤，以消除或减弱了大气的影响。

进一步的，所述步骤s2.1具体包括如下：

s2.1.1、自适应直方图均衡化

通过自适应直方图均衡化增加局部区域的对比度，有效的抑制了噪声的产生，使原图中大部分像素落在低灰度值这一特性得以保持，而整体的灰度值分布又有一定的扩展；

s2.1.2、图像融合

为了保证最后生成图像为全彩色图像，将灰度图像与原始图像进行融合；

s2.1.3、颜色空间转换

将未进行自适应直方图均衡化的原始图像通过rgb转lab方法将亮度通道分离出来；

s2.1.4、亮度通道替换

颜色空间转换之后，将rgb图的l通道替换为自适应直方图均衡化结果灰度图的l通道；

s2.1.5、颜色空间逆变换

将替换后图像数据从lab空间转换回rgb色彩空间。

与现有技术相比，本发明的有益技术效果：

本发明基于生成对抗网络与lbp算子能够高效、高质的生成遥感图像样本，为使用遥感图像进行建筑垃圾识别时，提供遥感建筑垃圾图像样本支持。

附图说明

下面结合附图说明对本发明作进一步说明。

图1为本发明建筑垃圾遥感图像样本的生成方法的流程图；

图2为本发明建筑垃圾遥感图像样本的生成方法的预处理流程示意图；

图3为本发明建筑垃圾遥感图像样本的生成方法的对比度调整流程示意。

具体实施方式

如图1所示，一种建筑垃圾遥感图像样本的生成方法，其总体过程为：将下载好的遥感图像做预处理得到两个样本数据集，在样本集进入程序时，系统会为样本集进行对比度调整，之后输入到生成对抗网络中进行样本的生成，若样本精度达到标准且网络达到收敛则完成。

具体包括：

s1、遥感图像预处理制作样本数据集

如图2所示，样本数据集制作过程如下：

s1.1、正射校正

正射校正时输入数据选择多光谱数据，dem数据选择全球分辨率为900米的dem数据，输出像元大小为4米，重采样方法为三次卷积法，输出像元大小为1米；

s1.2、图像融合

首先以全色数据为基准对多光谱数据进行配准，配准后多光谱数据的存储格式如果是bsq，将其转化为bil，提高融合效率；

s1.3、图像利用分类

将图像进行非监督土地利用分类，生成土地利用分类标注图；

s1.4、减少通道

检查融合后图像是否为四通道，若为四通道，则将图像通道融合转化为三通道；

s1.5、剪裁

将土地利用分类标注图与三通道遥感图像均剪裁为256×256；

s1.6、筛选样本

将裁好的图像进行对比查看，选出土地利用分类标注图中标记为建筑垃圾的图像，并根据图名对应，找到相应的三通道遥感图像；

s1.7、制作样本数据集

将筛选好的三通道遥感图像样本以7:3的比例生成训练集与测试集；

s2、对样本数据集进行优化调整，生成样本

s2.1、对比度调整

首先对图像的灰度图像进行自适应直方图均衡化，并使用通过rgb转lab方法替换为均衡化图像的亮度通道进行图像融合；

s2.2、网络架构

使用全卷积网络

生成器网络与判别器网络均使用全卷积网络，不使用全连接层，生成器共六层卷积网络，第一层网络结构设置为8×8×256，第二层16×16×128，第三层为32×32×64，第四层为64×64×32，第五层为128×128×16，第六层为256×256×3，判别器共四层，第一层网络结构设置为64×64×32，第二层32×32×64，第三层为16×16×128，第四层为8×8×256，每层包含leaky_relu层，且判别器不使用sigmoid函数；

s3、损失函数设计

由于遥感图像颜色分布与纹理分布存在规律，所以在网络的损失函数中增加颜色与纹理约束，判别器网络损失函数仍使用原始wgan网络损失函数，生成器网络损失函数在原始wgan网络基础上增加lbp距离运算，网络损失函数如下所示：

其中：分别表示原始图像与生成图像，表示判别器认为该图像为真的概率；n为一次输入图像的量，w与h表示单幅图像宽与高，与为原始图像与生成图像各点lbp值。

其中：所述步骤s1.2中，图像融合时多光谱和全色数据的空间分辨率重采样设置为4米和1米；还包括快速大气校正的步骤，以消除或减弱了大气的影响。

如图3所示，所述步骤s2.1具体包括如下：

s2.1.1、自适应直方图均衡化

通过自适应直方图均衡化增加局部区域的对比度，有效的抑制了噪声的产生，使原图中大部分像素落在低灰度值这一特性得以保持，而整体的灰度值分布又有一定的扩展；

s2.1.2、图像融合

为了保证最后生成图像为全彩色图像，将灰度图像与原始图像进行融合；

s2.1.3、颜色空间转换

将未进行自适应直方图均衡化的原始图像通过rgb转lab方法将亮度通道分离出来；

s2.1.4、亮度通道替换

颜色空间转换之后，将rgb图的l通道替换为自适应直方图均衡化结果灰度图的l通道；

s2.1.5、颜色空间逆变换

将替换后图像数据从lab空间转换回rgb色彩空间。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。