一种基于多尺度通道注意力改进的遥感图像道路提取方法

本发明涉及到遥感图像分割与深度学习，具体是一种基于多尺度通道注意力改进的高分辨率遥感图像道路提取方法。

背景技术：

1、随着计算机技术和卫星技术的发展，从高分辨率遥感图像中提取道路成为遥感图像处理领域的研究热点。遥感图像道路提取在城市规划、自动驾驶、车辆导航和地理信息系统建设等领域有着广泛的应用。自动化道路检测方法的开发可以显著节省与基于人工标注方法相关的时间和人力成本。在此背景下，开展自动道路检测的研究具有重要意义。近年来，各种道路检测方法被提出，这些方法可以分为传统方法和基于深度学习的方法。

2、传统的道路提取方法，如阈值分割法、边缘检测法、纹理分析法以及数学形态学算法等，利用遥感图像的浅层特征(如灰度、边缘、光谱、纹理和几何特征等)从遥感图像中提取道路。这些传统方法虽然在道路提取领域常见，但通常不适用于包含复杂多尺度道路的高分辨率遥感图像，因为高分辨率遥感图像具有清晰的细节，这些传统方法对道路的纹理和多尺度信息处理相对有限，无法充分捕捉道路在不同尺度下的特征。因此，从高分辨率遥感影像中自动提取道路的研究受到了广泛的关注。

3、随着深度学习的发展，基于深度卷积神经网络的遥感图像道路提取方法引起了遥感图像处理领域研究人员的兴趣。一系列先进的深度卷积神经网络已经被应用于各种遥感图像分割任务。与传统道路提取方法相比，基于深度卷积神经网络的遥感图像道路提取方法具有自动化程度高、能够从大规模遥感图像中自动学习并准确提取道路特征、具备较强的适应性和泛化能力等优点，受到广泛关注和研究。虽然这些基于深度卷积神经网络的方法在道路提取方面已经表现出良好的性能，但是道路提取依然存在以下挑战：

4、(1)复杂的场景和背景干扰：高分辨率遥感图像中的道路可能受到各种复杂的场景和背景干扰，如建筑物、树木、车辆等。这些干扰物体与道路具有相似的纹理和颜色，使得道路提取算法很难将道路与其他物体有效地分离。

5、(2)遮挡和阴影：道路可能被建筑物、树木或其他物体部分遮挡，同时阴影也会导致道路区域的亮度和颜色变化，使得道路提取更加困难。这些遮挡和阴影会导致道路的不连续性，需要算法能够识别并填补这些缺失的道路段。

6、(3)道路形状和拓扑多样性：道路在形状和拓扑结构上具有多样性，包括直线、曲线、交叉口、环形道等各种形状和连接方式。这意味着道路提取算法必须具备足够的灵活性，能够适应不同形状和拓扑结构的道路。

技术实现思路

1、综上所述，为了解决高分辨率遥感图像中自动道路提取的问题，本发明要提出一种基于多尺度通道注意力改进的遥感图像道路提取方法，以应对遥感图像自动道路提取存在的各类挑战。

2、为了达到上述发明目的，本发明采用如下技术方案：

3、一种基于多尺度通道注意力改进的遥感图像道路提取方法，包括以下步骤：

4、a、制备数据集

5、收集遥感卫星拍摄的高分辨率遥感图像数据，并按照以下步骤制备遥感图像道路提取数据集：

6、a1、对图像进行标注和裁剪；

7、a2、图像增强；

8、b、搭建遥感图像道路提取网络

9、所述遥感图像道路提取网络是由多尺度通道注意力改进的遥感图像道路提取网络，整体架构采用编码器-解码器架构，所述编码器包括1个初始块和4个编码块。将增强遥感图像经过起始块中的卷积和池化操作后生成的特征图输入到编码块1，编码块1输出的特征图分别输入到编码块2和多尺度通道注意力模块1，编码块2输出的特征图分别输入到编码块3和多尺度通道注意力模块2，编码块3输出的特征图分别输入到编码块4和多尺度通道注意力模块3，编码块4输出的特征图输入到空洞卷积模块；经过空洞卷积模块输出的特征图输入到解码块4，解码块4输出的特征图与来自多尺度通道注意力模块3输出的特征图进行特征融合后输入到解码块3，解码块3输出的特征图与来自多尺度通道注意力模块2输出的特征图进行特征融合后输入到解码块2，解码块2输出的特征图与来自多尺度通道注意力模块1输出的特征图进行特征融合后输入到解码块1，解码块1输出的特征图经过转置卷积和卷积操作后输出与输入遥感图像相同大小的预测图。

10、c、训练遥感图像道路提取网络

11、进一步地，步骤a1所述对图像进行标注和裁剪的方法如下：

12、从遥感图像数据集官网下载原始遥感图像数据集，所述原始遥感图像数据集为rgb三波段彩色遥感图像数据集，并使用数据集标注软件进行标注。然后，将原始遥感图像和人工标注的标签图以相同的方式统一裁剪为1024×1024像素大小的小图片，获得不少于6000张带标签的1024×1024像素大小的遥感图像数据集，简称带标签遥感图像数据集。

13、进一步地，步骤a2所述图像增强的方法如下：

14、在输入遥感图像道路提取网络之前，对带标签遥感图像数据集进行多种图像增强操作，包括水平翻转、垂直翻转、对角翻转、颜色抖动以及平移。经过这些增强操作后的数据集被简称为增强遥感图像数据集。

15、进一步地，步骤b所述遥感图像道路提取网络搭建方法包括以下步骤：

16、b1、使用resnest-50构建编码器

17、使用resnest-50作为编码器，resnest-50的核心模块对输入特征图进行的具体操作如下：

18、b11、将输入的特征图沿通道维度拆分为k个基数组；

19、b12、将每个基数组的特征划分为多个切片，使用r表示基数组内的切片数，则切片的总数为g＝kr个；

20、b13、对每个切片的特征进行一系列的特征变换，计算公式如下：

21、ui＝fi(x)    (1)

22、其中，ui表示第i个切片经过特征变换后的输出特征、i∈{1,2,...,g}，x表示输入特征，fi(·)表示由1×1卷积和3×3卷积组成的特征变换函数。

23、b14、将同一基数组中经过变换后的切片特征输入到分散注意力模块。

24、b141、分散注意力模块首先对输入特征进行特征融合，以获得联合特征表示计算公式如下：

25、

26、其中k表示第k个基数组，j表示第j个切片。

27、b142、然后，使用全局平均池化聚合跨空间通道维度的上下文语义信息sk，经全局平均池化的第k个基数组的第c个通道值计算公式如下：

28、

29、其中，表示第k个基数组的第c个通道的第i行j列的像素，h和w分别代表特征图的高度和宽度。

30、b143、将每个切片的特征图和赋值权重进行加权组合，生成每个基数组的加权融合特征vk、k∈{1,2,...,k}，vk的第c个通道的计算公式如下：

31、

32、其中，为第i个切片中第c个通道的赋值权重，计算公式如下：

33、

34、其中，为特征图间的映射关系，决定着全局纹理表达向量的每一组权重。

35、b15、对每个基数组的生成的加权融合特征vk进行拼接操作后输出特征图v，拼接操作的公式表示如下：

36、v＝concat(v1,v2,...,vk)    (6)

37、b16、将最初的输入特征图x和特征图v采用快捷连接的方式生成最终的特征图y进行输出，公式表示如下：

38、y＝x+v    (7)

39、b2、在遥感图像道路提取网络的中心部分引入空洞卷积模块

40、所述空洞卷积模块通过级联堆叠不同空洞率的空洞卷积单元组成。在所述空洞卷积模块中，各个空洞卷积单元按照级联模式依次连接，形成一种堆叠结构。所述空洞卷积单元的空洞率根据需要进行调整，以适应不同的感受野要求。

41、b3、在遥感图像道路提取网络的跳跃连接部分引入多尺度通道注意力模块

42、所述多尺度通道注意力模块由局部通道上下文和全局通道上下文两个分支组成。假设输入特征图x∈rh×w×c，其中，h、w、c分别为特征图的高度、宽度和通道数。局部通道上下文l(x)的计算公式表示为：

43、l(x)＝b(pwconv2(δ(b(pwconv1(x)))))    (8)

44、其中，b表示批量归一化，δ表示修正线性单元激活函数，pwconv1表示输入通道数为c输出通道数为的逐点卷积，pwconv2表示输入通道数为输出通道数为c的逐点卷积，r表示通道缩减比。

45、全局通道上下文g(x)的计算公式表示为：

46、g(x)＝b(pwconv2(δ(b(pwconv1(gap(x))))))    (9)

47、其中，gap表示全局平均池化。

48、给定全局通道上下文g(x)和局部通道上下文l(x)，即得到多尺度通道注意力的细化特征x′：

49、

50、其中，m(x)表示多尺度通道注意力生成的注意力权重。σ表示sigmoid激活函数，表示相加，表示逐元素相乘。

51、进一步地，步骤b2所述空洞卷积模块由空洞率分别为1、2、4、8的空洞卷积单元采用级联并行的方式堆叠而成，对应的感受野分別为3、7、15、31。

52、进一步地，步骤c所述训练遥感图像道路提取网络的方法如下：

53、c1、确定损失函数。训练时使用二值交叉熵损失函数和骰子损失函数组成的复合损失函数作为最终的损失函数。二值交叉熵损失函数的计算公式如下：

54、

55、骰子损失函数的计算公式如下：

56、

57、其中，yi表示实际标签值，表示模型的预测输出值，n表示输入图像的总像素数。

58、最终的组合损失函数：

59、loss＝lossbce+lossdice(13)

60、c2、设置并调整学习率。初始学习率的设置范围一般在1×10-4到1×10-2之间，同时采用适应性矩估计优化算法自适应地调整学习率，当学习率小于5×10-7时，停止训练。

61、c3、将增强遥感图像输入到遥感图像道路提取网络中进行训练。

62、进一步地，步骤c2所述初始学习率设置为2×10-4。

63、与现有技术相比，本发明具有以下有益效果：

64、1、本发明使用resnest-50作为遥感图像道路提取网络的编码器，resnest-50通过跨通道提取图像的语义信息，保证特征图的多样性，从而使道路提取网络能够更好地理解和捕捉遥感图像中的道路特征。

65、2、本发明在道路提取网络的中心部分引入了空洞卷积模块，空洞卷积模块通过堆叠不同空洞率的空洞卷积，使道路提取网络具备多尺度感知能力，提高了道路提取网络对不同大小道路对的适应性，实现了更准确的道路和非道路区域划分。

66、3、本发明在道路提取网络的跳跃连接部分引入了多尺度通道注意力，有效聚合局部和全局上下文信息，提高了道路提取的准确性和鲁棒性。

67、4、综上所述，本发明具有广泛的应用价值。