一种联合高分影像和视频图像的道路信息智能提取方法

1.本发明属于交通运输信息技术领域，具体涉及一种联合高分影像和视频图像的道路信息智能提取方法。


背景技术：

2.道路是交通运输的基础设施，道路信息也是一种重要的基础地理信息。在信息化智能化建设已然成为当今世界发展趋势的大背景下，地理信息技术和遥感技术便很自然地被引入到了道路信息管理之中。就道路信息的获取而言，传统道路数据的采集方式包括实地采集、文字资料获取、移动车载扫描等，但都存在成本较高或效率低的问题。而随着遥感技术的不断发展，遥感影像的空间分辨率也越来越高，这些高分辨率的遥感影像逐渐成为各种目标信息的主要数据来源。从高分辨率遥感影像中提取道路信息可以为地理信息技术提供及更新数据源，具有极其重要的实用价值与科学意义。现如今已经存在大量的半自动和自动的道路提取算法，其中深度神经网络以能够自适应提取特征和超高的提取精度在计算机视觉领域脱颖而出，利用深度学习对高分影像进行道路信息提取已经成为当前的研究热点之一。
3.遥感影像中的道路信息容易受到高楼建筑物、植被阴影、河流等非道路信息的干扰，且城市主干道与郊区公路尺度差异大，而传统语义分割网络在遥感图像道路提取任务上存在被遮挡目标无法提取、小目标漏分、道路存在断线等情况，这不仅降低了提取精度，而且影响了道路形态完整性。另一方面，高分辨率遥感影像在增强目标地物特性的同时，也增加了地物的细节层次显示，使得“同物异谱”、“同谱异物”现象大量发生，从而给道路信息提取增加难度，仅仅利用高分辨率遥感影像并不能对道路信息实现高精度提取。


技术实现要素：

4.针对现有技术中术中高分辨率遥感影响的精度在被干扰下精度降低、影响道路形态完整性的问题，本发明提供一种联合高分影像和视频图像的道路信息智能提取方法，其目的在于：实现对于多尺度道路信息和被遮挡道路信息的准确提取、联合视频图像对道路断线进行修复，从而得到准确的道路形态的技术效果。
5.本发明采用的技术方案如下：
6.一种联合高分影像和视频图像的道路信息智能提取方法，包括以下步骤：
7.步骤a：将高分遥感影像与道路标签数据传入深度神经网络模型；
8.步骤b：深度神经网络模型将得到的影响数据进行多层卷积处理，在各卷积层后加入通道注意力模块；
9.步骤c：在最后一层卷积层加入空间注意力模块，并将数据转入反卷积层；
10.步骤d：在卷积层中进行对数据的反卷积，并得到单通道结果图；
11.步骤e：将在步骤c中得到的单通道结果图进行基于上下文特征的视频图像场景分类，若场景中存在道路，则认为该道路中断为真实情况；
12.步骤f：若在步骤d中的场景不存在道路，则连接中断道路，并输出道路优化结果。
13.采用上述方案，引入空间和通道注意力机制对深度神经网络隐藏层信息进行增强，提高模型表达能力，实现对于多尺度道路信息和被遮挡道路信息的准确提取；在此基础上联合视频图像对道路断线进行修复，从而得到准确的道路形态，实现道路提取结果的进一步优化。本专利提取结果可作为数据源应用于道路信息可视化表达、物流管理、车辆监控与导航以及交通管理等领域，也可为交通信息的科学化、智能化建设提供支持。
14.所述步骤b的具体步骤为：
15.步骤b1：输入特征图m，将特征图m进行全局平均池化操作，得到特征图m每一通道的权重；
16.步骤b2：将平均池化后的特征图m通过两个全连接层、relu激活函数层及sigmoid激活函数层得到学习后的通道权重；
17.步骤b3：将学习到的通道权重乘到输入的特征图上，得到通道注意力增强的特征图
18.步骤b4：将特征图传入下一卷积层
19.采用上述方案，通过注意力模块，可对不同通道赋予不同权重大小，用于体现相应特征信息的通道，增强有用信息的表达。
20.所述步骤c的具体步骤为：
21.步骤c1：输入特征图f，将特征图f通过全局最大池化与全局平均池化网络，进行全局信息压缩；
22.步骤c2：将两个网格压缩后的特征图进行空间融合，在融合后经过卷积层进行特征学习
23.步骤c3：将特征学习后的特征恒图通过sigmoid激活函数层得到学习后的空间权重；
24.步骤c4:将学习到的空间权重点乘到输入特征图上，得到空间注意力增强的特征图
25.步骤c5：将特征图传入反卷积层。
26.采用上述方案，在遥感影像中，道路时纵横交错的，且存在遮挡现象，本发明通过采用空间注意力模型将局部特征与全局特征相结合，对特征信息进行筛选，抑制非目标区域的特征，使得网络在特征提取过程中更灌注目标区域特征。
27.所述步骤e的具体步骤为：
28.步骤e1：收集场景图像，对数据集场景进行人工数据标注，分为道路与非道路，并建立图像大规模场景分类数据集；
29.步骤e2：通过现有卷积神经网络结构，建立基于上下特征的视频图像网络结构模型，其中卷积神经网络结构中设置有注意力模块；
30.步骤e3：对于网络结构模型进行训练，实现视频图像的场景分类，输出道路与非道路。
31.所述步骤e2的具体步骤为：
32.步骤e21：通过全局池化的方式将卷积神经网络结构中的特征图顺着空间维度进
行特征压缩；
33.步骤e22：通过两个全连接层建立特征图的通道间的相关性，并输出和输入特征同样数目的权重；
34.步骤e23：通过ssgmoid的门获得类别之间归一化的权重；
35.步骤e24：通过通道权重的重新分配将归一化后的权重加权到每个通道的特征上。
36.采用上述方案，注意力机制为计算机赋予被灌注区域较大权重，对于不感兴趣的区域权重值较小，提取优势特征，抑制干扰特征，这样可获取图像中的上下文特征，提高网络学习性能。
37.所述步骤f的具体步骤为：
38.步骤f1：通过估计道路防线的节点连接性图q，根据节点间连接在节点连接性图q上的路径积分对节点间连接性进行定量描述，其中节点连接性图q为二维向量场，可表示不同节点连接区域内的道路方向信息；
39.步骤f2：节点m与节点n为两个相连接的道路节点，则m和n之间的连接区域area
m,n
，定义为area
m,n
＝{0≤μ
m,n
·
μ
m,p
≤ι，0≤|μ
m,n
×
μ
m,p
|≤ξ}，其中μ
m,n
为从m指向n的向量；μ
m,p
为从m指向p的向量，p为影像中任意像素的图像坐标；。ι为连接区域长度，其大小为μ
m,n
·
μ
m,n
；ξ为连接区域的宽度；若像素点p在连接区域area
m,n
内，则连接性图q在p处的取值是从m指向n的单位向量e，若像素点p在连接区域area
m,n
外，则连接性图q在p处的取值是0向量；
40.步骤f3：提取经过卷积神经网络处理而获取的道路结果中的道路节点，若节点之间连接性大于设定值，则进行连接断线，若连接性小于设定值，则不连接断线。
41.所述步骤f3的具体步骤为：
42.步骤f31：用用v＝(v1,v2,
…
,v
n
)表示提取的道路节点的集合，v
a
，v
b
表示v中任意一对节点；
43.步骤f32：取0.5为设定值，并对节点v
a
和v
b
的连线在连接图q上的路径积分ψ
a,b
作为节点v
a
和v
b
连接性的估计值，ψ
a,b
取值越大表示节点v
a
和v
b
之间的连接性越强，其中ψ
a,b
的计算式为
44.步骤f32：对ψ
a,b
进行判断，若ψ
a,b
的值大于0.5，则直接将两个节点v
a
、v
b
进行连接；若ψ
a,b
的值小于0.5，则不连接断线，实现道路中的断线连接。
45.综上所述，由于采用了上述技术方案，本发明的有益效果是：
46.1.引入空间和通道注意力机制对深度神经网络隐藏层信息进行增强，提高模型表达能力，实现对于多尺度道路信息和被遮挡道路信息的准确提取；在此基础上联合视频图像对道路断线进行修复，从而得到准确的道路形态，实现道路提取结果的进一步优化。本专利提取结果可作为数据源应用于道路信息可视化表达、物流管理、车辆监控与导航以及交通管理等领域，也可为交通信息的科学化、智能化建设提供支持。
47.2.通过注意力模块，可对不同通道赋予不同权重大小，用于体现相应特征信息的通道，增强有用信息的表达。
48.3.在遥感影像中，道路时纵横交错的，且存在遮挡现象，本发明通过采用空间注意力模型将局部特征与全局特征相结合，对特征信息进行筛选，抑制非目标区域的特征，使得网络在特征提取过程中更灌注目标区域特征。
49.4.注意力机制为计算机赋予被灌注区域较大权重，对于不感兴趣的区域权重值较小，提取优势特征，抑制干扰特征，这样可获取图像中的上下文特征，提高网络学习性能。
附图说明
50.本发明将通过例子并参照附图的方式说明，其中：
51.图1是本发明的一种实施方式的总体结构图；
52.图2是本发明的一种实施方式的总体模型图；
53.图3是本发明的一种实施方式的通道注意力模型结构图；
54.图4是本发明的一种实施方式的空间注意力模型结构图；
55.图5是本发明的一种实施方式的基于上下文特征的视频图像场景分类流程图；
56.图6是本发明的一种实施方式的估计上下文特征的注意力模型结构图。
具体实施方式
57.本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
58.实施例一：
59.下面结合图1、图2对本发明作详细说明。
60.一种联合高分影像和视频图像的道路信息智能提取方法，包括以下步骤：
61.步骤a：将高分遥感影像与道路标签数据传入深度神经网络模型；
62.步骤b：深度神经网络模型将得到的影响数据进行多层卷积处理，在各卷积层后加入通道注意力模块；
63.步骤c：在最后一层卷积层加入空间注意力模块，并将数据转入反卷积层；
64.步骤d：在卷积层中进行对数据的反卷积，并得到单通道结果图；
65.步骤e：将在步骤c中得到的单通道结果图进行基于上下文特征的视频图像场景分类，若场景中存在道路，则认为该道路中断为真实情况。
66.步骤f：若在步骤d中的场景不存在道路，则连接中断道路，并输出道路优化结果
67.所述步骤b的具体步骤为：
68.步骤b1：输入特征图m，将特征图m进行全局平均池化操作，得到特征图m每一通道的权重；
69.步骤b2：将平均池化后的特征图m通过两个全连接层、relu激活函数层及sigmoid激活函数层得到学习后的通道权重；
70.步骤b3：将学习到的通道权重乘到输入的特征图上，得到通道注意力增强的特征图
71.步骤b4：将特征图传入下一卷积层
72.所述步骤c的具体步骤为：
73.步骤c1：输入特征图f，将特征图f通过全局最大池化与全局平均池化网络，进行全局信息压缩；
74.步骤c2：将两个网格压缩后的特征图进行空间融合，在融合后经过卷积层进行特征学习
75.步骤c3：将特征学习后的特征恒图通过sigmoid激活函数层得到学习后的空间权重；
76.步骤c4:将学习到的空间权重点乘到输入特征图上，得到空间注意力增强的特征图
77.步骤c5：将特征图传入反卷积层。
78.所述步骤e的具体步骤为：
79.步骤e1：收集场景图像，对数据集场景进行人工数据标注，分为道路与非道路，并建立图像大规模场景分类数据集；
80.步骤e2：通过现有卷积神经网络结构，建立基于上下特征的视频图像网络结构模型，其中卷积神经网络结构中设置有注意力模块。
81.步骤e3：对于网络结构模型进行训练，实现视频图像的场景分类，输出道路与非道路。
82.所述步骤d2的具体步骤为：
83.步骤e21：通过全局池化的方式将卷积神经网络结构中的特征图顺着空间维度进行特征压缩；
84.步骤e22：通过两个全连接层建立特征图的通道间的相关性，并输出和输入特征同样数目的权重；
85.步骤e23：他通过ssgmoid的们获得类别之间归一化的权重；
86.步骤e24：通过通道权重的重新分配将归一化后的权重加权到每个通道的特征上。
87.所述步骤f的具体步骤为：
88.步骤f1：通过估计道路防线的节点连接性图q，根据节点间连接在节点连接性图q上的路径积分对节点间连接性进行定量描述，其中节点连接性图q为二维向量场，可表示不同节点连接区域内的道路方向信息；
89.步骤f2：节点m与节点n为两个相连接的道路节点，则m和n之间的连接区域area
m,n
，定义为area
m,n
＝{0≤μ
m,n
·
μ
m,p
≤ι，0≤|μ
m,n
×
μ
m,p
|≤ξ}，其中μ
m,n
为从m指向n的向量；μ
m,p
为从m指向p的向量，p为影像中任意像素的图像坐标；。ι为连接区域长度，其大小为μ
m,n
·
μ
m,n
；ξ为连接区域的宽度；若像素点p在连接区域area
m,n
内，则连接性图q在p处的取值是从m指向n的单位向量e，若像素点p在连接区域area
m,n
外，则连接性图q在p处的取值是0向量。
90.步骤f3：提取经过卷积神经网络处理而获取的道路结果中的道路节点，若节点之间连接性大于设定值，则进行连接断线，若连接性小于设定值，则不连接断线。
91.所述步骤f3的具体步骤为：
92.步骤f31：用用v＝(v1,v2,
…
,v
n
)表示提取的道路节点的集合，v
a
，v
b
表示v中任意一对节点；
93.步骤f32：取0.5为设定值，并对节点v
a
和v
b
的连线在连接图q上的路径积分ψ
a,b
作为节点v
a
和v
b
连接性的估计值，ψ
a,b
取值越大表示节点v
a
和v
b
之间的连接性越强，其中ψ
a,b
的计算式为
94.步骤f32：对ψ
a,b
进行判断，若ψ
a,b
的值大于0.5，则直接将两个节点v
a
、v
b
进行连接；若ψ
a,b
的值小于0.5，则不连接断线，实现道路中的断线连接。
95.在上述实施例一中，其中步骤b的具体步骤为网络输入256*256*3大小的图像(表示图像尺寸为256*256，通道数为3)。首先，图像经过两层卷积层(卷积核尺寸为3*3，步长为1)、批归一化层、relu激活函数，特征图大小变为256*256*64；再经过一层通道注意力模块，特征图大小不变；最后经过最大池化层(核尺寸为2*2，步长为2)，特征图通道数不变，尺寸变为原来的一半(128*128*64)，按以上规则重复下采样操作，并在下采样阶段的最后一层加入空间注意力模块，将局部特征与全局特征相结合。在下采样阶段完成后，通过一层反卷积层(卷积核尺寸为2*2，步长为2)，特征图通道数减少为输入的一半，尺寸扩大为输入的两倍(32*32*512)，此时将该特征图与下采样阶段包含的通道注意力增强的特征图进行长跳跃连接以减少下采样过程带来的特征信息损失，在每一次连接后，使用卷积核大小为3*3的卷积层融合特征信息；按以上规则重复操作得到256*256*64大小的特征图，最后通过卷积核大小为1*1的卷积层输出道路提取单通道结果图。
96.其中步骤e的视频图像网络模型建立步骤如下：
97.网络输入256*256*3大小的图像(表示图像尺寸为256*256，通道数为3)。首先，图像经过两层卷积层(卷积核尺寸为3*3，步长为1)、批归一化层、relu激活函数，特征图大小变为256*256*64；再经过一层注意力模块，特征图大小不变；最后经过最大池化层(核尺寸为2*2，步长为2)，特征图通道数不变，尺寸变为原来的一半(128*128*64)，按以上规则重复下采样操作，直到第八卷积层特征图大小变为14*14*2048；在经过两个全连接层将特征图变为4096个神经元；最后经全连接层进行结果分类，输出结果为道路或者非道路。
98.以上所述实施例仅表达了本技术的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。