一种基于交通道路影像的图像信息提取方法

本发明公开一种基于交通道路影像的图像信息提取方法，属于电数字数据处理、图形数据读取和图像数据处理。

背景技术：

1、在道路提取、城市规划、环境检测等领域中，图像信息提取发挥着至关重要的作用。由于图像信息存在类别丰富、空间分布广泛、空间关联性强、背景复杂、类内方差大的特点，这使得对应的图像信息提取充满挑战。传统的图像信息提取方法主要基于图像处理和机器学习技术，这些方法通常依赖于手动提取特征和设置分类器的参数，对于复杂的地物类别和背景噪声较多的情况效果可能有限，在面对大尺度、高分辨率的图像时往往难以给出精确的提取结果。另外传统的提取方法并不能很好的处理图像的频率信息、细节信息、全局信息。

技术实现思路

1、本发明的目的在于提供一种基于交通道路影像的图像信息提取方法，以解决现有技术中，交通道路影像的图像信息提取精度差的问题。

2、一种基于交通道路影像的图像信息提取方法，包括：

3、s1.获得交通道路影像，将交通道路影像按照2：1：1的比例划分为训练集、测试集和验证集，将划分后的交通道路影像进行裁剪，等待下一步处理；

4、将训练集、测试集和验证集的影像，人为进行图像信息提取，将图像信息提取结果保存留作后续对照；

5、s2.构建基于交通道路影像的图像信息提取网络，具体是将u-net神经网络中的所有卷积模块替换为综合转换器模块dt，dt包括两个归一化层、一个多重信息融合模块hlp和一个多层感知机模块mlp；

6、归一化层不保存训练批次的均值和方差，取同一个样本的不同通道做归一化；hlp是基于小波变换的转换器模块、多层卷积模块和多层池化模块的并行操作，采用桥连接方法加强全局和局部之间的联系；mlp先将数据先映射到高维空间再映射到低维空间；

7、s3.将训练集中的交通道路影像输入s2构建好的基于交通道路影像的图像信息提取网络中，得到基于交通道路影像的图像信息提取结果，将图像信息提取结果和训练集人为进行图像信息提取的结果进行误差计算，如果误差大于设置的阈值，反向传播更新参数，反复迭代直至误差小于设置的阈值，停止更新参数并保存网络参数；

8、s4.将验证集中的交通道路影像输入s2构建好的基于交通道路影像的图像信息提取网络中，网络的输出为基于交通道路影像的图像信息提取网络的信息提取结果，将图像信息提取结果和验证集人为进行图像信息提取的结果进行误差计算，如果误差大于设置的阈值，返回s3，如果误差小于设置的阈值，执行s5；

9、s5.把测试集中的交通道路影像输入s2构建好的基于交通道路影像的图像信息提取网络中，网络的输出为基于交通道路影像的图像信息提取网络的最终信息提取结果。

10、s2中的hlp的结构包括一个基于小波变换的转换器模块、一个多层卷积模块和一个多层池化模块并行结构、一个成比例的合并层、两个交叉的桥连接和一个1x1的卷积层。

11、s2中的hlp运行过程为：

12、b1.hlp的输入为特征数据块x，设x的行数为h、列数为w，通道数为c，x同时输入到基于小波变换的转换器模块、多层卷积模块和多层池化模块，对应三个模块的输出为y1、y2、y3，维度均为h×w×c：

13、y1、y2、y3=dwt-cswtf(x)，ml-cnn(x)，ml-pl(x)；

14、式中，dwt-cswtf是基于小波变换的转换器模块架构，由小波变换和十字交叉注意力串联产生，dwt-cswtf(x)表示让x通过基于小波变换的转换器模块，ml-cnn是多层卷积模块，由三个并行的卷积层、一个拼接层和一个归一化层构成，ml-cnn(x)表示让x通过多层卷积模块，ml-pl是多层池化模块，由4个并行的平局池化层、一个上采样层、一个拼接层和一个激活函数层构成，ml-pl(x)表示让x通过多层池化模块；

15、b2.通过桥连接求y1和y2的结果的交叉注意力，设输出为z1和z2：

16、z1，z2=gb(y1)，lb(y2)；

17、gb表示全局桥，是由全局到局部的信息连接桥；lb表示局部桥，是由局部到全局的信息连接桥，gb(y1)表示对小波变换的转换器输出和多层卷积的输出求解交叉注意力机制，将多层卷积的结果引入到小波变换的转换器中在全局信息中引入细节信息；lb(y2)表示将在细节信息中引入全局信息；

18、b3.将z1、z2和y3按2:2:1比例相加，通过1x1卷积进行通道交互，将经过桥连接优化后的z1和z2与多层池化输出进行融合，将全局信息、局部信息频率信息进行交互，hlp的最终输出m：

19、m=con1×1(2z1+2z2+y3)；

20、其中con1×1是卷积核大小为1×1的卷积运算函数。

21、基于小波变换的转换器模块包括基于小波变换和逆小波变换的补偿模块、基于小波变换的频率重组模块、基于十字交叉注意力的转换器模块；

22、基于小波变换和逆小波变换的补偿模块为于残差结构，基于小波变换的频率重组模块将高低频率进行重新组合，产生适合提取的频率组合，再从频率重组后的信息获取k'和v'矩阵，从输入特征获得q矩阵，将其q、k'和v'三个矩阵输入到基于十字交叉注意力的转换器模块：

23、y2=attention(q、k'、v')+idwt(dwt(x))；

24、其中q是来自x的映射矩阵，小波变换重组后的x记为x0，k'和v'是来自的x0映射矩阵，dwt表示小波变换，idwt表示逆小波变换，attention是十字交叉注意力全局注意力图的函数。

25、基于小波变换的频率重组模块包括：两个1x1的卷积层、一个3x3的卷积层、一个细化的小波变换过程和两个可学习的权重a和b；

26、将特征输入到小波变换的频率重组模块中，先经过1×1的卷积将整体的通道数调整为c/2，再将变化后的特征输入到细化的小波变换过程中，小波输出产生三个高频信号：低高频xlh，高低频xhl，高高频xhh，一个低频信号：低低频xll，每个高频信号和低频信号张量大小为h/2×w/2×c/2；

27、将三个高频信号按照通道进行拼接此时维度为h/2×w/2×3c/2，再通过1×1卷积对其进行通道降维将维度变为h/2×w/2×c/2，此时获取到合并后的高频信息，分别对获得高低频信息乘以两个权重a和b，再输入给一个3x3的卷积：

28、xhl，xhh，xlh，xll=dwt(con1×1(x))；

29、x0=con3×3(concat(con1×1(conact(xhl，xhh，xlh))，xll))；

30、其中concat表示按通道进行拼接操作，con3x3表示进行3x3卷积运算，con1x1表示经过1x1卷积运算。

31、基于十字交叉注意力的转换器模块的求解公式如下：

32、；

33、attention(q，k'，v')=concat(h-attention(q，k'，v')，l-attention(q，k'，v'))；

34、其中q，k' ，v'的张量大小为s×w，h-attention是求取行注意力图的函数，l-attention是求取列注意力图的函数，softmax是激活函数，dk'是k'的空间维度，对应hlp的窗口sw的取值和初始的十字交叉注意力中的保持一致，分别为[1，2，7，7]。

35、hlp中的多层卷积模块包括一个通道划分模块、三个并行的不同大小的卷积层、一个按通道拼接层个一个归一化层；

36、三个并行的卷积层的大小分别为3x3卷积、5x5卷积和7x7卷积，特征数据块x经过通道划分模块后输入每一个卷积层的张量大小变为hwc/3，三个卷积对输入的张量进行卷积，将三个卷积输出的结果重新按照通道数进行拼接，拼接后的整体张量大小hwc：

37、y1=batchnorm(concat(con3×3(split(x))，con5×5(split(x))，con7×7(split(x))))；

38、其中split表示对输入按照通道进行划分，con3×3是卷积核大小为3x3的卷积运算函数，con5×5是卷积核大小为5x5的卷积运算函数，con7×7是卷积核大小为7x7的卷积运算函数，batchnorm表示进行归一化。

39、多层池化模块包括一个通道划分模块、四个不同大小的池化层、一个双线性插值层、一个拼接层和一个激活函数层；

40、4个并行的池化的大小分别为1x1池化层、2x2池化层、3x3池化层和6x6池化层，池化选择平均池化，输入的张量先经过并行池化层进行池化操作，再通过双线性插值扩充分辨率到，此时经过双线性插值的每一个张量大小为h×w×c/4，再按照通道数进行拼接，通过激活函数relu进行激活：

41、y3=relu(concat(up(pl1(split(x)))，up(pl2(split(x)))，up(pl3(split(x)))，up(pl6(split(x)))))；

42、其中relu表示激活函数，pl1、pl 2、pl 3、pl 6分别表示1x1，2x2，3x3，6x6的平均池化层，up表示采用双线性插值的方式对池化后的特征进行扩充。

43、桥连接包括gb和lb；

44、对于gb，在计算交叉注意力时，q和v的映射矩阵来自全局注意力的输出结果，k来自多层卷积模块：

45、；

46、对于lb，在计算交叉注意力时，q和v来自多层卷积模块的输出，k来自全局注意力的输出：

47、；

48、其中q、k、v来自基于小波变换的转换器模块的输出，x'来自多层卷积层的结果输出。

49、采用adam优化算法进行参数求解，在误差反向传播时，根据误差梯度信息对参数进行更新，损失函数为：

50、；

51、式中，n为批量处理数据数量，f表示基于交通道路影像的图像信息提取网络，（xi，yi）代表验证集的数据以及对应的信息的训练对，θ是基于交通道路影像的图像信息提取网络的参数。

52、相对比现有技术，本发明具有以下有益效果：

53、本发明通过对不同通道进行不同的卷积，增强模型对遥感图像中复杂场景和多样性目标的建模能力，更有利于局部特征的提取，并引入近似高频信息，提高准确性和泛化能力；多层的平均池化操作在缩小特征图尺寸的同时，也将局部信息进行了整合，得到了整个特征图的平均值，并引入近似的低频信息。这有助于提取全局信息，捕捉图像中的整体结构和上下文关系；基于小波变换的转换器模块通过引入两个权重，将可调节的频率信息映入转换器中，能强化转换器对于整体信息的建模；桥连接使得模型能够兼顾全局和局部特征，提高模型对于不同尺度、不同层次特征的感知能力，从而更好地提取道路图像的信息。