一种航空图像道路提取方法及设备
本发明涉及图像提取领域，尤其涉及一种航空图像道路提取方法及设备。
背景技术：
道路是城市的重要组成部分，是货物和客运运输的基础设施。准确的道路地图对于基于位置的服务和交通规划至关重要。从地理调查中提取的传统地图由于成本高而不能经常更新，因此在一些快速增长地区很容易过时。作为地图建设的一个性价比不错的备用方案,从空中图像自动提取城市道路最近吸引了广泛的学术和工业研究。
实际上，针对从航空图像中提取城市道路这个问题，提出了很多的方法。早期的方法通过手工特征提取(如纹理和轮廓等)，并应用传统机器学习方法(如支持向量机，马尔可夫随机场)来进行道路的提取。近年来，随着深度学习的发展，基于图像分割的方法取得了不错的效果。但是这些方法存在着一些严重的问题。首先，根据航空图像的拍摄角度以及当地的植被状况，道路可能会被树木或者建筑物所遮挡，导致难以将道路提取出来。第二，铁路与道路在航空图像中有着极其相似的特征，传统的深度学习方法很难将这两种不同的道路类型分开来。第三，拍摄图像时的天气条件可能比较差，导致航空图像被云层遮挡，从而难以直接从图像中提取道路。
为了解决这些问题，有人提出了航空图像信息结合车辆gps轨迹信息来进行道路提取。因为有车辆经过的地方必然意味着这里存在道路。然而这种方法也有一些固有的缺点。第一，gps轨迹数据可能存在着误差，比如采取到的gps轨迹偏离了实际的道路。第二，类似停车场的区域会导致大量的gps噪声。第三，现有的结合额外信息的方法都是直接将两种数据拼接起来，这样的结合方法效果并不是很好。
传统的仅使用航空图像的方法因为遮挡问题和不同道路特征相近的问题，在进行道路提取的时候存在着很大的误差，鲁棒性很差。结合gps轨迹的方法由于gps轨迹采取时的误差和噪声，以及简单粗暴的结合方式，并没能特别有效地提高道路提取的效果。
综上所述，现有技术中将航空图像信息和车辆gps轨迹信息相结合来进行道路提取的方法，存在着提取误差大，鲁棒性差的技术问题。
技术实现要素：
本发明提供了一种航空图像道路提取方法及设备，本发明能够精确地提取出航空图像中的道路信息，并且在道路提取过程中不受航空图像中云层的干扰，鲁棒性强。
为了解决上述技术问题，本发明实施例提供了一种航空图像道路提取方法，包括以下步骤：
获取原始航空图像以及与所述原始航空图像相对应的gps热度图；
将所述原始航空图像以及所述gps热度图输入到预先设置好的道路提取模型中，以使所述道路提取模型从所述原始航空图像中提取出航空图像局部信息，从所述gps热度图中提取出gps热度图局部信息，并对所述航空图像局部信息和所述gps热度图局部信息进行融合，得到航空图像特征图以及gps热度特征图，基于所述航空图像特征图以及所述gps热度特征图，得到所述航空图像的道路提取结果。
优选的，获取与所述原始航空图像相对应的gps热度图的具体过程为：
获取所述原始航空图像所对应的地区区域内的车辆gps轨迹图；
基于所述原始航空图像以及所述车辆gps轨迹图，得到与所述原始航空图像相对应的gps热度图。
优选的，基于所述原始航空图像以及所述车辆gps轨迹图，得到与所述原始航空图像相对应的gps热度图的具体过程为：
获取所述原始航空图像的经纬度范围，从所述车辆gps轨迹图中提取出位于所述经纬度范围内的第一车辆gps轨迹图；
计算所述第一车辆gps轨迹图中每个像素位置的gps数据的数量，得到原始gps热度图，对所述原始gps热度图进行平滑处理，得到与所述原始航空图像相对应的gps热度图。
优选的，所述道路提取模型包括第一语义分割网络以及第二语义分割网络：
所述第一语义分割网络从所述原始航空图像中提取出航空图像局部信息，所述第二语义分割网络从所述gps热度图中提取出gps热度图局部信息，继而所述道路提取模型将所述航空图像局部信息和所述gps热度图局部信息进行融合，得到航空图像特征图和gps热度特征图，所述第一语义分割网络基于所述航空图像特征图，输出最终航空图像特征图，所述第二语义分割网络基于所述gps热度特征图，输出最终gps热度图特征图，最终所述道路提取模型将所述最终航空图像特征图和所述最终gps热度图特征图进行卷积，得到所述航空图像的道路提取结果。
优选的，所述第一语义分割网络包括n层第一子网络，所述第二语义分割网络包括n层第二子网络，其中n为正整数。
优选的，第i层第一子网络从第i-1航空图像中提取出第i航空图像局部信息，第i层第二子网络从第igps热度图中提取出第igps热度图局部信息，继而所述道路提取模型将所述第i航空图像局部信息和所述第igps热度图局部信息进行融合，得到第i航空图像特征图和第igps热度特征图，之后分别将所述第i航空图像特征图和所述第igps热度特征图发送到第i+1层第一子网络和第i+1层第二子网络中，遍历每一层第一子网络和每一层第二子网络直至i＝n，得到第n层第一子网络输出的所述最终航空图像特征图和第n层第二子网络输出的所述最终gps热度图特征图；其中，i∈[1,n]，当i＝1时，第i-1航空图像为所述原始航空图像，第i-1gps热度图为与所述原始航空图像相对应的gps热度图。
优选的，所述道路提取模型将所述第i航空图像局部信息和所述第igps热度图局部信息进行融合，得到第i航空图像特征图和第igps热度特征图的具体过程为：
所述道路提取模型基于所述第i航空图像局部信息生成第i航空图像全局信息，基于所述第igps热度图局部信息生成第igps热度图全局信息；
基于所述第i航空图像局部信息、第i航空图像全局信息以及所述第igps热度图局部信息生成第igps热度特征图；
所述道路提取模型基于所述第igps热度图局部信息、第igps热度图全局信息以及所述第i航空图像局部信息，生成所述第i航空图像特征图。
优选的，所述道路提取模型基于所述第i航空图像局部信息、第i航空图像全局信息以及所述第igps热度图局部信息生成第igps热度特征图的具体过程为：
所述道路提取模型将所述第i航空图像局部信息和第i航空图像全局信息进行拼接，得到第i航空图像拼接信息，基于所述第i航空图像拼接信息以及所述第igps热度图局部信息,生成所述第igps热度特征图。
优选的，所述道路提取模型基于所述第igps热度图局部信息、第igps热度图全局信息以及所述第i航空图像局部信息，生成航空图像特征图的具体过程为：
所述道路提取模型将所述第igps热度图局部信息和第igps热度图全局信息进行拼接，得到第igps热度图拼接信息，基于所述第igps热度图拼接信息以及所述第i航空图像局部信息,生成所述第i航空图像特征图。
本发明还提供一种航空图像道路提取设备，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的一种航空图像道路提取方法。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例通过获取原始航空图像以及与原始航空图像相对应的gps热度图，在道路提取模型中对原始航空图像以及gps热度图进行局部信息提取，将提取到的局部信息航空图像局部信息和所述gps热度图局部信息进行融合，得到航空图像特征图以及gps热度特征图，并在此基础上得到航空图像的道路提取结果。本发明实施例通过将航空图像局部信息和gps热度图局部信息进行融合，从而极大地提高了道路提取效果；航空图像中的遮挡问题以及铁路和道路的混淆问题，可以通过gps轨迹很好地解决，而gps轨迹数据中的偏移问题，噪声问题又能够通过航空图像信息来得到缓解，从而使得道路的提取结果准确率高，鲁棒性强。
附图说明
图1：为本发明实施例提供的一种航空图像道路提取方法的流程图。
图2：为本发明实施例提供的一种航空图像道路提取方法的流程图。
图3：为本发明实施例提供的一种道路提取模型的结构示意图。
图4：为本发明实施例提供的一种道路提取模型的残差信息提取单元，中间层处理单元以及反卷积单元的结构示意图。
图5：为本发明实施例提供的一种道路提取模型的dem模块的工作原理图。
图6：为本发明实施例提供的一种道路提取设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，为本发明实施例提供的本发明实施例提供了一种航空图像道路提取方法，包括以下步骤：
s101：获取原始航空图像以及获取车辆gps轨迹图，基于原始航空图像以及车辆gps轨迹图，得到与原始航空图像相对应的gps热度图。
其中，需要进一步说明的是，通过利用航空相机接收从目标区域反射和辐射来的电磁波信息从而获取到原始航空图像。
s102：将所述原始航空图像以及所述gps热度图输入到预先设置好的道路提取模型中，以使所述道路提取模型从所述原始航空图像中提取出航空图像局部信息，从所述gps热度图中提取出gps热度图局部信息，并对所述航空图像局部信息和所述gps热度图局部信息进行融合，得到航空图像特征图以及gps热度特征图，基于所述航空图像特征图以及所述gps热度特征图，得到所述航空图像的道路提取结果。
本发明实施例通过将航空图像局部信息和gps热度图局部信息进行融合，从而极大地提高了道路提取效果；航空图像中的遮挡问题以及铁路和道路的混淆问题，可以通过gps轨迹很好地解决，而gps轨迹数据中的偏移问题，噪声问题又能够通过航空图像信息来得到缓解，从而使得道路的提取结果准确率高，鲁棒性强。
实施例二
请参照图1，为本发明实施例提供的本发明实施例提供了一种航空图像道路提取方法，包括以下步骤：
s201：获取原始航空图像以及获取车辆gps轨迹图。
s202:获取原始航空图像的经纬度范围，从车辆gps数据中提取出位于经纬度范围内的gps数据。
s203：计算原始航空图像中每个像素位置的gps数据的数量，得到原始航空图像的原始gps热度图，对原始热度图进行平滑处理，得到与原始航空图像相对应的gps热度图。
其中，需要进一步说明的是，将车辆gps轨迹图中的一条车辆gps轨迹表示为{vid，lon，lat，t，sp,si}.其中vid表示车辆的id，lon，lat分别表示经纬度，t表示gps记录的时间戳，sp表示此时车辆的速度，si表示采样间隔。首先将车辆gps轨迹图转化为一张大小和原始航拍图像相同且对应于原始航拍图像的车辆gps轨迹图。转化方式为：首先获取航空图像左上角和右下角的经纬度坐标，得到原始航空图像的经纬度范围，然后从车辆gps轨迹图中提取出在范围内的车辆gps轨迹，得到对应于原始航拍图像的第一车辆gps轨迹图。之后，计算第一车辆gps轨迹图中每个像素位置gps数据的数量，得到原始gps热度图，将原始热度图经过1个3*3的高斯核来进行平滑处理，得到最终的gps热度图。
s204：对原始航空图像以及gps热度图进行预处理。
其中，需要进一步说明的是，在本实施例中，进行预处理的过程如下：
将原始航空图像以及gps热度图进行随机的水平或垂直翻转，并随机反转90，180，270度；
随机扣取原始航空图像的[0.7,0.9]的子图以及gps热度图的[0.7,0.9]的子图，然后再resize到原图的大小；
经过以上预处理过程后，原始航空图像的数量以及gps热度图的数量被扩大到了原来的7倍，使用预处理后的数据来训练道路提取模型。
s205:将经过预处理的原始航空图像以及经过预处理的gps热度图输入到预先设置好的道路提取模型中，以使道路提取模型从所述原始航空图像中提取出航空图像局部信息，从gps热度图中提取出gps热度图局部信息，并对航空图像局部信息和所述gps热度图局部信息进行融合，得到航空图像特征图以及gps热度特征图，基于航空图像特征图以及gps热度特征图，得到航空图像的道路提取结果。
其中，在本实施例中，道路提取模型的超参数设置如下：使用xavier进行参数的随机初始化。batchsize为4，learningrate为0.0002，使用adam进行参数的更新，使用的损失函数为输出与groundtruth的交叉熵。
其中，需要进一步说明的是，本实施中，道路提取模型输入是一张原始航空图像以及与原始图像相对应的gps热度图，输出一张道路提取图像，道路提取图像的h和w与输入的原始航空图像以及gps热度图相同，每个像素的值为0或者1。0表示该像素为背景，1表示该像素为道路。根据道路提取模型的输入与输出可以发现，本实施例可以看做是一项语义分割任务，目标是把原始航空图像中的道路分割出来。
在本实施例中，道路提取模型包括第一语义分割网络以及第二语义分割网络：第一语义分割网络包括n层第一子网络，第二语义分割网络包括n层第二子网络，其中n为正整数。
第一语义分割网络从所述原始航空图像中提取出航空图像局部信息，第二语义分割网络从gps热度图中提取出gps热度图局部信息，继而道路提取模型将航空图像局部信息和gps热度图局部信息进行融合，得到航空图像特征图和gps热度特征图，第一语义分割网络基于所述航空图像特征图，输出最终航空图像特征图，第二语义分割网络基于所述gps热度特征图，输出最终gps热度图特征图，最终道路提取模型将所述最终航空图像特征图和最终gps热度图特征图进行卷积，得到航空图像的道路提取结果。
其中，需要进一步说明的是，第i层第一子网络从第i-1航空图像中提取出第i航空图像局部信息，第i层第二子网络从第igps热度图中提取出第igps热度图局部信息，继而道路提取模型将第i航空图像局部信息和第igps热度图局部信息进行融合，得到第i航空图像特征图和第igps热度特征图，之后分别将第i航空图像和第igps热度图发送到第i+1层第一子网络和第i+1层第二子网络中，重新对第i航空图像和第igps热度图进行局部信息的提取，得到第i+1航空图像局部信息和第i+1gps热度图局部信息，道路提取模型将第i+1航空图像局部信息和第i+1gps热度图局部信息进行融合，得到第i+1航空图像特征图和第i+1gps热度特征图，之后分别将第i+1航空图像和第i+1gps热度图发送到第i+2层第一子网络和第i+2层第二子网络中，继续对航空图像和gps热度图局部信息进行提取，遍历每一层第一子网络和每一层第二子网络直至i＝n，得到从第n层第一子网络和第n层第二子网络中获取最终航空图像特征图和最终gps热度图特征图。其中，i的初始值为1，当i＝1时，第i-1航空图像为原始航空图像，第i-1gps热度图为与原始航空图像相对应的gps热度图。
本实施例中的道路提取模型的结构如图3所示，图3中道路提取模型是两个语义分割网络，每个语义分割网络包含一个4层的autoencoder和一个4层的decoder，最终通过一个1*1的卷积来得到输出。由于要处理双模态信息，于是在本实施例中，令该道路提取模型对原始航空图像和gps热度图分别进行处理，然后在两个语义分割网络的同层结构之间添加对偶信息增强模块(dualenhancementmodule)对航空图像局部信息和gps热度图局部信息进行融合，得到航空图像特征图和gps热度特征图，并将最终航空图像特征图和最终gps热度图特征图拼接起来，通过一个1*1卷积层得到航空图像的道路提取结果。
其中，网络整体架构如表1所示。
表1
表1中，第一个卷积层中的ci根据输入的不同而不同。假如输入的是航空图像，那么ci＝3，假如输入的是gps热度图，那么ci＝1.表1中的mp代表2*2的maxpooling。res，inter，up分别是残差信息提取单元，中间层处理单元以及反卷积单元，其各自的结构如图4所示，表1中sign表示的是该层的输入在图3中的表示符号，dr表示的是downsamplingratio，c0表示每层输出的channel的数量。
图4中，conv(k,n,m)表示卷积核大小为k*k，输入channel数量为n，输出channel数量为m的卷积层，dconv(k,n,m,r)表示dilatedconvolution，dilatedratio为r，dconv则表示步长为s的transposedconvolution。
在本实施例中，道路提取模型将第i航空图像局部信息和第igps热度图局部信息进行融合，得到第i航空图像特征图和第igps热度特征图的具体过程为：
道路提取模型基于第i航空图像局部信息生成第i航空图像全局信息，基于第igps热度图局部信息生成热度图第i全局信息；
所述道路提取模型将所述第i航空图像局部信息和第i航空图像全局信息进行拼接，得到第i航空图像拼接信息，基于所述第i航空图像拼接信息以及所述第igps热度图局部信息,生成所述第igps热度特征图。
所述道路提取模型将所述第igps热度图局部信息和第igps热度图全局信息进行拼接，得到第igps热度图拼接信息，基于所述第igps热度图拼接信息以及所述第i航空图像局部信息,生成所述第i航空图像特征图。
在本实施例中，设置dualenhancementmodule(dem)模块，该模块的作用是对航空图像局部信息和gps热度图局部信息进行融合，得到航空图像特征图和gps热度特征图，从而实现两种模态信息之间的优缺点互补。dem模块主要由两部分构成，分别为nonlocal信息传递模块以及门控信息传递模块，dem模块的架构如图5所示。图5中spp和fc分别代表spatialpyramidpooling和fully-connectedlayer。+和
以图5中使用gps热度图局部信息来增强航空图像局部信息为例，首先将输入
若将dem模块输出的gps热度图全局信息和航空图像全局信息相加，其效果不是最优的。于是在本实施例中，在道路提取模型中设置了门控信息传递模块，来进行合适的信息传递，通过添加门控信息传递模块，有用的信息将会通过门控函数，无用的信息将会被舍弃。
门控信息传递模块的工作原理为，将提取出来的gps热度图局部信息与gps热度图全局信息拼接起来，输入到2个1*1的卷积层当中，分别用来学习局部信息的门控参数和全局信息的门控参数。计算过程如下所示：
上式中，
其中，需要进一步说明的是，本实施例所提出的dem模块具有可迁移性，可以对常规的分割网络采用本发明所提出的模型来增进效果。
本发明实施例通过将航空图像局部信息和gps热度图局部信息进行融合，从而极大地提高了道路提取效果；航空图像中的遮挡问题以及铁路和道路的混淆问题，可以通过gps轨迹很好地解决，而gps轨迹数据中的偏移问题，噪声问题又能够通过航空图像信息来得到缓解，从而使得道路的提取结果准确率高，鲁棒性强。
实施例三
如图6所示，本发明实施例还提供了一种航空图像道路提取设备，所述设备包括处理器300以及存储器301；
所述存储器301用于存储程序代码302，并将所述程序代码302传输给所述处理器；
所述处理器300用于根据所述程序代码302中的指令执行上述的一种航空图像道路提取方法中的步骤。
示例性的，所述计算机程序302可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器301中，并由所述处理器300执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序302在所述终端设备中的执行过程。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器300、存储器301。本领域技术人员可以理解，图6仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器300可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器301可以是所述终端设备的内部存储单元，例如终端设备的硬盘或内存。所述存储器301也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器301还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器301用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器301还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！