一种遥感图像地物的图像拼接方法及系统与流程

本发明涉及遥感图像处理技术领域，尤其涉及一种遥感图像地物的图像拼接方法及系统。

背景技术：

在遥感技术领域，利用图像拼接技术可以将拍摄的地面图像拼接成比较准确的完整图像，作为进一步处理的依据，在土地规划、灾害防治、无人机、卫星、无人船与资源监控领域具有十分重要的作用。遥感图像的拍摄在高空，图像上有很多高楼房，拍摄角度不同，拍出来的高层建筑物形态不同，在拼接时很可能会一栋楼房变成倒向不同方向的多栋楼房，显然，这样的结果并不能满足用户的需求。

技术实现要素：

本发明所要解决的技术问题是：遥感图像因拍摄角度不同，拍出来的高层建筑物形态不同，在拼接时很可能会一栋楼房变成倒向不同方向的多栋楼房。

本发明解决上述技术问题的技术方案如下：

一种遥感图像地物的图像拼接方法，包括：

S1：通过全卷积网络对遥感图像中所有地物进行识别和分割，得到所述遥感图像中所有地物的分割图像；

S2：判断所述分割图像的拼接区域是否存在高层建筑物的图像；

S3：当确定存在所述高层建筑物时，移动所述拼接区域内的拼接线不与所述高层建筑物的图像重合，或选用识别的除建筑物之外的图像区域替换所述高层建筑物的图像。

本发明的有益效果是：对遥感图像中地物进行识别和分割后，在拼接过程中躲开高楼房，就可以避免出现一栋楼房变成倒向不同方向的多栋楼房。

在上述技术方案的基础上，本发明还可以做如下改进。

优选地，所述步骤S1包括：

S11：将遥感图像放入全卷积网络，所述全卷积网络包括依次排列的多个卷积层组、多个反卷积层和CRF模型层，其中，所述卷积层组包括交替排列的卷积层和稀松卷积层；

S12：通过多个所述卷积层组和多个所述反卷积层对所述遥感图像进行坐标点标记，得到地物分类概率图，其中，所述地物分类概率图中不同地物具有不同的坐标点颜色和坐标点深度；

S13：将所述坐标点颜色和所述坐标点深度输入所述CRF模型层对所述地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

采用上述进一步方案的有益效果是：将遥感图像的颜色和深度加入图像识别和分割中，综合分析颜色信息和深度信息，将CRF模型层作为深度学习神经网络的上采样层，在网络输出的粗分割基础上，实现图像的精细切割。

优选地，所述步骤S12包括：

S121：将所述遥感图像经过至少一个所述卷积层组坐标点标记后的图像与经过所有所述卷积层组和至少一个所述反卷积层坐标点标记后的图像进行多次融合，得到融合图像；

S122：将所述遥感图像与所述融合图像经过至少一个所述反卷积层坐标点标记后的图像进行多次融合，得到地物分类概率图。

采用上述进一步方案的有益效果是：该全卷积网络把传统网络的全连接替换成了卷积，添加反卷积层，并将网络前几层的结果与网络最终的结果进行融和，可以得到更多的图像信息。

优选地，所述步骤S13包括：

S131：将所述坐标点颜色输入所述CRF模型层的能量函数计算得到所述地物分类概率图中的所有坐标点的第一能量值；

S132：将所述坐标点深度输入所述CRF模型层的能量函数计算得到所述地物分类概率图中的所有坐标点的第二能量值；

S133：根据所述第一能量值和所述第二能量值计算得到所有坐标点的最终能量值；

S134：根据所述最终能量值对所述地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

采用上述进一步方案的有益效果是：改进了CRF算法和吉布斯能量函数，以坐标点颜色和深度作为判断依据，放入能量函数中，通过迭代对坐标点进行正确分类，降低能量函数的值，实现图像切割。

优选地，所述识别的除建筑物之外的图像区域包括：平地、道路或河流区域。

一种遥感图像地物的图像拼接系统，包括：

分割模块，用于通过全卷积网络对遥感图像中所有地物进行识别和分割，得到所述遥感图像中所有地物的分割图像；

判断模块，用于判断所述分割图像的拼接区域是否存在高层建筑物的图像；

拼接模块，用于当确定存在所述高层建筑物时，移动所述拼接区域内的拼接线不与所述高层建筑物的图像重合，或选用识别的除建筑物之外的图像区域替换所述高层建筑物的图像。

优选地，所述分割模块包括：

放入单元，用于将遥感图像放入全卷积网络，所述全卷积网络包括依次排列的多个卷积层组、多个反卷积层和CRF模型层，其中，所述卷积层组包括交替排列的卷积层和稀松卷积层；

标记单元，用于通过多个所述卷积层组和多个所述反卷积层对所述遥感图像进行坐标点标记，得到地物分类概率图，其中，所述地物分类概率图中不同地物具有不同的坐标点颜色和坐标点深度；

分类单元，用于将所述坐标点颜色和所述坐标点深度输入所述CRF模型层对所述地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

优选地，所述标记单元包括：

第一融合组件，用于将所述遥感图像经过至少一个所述卷积层组坐标点标记后的图像与经过所有所述卷积层组和至少一个所述反卷积层坐标点标记后的图像进行多次融合，得到融合图像；

第二融合组件，用于将所述遥感图像与所述融合图像经过至少一个所述反卷积层坐标点标记后的图像进行多次融合，得到地物分类概率图。

优选地，所述分类单元包括：

第一计算组件，用于将所述坐标点颜色输入所述CRF模型层的能量函数计算得到所述地物分类概率图中的所有坐标点的第一能量值；

第二计算组件，用于将所述坐标点深度输入所述CRF模型层的能量函数计算得到所述地物分类概率图中的所有坐标点的第二能量值；

第三计算组件，用于根据所述第一能量值和所述第二能量值计算得到所有坐标点的最终能量值；

分类组件，用于根据所述最终能量值对所述地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

优选地，所述识别的除建筑物之外的图像区域包括：平地、道路或河流区域。

附图说明

图1为本发明实施例提供的一种遥感图像地物的图像拼接方法的流程示意图；

图2为本发明另一实施例提供的一种遥感图像地物的图像拼接方法的流程示意图；

图3为本发明另一实施例提供的一种遥感图像地物的图像拼接方法的流程示意图；

图4为本发明另一实施例提供的一种遥感图像地物的图像拼接方法的流程示意图；

图5为本发明实施例提供的一种遥感图像地物的图像拼接系统的结构示意图；

图6为本发明另一实施例提供的一种遥感图像地物的图像拼接系统的结构示意图；

图7为本发明另一实施例提供的一种遥感图像地物的图像拼接系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，，在实施例中，提供一种遥感图像地物的图像拼接方法，包括：

S1：通过全卷积网络对遥感图像中所有地物进行识别和分割，得到遥感图像中所有地物的分割图像；

S2：判断分割图像的拼接区域是否存在高层建筑物的图像；

S3：当确定存在高层建筑物时，移动拼接区域内的拼接线不与高层建筑物的图像重合，或选用识别的除建筑物之外的图像区域替换高层建筑物的图像。

应理解，该实施例中，对遥感图像中地物进行识别和分割后，在拼接过程中躲开高楼房，就可以避免出现一栋楼房变成倒向不同方向的多栋楼房。

具体地，该实施例中，通过全卷积网络这种深度学习网络对遥感图像中所有地物进行识别并分割，得到所有地物的分割图像，随后对这些地物进行拼接，在拼接过程中，首先判断拼接区域是否存在高层建筑物，如果存在，则移动拼接线躲开高层建筑物或者选用除建筑物之外的识别的区域，比如平地、道路或河流区域替换该高层建筑物。

如图2所示，在另一实施例中，图1中的步骤S1包括：

S11：将遥感图像放入全卷积网络，全卷积网络包括依次排列的多个卷积层组、多个反卷积层和CRF模型层，其中，卷积层组包括交替排列的卷积层和稀松卷积层；

S12：通过多个卷积层组和多个反卷积层对遥感图像进行坐标点标记，得到地物分类概率图，其中，地物分类概率图中不同地物具有不同的坐标点颜色和坐标点深度；

S13：将坐标点颜色和坐标点深度输入CRF模型层对地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

应理解，该实施例中，将遥感图像的颜色和深度加入图像识别和分割中，综合分析颜色信息和深度信息，将CRF模型层作为深度学习神经网络的上采样层，在网络输出的粗分割基础上，实现图像的精细切割。

具体地，该实施例中，首先，对传统全卷积网络进行改进，使用卷积层代替全连接层，在卷积层后利用反卷积层和CRF模型层对图像进行上采样；然后，将待分割图像放入该改进后的全卷积网络中，通过七层卷积层和三层反卷积层对遥感图像进行坐标点标记，给坐标点标上不同颜色和深度，最后，根据坐标点颜色和深度通过CRF模型层对坐标点标记后的图像中的所有坐标点进行迭代分类，进行精细分割，得到不同地物的分割图像。CRF(conditional random field algorithm，条件随机场)结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型，近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。CRF是一个典型的判别式模型。

如图3所示，在另一实施例中，图2中的步骤S12包括：

S121：将遥感图像经过至少一个卷积层组坐标点标记后的图像与经过所有卷积层组和至少一个反卷积层坐标点标记后的图像进行多次融合，得到融合图像；

S122：将遥感图像与融合图像经过至少一个反卷积层坐标点标记后的图像进行多次融合，得到地物分类概率图。

应理解，该实施例中，该全卷积网络把传统网络的全连接层替换成了卷积层，添加反卷积层，并将网络前几层的结果与网络最终的结果进行融和，可以得到更多的图像信息。

如图4所示，在另一实施例中，图2中的步骤S13包括：

S131：将坐标点颜色输入CRF模型层的能量函数计算得到地物分类概率图中的所有坐标点的第一能量值；

S132：将坐标点深度输入CRF模型层的能量函数计算得到地物分类概率图中的所有坐标点的第二能量值；

S133：根据第一能量值和第二能量值计算得到所有坐标点的最终能量值；

S134：根据最终能量值对地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

应理解，该实施例中，以坐标点颜色和深度作为判断依据，放入能量函数中，通过迭代对坐标点进行正确分类，降低能量函数的值，实现图像切割。

具体地，该实施例中，分别将坐标点颜色和深度输入CRF模型层的能量函数分别计算得到地物分类概率图中的所有坐标点的对应于坐标点颜色的第一能量值和对应于坐标点深度的第二能量值，将第一能量值与第二能量值相加得到每个坐标点的总能量，根据每个坐标点的总能量对地物分类概率图进行精确分割，得到地物分割图像。

应理解，该实施例中，识别的除建筑物之外的图像区域包括：平地、道路或河流区域。

如图5所示，在实施例中，提供一种遥感图像地物的图像拼接系统，包括：

分割模块1，用于通过全卷积网络对遥感图像中所有地物进行识别和分割，得到遥感图像中所有地物的分割图像；

判断模块2，用于判断分割图像的拼接区域是否存在高层建筑物的图像；

拼接模块3，用于当确定存在高层建筑物时，移动拼接区域内的拼接线不与高层建筑物的图像重合，或选用识别的除建筑物之外的图像区域替换高层建筑物的图像。

如图6所示，在另一实施例中，图5中的分割模块1包括：

放入单元11，用于将遥感图像放入全卷积网络，全卷积网络包括依次排列的多个卷积层组、多个反卷积层和CRF模型层，其中，卷积层组包括交替排列的卷积层和稀松卷积层；

标记单元12，用于通过多个卷积层组和多个反卷积层对遥感图像进行坐标点标记，得到地物分类概率图，其中，地物分类概率图中不同地物具有不同的坐标点颜色和坐标点深度；

分类单元13，用于将坐标点颜色和坐标点深度输入CRF模型层对地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

如图7所示，在另一实施例中，图6中的标记单元12包括：

第一融合组件121，用于将遥感图像经过至少一个卷积层组坐标点标记后的图像与经过所有卷积层组和至少一个反卷积层坐标点标记后的图像进行多次融合，得到融合图像；

第二融合组件122，用于将遥感图像与融合图像经过至少一个反卷积层坐标点标记后的图像进行多次融合，得到地物分类概率图。

如图7所示，在另一实施例中，图6中的分类单元13包括：

第一计算组件131，用于将坐标点颜色输入CRF模型层的能量函数计算得到地物分类概率图中的所有坐标点的第一能量值；

第二计算组件132，用于将坐标点深度输入CRF模型层的能量函数计算得到地物分类概率图中的所有坐标点的第二能量值；

第三计算组件133，用于根据第一能量值和第二能量值计算得到所有坐标点的最终能量值；

分类组件134，用于根据最终能量值对地物分类概率图中的所有坐标点进行分类，得到不同地物的分割图像。

应理解，该实施例中，识别的除建筑物之外的图像区域包括：平地、道路或河流区域。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。