一种基于多波段遥感图像融合的船舶目标识别方法及系统与流程

一种基于多波段遥感图像融合的船舶目标识别方法及系统
1.技术领域
2.本发明涉及一种基于多波段遥感图像融合的船舶目标识别方法及系统，属于多波段图像融合技术、目标检测和目标识别技术领域。


背景技术：

3.随着遥感技术的不断进步，光学遥感图像的质量也在不断提高，对遥感图像进行合理而充分地利用，既对土地资源管理、城市建设规划和生态环境保护等民用方面有所贡献，也对军事方面有所帮助。遥感图像具有丰富的地物纹理信息，因此，对遥感图像进行目标识别是航空和卫星图像分析领域中的重要问题。船舶目标识别技术由于海洋表面的大气、光照、云层、岛屿等不确定性条件，传统的船舶识别方法识别精度低、稳定性差，因此研究一种高精度、高稳定性的船舶识别技术具有十分重要的价值。
4.现有的光学遥感图像船舶目标识别技术，特别是基于深度学习来开展的研究工作，采用的方法多为：对输入的光学遥感图像，直接利用卷积神经网络，提取图像的深度特征，构建分类器，利用特征进行分类和回归，得到船舶目标所在区域的外接矩形坐标和船舶目标的类别。


技术实现要素：

5.现有的光学遥感图像船舶目标识别方法，大多是基于单一波段图像的，能利用的信息相对较少，船舶识别的精度不高，且易受光照、云雾等因素干扰，船舶识别的鲁棒性不高。本发明的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种基于多波段遥感图像融合的船舶目标识别方法及系统，该方法和系统充分利用多波段图像信息，对多个波段的遥感图像进行融合，增加了图像中的有效信息量，强化了船舶目标的特征，同时弥补了单一波段成像易受干扰的缺陷，相比单一波段的船舶目标检测方法具有更高的精准度和鲁棒性。
6.本发明具体采用如下技术方案：一种基于多波段遥感图像融合的船舶目标识别方法，包括如下步骤：多波段图像融合步骤，具体包括：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测步骤；船舶目标检测步骤，具体包括：接收所述多波段图像融合步骤输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别步骤；船舶目标识别步骤，具体包括：获取所述船舶目标检测步骤输出的船舶目标的切片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。
7.作为一种较佳的实施例，所述多波段图像融合步骤包括：通过一个卷积神经网络框架完成多波段遥感图像的融合，所述卷积神经网络包含特征提取网络和融合网络，具体包括：首先，对输入的同一时相下的多波段遥感图像数据进行配准，得到像素对齐后的各波段图像；然后，经过所述特征提取网络完成对各波段图像的深度特征提取，该所述特征提取网络为一个深度卷积神经网络，输入图像经过卷积后，可输出特征图；其次，各波段特征图经过融合网络融合后，最终生成融合后的图像。
8.作为一种较佳的实施例，所述融合网络是一个生成式网络，初始输入为多波段图像的特征图和一张随机噪声图像，利用反向传播不断更新噪声图像的像素值，通过融合损失函数控制该噪声图像的像素更新，经过多次迭代后损失降至最小，网络完成像素更新，生成一张新的图像即输出的融合后的图像。
9.作为一种较佳的实施例，所述船舶检测步骤包括：通过一个卷积神经网络框架完成对多波段遥感融合图像中船舶目标的检测，所述卷积神经网络包含特征提取网络、区域推荐网络、特征对齐网络和分类回归网络，具体包括：首先，将融合后的多波段遥感图像输入特征提取网络，所述特征提取网络对图像进行卷积提取融合图像的高层特征；然后，将提取的高层特征输入到区域推荐网络中，所述区域推荐网络利用高层特征图进行预测，输出目标的推荐区域框；然后，将目标的推荐区域框输入特征对齐网络进行特征对齐；最后，将特征对齐后的特征输入分类回归网络，修正船舶目标框，预测目标类别，最终输出修正后的船舶目标位置和粗分类结果，即目标框和其所对应的各类别的置信度。
10.作为一种较佳的实施例，所述船舶识别步骤具体包括：首先，船舶检测步骤的输出经过切片后，每个船舶的切片图像作为所述船舶识别步骤的输入图像；然后，利用特征提取网络提取切片图像的深度特征，对特征提取网络提取得到的最后一层特征图送入分类器1进行分类，同时，提取多个不同尺度下的特征图送入多尺度分支中，该多尺度分支中通过分类器2对多尺度特征图进行分类，得到多尺度下的分类结果；最后，将分类器1和分类器2的输出的分类结果，以及所述船舶检测步骤的粗分类结果利用决策级融合算法进行融合，进一步优化各类的置信度，最终输出置信度最高的类别作为船舶识别步骤的输出结果。
11.本发明还提出一种基于多波段遥感图像融合的船舶目标识别系统，包括：多波段图像融合模块，具体执行：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测模块；船舶目标检测模块，具体执行：接收所述多波段图像融合模块输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别模块；船舶目标识别模块，具体执行：获取所述船舶目标检测模块输出的船舶目标的切
片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。
12.作为一种较佳的实施例，所述多波段图像融合模块具体执行：通过一个卷积神经网络框架完成多波段遥感图像的融合，所述卷积神经网络包含特征提取网络和融合网络，具体包括：首先，对输入的同一时相下的多波段遥感图像数据进行配准，得到像素对齐后的各波段图像；然后，经过所述特征提取网络完成对各波段图像的深度特征提取，该所述特征提取网络为一个深度卷积神经网络，输入图像经过卷积后，可输出特征图；其次，各波段特征图经过融合网络融合后，最终生成融合后的图像。
13.作为一种较佳的实施例，所述融合网络是一个生成式网络，初始输入为多波段图像的特征图和一张随机噪声图像，利用反向传播不断更新噪声图像的像素值，通过融合损失函数控制该噪声图像的像素更新，经过多次迭代后损失降至最小，网络完成像素更新，生成一张新的图像即输出的融合后的图像。
14.作为一种较佳的实施例，所述船舶检测模块具体执行：通过一个卷积神经网络框架完成对多波段遥感融合图像中船舶目标的检测，所述卷积神经网络包含特征提取网络、区域推荐网络、特征对齐网络和分类回归网络，具体包括：首先，将融合后的多波段遥感图像输入特征提取网络，所述特征提取网络对图像进行卷积提取融合图像的高层特征；然后，将提取的高层特征输入到区域推荐网络中，所述区域推荐网络利用高层特征图进行预测，输出目标的推荐区域框；然后，将目标的推荐区域框输入特征对齐网络进行特征对齐；最后，将特征对齐后的特征输入分类回归网络，修正船舶目标框，预测目标类别，最终输出修正后的船舶目标位置和粗分类结果，即目标框和其所对应的各类别的置信度。
15.作为一种较佳的实施例，所述船舶识别模块具体执行：首先，船舶检测模块的输出经过切片后，每个船舶的切片图像作为所述船舶识别模块的输入图像；然后，利用特征提取网络提取切片图像的深度特征，对特征提取网络提取得到的最后一层特征图送入分类器1进行分类，同时，提取多个不同尺度下的特征图送入多尺度分支中，该多尺度分支中通过分类器2对多尺度特征图进行分类，得到多尺度下的分类结果；最后，将分类器1和分类器2的输出的分类结果，以及所述船舶检测模块的粗分类结果利用决策级融合算法进行融合，进一步优化各类的置信度，最终输出置信度最高的类别作为船舶识别模块的输出结果。
16.本发明所达到的有益效果：第一，本发明整个系统由多个模块所构成，融合模块对多波段图像进行融合，融合后的图像由船舶检测模块对船舶目标进行检测，最终由船舶识别模块完成识别。第二，本发明的方法及系统融合了多个波段遥感图像的特征，达到了取长补短的目的，丰富了船舶目标的可利用信息。第三，本发明的方法及系统采用先检测船舶目标再对目标进行精细化判别的技术路线，在确保高召回率的同时提升了识别的准确率。第四，本发明的方法及系统采用决策级融合的方法对粗分类结果、精细化分类结果和多尺度分类结果进行融合，进一步提升了识别精度。
附图说明
17.图1是本发明的一种基于多波段遥感图像融合的船舶目标识别系统的拓扑架构示意图；图2是本发明的多波段图像融合模块的拓扑原理示意图；图3是本发明的船舶检测模块的拓扑原理示意图；图4是本发明的船舶识别模块的拓扑原理示意图。
具体实施方式
18.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
19.实施例1：本发明提出一种基于多波段遥感图像融合的船舶目标识别方法，包括如下步骤：多波段图像融合步骤，具体包括：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测步骤；船舶目标检测步骤，具体包括：接收所述多波段图像融合步骤输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别步骤；船舶目标识别步骤，具体包括：获取所述船舶目标检测步骤输出的船舶目标的切片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。
20.作为一种较佳的实施例，所述多波段图像融合步骤包括：通过一个卷积神经网络框架完成多波段遥感图像的融合，所述卷积神经网络包含特征提取网络和融合网络，具体包括：首先，对输入的同一时相下的多波段遥感图像数据进行配准，得到像素对齐后的各波段图像；然后，经过所述特征提取网络完成对各波段图像的深度特征提取，该所述特征提取网络为一个深度卷积神经网络，输入图像经过卷积后，可输出特征图；其次，各波段特征图经过融合网络融合后，最终生成融合后的图像。
21.作为一种较佳的实施例，所述融合网络是一个生成式网络，初始输入为多波段图像的特征图和一张随机噪声图像，利用反向传播不断更新噪声图像的像素值，通过融合损失函数控制该噪声图像的像素更新，经过多次迭代后损失降至最小，网络完成像素更新，生成一张新的图像即输出的融合后的图像。
22.作为一种较佳的实施例，所述船舶检测步骤包括：通过一个卷积神经网络框架完成对多波段遥感融合图像中船舶目标的检测，所述卷积神经网络包含特征提取网络、区域推荐网络、特征对齐网络和分类回归网络，具体包括：首先，将融合后的多波段遥感图像输入特征提取网络，所述特征提取网络对图像进行卷积提取融合图像的高层特征；然后，将提取的高层特征输入到区域推荐网络中，所述区域推荐网络利用高层特征图进行预测，输出目标的推荐区域框；
然后，将目标的推荐区域框输入特征对齐网络进行特征对齐；最后，将特征对齐后的特征输入分类回归网络，修正船舶目标框，预测目标类别，最终输出修正后的船舶目标位置和粗分类结果，即目标框和其所对应的各类别的置信度。
23.作为一种较佳的实施例，所述船舶识别步骤具体包括：首先，船舶检测步骤的输出经过切片后，每个船舶的切片图像作为所述船舶识别步骤的输入图像；然后，利用特征提取网络提取切片图像的深度特征，对特征提取网络提取得到的最后一层特征图送入分类器1进行分类，同时，提取多个不同尺度下的特征图送入多尺度分支中，该多尺度分支中通过分类器2对多尺度特征图进行分类，得到多尺度下的分类结果；最后，将分类器1和分类器2的输出的分类结果，以及所述船舶检测步骤的粗分类结果利用决策级融合算法进行融合，进一步优化各类的置信度，最终输出置信度最高的类别作为船舶识别步骤的输出结果。
24.实施例2：如图1所示，本发明还提出一种基于多波段遥感图像融合的船舶目标识别系统，包括：多波段图像融合模块，具体执行：获取经过多波段配准的多波段遥感图像，通过卷积神经网络提取多个波段的遥感图像特征，基于生成式模型，通过不断反向传播，不断更新融合图像的像素，达到最佳效果后，输出融合后的图像给船舶目标检测模块；船舶目标检测模块，具体执行：接收所述多波段图像融合模块输出的融合后的图像，基于一个端到端的目标检测网络，完成对融合图像中船舶目标的检测，输出船舶目标的切片图像和船舶类别的粗分类结果给船舶目标识别模块；船舶目标识别模块，具体执行：获取所述船舶目标检测模块输出的船舶目标的切片图像，经过精细化判别网络后，输出船舶类别的最终识别结果。
25.作为一种较佳的实施例，如图2所示，所述多波段图像融合模块具体执行：通过一个卷积神经网络框架完成多波段遥感图像的融合，所述卷积神经网络包含特征提取网络和融合网络，具体包括：首先，对输入的同一时相下的多波段遥感图像数据进行配准，得到像素对齐后的各波段图像；然后，经过所述特征提取网络完成对各波段图像的深度特征提取，该所述特征提取网络为一个深度卷积神经网络，输入图像经过卷积后，可输出特征图；其次，各波段特征图经过融合网络融合后，最终生成融合后的图像。
26.作为一种较佳的实施例，所述融合网络是一个生成式网络，初始输入为多波段图像的特征图和一张随机噪声图像，利用反向传播不断更新噪声图像的像素值，通过融合损失函数控制该噪声图像的像素更新，经过多次迭代后损失降至最小，网络完成像素更新，生成一张新的图像即输出的融合后的图像。
27.如图3所示，作为一种较佳的实施例，所述船舶检测模块具体执行：通过一个卷积神经网络框架完成对多波段遥感融合图像中船舶目标的检测，所述卷积神经网络包含特征提取网络、区域推荐网络、特征对齐网络和分类回归网络，具体包括：首先，将融合后的多波段遥感图像输入特征提取网络，所述特征提取网络对图像进行卷积提取融合图像的高层特征；
然后，将提取的高层特征输入到区域推荐网络中，所述区域推荐网络利用高层特征图进行预测，输出目标的推荐区域框；然后，将目标的推荐区域框输入特征对齐网络进行特征对齐；最后，将特征对齐后的特征输入分类回归网络，修正船舶目标框，预测目标类别，最终输出修正后的船舶目标位置和粗分类结果，即目标框和其所对应的各类别的置信度。
28.如图4所示，作为一种较佳的实施例，所述船舶识别模块具体执行：首先，船舶检测模块的输出经过切片后，每个船舶的切片图像作为所述船舶识别模块的输入图像；然后，利用特征提取网络提取切片图像的深度特征，对特征提取网络提取得到的最后一层特征图送入分类器1进行分类，同时，提取多个不同尺度下的特征图送入多尺度分支中，该多尺度分支中通过分类器2对多尺度特征图进行分类，得到多尺度下的分类结果；最后，将分类器1和分类器2的输出的分类结果，以及所述船舶检测模块的粗分类结果利用决策级融合算法进行融合，进一步优化各类的置信度，最终输出置信度最高的类别作为船舶识别模块的输出结果。
29.本发明的关键点在于：第一，整个方法由多个模块所构成，融合模块对多波段图像进行融合，融合后的图像由船舶检测模块船舶目标进行检测，最终由船舶识别模块完成识别。第二，本发明融合模块利用卷积神经网络提取多波段遥感图像的深度特征，然后通过生成式网络进行融合，利用损失函数控制融合过程，实现了融合的全自动化，提升了融合的效果。第三，本发明的船舶的识别过程先检测得到船舶目标位置和粗分类结果然后再进行精细化判别，在识别过程中结合了多尺度特征和粗分类结果，并且进行了决策级融合，进一步提升了船舶识别的精度。
30.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。