一种基于静止轨道卫星遥感图像的码头区域检测方法与流程

1.本发明属于码头检测技术领域，具体涉及一种基于静止轨道卫星遥感图像的码头区域检测方法。


背景技术：

2.目前，遥感图像检测技术已经在实际场景当中非常广泛的应用，但是它们大多数是针对高分辨率低轨遥感卫星影像而言的，而对于静止轨道卫星遥感影像的目标检测，由于相较于高分辨率低轨遥感卫星，静止轨道卫星遥感图像分辨率更低，尺寸范围更大，场景信息更为复杂，造成针对遥感影像的目标检测困难重重。而大范围、高时效的码头自动检测对于航运信息管理有着重要的意义，静止轨道遥感卫星诞生使之成为可能。
3.相较于传统侦察卫星获取到的遥感图像，静止轨道卫星遥感图像分辨率更低，尺寸范围更大，使得其中的场景信息更为复杂，处理难度也随之增大。对于传统遥感目标检测算法而言，大多依赖于先验知识进行人工设计特征，故针对静止轨道卫星遥感图像中更为复杂的场景难以适应，鲁棒性较差(cheng,g；han,j.w；guo,l；qian,x.l；zhou,p.c；yao,x.w；hu,x.t.object detection in remote sensing imagery using a discriminatively trained mixture model[j].isprs j.photogramm.remote sens.2013,85:32-43)。而对于现在较为主流的基于深度学习的遥感目标检测算法而言，由于该类算法具备强大的特征提取能力，使得其解决了很多传统遥感目标检测算法难以克服的问题，但是仍旧难以直接应用于静止轨道卫星遥感图像的检测任务中(s.ren；k.he；r.girshick；j.sun.faster r-cnn:towards real-time object detection with region proposal networks[j].ieee transactions on pattern analysis and machine intelligence,2015,39(6):1137-1149)，这也使得基于静止轨道卫星遥感图像的码头检测任务成为一个具有挑战性的课题。


技术实现要素：

[0004]
本发明得目的是提供一种基于静止轨道卫星遥感图像的码头区域自动检测方法，解决现有技术中利用遥感影像进行码头检测存在的依赖人工效率低下、低轨遥感卫星时间分辨率低覆盖范围受限的技术问题。
[0005]
本发明提供的基于静止轨道卫星遥感图像的码头区域自动检测方法，实现包括：
[0006]
s1、采集包括码头区域的光学遥感图像数据，并将所述光学遥感图像数据划分为验证数据集和训练数据集；
[0007]
s2、利用标注工具对所述训练数据集中的光学遥感图像数据进行标注，标注出其中的码头区域的位置坐标信息，得到标签集；
[0008]
s3、利用所述标签集对所述训练数据集中的光学遥感图像数据进行数量扩增，得到增广数据集；
[0009]
s4、将所述标签集中增广后的训练数据集输入至yolov5网络中进行训练，得到最
优化模型；
[0010]
s5、采集包括码头区域、非码头区域的高分辨率光学遥感图像数据切片，并给定标签集；
[0011]
s6、对所述高分辨率光学遥感图像数据进行4倍缩小，生成低分辨率-高分辨率的图像对；
[0012]
s7、利用上述图像对及标签集对生成对抗式超分辨识网络进行训练，得到最优化模型；
[0013]
s8、采集包含码头区域的待测试的静止轨道卫星图像；
[0014]
s9、基于全球dem库构建海陆查找表，并利用该查找表对上述静止轨道卫星图像进行陆、海地区域屏蔽，保留海陆交接区域；
[0015]
s10、利用训练好的yolov5最优模型对上述海陆交接区域进行检测，获得码头区域位置信息；
[0016]
s11、基于上述的静止轨道卫星图像及码头区域位置信息，获取码头位置的切片数据，利用训练好的生成对抗式超分辨识网络最优模型对码头切片数据进行精判别；
[0017]
s12、给出码头区域检测的最终结果
[0018]
相对于现有技术，本发明的优点与积极效果在于：
[0019]
1、基于全球dem库构建查找表的快速陆、海地区域屏蔽技术，可实现海洋、陆地区域和陆海交界的快速自动分割判别，有效的降低运算量的数据量，并直接降低虚警数量。
[0020]
2、利用基于yolov5的最优检测模型实现场景中疑似码头区域的粗提取，能有效过滤待处理图像冗余信息，快速获得候选码头区域。
[0021]
3、基于生成对抗式超分辨识网络模型对候选码头区域进行判别，可实现低分辨率图像中虚警的快速高效剔除。
[0022]
4、本发明方法实现了完全自动从大静止轨道卫星遥感图像率遥感影像中检测码头区域，不依赖于人工筛选，可实现从大范围区域内快速、准确识别出码头。
附图说明
[0023]
图1是本发明自动检测方法实现流程示意图；
[0024]
图2为本发明实施例静止轨道卫星原始遥感图像；
[0025]
图3为本发明实施例海陆交界区域图像块；
[0026]
图4为本发明实施例基于yolov5的模型的码头区域初步检测流程图；
[0027]
图5为基于生成对抗式超分辨识模型的码头区域精确判读流程图；
[0028]
图6为本发明采用本发明方法处理后得到的码头区域结果图。
具体实施方式
[0029]
下面将结合附图和实施例对本发明的技术方案作进一步的详细说明。
[0030]
本发明的设计思路是基于海陆库、粗检+精判的数据处理流程，实现对大视场、低分辨率的静止轨道卫星遥感图像中码头区域的检测。考虑到遥感图像的数据处理量巨大，且待检测码头区域只存在于海陆交接部分的现状，首先基于全球dem数据库构建查找表，实现不包含码头的纯陆地、纯海洋区域的剔除，有效降低后续的计算量，提高算法实现的时效
性。考虑到低分辨率图像中码头区域检测的高难度，为了保证处理时间及初步检测的高检测率效果，本发明采用兼具精度及时效的单阶段网络yolov5实现对图像进行一次性初步检测，获取疑似目标区域。以上基于低分辨率数据的检测难以实现非码头区域的精确判别，本发明采取生成对抗式超分辨识模型对于疑似目标区域切片进行超分处理，并对其进行精确判读，从而有效剔除虚警，最终实现低分辨率的静止轨道卫星大视场范围内的码头精确、快速检测。
[0031]
本发明实现的总体流程如图1所示，主要包含12个具体实施步骤，可从静止轨道卫星低分辨率图像数据中，快速、准确的提取出关注的码头区域切片。
[0032]
步骤s1、采集包括码头区域的光学遥感图像数据，并将所述光学遥感图像数据划分为验证数据集和训练数据集；
[0033]
具体的，步骤s1中的光学遥感图像数据的数量为n，每个光学遥感图像数据的像素分辨率大于等于1k
×
1k，且所述光学遥感图像数据按照2:8划分为验证数据集和训练数据集。
[0034]
步骤s2、利用标注工具对所述训练数据集中的光学遥感图像数据进行标注，标注出其中的码头区域的位置坐标信息，得到标签集；
[0035]
具体的，步骤s2主要包括：
[0036]
s21、利用labelme开源标注工具对步骤s1中包含码头区域的光学遥感图像数据进行标注，标注为正的不固定大小的矩形框，框的大小以完整包含单个码头区域为宜，生成对应的xml标注文件；
[0037]
s22、对标注数据进行清洗，包括错误标注的删除、不规则标注的修正；
[0038]
步骤s3、利用所述标签集对所述训练数据集中的光学遥感图像数据进行数量扩增，得到增广数据集；
[0039]
s31、对s22中标注的训练数据集中的光学遥感图像数据进行数量扩增得到增广数据集。扩增方式主要包括：
[0040]
s311对整幅图像进行裁剪：对整幅图像采样得到整幅图像的子图；进行iou比例裁剪，即子图中的目标占gt标注框的iou比例为0.1、0.3、0.5、0.7、0.9；对整幅图像进行随机采样得到子图。
[0041]
s312翻转图像；
[0042]
s313缩小图片，并用白色像素填补有缩小后带来的图像空余部分，使图像达到模型输入图像的尺寸。
[0043]
s314mosaic数据增强：mosaic数据增强通过利用四幅图像进行拼接，每一幅图像都有其对应的目标框，将四幅图像拼接之后就获得一张新的图像，同时也获得这张图像对应的新的目标框；
[0044]
s32、对增广的数据集进行标注框大小的统计和分析；
[0045]
利用统计结果，基于k-means聚类算法生成网络训练输入的anchor参数。
[0046]
步骤s4、将所述标签集中增广后的训练数据集输入至yolov5网络中进行训练，得到最优化模型；
[0047]
s41、基于当前应用，对yolov5网络的超参数进行设置，包括目标类别个数、网络学习率、动量、权重衰减系数、迭代次数、输入图像尺寸、使用gpu的编号；
[0048]
s42、基于步骤s41的超参数设置，进行网络的迭代训练，训练完成获得网络模型；
[0049]
s43、基于步骤s1中标注的测试数据集，对步骤s42中获取的网络模型进行测试，计算码头区域检测的准确率及虚警率；
[0050]
s44、如果步骤s43中获取的检测结果不满意，通过调整超参数、检测结果分析，多次迭代训练，直至获取检测效果满意的最优化模型；
[0051]
需要说明的是：针对静止轨道卫星遥感图像视场大，覆盖信息广泛的特点，考虑到深度学习网络的性能、版本稳定性及二次开发部署的难易程度，选取兼具精度与速度的单阶段目标检测网络yolov5对静止轨道卫星遥感图像中的码头数据处理。
[0052]
步骤s5、采集包括码头区域、非码头区域的高分辨率光学遥感图像数据切片，并给定标签集；
[0053]
步骤s5中采集的码头数据分辨率为静止轨道卫星成像分辨率的4倍，用于后续的网络训练。码头区域、非码头区域光学遥感图像数据的数量分别为m、n，图像数量大于等于500张，并赋予码头区域切片、非码头区域切片标签为1和2；
[0054]
步骤s6、对所述高分辨率光学遥感图像数据进行4倍缩小，生成低分辨率-高分辨率的图像对；
[0055]
具体的，对步骤s6中高分辨率光学遥感图像数据，利用python公开库中的三次内插算法实现图像的4倍率缩小，生成对应数量的低分辨率图像。
[0056]
步骤s7、利用上述图像对及标签集对生成对抗式超分辨识网络进行训练，得到最优化模型；
[0057]
具体的，步骤s7与步骤s4基本一致。设定网络训练的超参数，将所述低分辨率-高分辨率的图像对及对应的标签集输入至生成对抗式超分辨识网络进行训练，不断迭代寻优，保存准确率最优的模型参数作为最优化模型。
[0058]
步骤s8、采集包含码头区域的待测试的静止轨道卫星图像；
[0059]
具体的，步骤s8中的光学遥感图像数据大小为m1*n1。典型静止轨道卫星图像数据如图2所示。
[0060]
步骤s9、基于全球dem库构建海陆查找表，并利用该查找表对上述静止轨道卫星图像进行陆、海地区域屏蔽，保留海陆交接区域；
[0061]
s91、采集全球数字高程模型库；
[0062]
s92、基于高程库的数据值大小，构建海陆查找表，其中海拔高度大于0(即高于海平面)的位置确定为陆地，海拔高度小于0(即低于海平面)的位置确定为海洋。
[0063]
s93、对步骤s8的静止轨道卫星影像按照固定大小1024像素*1024像素进行分割，分成多个1k的数据块。
[0064]
s94、基于步骤s92构建的查找表，对步骤s93的数据块进行海陆情况进行判定。可判定成三种情况：纯陆地、纯海洋和海陆交界；考虑到待检测的码头区域只存在于海陆交界区域，所以只保留海陆交界区域进行后续处理。
[0065]
s95、将筛选出的海陆交界区域图像作为后续步骤的输入。筛选出的海陆交接数据块如图3所示，图3是对图2进行纯陆地、纯海和海陆交界区域分割后的图；
[0066]
步骤s10、利用训练好的yolov5最优模型对上述海陆交接区域进行检测，获得码头区域位置信息；
[0067]
具体的，步骤s10包括：
[0068]
s101、设定yolov5网络检测的置信度参数，考虑到后续会对本步骤中的检测结果进行精细筛选，所以参数选择尽量保证检测码头的召回率指标。
[0069]
s102、加载步骤s4中的yolov5最优模型。
[0070]
s103、将待处理的包含海陆交界区域的光学遥感图像数据输入至yolov5网络。
[0071]
s104、输出网络检测结果。
[0072]
基于yolov5的检测结果流程及示意图如图4所示。
[0073]
步骤s11、基于上述的静止轨道卫星图像及码头区域位置信息，获取码头位置的切片数据，利用训练好的生成对抗式超分辨识网络最优模型对码头切片数据进行精判别；
[0074]
具体的，步骤s11包括：
[0075]
s111、设定生成对抗式超分辨识网络检测的外置参数。
[0076]
s112、加载步骤s7中的生成对抗式超分辨识网络最优模型。
[0077]
s113、基于上述的静止轨道卫星图像及码头区域位置信息，获取码头位置的切片。将切片输入生成对抗式超分辨识网络进行处理。
[0078]
s114、输出切片精确识别结果。
[0079]
基于生成对抗式超分辨识模型精细判别的流程及结果如图5所示。
[0080]
步骤s12、给出码头区域检测的最终结果，如图6所示。
[0081]
本发明采用基于海陆库、粗检结合精判的数据处理流程，实现对大视场、低分辨率的静止轨道卫星遥感图像中码头区域的检测。首先基于全球dem数据库构建查找表，实现不包含码头的纯陆地、纯海洋区域的剔除，有效降低后续的计算量，提高算法实现的时效性。采用间距精度及时效的单阶段网络yolov5实现对图像进行一次性初步检测，获取疑似目标区域。采取生成对抗式超分辨识模型对于疑似目标区域切片进行超分处理，并对其进行精确判读，从而有效剔除虚警，最终实现低分辨率的静止轨道卫星大视场范围内的码头精确、快速检测。