一种自动提取海岸带养殖工厂轮廓的方法及装置与流程

1.本发明涉及图像处理技术领域，具体为一种自动提取海岸带养殖工厂轮廓的方法及装置。


背景技术：

2.渔业养殖设置数字化、精准化是智慧渔业发展的核心内容，因此快速、准确的进行渔业养殖设施轮廓提取则至关重要。同时，这些轮廓信息对于快速定位养殖工厂位置、进行养殖动态变化监测具有重要意义。
3.目前，渔业养殖设置轮廓提取方法归纳起来可以分为三类：一是基于传统的现场测量建筑物各个标志点信息来然后通过计算机辅助制图的形式获得养殖工厂轮廓；二是采用高分辨率卫星遥感数据、无人机航测数据进行人工勾绘获得养殖工厂轮廓信息；三是经典的数字图像处理技术进行图像监督分类亦或者采用边缘检测算子进行提取。
4.但是，上述方法均对使用场景有较高的要求或者存在局限性，同时存在监测成本高、施工难度达等问题。如果不满足则不发周期性、高频次获得较为清晰的养殖设施轮廓信息。尤其是海岸带区域受潮汐作用影响，部分区域常年存在人工难以直接到达的区域。此外，面对全国不同的养殖海岸带地质地貌环境信息，经典的数字图像处理技术无法快速确定其各类阈值信息，普适性低，无法满足目前地方政府在自然资源监管及渔业养殖生产活动的实际需要。


技术实现要素：

5.本发明所要解决的技术问题在于针对上述现有技术中的不足，提出了一种自动提取海岸带养殖工厂轮廓的方法及装置，能够满足不同应用场景下，多类型目标养殖工厂的提取，同时结合高分辨率卫星遥感影像越来越高的成像周期，从而满足用户对监控区域高频次轮廓提取的要求，从而实现自动提取养殖工厂轮廓信息产品。
6.本发明解决其技术问题所采用的技术方案是：
7.一种自动提取海岸带养殖工厂轮廓的方法，包括如下步骤：
8.步骤1：获取研究区域内多时相的高分辨卫星影像的原始数据，同时将研究区域划分成上、下、左、右、中5个样方区域，每个样方区域的范围为100m*100m，在高分辨卫星影像获取原始数据一个星期内，使用分辨率低于0.2m的挂载设备进行无人机航拍，获取每个样方区域的无人机影像，同时以无人机航拍样方区域为采集区域，在该采集区域内选择养殖设施的轮廓标志性点，使用rtk设备对养殖设施的轮廓标志性点进行点位测量，获取每个样方区域的地面测量数据；
9.步骤2：对步骤1中所获取的多时相无人机影像数据、高分辨率卫星影像数据和地面测量数据进行预处理，得到相应的预处理结果；
10.步骤3：结合无人机现场照片数据，对无人机预处理结果数据进行人工解译，确定研究区域海岸带养殖工厂的位置与分布；
11.步骤4：以人工解译无人机影像结果为依据，在卫星影像预处理结果数据上进行海岸带养殖工厂的样本制作，同时为不同的样本赋予标签；
12.步骤5：利用arcgis软件进行样本数据的格式转换，即将矢量样本数据进行栅格化处理；
13.步骤6：将每个样本和标签，进行同步随机裁剪，得到一个256*256尺寸的样本库；
14.步骤7：将步骤6得到的训练样本和标签进行训练集、验证集、测试集分割，分割比例为6:2:2；
15.步骤8：建立深度学习网络模型，采用u-net的语义分割网络结构，以resnet50作为特征提取器；
16.步骤9：将步骤7得到的训练集和标签输入到步骤8建立的网络模型中，进行模型训练，自动学习海岸带养殖工厂的颜色、光谱、纹理、物候等特征，并根据验证集的精度变化确定最佳的海岸带养殖工厂提取模型；
17.步骤10：将无标签的测试集样本数据，输入到训练好的最佳海岸带养殖工厂提取模型中，得到该模型的海岸带养殖工厂提取结果。
18.进一步地，还包括后处理，根据实际需求对海岸带养殖工厂分类的结果数据进行后处理，主要包括分类统计分析、小斑点处理、地理坐标投影和栅矢转换。
19.进一步地，还包括精度验证，借助混淆矩阵对模型训练完成后的海岸带养殖工厂轮廓提取结果进行精度验证，多采用总体分类精度、kappa系数两个指标参数。
20.进一步地，步骤2的具体操作步骤如下：
21.对原始卫星遥感影像数据和无人机遥感影像数据进行辐射定标、大气校正、几何校正、全色波段和多光谱波段融合的预处理，同时对地面测量数据进行数据导出、数据整理和矢量文件生产的预处理。
22.进一步地，步骤6包括如下步骤：
23.步骤61，采用滑动裁剪方法，以10％的滑动重叠率将上述得到的海岸带养殖工厂样本和标签图裁剪为256*256像素大小的样本；
24.步骤62，对步骤62中裁剪得到的样本进行样本扩增处理，处理方法包括进行水平及垂直翻转、随机旋转、变形或亮度调整的预处理。
25.此处理方法弥补样本数据的不足，同时增强了样本差异的容忍能力。
26.进一步地，步骤1中所述高分辨卫星影像数据，分辨率为米级或亚米级，数据云量小于10％。
27.一种自动提取海岸带养殖工厂轮廓的装置，所述装置包括卷积神经网络模型单元、掩模图像单元、信息单元、优化修正单元以及矢量输出单元；
28.所述卷积神经网络模型单元，用于创建提取海岸带养殖工厂轮廓的卷积神经网络模型；
29.所述掩模图像单元，用于通过利用所述卷积神经网络模型单元创建的提取海岸带养殖工厂轮廓的卷积神经网络模型提取遥感影像中的海岸带养殖工厂位置与轮廓，得到所述海岸带养殖工厂对应的掩模图像；
30.信息单元，用于通过线性特征与图像分割算法相结合，对所述掩模图像单元中的掩模图像进行处理，得到对应的线段信息、拐角信息和方位信息；
31.优化修正单元，用于对所述信息单元获得的海岸带养殖工厂对应的信息，对所述海岸带养殖工厂位置与参考轮廓执行地物矢量图优化和轮廓修正，得到修订好的海岸带养殖工厂轮廓；
32.矢量输出单元，用于将修订好的海岸带养殖工厂轮廓变换为地理坐标并输出矢量，完成制图。
33.进一步地，所述掩模图像单元包括优化单元、查验单元、选取单元、边缘确认单元和方位确认单元；
34.所述优化单元，用于通过图像分割算法对所述海岸带养殖工厂掩模图像执行优化，得到优化后的海岸带养殖工厂边缘；
35.所述查验单元，用于通过所述优化的海岸带养殖工厂边缘，查验边缘对应区域内的线段及拐点信息；
36.所述选取单元，用于从所述边缘对应区域内的线段信息中选出与所述边缘存在关联的目标线段信息；
37.边缘确认单元，用于通过目标线段信息，确定目标海岸带养殖工厂边缘；
38.方位确认单元，用于通过确定的目标海岸带养殖工厂边缘和所述拐角点信息，确定所述目标海岸带养殖工厂对应的方位信息。
39.一种存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-6中任一项所述的自动提取海岸带养殖工厂轮廓的方法。
40.一种处理设备，所述设备包括至少一个处理器，以及与所述处理器连接的至少一个存储器、总线；
41.其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
42.所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-6中任一项所述的自动提取海岸带养殖工厂轮廓的方法。
43.本发明提供一种自动提取海岸带区域养殖工厂轮廓的方法及装置，在本发明中先是构建了卷积神经网络模型以提取遥感影像中的养殖工厂的位置与参考轮廓，再结合地物线性特征和图像分割算法，针对大区域的不同养殖工厂特征，提取到对应的线段信息、拐角点信息和方位信息，进而完成地物矢量优化和轮廓信息修正，达到快速提取的要求。
44.本发明与现有技术相比具有以下优点：
45.1、基于卫星影像、无人机影像以及地面人工测量进行养殖工厂轮廓提取，将无人机影像作为卫星影像分类的样本补充，大大节省以往外业样本数据获取的时间与人力成本。
46.2、通过无人机影像提供样本，会存在养殖工厂的颜色、光谱等信息与卫星遥感影像差异明显，通过对样本数据进行水平、垂直翻转、随机旋转、变形或亮度调整等处理，可解决样本数据分布不均的问题，也可增强对不同生长期作物样本差异的容忍能力。
47.3、基于深度学习算法进行养殖工厂轮廓提取，支持自主学习养殖工厂的不同特征，并充分挖掘特征数据之间的关联，可降低对人工经验、专业知识的依赖，提高分类精度。
48.4、解决了现有养殖工厂轮廓提取人为干预多、获取时间长、标准不统一等问题。
49.5、将卷积神经网络模型与线性特征结合的养殖工厂轮廓提取方法，能够满足不同
应用场景下，多类型目标养殖工厂的提取，同时结合高分辨率卫星遥感影像越来越高的成像周期，从而满足政府、企业等用户对监控区域高频次轮廓提取的要求，从而实现自动提取养殖工厂轮廓信息产品。
附图说明
50.图1为本发明的流程图；
51.图2为本发明的u-net网络结构示意图；
52.图3为本发明的海岸养殖工厂卫星影像示意图；
53.图4为本发明的海岸养殖工厂无人机航拍示意图；
54.图5为本发明的海岸养殖工厂轮廓提取结果示意图。
具体实施方式
55.下面结合附图及实施例描述本发明具体实施方式：
56.需要说明的是，本说明书所附图中示意的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
57.同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
58.实施例
59.参阅图1至图4所示，本发明的实施例是一种自动提取海岸带养殖工厂轮廓的方法，具体流程参照图1，本发明实施例的具体步骤如下：
60.步骤1：获取研究区域内多时相的高分辨卫星影像的原始数据，同时将研究区域划分成上、下、左、右、中5个样方区域，每个样方区域的范围为100m*100m，在高分辨卫星影像获取原始数据一个星期内，使用分辨率低于0.2m的挂载设备进行无人机航拍，获取每个样方区域的无人机影像，同时以无人机航拍样方区域为采集区域，在该采集区域内选择养殖设施的轮廓标志性点，使用rtk设备对养殖设施的轮廓标志性点进行点位测量，获取每个样方区域的地面测量数据；
61.步骤2：对步骤1中所获取的多时相无人机影像数据、高分辨率卫星影像数据和地面测量数据进行预处理，得到相应的预处理结果；
62.步骤3：结合无人机现场照片数据，对无人机预处理结果数据进行人工解译，确定研究区域海岸带养殖工厂的位置与分布；
63.步骤4：以人工解译无人机影像结果为依据，在卫星影像预处理结果数据上进行海岸带养殖工厂的样本制作，同时为不同的样本赋予标签；
64.步骤5：利用arcgis软件进行样本数据的格式转换，即将矢量样本数据进行栅格化处理；
65.步骤6：将每个样本和标签，进行同步随机裁剪，得到一个256*256尺寸的样本库；
66.步骤7：将步骤6得到的训练样本和标签进行训练集、验证集、测试集分割，分割比
例为6:2:2；
67.步骤8：建立深度学习网络模型，采用u-net的语义分割网络结构，以resnet50作为特征提取器；
68.参见图2，图2介绍了本发明的u-net网络结构示意图，基于u-net网络加入空洞卷积操作的上下文模块，该模块可以结合多尺度信息，扩大网络感受视野，用于提取输入影像的全局特征，可以更好的区分海岸带养殖工厂区域。
69.步骤9：将步骤7得到的训练集和标签输入到步骤8建立的网络模型中，进行模型训练，自动学习海岸带养殖工厂的颜色、光谱、纹理、物候等特征，并根据验证集的精度变化确定最佳的海岸带养殖工厂分类模型；
70.步骤10：将无标签的测试集样本数据，输入到训练好的最佳海岸带养殖工厂提取模型中，得到该模型的海岸带养殖工厂提取结果。
71.具体而言，还包括分类后处理，根据实际需求对海岸带养殖工厂提取的结果数据进行提取后处理，主要包括统计分析、小斑点处理、地理坐标投影和栅矢转换。
72.具体而言，还包括精度验证，借助混淆矩阵对模型训练完成后的海岸带养殖工厂轮廓提取结果进行精度验证，多采用总体分类精度、kappa系数两个指标参数。
73.具体而言，步骤2的具体操作步骤如下：
74.对原始卫星遥感影像数据和无人机遥感影像数据进行辐射定标、大气校正、几何校正、全色波段和多光谱波段融合的预处理，同时对地面测量数据进行数据导出、数据整理和矢量文件生产的预处理。
75.具体而言，步骤6包括如下步骤：
76.步骤61，采用滑动裁剪方法，以10％的滑动重叠率将上述得到的海岸带养殖工厂样本和标签图裁剪为256*256像素大小的样本；
77.步骤62，对步骤62中裁剪得到的样本进行样本扩增处理，处理方法包括进行水平及垂直翻转、随机旋转、变形或亮度调整的预处理。
78.此处理方法弥补样本数据的不足，同时增强了样本差异的容忍能力。
79.具体而言，步骤1中所述高分辨卫星影像数据，分辨率为米级或亚米级，数据云量小于10％。
80.一种自动提取海岸带养殖工厂轮廓的装置，所述装置包括卷积神经网络模型单元、掩模图像单元、信息单元、优化修正单元以及矢量输出单元；
81.所述卷积神经网络模型单元，用于创建提取海岸带养殖工厂轮廓的卷积神经网络模型；
82.所述掩模图像单元，用于通过利用所述卷积神经网络模型单元创建的提取海岸带养殖工厂轮廓的卷积神经网络模型提取遥感影像中的海岸带养殖工厂位置与轮廓，得到所述海岸带养殖工厂对应的掩模图像；
83.信息单元，用于通过线性特征与图像分割算法相结合，对所述掩模图像单元中的掩模图像进行处理，得到对应的线段信息、拐角信息和方位信息；
84.优化修正单元，用于对所述信息单元获得的海岸带养殖工厂对应的信息，对所述海岸带养殖工厂位置与参考轮廓执行地物矢量图优化和轮廓修正，得到修订好的海岸带养殖工厂轮廓；
85.矢量输出单元，用于将修订好的海岸带养殖工厂轮廓变换为地理坐标并输出矢量，完成制图。
86.具体而言，所述掩模图像单元包括优化单元、查验单元、选取单元、边缘确认单元和方位确认单元；
87.所述优化单元，用于通过图像分割算法对所述海岸带养殖工厂掩模图像执行优化，得到优化后的海岸带养殖工厂边缘；
88.所述查验单元，用于通过所述优化的海岸带养殖工厂边缘，查验边缘对应区域内的线段及拐点信息；
89.所述选取单元，用于从所述边缘对应区域内的线段信息中选出与所述边缘存在关联的目标线段信息；
90.边缘确认单元，用于通过目标线段信息，确定目标海岸带养殖工厂边缘；
91.方位确认单元，用于通过确定的目标海岸带养殖工厂边缘和所述拐角点信息，确定所述目标海岸带养殖工厂对应的方位信息。
92.一种存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-6中任一项所述的自动提取海岸带养殖工厂轮廓的方法。
93.一种处理设备，所述设备包括至少一个处理器，以及与所述处理器连接的至少一个存储器、总线；
94.其中，所述处理器、所述存储器通过所述总线完成相互间的通信；
95.所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-6中任一项所述的自动提取海岸带养殖工厂轮廓的方法。
96.参加图3，图3介绍了本发明的卫星影像，在高分辨率卫星影像数据中快速、准确的获取各类地物的样本数据，然后利用数据增广算法进行样本量的扩增，再而建立深度学习模型，采用深度学习算法进行高分辨率卫星影像的海岸带养殖工厂位置与分布。
97.参见图4，图4介绍了本发明的无人机影像，以无人机影像数据作为外业实测数据的有效补充，进而进行样本制作，人工解译无人机影像中海岸带养殖工厂位置与分布，并以无人机影像的解译结果作为样本数据的参考依据。
98.参见图5，图5介绍了海岸养殖工厂轮廓提取结果，能够满足不同应用场景下，多类型目标养殖工厂的提取，同时结合高分辨率卫星遥感影像越来越高的成像周期，从而满足用户对监控区域高频次轮廓提取的要求，从而实现自动提取养殖工厂轮廓信息产品。
99.上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
100.不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。