一种用于植被提取深度学习的四通道影像处理方法与流程

1.本发明涉及影像植被识别提取方法领域，特别是一种用于植被提取深度学习的四通道影像处理方法。


背景技术：

2.目前利用倾斜摄影测量技术对可见光影像进行数字表面模型(dsm)的制作已较为成熟，但倾斜摄影测量技术获得的是包含地物高度的表面高程。在平方公里及以上范围的大型工程设计中，地形中多含有植被等覆盖物，如果直接用数字表面模型dsm生成等高线，则会出现高程异常区域，不能反应真实的地形情况，因此为了还原地面高程，通常需要滤除植被等地物高度。为了更好的去除植被等覆盖物的影响，需要对影像中的植被等进行识别，进一步提取并去除影像中的植被部分，为后续影像空洞的填补做准备。


技术实现要素：

3.本发明提供一种用于植被提取深度学习的四通道影像处理方法，首次将正射影像和坡度图同时使用于植被的识别及提取领域，可以实现影像中植被的精准识别。
4.本发明所采用的技术手段如下所述：
5.一种用于植被提取深度学习的四通道影像处理方法，选用植被分类文件和四通道影像作为基础影像进行植被提取深度学习，其中四通道影像由正射影像和坡度图整合而成；该四通道影像通过以下步骤处理得到：
6.步骤一：通过无人机搭载光学相机获取一选区内的海量像片，并同步获得该像片的内外方位元素信息和像片控制点；
7.步骤二：将步骤一中得到的像片、内外方位元素信息、像片控制点输入无人机数据处理软件中，得到该选区的正射影像及数字表面模型；
8.步骤三：通过对步骤二中获得的数字表面模型逐像元计算坡度，得到与该选区对应的坡度图；
9.步骤四：将步骤二中得到的正射影像和步骤三中得到的坡度图进行格式转换和归一化处理得到包含rgb通道和坡度通道的四通道浮点型数据影像图。
10.作为优选，其步骤一中的选区选用平方公里级的植被稀疏区域。
11.作为优选，在步骤一获取的海量像片中，飞行航向的像片重叠度≥70％，飞行旁向的像片重叠度≥60％。
12.作为优选，步骤一中获得的正射影像为rgb三通道无符号整型数据，所述数字表面模型为32位浮点型数据。
13.作为优选，其步骤四中的格式转换处理包括将正射影像的整型数据转换为浮点型数据。
14.作为优选，其步骤二中的无人机数据处理软件选用context capture软件。
15.作为优选，在步骤二中逐像元计算坡度时，考虑中心像元的8领域，设待算中心像
元的高程e，其外周8个像元的高程值从左到右、从上到下依次为a、b、c、d、f、g、h、i；
16.并通过式(1)和式(2)分别计算中心像元e在左右x方向上的变化率和中心像元e在上下y方向上的变化率：
17.[dz/dx]＝((c+2f+i)-(a+2d+g)/(8*x_cellsize)
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0018]
[dz/dy]＝((g+2h+i)-(a+2b+c))/(8*y_cellsize)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0019]
其中：x_cellsize和y_cellsize分别为x方向和y方向的单位距离；
[0020]
进一步通过式(3)计算中心像元e处的坡度值slope：
[0021][0022]
作为优选，利用植被分类文件和多通道影像进行植被提取深度学习的模型选用unet模型。
[0023]
本发明与现有的技术相比具有如下优点：
[0024]
本方法首次将正射影像和坡度图引入影像植被识别及提取领域，两种影像尤其适用于unet深度学习模型中进行地面植被的识别，该种影像处理方法可为后续影像的重新填补创造基础，能够更精准快速的识别待测影像中植被等覆盖物，可以更好解决地面植被等覆盖物对成像的影响。
附图说明
[0025]
图1为基于可见光影像及深度学习算法的地面高程提取方法的流程示意图。
[0026]
图2为一实施例中某测区的包含植被区域的俯视图。
[0027]
图3为图2对应的等高线图。
[0028]
图4为一实施例中获取照片的对应测区范围及相控点分布图。
[0029]
图5为对图4测区内照片处理得到的正射影像dom。
[0030]
图6为对图4测区内照片处理得到的数字表面模型dsm。
[0031]
图7为对正射影像dom格式转换和归一化处理后选取的一样本区dom13n。
[0032]
图8为对数字表面模型dsm格式转换和归一化处理后选取的一图7中样本区位置对应的样本区slope13n。
[0033]
图9为对多通道影像标注处理后得到的矢量影像。
[0034]
图10为图9对应的栅格数据影像。
[0035]
图11为对多通道影像和类标签图进行剪切和增强处理后得到的样本数据集。
[0036]
图12对待预测四通道影像进行剪切和增强处理后得到的待预测数据(样本)集。
[0037]
图13为与待预测影像对应的预测结果矢量图。
[0038]
图14为根据预测结果矢量图进行掩膜处理后得到的包含空洞的dem影像。
[0039]
图15为与进行空洞填补后得到的dem影像对应的登高线和原待测数字表面模型dsm生成等高线的叠加图。
具体实施方式
[0040]
具体的，结合说明书附图1-15，给出以下具体方案：
[0041]
结合一某灰场地形图测图项目，对本方法进行说明。项目测区面积约12平方公里，
成图比例尺为1:500。本项目外业采用飞马d2000无人机搭载sony a6000相机，并集成具有rtk功能的pos和imu系统。sony a6000相机传感器大小为23.5x15.5mm，有效像素2400万，焦距25mm。
[0042]
在该项目中，测区内沟壑纵横，如图2所示，为该实施例测区的包含植被区域的俯视图，如框中区域，为沟内多散布的高大树木，若直接使用数字表面模型dsm生成如图3所示的等高线，可以看到，存在多个高程异常区域(黑色团块)，不能反映真实的地形状况，给挖填方计算带来误差。
[0043]
因此对于以上存在的问题，按照实际操作步骤，如图1所示，本方法提出一具体实施例：
[0044]
第一步，使用无人机搭载光学相机获取一选区内的海量厘米级空间分辨率照片，选区主要选用平方公里级的植被稀疏区域。须同步获取照片的内外方位元素信息，须同步布设满足规范要求的像片控制点。
[0045]
具体的，该实施例项目航拍时间为2020年5月17日，天气晴朗。飞行高度约300米，飞行航向的照片重叠度≥70％，优选是80％，飞行旁向的照片重叠度≥60％，优选是65％。本项目共拍摄3619张照片，相片平均空间分辨率0.05m，单张照片范围约280m*212m，测区内共布设29个相控点，如图4所示，为本项目测区范围及相控点分布图。其中，图4中(a)为测区范围及相控点分布图，图4中(b)为相控点。
[0046]
第二步，使用无人机数据处理软件将第一步中获取的照片、照片控制点及内方位元素信息输入到上述无人机数据处理软件中，得到与该测区相匹配的正射影像(dom)和数字表面模型(dsm)。该步骤得到的正射影像dom及数字表面模型dsm，是后续处理的基础影像。其中无人机数据处理软件采用context capture软件。如图5和图6分别为使用该软件处理后的与该测区对应的正射影像dom与数字表面模型dsm(tif格式)。
[0047]
第三步，将第二步中得到的数字表面模型dsm转换为对应的坡度图。通常，得到的正射影像dom为rgb三通道8位无符号整型，数字表面模型dsm为32位浮点型。且由于正射影像dom与数字表面模型dsm对植被均较为敏感，如正射影像dom中植被表现为光谱和纹理特征，数字表面模型dsm表现为高程梯度突变和纹理特征。在此，本方法通过对数字表面模型dsm逐像元计算坡度，得到与该选区对应的坡度图。坡度计算考虑中心像元的8领域，如下表1所示为中心像元e及周围8像元的位置示意图：
[0048]
abcdefghi
[0049]
表1
[0050]
假设a、b、c、d、e、f、g、h、i分别为高程值，x_cellsize和y_cellsize为x方向和y方向的常用单位距离，为计算中心像元e的坡度，需分别计算像元e在x方向上的变化率(公式(1))和像元e在y方向上的变化率(公式(2))：
[0051]
[dz/dx]＝((c+2f+i)-(a+2d+g)/(8*x_cellsize)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0052]
[dz/dy]＝((g+2h+i)-(a+2b+c))/(8*y_cellsize)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)进而得到像元e处的坡度值(公式(3))：
[0053][0054]
以及，通过将两种数据进行格式转换与归一化，得到包含rgb通道和坡度通道的4通道浮点型数据影像图。本方法首次将正射影像dom与坡度图两种数据同时用于植被分类的深度学习算法，结合类标签图等植被分类文件，进行植被分类深度学习提取。当然本方法同样可以适用于其他地物或干扰物的分类，在本实施例中主要以测图中的植被分类进行说明，以及也可在此基础上再引入其他通道影像，整合为方便后续植被分类提取的多通道影像。
[0055]
其中格式转换即将正射影像和坡度图均转换为同一的浮点型数据，并将正射影像的rgb三个通道和坡度通道进行整合得到4通道图；其归一化处理即统一在0-1之间取值。具体的，根据dsm.tif生成坡度图slope.tif(取值范围0.0000-90.0000)，对其进行归一化处理，得到单通道浮点型数据slopen.tif(取值范围0.0000-1.0000)。以及正射影像dom为rgb三通道8位无符号整型格式(取值范围0-255)，对各通道数据归一化处理，得到3通道浮点型数据domn.tif(取值范围0.0000-1.0000)。从输出的与正射影像dom对应的3通道浮点型数据domn.tif的与坡度图对应的单通道浮点型数据slopen.tif中各选取一块区域作为样本区，分别为如图7所示的样本区dom13n.tif和如图8所示的样本区slope13n.tif。并进一步对数据进行拼接，得到包含r、g、b、坡度的4通道数据sample.tif(取值范围0.0000-1.0000)，保持投影和影像行列与原图一致。
[0056]
第四步，对第三步中得到的四通道影像(或使用第二步中得到的正射影像)进行植被等地物的标签标注处理。具体的，使用遥感数据处理软件对影像进行判读，该遥感数据处理软件选用arcgis软件，详细标注出相应的植被区域，生成与影像相匹配的矢量多边形，为其属性值添加类名和类标签值字段(如背景0，植被1，可根据地物类型扩展更多类)，并保存成如图9所示的矢量文件(label.shp)，并进一步使用arcgis软件将该矢量文件label.shp转成与该四通道影像相同大小(分辨率和行列数均相同)和投影方式的如图10所示的栅格文件，即类标签图(label.tif)。
[0057]
第五步，将在第四步中得到的类标签图label.tif与第三步中生成的四通道影像sample.tif进行影像剪切处理，即将第四步中得到的分类标签图和第三步中得到的多通道影像剪切为相同大小的样本图，同时做样本增强处理(如旋转、模糊、增加噪声等)，其增强处理的一特征为对标注的需识别部分进行增强显示，便于更好学习识别；增强处理得到相同大小、且满足32整数倍大小的四通道图与对应的类标签图的样本数据集，如图11为四通道影像和类标签图进行剪切和增强处理后得到的样本数据集，共计6000张，影像大小均为512*512像素。
[0058]
第六步，将在第五步中生成的样本数据集随机分成两部分，一部分用于模型训练，即训练数据集，一部分用于模型的验证，即验证数据集。
[0059]
在该具体的实施例中，优选将第五步中生成的样本数据集按照9：1的比例分成两部分，比例为9的部分用于模型训练，比例为1的部分用于模型验证。并将训练数据集与验证数据集的文件名索引保存至文件。
[0060]
第七步，通过unet模型对第六步中的训练数据集进行多通道识别和地物分类识别训练。unet可以在少量训练样本时取得高效的分类结果，其根据任务需求调整参数，包括数
据的通道个数、类别个数、迭代次数、学习率等。在本实施例中，主干网络的结构采用vgg16模型，采用relu函数作为激活函数，采用交叉熵与softmax函数计算损失。使用步骤6生成的训练数据集与初始模型文件(可迁移学习)作为输入，进行400轮训练，最终实现可进行r、g、b、及坡度的4通道数据训练和预测的unet植被分类模型，生成一系列初始模型文件(*.pth)。
[0061]
第八步，将第六步中的验证数据集和第七步中生成的初始模型文件作为输入进行验证训练，计算每个通道和各地物类别识别的预测值与真实值的均交并比(miou)，其为对模型更新的参考因素之一，通过该均交并比对该初始模型的参数进行修改，优选计算得到的均交并比为优，否则修改模型参数，对模型进行迭代和优化，更新模型文件(*.pth)得到最终预测识别模型(m)。其中，均交并比miou的计算步骤如下：
[0062]
(1)计算混淆造成矩阵；
[0063]
(2)计算每个通道和地物类别的交并比iou_i，公式为：
[0064]
iou_i＝tp_i/(tp_i+fn_i+fp_i)
[0065]
其中：
[0066]
tp_i为真正值，即真实值和预测值的交集；
[0067]
fn_i为假负值，即真实值去掉真实值和预测值交集的部分；
[0068]
fp_i为假正值，即预测值去掉真实值和预测值交集的部分；
[0069]
(3)对每一个类的iou求平均得到均交并比miou。
[0070]
第九步，对待预测影像进行第二步和第三步的处理，得到与待预测影像相对应的包含rgb三通道和坡度通道的四通道待预测影像。
[0071]
第十步，然后将第九步中得到的四通道待预测影像进行第五步的剪切、增强处理，得到如图12所示的与待预测影像对应的待预测数据(样本)集，其每个样本的尺寸与第五步中得到的四通道影像和类标签图进行剪切增强处理后得到的样本的尺寸相同。以及，得到的带预测数据文件需保留原待测影像的投影和地理坐标信息，以方便定位与拼接。数据文件的命名规则为“文件名_原图总行数_原图总列数_起始行号_起始列号.tif”。
[0072]
第十一步，将第十步中生成的待预测数据集和第八步中得到的识别模型文件送入最终预测识别模型中进行预测，得到植被预测结果数据集。
[0073]
第十二步，将第十一步中得到的预测结果进行影像镶嵌(即拼接)，得到与第九步中的原四通道待预测影像相同大小和投影的预测结果。
[0074]
第十三步，对在第十二步中得到的预测结果进行栅格转矢量，如图13得到与待预测影像对应的预测结果矢量图，可以在图中得到圈中的植被的边界范围。
[0075]
第十四步，对第十三步中得到的预测结果矢量文件叠加至步骤9的4通道待预测影像上，进行交互式编辑，增加、删除和修改漏检误检区域，进一步提高植被的识别率，检修得到全覆盖的含多通道信息识别和植被等地物分类识别的地物分类结果图。
[0076]
第十五步，将第十四步中得到的检修后的分类结果作为掩膜，对与待预测影像对应的在无人机数据处理软件中处理得到的数字表面模型dsm进行掩膜处理，得到如图14所示的包含若干空洞(植被区域)的dem影像。
[0077]
第十六步，以第十五步中得到的含有空洞的dem影像为基础，提取dem影像中每个植被(或地物)区域的最小矩形边界，并进行适当外扩(2个像素)，记录其左上角、右下角位
置，得到相应的索引文件。
[0078]
第十七步，根据第十六步中得到的索引文件，从左至右，从上至下，依次进行空洞填补。对每个存在空洞的子区，采用线性插值方法，进行三维空间插值。也即以线性插值方法根据已有的第十六步中确定的矩形边界等点位确定内插点，并进一步以三角形为基础，按delaunay方法先找出内插点四周的3个点构成三角形，内插点在三角形内，以此通过确定的内插点构建满足delaunay准则的delaunay三角网曲面。采用该方法得到连续平滑的曲面，即高程面。以及，在构建高程面的过程中，算法保留原象素值，同时填入缺失象素值，即通过矩形区域内的已知点的像素值按照线性插值方法确定内插点的像素值，并根据插值点的位置和像素值递归至为整个delaunay三角网曲面赋值，得到如图15所示的平滑且连续的待测研究区dem数据影像，在该图中，断续线为采用本方法得到的等高线，实线为直接使用数字表面模型dsm生成的等高线。本方法首次提出了多空洞dem影像填补算法，弥补了该领域的空白。
[0079]
本方法适用于植被较稀疏区域的dem提取，尤其可用于平方公里级区域的大比例尺地形图(1:500-1:2000)的生成。通过本方法，可不改变真实的地面高程值，进行植被滤除，并对相应区域的地面高程进行填补，自动化水平高，可大幅提高业内人员的工作效率。