一种云掩模图像的生成方法和预训练网络训练方法与流程

1.本发明涉及遥感技术领域，尤其涉及一种云掩模图像生成方法、预训练网络训练方法、装置及电子设备。


背景技术：

2.近年来，卫星影像云检测历来就是遥感测绘的研究热点之一，由于云会遮挡住陆地海洋上的目标使得后继卫星应用无法进行，因而如何快速准确的检测出云盖区域对于遥感测绘具有重大意义。
3.目前，伴随着机器学习技术的发展，模式识别在遥感领域的研究和应用不断深入，并在影像云检测方面得到了广泛的应用，成为当今主流的云检测方法。基于模式识别的遥感影像云检测方法主要分为人工神经网络、聚类、svm和深度学习的方法。
4.但上述检测算法都高度依赖于数据，其中，大量数据标签的标注却是非常艰难的工作，费时费力，成本高昂，效率低下。尤其对于像素量达到亿级的卫星影像云的标签制作，尤其耗费硬件资源和时间，难以满足实时快速的运用需求。


技术实现要素：

5.本发明的目的在于，提供一种云掩模图像生成方法、预训练网络训练方法、装置及电子设备，能够实现满足快速云检测，从而降低了人工标注工作量和时间成本，显著提高工作效率的目的。
6.第一方面，本发明实施例提供一种云掩模图像生成方法，该方法包括：获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值；根据所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将所述多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，其中，所述映射点集包括所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段分别映射到所述预设的光谱特征空间的映射点；获取所述两类样本映射点的分界线的斜率，确定云特征的分类阈值；根据所述云特征的分类阈值，标记所述多光谱卫星影像的云特征信息，得到云掩模图像。
7.在一个实施例中，上述方法中所述方法还包括：将多光谱卫星影像和云掩模图像进行影像切割，分别得到多光谱卫星影像的第一影像块和云掩模图像的第二影像块，其中，第一影像块包括多个相同大小的不同颜色且不同波段的影像块；将第一影像块和第二影像块输入预设的预训练网络进行预训练，得到多光谱卫星影像进行分类的预训练网络参数，根据预训练网络参数更新预训练网络，通过更新后的预训练网络获取云掩膜图像。
8.在一个实施例中，预训练网络包括收缩路径网络模块以及与收缩路径网络对应的扩展路径网络模块，所述将第一影像块和第二影像块输入预设的预训练网络进行预训练，得到多光谱卫星影像进行分类的预训练网络参数，包括：
9.通过收缩路径网络模块提取并生成多光谱卫星影像的多个不同深度的云图像特
征；根据多个不同深度的云图像特征检索通过扩展路径网络模块检索云掩模图像的云属性，得到多光谱卫星影像分类后的预训练网络参数。
10.在一个实施例中，所述方法还包括：
11.确定预训练网络中对所述多个相同大小的不同颜色且不同波段的影像块的分类结果的影响大于预设要求的网络层的参数信息；固定网络层的参数信息，优化其他网络层的网络参数。
12.在一个实施例中，根据所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将所述多光谱卫星影像中每个像素点映射到预设的光谱特征空间，得到两类样本的映射点集的之前，所述方法还包括：
13.分别获取所述多光谱卫星影像中每个像素点在近红外波段以及红色波段的第一反射值和第二反射值；
14.根据所述第一反射值和所述第二反射值，计算得到所述多光谱卫星影像中每个像素点对应的归一化植被指数。
15.在一个实施例中，所述获取所述两类样本映射点的分界线的斜率，确定云特征的分类阈值，包括：
16.获取所述光谱特征空间中两类样本的多个分界线，从所述多个分界线中确定出具有最大方差主轴的斜率的分界线；
17.获取通过所述光谱特征空间中两类样本均值，且与所述分界线相互垂直的直线；
18.根据具有最大方差主轴的斜率的分界线的斜率以及所述直线在y轴上的截距，确定所述云特征的分类阈值。
19.第二方面，本发明实施例提供云掩模图像预训练网络的训练方法，所述方法包括：
20.获取预设的人工标注云掩模图像的第一样本集以及通过上述第一方面所述方法得到的云掩模图像的第二样本集；
21.将所述第一样本集以及第二样本集按照1：4的比例对初始的云掩模图像预训练网络进行训练调优，得到训练后的云掩模图像预训练网络。
22.在一个实施例中，所述将所述第一样本集以及第二样本集按照1：4的比例对初始的云掩模图像预训练网络进行训练之后，所述方法还包括：
23.根据所述训练结果调整所述初始的云掩模图像预训练网络中预设神经网络层数的网络参数，得到修正后的云掩模图像预训练网络。
24.第三方面，本发明实施例提供一种云掩模图像的生成装置，所述装置包括：相互电连接的获取模块、映射模块、分类阈值确定模块和生成模块；
25.所述获取模块，用于获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值；
26.所述映射模块，用于根据所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将所述多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，其中，所述映射点集包括所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段分别映射到所述预设的光谱特征空间的映射点；
27.所述分类阈值确定模块，用于获取所述两类样本映射点的分界线的斜率，确定云
特征的分类阈值；
28.所述生成模块，用于根据所述云特征的分类阈值，标记所述多光谱卫星影像的云特征信息，得到云掩模图像。
29.第四方面，本发明实施例提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如第一方面或者第二方面所述的方法的步骤。
30.与现有技术相比，本实施例具有以下有益效果：
31.本实施例提供的云掩模图像生成方法通过获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值，根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，获取两类样本映射点的分界线的斜率，确定云特征的分类阈值，根据云特征的分类阈值，标记多光谱卫星影像的云特征信息，得到云掩模图像，即通过根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集,获取两类样本映射点的分界线的斜率，确定云特征的分类阈值可以快速生成不太准确的弱监督样本，并用少量的人工标注样本对该弱监督样本形成的预训练网络参数进行微调，最终使得云检测结果可以达到使用全人工标注样本的检测精度的范围，进而降低了人工标注工作量和事件成本，显著提高了工作效率，克服了深度学习模型需要大数据量训练学习，效率较低，难以满足应急状态下的快速应用需求缺陷。
附图说明
32.图1示出了本发明实施例提供的云掩模图像生成方法的流程示意图一；
33.图2示出了本发明实施例提供的云掩模图像生成方法的流程示意图二；
34.图3示出了本发明实施例提供的云掩模图像生成方法的b值计算示意图；
35.图4示出了本发明实施例提供的云掩模图像预训练网络的示意图一；
36.图5示出了本发明实施例提供的云掩模图像生成方法的网络结构示意图；
37.图6示出了本发明实施例提供的云掩模图像的生成装置的结构示意图；
38.图7示出了本发明实施例提供的电子设备的结构示意图。
具体实施方式
39.下面将结合示意图对本发明云掩模图像的生成方法以及云掩模图像预训练网络的训练方法进行更详细的描述，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
40.在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
41.目前，精准快速确定云盖区域是卫星影像应用的关键步骤。由于云会遮挡住陆地
海洋上的目标使得后继卫星应用无法进行。对于卫星测图应用而言，直接的后果是在卫星影像处理端云盖区域过大使得后继平差和测图无法进行，而在测图实际过程中则是测区不可测区域的上报和统计十分困难。因而卫星影像云检测历来就是遥感测绘的研究热点之一，如何快速准确的检测出云盖区域对于遥感测绘具有重大意义。
42.伴随着机器学习技术的发展，模式识别在遥感领域的研究和应用不断深入，并在影像云检测方面得到了广泛的应用，成为当今主流的云检测方法。基于模式识别的遥感影像云检测方法主要分为人工神经网络、聚类、svm和深度学习的方法。以cnn为代表的深度学习网络在遥感影像云检测方面获得了广泛运用，并取得了良好的效果。与机器学习方法相比，深度学习的优势在于神经网络层数多，感受野范围大，能够从图像中学习到的影像特征多，且特征更为抽象，能够处理海量的样本数据，同时可以通过权值共享、局部连接等方式提高网络的训练效率，从而实现对云的精确检测。大量的研究结果表明，基于深度学习的云检测方法效果一般优于传统方法。此类方法一般以数据为驱动，首先取得大量的数据，将数据分为训练集、验证集和测试集，然后手工制作大量的真实标签数据样本，输入某一种神经网络结构通过梯度下降法学习进行训练得到分类器，最后在测试集中测试效果并在实际中应用。如张永宏等提出了一种改进的u-net网络模型，将u-net模型的编码器与残差模块进行结合，并将密集连接模块融入解码器，提高了特征使用率，优化了云检测性能。
43.其中，深度学习的方法高度依赖于数据，数据越多分类器效果越好。但是标注大量数据标签却是非常艰难的工作，费时费力，成本高昂，效率低下。尤其对于卫星影像云标签的制作，更是如此。因为基于深度学习的云检测在像素级端到端进行，标注工作量非常巨大。例如一景12000*12000像素大小的影像，像素量达到了亿级，对中等程度云量标签的标注就要耗费4到5天时间。因此基于传统的深度学习方法效率低下，对卫星影像应急应用具有一定的局限，尤其是在新卫星影像没有既往标注学习训练获取分类器的状况下。其次，对大量云标签样本的训练也极其耗费硬件资源和耗费时间，难以满足实时快速运用需求。
44.本技术实施例提供了一种云掩模图像的生成方法，能够对大量云标签样本实现快速标注学习训练，从而可以快速准确的检测出卫星影像的云盖区域。
45.实施例一
46.如图1-图2所示，本发明实施例提供一种云掩模图像生成方法，该方法包括：
47.步骤s101、获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值；
48.步骤s102、根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集。
49.其中，所述映射点集包括所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段分别映射到所述预设的光谱特征空间的映射点；
50.步骤s103、获取两类样本映射点的分界线的斜率，确定云特征的分类阈值；
51.步骤s104、根据云特征的分类阈值，标记多光谱卫星影像的云特征信息，得到云掩模图像。
52.具体的，多光谱卫星影像是指对地物辐射中多个单波段的摄取，得到的卫星影像数据中会有多个波段的光谱信息。国际遥感界的共识是光谱分辨率在λ/10\lambda/10λ/10
数量级范围的称为多光谱(multispectral)，这样的遥感器在可见光和近红外光谱区只有几个波段，如美国landsatmss，tm，法国的spot等。若取其中rgb三个波段的信息显示，就是rgb彩色图像。由于光谱信息其实也就对应了色彩信息，所以多波段遥感图像可以得到地物的色彩信息，但是空间分辨率较低。更进一步，光谱通道越多，其分辨物体的能力就越强，即光谱分辨率越高。
53.而针对卫星影像云检测中传统深度学习方法效率低、耗费硬件资源大的缺陷，利用多光谱卫星影像，本技术提出基于根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，获取两类样本映射点的分界线的斜率，确定云特征的分类阈值。本实施例是以可见光红色波段为例，其实也可以用近红外波段和红色波段，也可以是近红外波段和绿色波段，或者是近红外波段和蓝色波段通过云检测的算法，上述阈值分类模型例如可以是阈值法、基于纹理和空间特征的方法、模式识别的方法。阈值法就是利用图像的辐射、光谱等物理特性，基于一定的规则，对图像的单个像素进行检测，固定阈值法是最常见、最基础的云检测方法，它是利用云层与下垫面的辐射光谱差异，以一个固定的分界点来提取云层。如ndvi法、d阈值法是具有代表性的典型方法。
54.基于云的纹理和空间特性的云检测方法本质上也属于阈值方法，但与物理阈值方法依据影像的辐射和光谱信息进行云检测不同，它是依据云层影像的纹理和空间信息进行云检测。其中，典型的算法是利用分型维数和共生矩阵的角二阶矩对影像进行云检测，如曹琼等使用分形和灰度共生矩阵两类纹理，从多维空间中简化出最小二维分类空间，设计出线性分类器对云和非云下垫面进行有效区分，实现云的高效自动探测。
55.基于根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，获取两类样本映射点的分界线的斜率，确定云特征的分类阈值，可以快速获取多光谱卫星影像的云特征信息，作为弱监督样本；然后将弱监督样本输入到用于提取云特征的预训练网络中进行预训练，得到分类后的云掩模图像，该用于提取云特征的预训练网络可以是由一个收缩路径和一个对应的扩展路径组成的分类网络，例如，u-net网络，还可以是基于u-net思想的cloud-net网络等，进行预训练得到初始分类器。接着，在此分类器基础上通过少数标注的人工样本进行微调，并对上述预训练网络进行优化，例如，可以通过固定初始分类器前195层只训练后面5层神经网络参数的方法进一步提速网络训练过程，也可以是通过调整其他的网络参数来实现。最后，将训练得到的分类器用来检测待检测卫星影像得到实际结果。
56.具体的，根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将所述多光谱卫星影像中每个像素点映射到预设的光谱特征空间，得到两类样本的映射点集的之前，所述方法还包括：
57.分别获取多光谱卫星影像中每个像素点在近红外波段以及红色波段的第一反射值和第二反射值；
58.根据第一反射值和所述第二反射值，计算得到多光谱卫星影像中每个像素点对应的归一化植被指数。
59.具体的，获取多光谱卫星影像中基于预设颜色光波段的像素值以及反射值可以通
过归一化植被指数，即(normalized difference vegetation index，ndvi)，可以通过ndvi＝(nir-r)/(nir+r)，或两个波段反射率的计算，其中，nir为近红外波段的反射值，r为红光波段的反射值，一般来说归一化植被指数是反映农作物长势和营养信息的重要参数之一。
60.上述步骤s103获取两类样本映射点的分界线的斜率，确定云特征的分类阈值，包括：
61.获取光谱特征空间中两类样本的多个分界线，从多个分界线中确定出具有最大方差主轴的斜率的分界线；
62.获取通过光谱特征空间中两类样本均值，且与分界线相互垂直的直线；
63.根据具有最大方差主轴的斜率的分界线的斜率以及直线在y轴上的截距，确定云特征的分类阈值。
64.具体的，而本实施例可以采用多光谱卫星影像中基于预设颜色光波段的像素值以及反射值，计算预设颜色光波段指数数据的绝对值，进而可以区分分两类样本，即一类有云像素的多光谱卫星影像，另一类可以是无云像素或者少云像素的多光谱卫星影像。如图3所示，图3中的方块和叉线分别对应两类不同的样本，实线通过两类样本的平均值，虚线与实线垂直。虚线即为两类样本的分界线，其斜率即为b值。
65.利用最小二乘法直线拟合，获取多光谱卫星影像映射点集的最佳分界线的斜率以及多光谱卫星影像的分类阈值，即可以设置b为具有最大方差主轴的斜率，可以通过光谱特征空间中两类样本的分界线斜率获取，根据所述分类阈值对所述多光谱卫星影像中有云的卫星影像进行分类，得到所述云掩模图像，即利用同一地区多时相影像中的无云像素或少云像素，使用上述方法获取b值以及d阈值后，可对有云影像进行有云像素的检测。其中，该分界线的斜率即为所求的b值，该直线在y轴上的截距即为，即可得到该多光谱卫星影像的分类阈值d。利用同一地区多时相影像中的无云像素或少云像素，使用上述方法获取b值以及d阈值后，可对有云影像进行有云像素的检测。
66.若有云影像中的某像元为t，若该t的d阈值小于b值对应d阈值，则认为像元t为有云像素；否则，认为像元t为非云像素。
67.本实施例提供的云掩模图像生成方法通过获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值，根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，获取两类样本映射点的分界线的斜率，确定云特征的分类阈值，根据云特征的分类阈值，标记多光谱卫星影像的云特征信息，得到云掩模图像，即通过多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，确定云特征的分类阈值，从而可以标记所述多光谱卫星影像的云特征信息，生成弱监督样本，并用少量的人工标注样本对该弱监督样本通过预训练网络的微调，最终使得云检测结果可以达到使用全人工标注样本的检测精度的范围，进而降低了人工标注工作量和事件成本，显著提高了工作效率，克服了深度学习模型需要大数据量训练学习，效率较低，难以满足应急状态下的快速应用需求。
68.可选的，上述云掩模图像的生成方法还包括：
69.将多光谱卫星影像和云掩模图像进行影像切割，分别得到多光谱卫星影像的第一影像块和云掩模图像的第二影像块，其中，第一影像块包括多个相同大小的不同颜色且不
同波段的影像块；
70.将第一影像块和第二影像块输入预设的预训练网络进行预训练，得到多光谱卫星影像进行分类的预训练网络参数，根据预训练网络参数更新预训练网络，通过更新后的预训练网络获取云掩膜图像。
71.可选的，将多光谱卫星影像和云掩模图像进行影像切割，分别得到多光谱卫星影像的第一影像块和所述云掩模图像的第二影像块，分别得到多景d阈值弱监督样本影像块和不同颜色不同波段多光谱影像块；
72.将多景d阈值弱监督样本影像块和不同颜色不同波段多光谱影像块输入预训练网络，通过收缩路径网络模块获取所述多景d阈值弱监督样本影像块和不同颜色不同波段多光谱影像块的低层特征中获取高层语义上下文信息，通过收缩路径网络模块对应的扩展路径网络模块获取多景d阈值弱监督样本影像块和不同颜色不同波段多光谱影像块的云特征检索云属性，输出分类后的云掩模图像。
73.具体的，将多光谱卫星影像和云掩模图像进行影像切割，分别得到多光谱卫星影像的第一影像块和云掩模图像的第二影像块，例如，可以按照512或者384等像素大小对云掩模图像和多光谱卫星影像进行切割；分别得到第一影像块为不同颜色不同波段多光谱影像块，第二影像块为多景d阈值弱监督样本影像块，其中，例如不同颜色不同波段多光谱影像块可以是红、绿、蓝以及近红外4波段多光谱影像，具体的颜色和数量可以根据实际情况来设置。
74.将多景d阈值弱监督样本影像块和红、绿、蓝以及近红外4波段多光谱影像块输入预训练网络，其中，该预训练网络可以由一个收缩路径和一个对应的扩展路径组成，其中通过收缩路径网络模块中的多个卷积块能够获取多景d阈值弱监督样本影像块和不同颜色不同波段多光谱影像块的低层特征中获取高层语义上下文信息，负责提取并生成输入图像的深层低级特征。通过收缩路径网络模块对应的扩展路径网络获取所述多景d阈值弱监督样本影像块和不同颜色不同波段多光谱影像块的云特征检索云属性，恢复图像特征图，输出分类后的云掩模图像，得到多光谱卫星影像分类后的预训练网络参数。
75.可选的，预训练网络包括收缩路径网络模块以及与所述收缩路径网络模块对应的扩展路径网络模块，将所述第一影像块和所述第二影像块输入预设的预训练网络进行预训练，得到多光谱卫星影像进行分类的预训练网络参数，包括：
76.通过收缩路径网络模块提取并生成所述多光谱卫星影像的多个不同深度的云图像特征；
77.根据多个不同深度的云图像特征检索通过扩展路径网络模块检索云掩模图像的云属性，得到多光谱卫星影像分类后的预训练网络超参数。
78.具体的，收缩路径和扩展路径中的多个卷积块能够从输入图像的低层特征中获取高层语义上下文信息。如图5所示，图5中上面一行的条和块构成收缩路径，包括6个收缩块，负责提取并生成输入图像的深层低级特征。下面一行的条和块构成扩展路径，包含5个扩展块，负责利用收缩块获取的特征检索云属性，恢复图像特征图，最后生成输出云掩膜图像。
79.图5中conv、convt、concat、addtion、copy和maxpool分别是指卷积、卷积转置、连接、添加、复制和最大池化，后面跟的n
×
n数字指卷积核大小，skip connection为快捷连接，最右侧的灰色竖条表示特征图，条形块顶部和底部的数字是每个特征图的对应深度。
80.cnn中卷积核的大小和不同层的顺序对激活特征的质量起着至关重要的作用，直接影响模型的图像分割效果。图5中的预训练网络对内部卷积块进行了改进，每个块中包含卷积、连接、池化等操作，并融入残差网络的思想，以提高模型对云特征的敏感性。
81.可选的，上述方法还包括：
82.确定预训练网络中对多个相同大小的不同颜色且不同波段的影像块的分类结果的影响大于预设要求的网络层的参数信息；
83.固定网络层的参数信息，优化其他网络层的网络参数。
84.具体的，粗调样本通过廉价且效率高的d阈值法获取，快速得到自动标注的样本，利用少量人工标注的样本对粗调样本进行精调，从而快速得修正分类器，进而在检测精度差不多的情况下快速获得检测结果，提高云检测实际运用需求。采用固定粗分类器前195层的训练系数的做法理论根据在于深度学习中高层级特征对分类结果影响较大。
85.本技术提供还一种云掩模图像预训练网络的训练方法，所述方法包括：
86.获取预设的人工标注云掩模图像的第一样本集以及通过上述所述的云掩模图像生成方法生成该云掩膜图像的第二样本集；
87.将第一样本集以及第二样本集按照1：4的比例对初始的云掩模图像预训练网络进行训练，得到训练后的云掩模图像预训练网络。
88.其中，将第一样本集以及第二样本集按照1：4的比例对初始的云掩模图像预训练网络进行训练之后，云掩模图像预训练网络的训练方法还包括：
89.根据训练结果调整初始的云掩模图像预训练网络中预设神经网络层数的网络参数，得到修正后的云掩模图像预训练网络。
90.具体的，通过少数标注的人工样本进行微调，粗调样本与精调样本最佳经验样本数量比为4:1，同时通过云掩模图像预训练网络前195层只训练后面5层神经网络参数的方法进一步提速网络训练过程，得到精调后的修正分类器。
91.本实施例第二样本集的粗调样本通过廉价且效率高的d阈值法获取，快速得到自动标注的样本，利用即第一样本集中少量人工标注的样本对粗调样本进行精调，从而快速得修正分类器，进而在检测精度差不多的情况下快速获得检测结果，提高云检测实际运用需求。采用固定粗分类器前195层的训练系数的做法理论根据在于深度学习中高层级特征对分类结果影响较大。
92.在数据集方面，深度学习模型极其依赖大规模训练数据，因为它需要大量数据去学习和理解潜在的数据模式和特征，而所需数据量的大小与模型的规模几乎呈线性关系。上述云掩模图像预训练网络可以采用cloud-net作为具有多层网络的深度学习模型，构建用于卫星影像云检测的语义分割模型，需要大量的训练数据做支撑。人工标注的方法获取大规模的ground-truth样本比较困难，本实施例以ndvi指数为基础的d阈值法基于阈值分割的云检测方法生成不太准确的弱监督样本做法简单，成本低廉，制作迅速，其构建的样本集可以作为预训练阶段的大量数据集。微调阶段，通过人工标注少量云图样本对训练集进行微调，最终云检测效果与使用全人工标注数据的常规cloud-net模型相比非常接近，达到了一般测绘工程实践的标准和要求。在保证精度的同时大幅降低了人工标注工作量和时间成本，显著提高了工作效率，克服了深度学习模型需要大数据量训练学习，效率较低，难以满足应急状态下的快速应用需求缺陷。
93.本技术提供一种云掩模图像生成方法，如图3-5所示，下面将对基于ndvi改进的云检测方法—d阈值法进行详细描述如下：
94.1.基于ndvi改进的云检测方法—d阈值法快速获取云掩模。
95.采用di girolamo和davies提出的一种基于ndvi改进的云检测方法—d阈值法来快速获取不精确的云掩模图像，该方法定义了一种阈值d：
[0096][0097][0098]
其中，和分别为影像近红外波段和红色波段的反射值。b为具有最大方差主轴的斜率，可以通过光谱特征空间中两类样本的分界线斜率获取，如图3所示，图中的方块和叉线分别对应两类不同的样本，实线通过两类样本的平均值，虚线与实线垂直。虚线即为两类样本的分界线，其斜率即为b值。具体方法为：
[0099]
对公式(2)等号左右两边同时取自然对数，可得：
[0100]
2log(βr)＝b
·
log(|ndvi|)-log(d)
ꢀꢀꢀ
公式(3)
[0101]
对影像中的每一个像素点计算其ndvi值的绝对值，并取其可见光红色波段的像素值，利用最小二乘直线拟合，可获取一条关于该影像映射点集的最佳分界线。该分界线的斜率即为所求的b值，该直线在y轴上的截距即为，即可得到该影像的阈值d。
[0102]
利用同一地区多时相影像中的无云像素或少云像素，使用上述方法获取b值以及d阈值后，可对有云影像进行有云像素的检测。
[0103]
若有云影像中的某像元为t，其可见光红色波段的像素值为，ndvi响应值为，当
[0104][0105]
则认为像元t为云；否则，认为像元t为非云。
[0106]
2.数据分块，将1中得到的掩模影像以及4波段多光谱影像切割成384*384大小的影像块，然后将多景d阈值弱监督样本影像块和红、绿、蓝、近红外4波段多光谱影像输入到基于u-net思想的cloud-net网络中进行预训练得到初始分类器。cloud-net网络结构如图5所示。
[0107]
和基本的u-net一样，cloud-net由一个收缩路径和一个对应的扩展路径组成。收缩路径和扩展路径中的多个卷积块能够从输入图像的低层特征中获取高层语义上下文信息。图5上面一行的条和块构成收缩路径，包括6个收缩块，负责提取并生成输入图像的深层低级特征。下面一行的条和块构成扩展路径，包含5个扩展块，负责利用收缩块获取的特征检索云属性，恢复图像特征图，最后生成输出云掩膜图像。
[0108]
图5中conv、convt、concat、addtion、copy和maxpool分别是指卷积、卷积转置、连接、添加、复制和最大池化，后面跟的n
×
n数字指卷积核大小，skip connection为快捷连接，最右侧的灰色竖条表示特征图，条形块顶部和底部的数字是每个特征图的对应深度。
[0109]
cnn中卷积核的大小和不同层的顺序对激活特征的质量起着至关重要的作用，直接影响模型的图像分割效果。cloud-net在传统u-net的基础上对内部卷积块进行了改进，
每个块中包含卷积、连接、池化等操作，并融入残差网络的思想，以提高模型对云特征的敏感性。
[0110]
3.在2所得分类器基础上通过少数标注的人工样本进行微调，粗调样本与精调样本最佳经验样本数量比为4:1,同时通过固定2中cloud-net网络初始分类器前195层只训练后面5层神经网络参数的方法进一步提速网络训练过程，得到精调后的修正分类器。
[0111]
粗调样本通过廉价且效率高的d阈值法获取，快速得到自动标注的样本，利用少量人工标注的样本对粗调样本进行精调，从而快速得修正分类器，进而在检测精度差不多的情况下快速获得检测结果，提高云检测实际运用需求。采用固定粗分类器前195层的训练系数的做法理论根据在于深度学习中高层级特征对分类结果影响较大。
[0112]
4.采用3中所得到的修正分类器对带检测的云影像进行云检测，最后得到云检测结果。
[0113]
在数据集方面，深度学习模型极其依赖大规模训练数据，因为它需要大量数据去学习和理解潜在的数据模式和特征，而所需数据量的大小与模型的规模几乎呈线性关系。cloud-net作为具有多层网络的深度学习模型，构建用于卫星影像云检测的语义分割模型，需要大量的训练数据做支撑。人工标注的方法获取大规模的ground-truth样本比较困难，本专利以ndvi指数为基础的d阈值法基于阈值分割的云检测方法生成不太准确的弱监督样本做法简单，成本低廉，制作迅速，其构建的样本集可以作为预训练阶段的大量数据集。微调阶段，通过人工标注少量云图样本对训练集进行微调，最终云检测效果与使用全人工标注数据的常规cloud-net模型相比非常接近，达到了一般测绘工程实践的标准和要求。在保证精度的同时大幅降低了人工标注工作量和时间成本，显著提高了工作效率，克服了深度学习模型需要大数据量训练学习，效率较低，难以满足应急状态下的快速应用需求。
[0114]
针对上述方法，在某国产卫星上进行了实验测试，其中24景预训练样本，6景人工标注样本，10景测试，取得了较好的效果。
[0115]
即通过本实施例方法、常规的cloud-net模型，ndvi检测法以及d阈值法，分别从precision、rrecall，oa以及f1score这四个维度进行评价，其精度结果如表1所示。
[0116]
表1云检测结果定量评价
[0117][0118]
结果如表1所示，本专利方法的云检测精确率达到88.98％，总体精度达到96.00％，与常规cloud-net模型检测结果相比非常接近(分别略低0.71％和0.49％)；召回率为84.53％，f1分数为86.70％，与常规cloud-net模型相比也只是小幅降低(分别降低了3.26％和1.82％)。与ndvi检测法、d阈值法的检测精度相比，除d阈值法中的精确率外，其他精度指标均占优。
[0119]
从工作效率的结果，如表2、表3和表4所示：
[0120]
表2标注工作量统计
[0121][0122]
表3训练耗时统计
[0123][0124]
表4总体对比
[0125][0126]
从表2、3、4中可看出，本实施例方法采用24景弱监督样本数据和6景人工标注数据对10景测试影像进行云检测，工作量为25.7工天，耗时433小时。常规cloud-net云检测模型采用24景人工标注数据对相同的10景测试影像进行云检测，工作量为96.7工天，耗时969小时。本实施例方法与常规cloud-net云检测模型相比，工作量减少73.4％，耗时降低了55.3％。
[0127]
综上所述，本实施例方法虽然只使用了少量的人工标注样本，但是与使用全人工标注样本的常规cloud-net模型相比，检测精度非常接近，达到了一般工程实践标准和要求。最大意义在于在保证精度的同时大幅降低了人工标注工作量和时间成本，显著提高了工作效率，为降低影像云检测成本、提高工作效率提供了符合工程快速应用的有效路径。
[0128]
本实施例提供的云掩模图像生成方法通过获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值，根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，获取两类样本映射点的分界线的斜率，确定云特征的分类阈值，根据云特征的分类阈值，标记多光谱卫星影像的云特征信息，得到云掩模图像，即通过根据多光谱卫星影像中每个像素点对应的归一化植被指数和
可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集,获取两类样本映射点的分界线的斜率，确定云特征的分类阈值可以生成不太准确的弱监督样本，并用少量的人工标注样本对该弱监督样本通过预训练网络的微调，最终使得云检测结果可以达到使用全人工标注样本的检测精度的范围，进而降低了人工标注工作量和事件成本，显著提高了工作效率，克服了深度学习模型需要大数据量训练学习，效率较低，难以满足应急状态下的快速应用需求缺陷。
[0129]
应该理解，以上所描述的实施例仅仅是示意性的，本发明实施例所揭露的电路和方法，也可以通过其它的方式实现。例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0130]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得处理器执行时实现本发明各个实施例所述方法的全部或部分步骤。
[0131]
也即，本领域内的技术人员应明白，本发明实施例可以采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式中的任一种实现。
[0132]
实施例二
[0133]
基于前述实施例所述的云掩模图像生成方法，本发明实施例还提供一种云掩模图像的生成装置。图示出了本发明实施例提供的云掩模图像的生成装置的结构示意图一。
[0134]
如图6所示，云掩模图像的生成装置包括：获取模块10、映射模块20、分类阈值确定模块30和生成模块40，
[0135]
所述获取模块10，用于获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值；
[0136]
所述映射模块20，用于根据所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将所述多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，其中，所述映射点集包括所述多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段分别映射到所述预设的光谱特征空间的映射点；
[0137]
所述分类阈值确定模块30，用于获取所述两类样本映射点的分界线的斜率，确定云特征的分类阈值；
[0138]
所述生成模块40，用于根据所述云特征的分类阈值，标记所述多光谱卫星影像的云特征信息，得到云掩模图像。
[0139]
本实施例提供的云掩模图像的生成装置通过获取模块10用于获取多光谱卫星影像中每个像素点对应的归一化植被指数ndvi和可见光红色波段的像素值，映射模块用于根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多
光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集，分类阈值确定模块用于获取两类样本映射点的分界线的斜率，确定云特征的分类阈值，生成模块用于根据云特征的分类阈值，标记多光谱卫星影像的云特征信息，得到云掩模图像，即通过根据多光谱卫星影像中每个像素点对应的归一化植被指数和可见光红色波段的像素值，将多光谱卫星影像中每个像素点分别映射到预设的光谱特征空间，得到两类样本的映射点集,获取两类样本映射点的分界线的斜率，确定云特征的分类阈值可以生成不太准确的弱监督样本，并用少量的人工标注样本对该弱监督样本通过预训练网络的微调，最终使得云检测结果可以达到使用全人工标注样本的检测精度的范围，进而降低了人工标注工作量和事件成本，显著提高了工作效率，克服了深度学习模型需要大数据量训练学习，效率较低，难以满足应急状态下的快速应用需求缺陷。
[0140]
实施例三
[0141]
可选地，本发明实施例还提供一种电子设备，该电子设备可以是服务器、计算机等设备，图7示出了本发明实施例提供的电子设备的结构示意图。如图7所示，该电子设备可以包括：处理器701、存储介质702和总线703，存储介质702存储有处理器701可执行的机器可读指令，当电子设备运行时，处理器701与存储介质702之间通过总线703通信，处理器701执行机器可读指令，以执行时执行如前述实施例中所述的云掩模图像生成方法的步骤。具体实现方式和技术效果类似，在此不再赘述。
[0142]
为了便于说明，在上述电子设备中仅描述了一个处理器。然而，应当注意，一些实施例中，本发明中的电子设备还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备的处理器执行步骤a和步骤b，则应该理解，步骤a和步骤b也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一处理器和第二处理器共同执行步骤a和b等。
[0143]
在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(s)或多核处理器(s))。仅作为举例，处理器可以包括中央处理单元(central processing unit，cpu)、专用集成电路(application specific integrated circuit，asic)、专用指令集处理器(application specific instruction-set processor，asip)、图形处理单元(graphics processing unit，gpu)、物理处理单元(physics processing unit，ppu)、数字信号处理器(digital signal processor，dsp)、现场可编程门阵列(field programmable gate array，fpga)、可编程逻辑器件(programmable logic device，pld)、控制器、微控制器单元、简化指令集计算机(reduced instruction set computing，risc)、或微处理器等，或其任意组合。
[0144]
基于此，本发明实施例还提供一种程序产品，该程序产品可以是u盘、移动硬盘、rom、ram、磁碟或者光盘等存储介质，存储介质上可以存储有计算机程序，计算机程序被处理器运行时执行如前述方法实施例中所述的电机定子绝缘缺陷检测装置的步骤。具体实现方式和技术效果类似，在此不再赘述。
[0145]
以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
[0146]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。