基于深度学习作物时空泛化分类方法及系统

1.本发明涉及图像分类技术领域，特别是涉及一种基于深度学习作物时空泛化分类方法及系统。


背景技术：

2.实现自动化大尺度农作物制图的一种重要前提是模型具备时空泛化性。在实际生产中，难以收集到大范围的样本标签，同时采用泛化能力强的模型可以大量减少该过程所消耗的时间和人力资源。时空泛化性指利用某个地方、某个时期的影像和类别标签训练模型，之后将模型应用在没有训练数据的其他地点和时间段对该类别进行提取。泛化的本质就是构建出能够从有限的训练集中提取特征的模型，使特征表达具有良好的灵活性和稳定性。目前深度学习模型对农作物图像分类的时空泛化能力有待加强。


技术实现要素：

3.本发明的目的是提供一种基于深度学习作物时空泛化分类方法及系统，提高了识别模型的时空泛化性。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于深度学习作物时空泛化分类方法，包括：
6.采集设定地点在设定时间段内的多个遥感影像；
7.通过人工目视解译方法获得与各所述遥感影像对应的真实影像；所述真实影像为对农作物区域和非农作物区域进行标记了的图像；
8.构建深度卷积神经网络；所述深度卷积神经网络包括依次连接的输入层、残差模块、金字塔平均池化模块和输出层；
9.采用自然图像数据集对残差模块进行训练，将训练好的残差模块作为所述深度卷积神经网络中的残差模块，获得预训练模型；
10.以所述遥感影像为输入，与各所述遥感影像对应的真实影像为输出训练所述预训练模型，获得遥感影像分类模型；
11.利用所述遥感影像分类模型对待分类遥感影像进行农作物区域和非农作物区域的分类。
12.可选地，所述以所述遥感影像为输入，与各所述遥感影像对应的真实影像为输出训练所述预训练模型，获得遥感影像分类模型，具体包括：
13.对所述遥感影像进行预处理，获得地表反射率影像，所述预处理包括辐射定标、大气校正、几何校正、波段融合、裁剪和镶嵌；
14.以所述地表反射率影像为输入，与各所述遥感影像对应的真实影像为输出训练所述预训练模型，获得遥感影像分类模型。
15.可选地，所述通过人工目视解译方法获得与各所述遥感影像对应的真实影像；所述真实影像为对农作物区域和非农作物区域进行标记了的图像，具体包括：
16.利用arcmap软件在所述地表反射率影像上手工勾画出农作物区域，获得与所述地表反射率影像对应的真实影像。
17.可选地，所述采集设定地点在设定时间段内的多个遥感影像，具体包括：
18.采集设定地点设定年份设定农作物播种期遥感影像和生长旺盛期遥感影像。
19.可选地，所述残差模块包括10个依次连接的残差结构块，各残差结构块用于特征提取；10个依次连接的残差结构块中最后3个残差结构块后连接膨胀卷积层。
20.可选地，所述金字塔平均池化模块包括第一卷积层、上采样层、第二卷积层和多个不同尺度的平均池化层；多个不同尺度的平均池化层均与所述第一卷积层的输入连接，所述第一卷积层的输出与所述上采样层的输入连接，所述上采样层的输入连接所述第二卷积层。
21.可选地，所述输出层包括softmax分类器，通过所述softmax分类器对输入的特征图像进行分类。
22.可选地，所述自然图像数据集包括imagenet数据集。
23.可选地，所述以所述地表反射率影像为输入，与各所述遥感影像对应的真实影像为输出训练所述预训练模型，获得遥感影像分类模型，具体包括：
24.采集随机分层分组的方法，从训练集中提取1/7的数据作为验证数据；所述训练集包括多个所述遥感影像和与各所述遥感影像对应的所述真实影像；
25.以所述地表反射率影像为输入，与各所述遥感影像对应的真实影像为输出，采用随机梯度算法更新所述预训练模型中的权值，根据预设固定学习速率和预设每批次容量，反复进行前向
‑
后向传播计算，迭代优化所述预训练模型，通过最小交叉熵损失函数值确定最优权值。
26.本发明公开了一种基于深度学习作物时空泛化分类系统，包括：
27.遥感影像采集模块，用于采集设定地点在设定时间段内的多个遥感影像；
28.样本标记模块，用于通过人工目视解译方法获得与各所述遥感影像对应的真实影像；所述真实影像为对农作物区域和非农作物区域进行标记了的图像；
29.网络模型构建模块，用于构建深度卷积神经网络；所述深度卷积神经网络包括依次连接的输入层、残差模块、金字塔平均池化模块和输出层；
30.网络模型预训练模块，用于采用自然图像数据集对残差模块进行训练，将训练好的残差模块作为所述深度卷积神经网络中的残差模块，获得预训练模型；
31.网络模型训练模块，用于以所述遥感影像为输入，与各所述遥感影像对应的真实影像为输出训练所述预训练模型，获得遥感影像分类模型；
32.遥感影像分类模块，用于利用所述遥感影像分类模型对待分类遥感影像进行农作物区域和非农作物区域的分类。
33.根据本发明提供的具体实施例，本发明公开了以下技术效果：
34.本发明采用自然图像数据集对深度卷积神经网络中残差模块进行训练，将训练好的残差模块作为所述深度卷积神经网络中的残差模块，获得预训练模型，然后采样遥感影像样本对预训练模型进行训练，获得遥感影像分类模型，从而提高了遥感影像分类模型的时空泛化性。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明一种基于深度学习作物时空泛化分类方法流程示意图；
37.图2为本发明实施例2018
‑
2020年实验区gf1pms地表反射率影像和冬小麦样方分布；
38.图3为本发明实施例深度卷积神经网络模型框架示意图；
39.图4为本发明实施例不同测试集分类结果示意图；
40.图5为本发明实施例空间泛化子集分类结果的空间分布结果示意图；
41.图6为本发明实施例时间泛化子集分类结果的空间分布结果示意图；
42.图7为本发明实施例时空泛化子集分类结果的空间分布结果示意图；
43.图8为本发明实施例子区分类结果对比示意图；
44.图9为本发明实施例dcnn和rf在不同测试集上每个样方的oa结果示意图；
45.图10为本发明实施例dcnn和rf在不同测试集上每个样方的pa结果示意图；
46.图11为本发明实施例dcnn和rf在不同测试集上每个样方的ua结果示意图；
47.图12为本发明实施例dcnn和rf在不同测试集上每个样方的f1 score 结果示意图；
48.图13为本发明一种基于深度学习作物时空泛化分类系统结构示意图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
51.图1为本发明一种基于深度学习作物时空泛化分类方法流程示意图，如图 1所示，一种基于深度学习作物时空泛化分类方法，包括：
52.步骤101：采集设定地点在设定时间段内的多个遥感影像。
53.其中，步骤101具体包括：
54.采集设定地点设定年份设定农作物播种期遥感影像和生长旺盛期遥感影像。
55.步骤102：通过人工目视解译方法获得与各遥感影像对应的真实影像；真实影像为对农作物区域和非农作物区域进行标记了的图像。
56.真实影像为矢量图。
57.对遥感影像进行预处理之后，将将标记样本矢量(真实影像)转为相同空间分辨率的栅格数据，之后与播种期影像和生长旺盛期影像按顺序进行波段合并，得到包含8个波段的训练集；(2)利用python程序对训练集中图像按从左到右、从上到下的顺序进行切片，重
叠率为50％，每个数据片大小为256
×ꢀ
256像元。最终得到968个切片。进行模型训练时，输入的是图像切片。
58.其中，步骤102具体包括：
59.利用arcmap软件在地表反射率影像上手工勾画出农作物区域，获得与地表反射率影像对应的真实影像。
60.步骤103：构建深度卷积神经网络；深度卷积神经网络包括依次连接的输入层、残差模块、金字塔平均池化模块和输出层。
61.残差模块包括10个依次连接的残差结构块，各残差结构块用于特征提取； 10个依次连接的残差结构块中最后3个残差结构块后连接膨胀卷积层。
62.金字塔平均池化模块包括第一卷积层、上采样层、第二卷积层和多个不同尺度的平均池化层；多个不同尺度的平均池化层均与第一卷积层的输入连接，第一卷积层的输出与上采样层的输入连接，上采样层的输入连接第二卷积层。
63.输出层包括softmax分类器，通过softmax分类器对输入的特征图像进行分类。
64.步骤104：采用自然图像数据集对残差模块进行训练，将训练好的残差模块作为深度卷积神经网络中的残差模块，获得预训练模型。
65.自然图像数据集包括imagenet数据集。
66.步骤105：以遥感影像为输入，与各遥感影像对应的真实影像为输出训练预训练模型，获得遥感影像分类模型。
67.其中，步骤105具体包括：
68.对遥感影像进行预处理，获得地表反射率影像，预处理包括辐射定标、大气校正、几何校正、波段融合、裁剪和镶嵌；
69.以地表反射率影像为输入，与各遥感影像对应的真实影像为输出训练预训练模型，获得遥感影像分类模型。
70.以地表反射率影像为输入，与各遥感影像对应的真实影像为输出训练预训练模型，获得遥感影像分类模型，具体包括：
71.采集随机分层分组的方法，从训练集中提取1/7的数据作为验证数据；训练集包括多个遥感影像和与各遥感影像对应的真实影像；
72.以地表反射率影像为输入，与各遥感影像对应的真实影像为输出，采用随机梯度算法更新预训练模型中的权值，根据预设固定学习速率和预设每批次容量，反复进行前向
‑
后向传播计算，迭代优化预训练模型，通过最小交叉熵损失函数值确定最优权值，对测试集进行预测分类。
73.将测试集包括空间泛化集、时间泛化集和时空泛化集。
74.空间泛化集是指和训练集采集数据的时间相同，但是空间不同的数据集。时间泛化集是指和训练集采集数据的空间相同，但是时间不同的数据集。时空泛化集是指和训练集采集数据的空间不同，时间也不同的数据集。
75.步骤106：利用遥感影像分类模型对待分类遥感影像进行农作物区域和非农作物区域的分类。即识别出遥感影像中的农作物区域。
76.下面以具体实施例说明本发明一种基于深度学习作物时空泛化分类方法。
77.本实施例研究区域为河北省中南部的南和区和巨鹿县，范围在114
°
36
′ꢀ‑
115
°
12
′
e，36
°
55
′‑
37
°
25
′
n，总面积为1036km2。南和区和巨鹿县地处华北平原，地势平坦开阔，海拔最高和最低分别为83m、1m，平均海拔约 27m。属于温带大陆性季风气候，四季分明，雨热同期，冬小麦是主要粮食作物。
78.根据冬小麦生长物候期(表1)可以看到，冬小麦在每年10月份(ⅰ期) 播种，第二年3
‑
5月份(ⅱ期)生长旺盛。本研究选取了从2018年10月至2020 年5月期间覆盖实验区的gf1pms遥感影像(表2)，所获取遥感影像质量好、云量很少，有利于进行时空泛化实验。2018年10月
‑
2019年3月份影像用于识别2019年冬小麦，2019年10月
‑
2020年4月份数据用于识别2020年冬小麦。
79.表1实验区冬小麦生长物候表
[0080][0081]
表2实验区影像时间表
[0082][0083]
利用envi(the environment for visualizing images，完整的遥感图像处理平台)对gf1 pms影像进行预处理，包括：辐射定标、大气校正、几何校正、使用pan sharpening算法对2m全色光谱和8m多光谱波段进行波段融合、利用行政边界裁剪和镶嵌等操作。之后得到空间分辨率为2m的地表反射率影像，包含蓝(0.45
‑
0.52um)、绿(0.52
‑
0.59um)、红(0.63
‑
0.69um)和近红(0.77
‑
0.89 um)4个波段，数据类型为16位无符号整型。
[0084]
本实施例的真实数据通过人工目视解译高分辨率影像获得。分别在每个实验区随机选取3个5km
×
5km正方形样方，如图2所示，s1、s2和s3位于南和区，t1、t2和t3位于巨鹿县。通过人工目视ⅰ期和ⅱ期gf1 pms 2m地表反射率影像，利用arcmap软件手工勾画出每年的冬小麦耕地。样方内除小麦耕地外，其他土地覆盖类型被视为“其他”类型。从图2中可以发现，s1、s2、t1和t2小麦分布较零散；s3和t3小麦耕地分布集中，几乎填满整个样方。这样不同区位不平衡的土地覆盖数据集有利于评估模型的空间泛化性能。作物轮作制度和耕地
‑
非耕地的转变导致了土地覆盖格局的年际间变化，研究区中也存在这种现象，从表3上看到，从2019
‑
2020年间，t2样方冬小麦的种植面积明显减少了12.34％，而其他样方变化不明显。利用2018
‑
2019年、 2019
‑
2020年2组影像数据来识别监测冬小麦种植的年际变化，验证模型的时间泛化能力。
[0085]
表3每个样方每年的作物类型覆盖汇总统计表
[0086][0087]
选取了南和区3个样方2020年冬小麦两期影像和对应真实数据作为训练数据和标记样本，其余3组影像数据作为测试数据集：空间泛化测试集——识别巨鹿县2020年冬小麦、时间泛化测试集——识别南和区2019年冬小麦、时空泛化测试集——识别巨鹿县2019年冬小麦。在输入dcnn模型前，数据需进行进一步处理：(1)将标记样本矢量转为相同空间分辨率的栅格数据，之后与播种期影像和生长旺盛期影像按顺序进行波段合并，得到包含9个波段的训练集；(2)利用python程序对训练集按从左到右、从上到下的顺序进行切片，重叠率为50％，每个数据片大小为256
×
256像元。最终得到968个切片。
[0088]
本发明的深度卷积神经网络基于金字塔场景池化网络(pspnet)构建适用于农作物遥感识别的深度卷积神经网络(dcnn，deep convolutional neuralnetwork)模型。pspnet模型能够融合多层次特征，保留地物的局部空间信息的同时实现像元级的语义分割，具有较强的表征能力，提升分类的准确率。残差结构块作为模型的特征提取器，增加模型的深度的同时，减少计算量，从而实现多层次的特征提取，解决其他网络中“随着网络的加深，准确率下降”的问题，从而起到优化模型的作用；金字塔池化模块可以实现在不同尺度上无缝拼接特征，完成上下文信息的匹配。在原pspnet模型基础上，dcnn模型做了改进：(1)残差模块加入膨胀卷积层，采用10个残差结构块用于挖掘影像的深层抽象特征，并对10个残差结构块中最后3个残差结构块增加膨胀卷积层，增大模型对像元周围语义信息的感知度，防止深层特征丢失像元之间的空间关系；每个残差结构块输出连接一个膨胀卷积层，前两个膨胀卷积层的输出连接下一个残差结构块，最后一个残差结构块连接的膨胀卷积层的输出连接金字塔平均池化模块；(2)采用金字塔平均池化模块，4个不同尺度的平均池化层将深层特征的上下文信息结合起来，来提高目标像元的定位精度；(3)输入通道调整为八通道，考虑到本实施例使用了2个时期共8个波段的遥感影像，对模型的输入模块进行相应
的调整，由传统的三通道变为八通道。
[0089]
dcnn模型框架如图3所示，主要包括4个部分：(1)数据输入(输入层)：训练集切片，大小为256
×
256像元；(2)残差模块，由10个残差结构块构成，用于特征提取；(3)金字塔平均池化模块，由4个不同尺度的平均池化层，用于结合上下文信息；(4)输出(输出层)：利用dcnn模型所提取的特征训练 softmax分类器，将待分类的图像输入到训练好的softmax分类器进行分类。模型结构参数设置如下表4所示。本实施例的dcnn模型运行平台为caffe 框架(convolutional architecture for fastfeature embedding)。
[0090]
表4 dcnn模型结构参数表
[0091][0092]
对于dcnn模型训练，采用微调预训练模型的策略对dcnn模型进行网络学习。微调预训练网络模型指用遥感影像数据集对在自然图像数据集上已预先训练好的模型进行优化训练。与包含超过1000万样本量的自然图像数据集 (如imagenet数据集)相比，现有的公共遥感卫星图像集(如rsscn7数据集、uc merced数据集、whu
‑
rs19数据集)的数量是相当小的，仅有数千个样本量，难以训练出一个好的深度学习模型。利用影像微调预训练网络模型比直接使用遥感影像从零开始训练模型效果更好，因为经过微调后的模型可以更好地学习到卫星影像的内在特征。
[0093]
迁移自imagenet训练集上预训练好的resnet
‑
50模型作为dcnn模型的残差模块，之后输入训练集对dcnn模型进行训练，参考krizhevsky在 ilsvrc
‑
2012比赛中的学习策略对超参数进行设置。为了防止训练过拟合，采用随机分层分组的方法，从训练集中提取1/7数据作为dcnn模型的验证数据。采用随机梯度下降法(sgd)更新权值，学习速率衰减策略为fixed，固定学习速率为1
×
10
‑
10
，每批次容量为16，反复进行前向
‑
后向传播计算，迭代优化dcnn模型。此外，分别将动量和权值衰减常数设为0.9和5
×
10
‑4，可平滑每次迭代的权值更新，增强网络学习的稳定性。为了避免因训练数据量小而造成模型过拟合，将在imagenet分
类数据集预训练好的模型参数作为 dcnn的初始化权值。最后通过最小交叉熵损失函数值loss找到最优权值，对测试集进行预测分类。
[0094][0095]
其中，n为批次容量，即等于16；c为类别总数，本实施例c＝2；a
i
为输入影像对应到每个类别标签i的概率。
[0096]
为了验证dcnn模型(训练后的模块，即遥感影像分类模型)的时空泛化性能，选择随机森林算法作为对比模型。随机森林(rf，random forest)是以决策树为基学习器构建bagging集成的分类器。rf在决策树训练过程中引入了随机属性选择，通过样本扰动和属性扰动增加个体学习器之间的差异，从而提升了模型的泛化性。rf能够处理大量数据，避免过拟合现象，而且计算开销小，因此得到广泛应用。作为遥感土地覆盖分类任务中最成功的集成学习方法之一，rf经常作为基模型用于研究。
[0097]
本实施例中，作为dcnn模型的对比模型，rf模型与dcnn模型使用同一套训练集和测试数据。在输入模型前，训练集需进一步处理：(1)将标记样本转成点数据，利用点位提取影像波段的光谱值；(2)将点样本上的标签和对应光谱值组成一维特征向量。因此，总共获取了16800个点样本，冬小麦和其他类型分别为9600、7200。训练rf模型时，需要考虑2个超参数的设置：在最佳分割点的特征数f和决策树数量t。f一般设置为特征数的平方根。对于 t，根据rodriguez
‑
galiano等研究发现，当t达到100时，就可达到很低的泛化误差收敛值，因此本实施例t设为100。其他参数为默认值。rf模型是调用scikit
‑
learn库(sklearn)在python平台上运行。
[0098]
将模型所预测的3组测试数据与对应真实地表数据进行对比来评价模型的性能。使用总体精度(overall accuracy,oa)、用户精度(user accuracy,ua)、制图精度(producer accuracy,pa)、f1分数(f1 score)作为评价方法的指标：
[0099][0100][0101][0102][0103]
其中，i指类别，n指类别总数，p
ii
指被正确分类的像元数，n指参考数据像元总数，n
r
指结果分为第i类的像元数，n
t
指参考数据中第i类的像元数。
[0104]
使用训练好的dcnn模型和rf模型分别从3个测试集中提取冬小麦空间分布。图4展示了整体分类结果，可以发现2个模型均能识别出冬小麦的大体范围，但从直观上看，dcnn模型在3个测试集上预测的冬小麦明显比rf模型多。表5给出了2个模型对每个测试集分类
结果的混淆矩阵，每一列的数值表示模型分类类别对应真实数据的比例，每一行的数值表示真实数据类别对应分类结果的比例。从表5中可以发现，dcnn模型具有更好的时空泛化性能，冬小麦被错分为其他类别的平均比例为0.037，与rf模型相比有显著提升，降低了0.264。
[0105]
表5不同测试集分类精度评价混淆矩阵
[0106][0107][0108]
利用混淆矩阵计算出表6中的精度评价结果。从结果上看，dcnn模型具有更加稳定的高精度结果，dcnn模型的oa和f1 score均高于0.90，相比之下，rf模型均低于0.90。对于oa，dcnn模型优于rf模型，在3个不同时空测试集上的平均值高达0.947，标准差仅为0.023，rf模型的相应值分别为 0.800和0.062；对于冬小麦的分类，dcnn模型f1 score均值为0.937，比rf 模型高0.200，标准差为0.032，比rf模型低0.078。dcnn模型在这3个不同时空泛化集上的分类结果上都能保持高精度，总体上明显高于rf模型的结果，且rf模型在时空泛化集上的分类准确度上出现了骤降情况，分类稳定性较dcnn模型差。
[0109]
表6不同测试集分类精度评价指标
[0110][0111][0112]
图5为空间泛化子集分类结果的空间分布情况，图5中(a)、(b)为dcnn 模型分类结果和相应以真实数据为参考的误差空间分布图；(c)、(d)为rf 模型分类结果和相应误差空间分布图。
[0113]
图5中(a)和(c)中深灰色为冬小麦，浅灰色为其他区域；(b)和(d) 中深灰色为正确分类区域，浅灰色为错误分类区域。
[0114]
图6为时间泛化子集分类结果的空间分布，图6中(a)、(b)为dcnn 模型分类结果和相应以真实数据为参考的误差空间分布图；(c)、(d)为rf 模型分类结果和相应误差空间分布图。
[0115]
图6中(a)和(c)中深灰色为冬小麦，浅灰色为其他区域；(b)和(d) 中深灰色为正确分类区域，浅灰色为错误分类区域。
[0116]
图7为时空泛化子集分类结果的空间分布，图7中(a)、(b)为dcnn 模型分类结果和相应以真实数据为参考的误差空间分布图；(c)、(d)为rf 模型分类结果和相应误差空间分布图。
[0117]
图7中(a)和(c)中深灰色为冬小麦，浅灰色为其他区域；(b)和(d) 中深灰色为正确分类区域，浅灰色为错误分类区域。
[0118]
通过每个子区的可视化对比，可以看出dcnn模型的分类性能要优于rf 模型，能够避免基于像元分类浅层模型的“椒盐噪声现象”。分别将2个模型预测的每个泛化集测试样方结果与相应真实数据进行可视化比较，得到图5、图 6和图7。对比dcnn模型和rf模型的误差空间分布图可以发现，dcnn在 3个泛化集上分类结果的误差主要分布在地块边缘，离散破碎的地块越集中，误差分布越多，如空间泛化集和时空泛化集的t2样方。rf模型预测结果的误差分布也呈现同样的规律，同时出现了严重的“椒盐噪声现象”，在每个泛化集上的所有样方均出现了集中高亮的错误分类像元(图5、图6和图7)。由于遥感影像中多种土地覆盖类型之间存在光谱混淆，同一种类别存在光谱多样性，因此这是简单逐像元分类方法难以避免的问题。本实施例中的dcnn模型则很少出现这种情况，它能够利用卷积运算，考虑每个
像元与周围像元之间的空间关系，预测出完整的冬小麦地块。在时空泛化分类上，dcnn模型比rf模型更具稳定性。dcnn模型在3个泛化集上均能较为完整地将冬小麦分布提取出来，rf模型在空间泛化集和时空泛化集上对冬小麦能保持较为准确的识别，但在时空泛化集上，则出现了严重的“漏分现象”，大部分冬小麦像元被归类为其他类别，因此rf模型在跨时间和跨空间区域的分类上缺乏稳定性。
[0119]
图8为2km
×
2km子区分类结果对比，图8中前两列图像中黑色框区域表示土地覆盖类型发生大范围变化子区；第三列图像中黑色框区域表示真实冬小麦分布，第四列图像中黑色框区域表示dcnn模型分类结果，第五列图像中黑色框区域表示rf模型出现“椒盐噪声现象”地方。
[0120]
为了进一步验证dcnn模型比rf模型的分类性能强，分别对dcnn模型和rf模型对每个样方分类结果的oa、冬小麦pa、冬小麦ua和冬小麦f1 score进行一一比较，得到图9、图11、图12和图13。在每个样方中，dcnn 模型的oa、pa均高于rf模型，特别是在时空泛化集上，两个模型之间的精度相差最大；反观ua则是rf模型略高于dcnn模型，但差距跟前面2个指标相比不明显，因此对于f1 score，dcnn模型依旧保持比rf模型的精度高。 dcnn模型在所有样方内都能保持稳定的高精度，不同时空数据集之间精度方差最大值出现在pa指标，仅为0.047，对应指标的rf模型则高达0.124。再次证明了在时空泛化分类上，dcnn模型比rf模型具有更高的准确性和稳定性。
[0121]
为了描述dcnn模型在时空泛化分类过程中的稳定性和准确度，通过可视化不同时空泛化子集在不同阶段卷积层的特征表达来理解dcnn模型的分类过程。从分类结果上看，在保持相同训练集的条件下，dcnn模型比传统机器学习方法具备更强的时空泛化性能。对于分类过程，可通过可视化不同阶段卷积层的特征图来解释dcnn模型在不同时空数据集上逐步学习到有效特征的过程。从上图8中3个泛化子区中选取土地覆盖类型发生了时空变化的子区作为输入展示模型在每一层所学到特征的变化过程，输入影像和输出特征图大小均为256
×
256像元。这些子区与训练集之间的土地覆盖类型存在着时间或空间差异，可以更好地评估模型的时空泛化能力。利用反卷积操作对这些子区对应指定卷积层的特征图进行可视化，该过程仅用于可视化训练好的dcnn模型所提取的特征，不对模型再次进行训练。
[0122]
本发明基于深度学习模型时空泛化性的研究目的，首先将测试集划分为空间泛化集、时间泛化集和时空泛化集3个不同时空尺度数据集；其次介绍卷积神经网络模型dcnn的构建过程，对微调训练和预训练的机制理论进行阐述，说明了模型训练的参数设置细节，之后根据损失函数选取预测模型，分别对3 个泛化集进行识别，得到冬小麦空间分布结果；将分类结果与传统分类方法 rf模型进行对比，进行精度评价和结果分析。从整体上看，dcnn模型冬小麦被错分的比例低，oa和冬小麦的f1 score均高于0.90，比rf模型结果精度高；而且dcnn模型在3个不同时空尺度泛化集之间的精度标准差低于rf 模型，具有更强的稳定性。通过每个泛化集子区的可视化对比，可以看出dcnn 模型的分类性能都优于rf模型，能够避免基于像元分类浅层模型的“椒盐噪声现象”，具有良好的泛化能力。为了描述dcnn模型在时空泛化分类过程中的稳定性和准确度，通过可视化不同时空泛化子集在不同阶段卷积层的特征表达来理解dcnn模型的分类过程，证明了dcnn模型具有捕捉语义、细节特征等特征的能力，这些特征能表征冬小麦作物的类别归属特征和形状、位置、边界等细节特征，使模型在不同时空测试集中拥有稳定的强泛化能力。
[0123]
图13为本发明一种基于深度学习作物时空泛化分类系统结构示意图，如图13所示，一种基于深度学习作物时空泛化分类系统，包括：
[0124]
遥感影像采集模块201，用于采集设定地点在设定时间段内的多个遥感影像；
[0125]
样本标记模块202，用于通过人工目视解译方法获得与各遥感影像对应的真实影像；真实影像为对农作物区域和非农作物区域进行标记了的图像；
[0126]
网络模型构建模块203，用于构建深度卷积神经网络；深度卷积神经网络包括依次连接的输入层、残差模块、金字塔平均池化模块和输出层；
[0127]
网络模型预训练模块204，用于采用自然图像数据集对残差模块进行训练，将训练好的残差模块作为深度卷积神经网络中的残差模块，获得预训练模型；
[0128]
网络模型训练模块205，用于以遥感影像为输入，与各遥感影像对应的真实影像为输出训练预训练模型，获得遥感影像分类模型；
[0129]
遥感影像分类模块206，用于利用遥感影像分类模型对待分类遥感影像进行农作物区域和非农作物区域的分类。
[0130]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0131]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。