用于遥感影像的神经网络模型预训练方法、装置与流程

本发明涉及数据处理领域，尤其涉及用于遥感影像的神经网络模型预训练方法、装置。

背景技术：

遥感影像的时间序列通常由同一地理位置进行多次重复观测而获取的遥感影像按照时间顺序排序所形成。时间序列相关数据记录地表覆盖状态随时间的变化过程，其中蕴含了丰富的植被物候、种植模式等规律性信息。可以用于提高植被等地表覆盖状态分类的可靠性。

现有技术中，通常是直接采用带有标签的遥感影像输入神经网络模型之中进行训练学习。但在实践之中，神经网络模型的充分训练学习需要海量的标记样本才有可能得以实现，而这些标记样本只能通过地面调查或人工目视解译的方式获取，其人力、物力成本极高，且标记样本的数量和质量往往难以满足深度学习模型的训练要求，导致深度学习的技术优势难以充分发挥，所以在遥感影像领域应用神经网络模型进行分类，现阶段仍然还处于理论阶段。

技术实现要素：

发明目的：本发明旨在提供一种用于遥感影像的神经网络模型预训练方法、装置，以期解决神经网络模型的训练高度依赖海量标记样本的问题。

技术方案：本发明提供一种用于遥感影像的神经网络模型预训练方法，包括：将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；将观测时间序列中的元素变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习。

具体的，对观测地点的遥感影像进行逐像素提取得到原始光谱值，并结合对应的时间信息作为观测地点的原始值，将原始值按照时间排序得到时间序列；对原始值的原始光谱信息进行噪声剔除和标准化处理。

具体的，挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。

具体的，将光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量。

具体的，将光谱值采用以下公式映射为k维向量：

qi=ciw，

其中，ci表示按照观测时间序列排序的第i个光谱值，qi表示映射得到的第i个光谱值编码向量，w表示可训练的变换矩阵；

将时间信息采用以下公式编码为p维向量：

，

其中，ti表示按照观测时间排序的第i个观测值对应的时间信息，ti表示编码得到的第i个时间信息编码向量，ti(p)表示ti的第p维元素；

将光谱值编码向量qi和时间信息编码向量ti按照以下任意一种公式进行组合得到观测编码向量：

zi=qi+ti；zi=[qi,ti]，

其中，zi表示第i个观测编码向量。

具体的，将得到的观测编码向量序列输入至神经网络模型，在所述神经网络模型学习观测编码向量序列全部光谱值和时间信息后，得到观测编码向量对应的隐藏状态向量；所述神经网络模型为双向循环神经网络。

具体的，采用以下公式计算预测光谱值与对应的原始光谱值之间的误差，并作为损失函数用于训练神经网络模型：

，

其中，oj表示添加环境模拟噪声的观测光谱值对应的第j个原始光谱值，表示第j个原始光谱值对应的预测光谱值，n表示添加环境模拟噪声的原始光谱值的数量；

通过最小化损失函数mseloss，更新神经网络模型的模型参数，当满足训练停止条件时停止训练。

具体的，将带有任意标签的任意观测地点的遥感影像作为学习样本，输入神经网络模型进行学习。

本发明提供一种用于遥感影像的神经网络模型预训练装置，包括：提取单元、自监督单元、预测单元、训练单元和学习单元，其中：

所述提取单元，用于将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；

所述自监督单元，用于对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；

所述预测单元，用于将观测时间序列中的元素变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；

所述训练单元，用于将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；

所述学习单元，用于训练完毕后，将带有标签的遥感影像输入神经网络模型进行学习。

具体的，所述自监督单元，用于挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。

有益效果：与现有技术相比，本发明具有如下显著优点：采用自监督训练学习方式，神经网络模型可以从海量的无标签的遥感影像时间序列中挖掘有价值的规律性信息，降低神经网络模型对标记样本的依赖，提高神经网络模型学习的实用性，在使用少量的标记样本完成神经网络模型的训练学习后，可以有效地实际应用于地表覆盖状态分类；将添加环境模拟噪声之前的原始值作为训练目标，降低噪声对模型的干扰作用，提高模型的稳定性和分类结果的准确度。

附图说明

图1为本发明提供的用于遥感影像的神经网络模型预训练方法的流程示意图；

图2为本发明提供的观测编码向量输入至神经网络模型的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

参阅图1，其为本发明提供的用于遥感影像的神经网络模型预训练方法的流程示意图，包括具体步骤。

步骤1，将观测地点的遥感影像按照时间排序得到包括原始值的时间序列。

本发明实施例中，所述原始值包括观测地点的原始光谱值和对应的时间信息。

在具体实施中，对观测地点重复多次进行观测获取的遥感影像，按照时间顺序排序，多个原始值可以形成时间序列，其中原始值是指每次对观测地点的遥感影像进行观测而获得的信息组合（o，t），o表示原始光谱值，t表示获取原始光谱值时所对应的时间信息，t可以采用年积日的方式表示时间信息，也即每年可以作为一个观测周期或者时间序列的周期。

本发明实施例中，对观测地点的遥感影像进行逐像素提取得到原始光谱值，并结合对应的时间信息作为观测地点的原始值，将原始值按照时间前后顺序排序得到时间序列；对原始值的原始光谱信息进行噪声剔除处理和标准化。

在具体实施中，原始光谱值是通过对遥感影像进行逐像素提取得到的。通常获取的信息是受到观测地点实际环境噪声影响的，因此需要进行噪声剔除，去除受云、雪、阴影干扰而发生异常的光谱值。为了便于后续的数据处理，提升模型训练学习的效率，可以对时间序列中的原始光谱值进行标准化处理，标准化方式可以是极差标准化，也可以是其他的标准化方式。

步骤2，对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列。

在具体实施中，通过对时间序列中原始值的原始光谱值添加噪声以模拟环境，进而可以得到观测值。因为，在实际应用神经网络模型时，环境所带来的噪声是影响地表覆盖状态分类结果准确度的主要障碍，通过添加噪声模拟云、雨、阴影等环境情形，建立自监督学习任务，可以训练神经网络模型识别环境噪声。同时，更重要的是，由于是人为选定添加噪声，因此是预先明确知晓是哪些原始光谱值用于模拟环境噪声，可以更好地引导模型通过观测时间序列的上下文信息识别环境噪声并恢复出其原始值，能十分有效地降低噪声对神经网络模型的干扰作用，提高模型的准确度。

本发明实施例中，挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。

在具体实施中，挑选的时间序列的预设部分可以是部分或全部，挑选后经过环境模型后作为观测值（对光谱值进行调整，对应的时间信息保持不变）。其中，光谱值添加正噪声后不再添加负噪声，添加负噪声后不再添加正噪声。例如，按照15%的比例随机挑选时间序列中的原始值，对已选定的原始值的原始光谱值按照50%的概率对其添加正噪声，另外50%的概率对其添加负噪声（也可以预设哪些部分或者多少比例添加噪声，不适用随机方式）。正噪声即大于0，负噪声即小于0。在添加噪声后，观测时间序列中并不一定需要排除未添加噪声的原始值。

步骤3，将观测时间序列中的元素（观测值以及未添加环境模型噪声的原始值）变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量。

本发明实施例中，将光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量。

本发明实施例中，将得到的观测编码向量序列输入至神经网络模型，在所述神经网络模型学习观测编码向量序列全部光谱值和时间信息后，得到观测编码向量对应的隐藏状态向量；所述神经网络模型为双向循环神经网络。

在具体实施中，神经网络模型可以是自注意力神经网络模型或循环神经网络模型等，或者其他同样可以学习序列中各个元素之间的结构关系以及序列上下文特征的神经网络模型。

在具体实施中，为了可以将观测时间序列输入神经网络模型进行学习，可以将观测值以及未添加环境模型噪声的原始值转换为向量（观测编码向量）。在输入神经网络模型之后，神经网络模型经过学习输入的观测编码向量后，可以获得具有观测编码向量上下文信息的光谱值特征以及时间特征，并且相应的可以获得观测编码向量对应的深度网络特征（隐藏状态向量）。

本发明实施例中，将光谱值采用以下公式映射为k维向量：

qi=ciw，

其中，ci表示按照观测时间序列排序的第i个光谱值（包括观测光谱值和原始光谱值），qi表示映射得到的第i个光谱值编码向量，w表示可训练的变换矩阵，可以后续在神经网络模型训练的过程中作为模型参数进行更新；

将时间信息采用以下公式编码为p维向量：

，

其中，ti表示按照观测时间排序的第i个观测值对应的时间信息，ti表示编码得到的第i个时间信息编码向量，ti(p)表示ti的第p维元素，具体维度可以由实际情况确定，k为自然数，其数值由p的数值计算而来，例如p为1时k为0，p为2时k为1，p为3时k为1，p为4时k为2，p为5时k为2，以此类推，p为偶数时采用公式中的sin函数进行计算，p为奇数时采用公式中的cos函数进行计算，ω依据公式中所给的计算方式计算得到；

将光谱值编码向量qi和时间信息编码向量ti按照以下任意一种公式进行组合得到观测编码向量：

zi=qi+ti；zi=[qi,ti]，

其中，zi表示第i个观测编码向量，包括观测值以及未添加环境模型噪声的原始值变化得到的。

在具体实施中，w作为可训练的变换矩阵，在后续的对神经网络模型进行训练时，可以作为参数相应的更新调整，以期达到模型可以通过观测值识别原始值的功能。维度k和维度p可以由用户依据实际情况而设置，可以相同也可以不相同，但采用向量直接相加的组合方式时，需要相同。

在具体实施中，观测光谱值、原始光谱值和对应的时间信息转换为向量后进行组合的方式包括相加和拼接，分别对应上述的两个公式。形成观测编码向量后，可以获得观测编码向量序列，用于输入神经网络模型。

参阅图2，其为本发明提供的观测编码向量输入至神经网络模型的流程示意图，其中适用的神经网络模型是双向循环神经网络（bi-lstm）。

步骤4，将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练。

在具体实施中，由于隐藏状态向量体现观测编码向量序列全部的光谱值特征和时间信息特征，可以反映整个序列所蕴含的地表覆盖状态的变化规律，因此可以用于作为训练的参考。

在具体实施中，将隐藏状态向量通过全连接层映射到原始光谱值的维度，将全连接层的输出作为神经网络模型的预测值，也即神经网络模型预测的原始值，用于地表覆盖状态分类的依据。

本发明实施例中，采用以下公式计算预测光谱值与对应的原始光谱值之间的误差，并作为损失函数用于训练神经网络模型：

，

其中，oj表示添加环境模拟噪声的观测光谱值对应的第j个原始光谱值，表示第j个原始光谱值对应的预测光谱值，n表示添加环境模拟噪声的原始光谱值的数量；

通过最小化损失函数mseloss，更新神经网络模型的模型参数，当满足训练停止条件时停止训练，和oj是对应的。

在具体实施中，将均方误差（meansquareerror，mse）作为神经网络模型训练的损失函数，j取值范围为1～n，可以取端点值。停止条件是预测光谱值与对应的原始光谱值之间的误差大小，通过训练更新模型参数直到误差数值小于停止条件规定的数值。据此达到模型可以通过观测值识别原始值的功能，进而可以有效地实际应用于地表覆盖状态分类。

步骤5，训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习。

本发明实施例中，将经过预训练的神经网络模型的模型参数作为初始值，将带有任意标签的任意观测地点的遥感影像时间序列作为学习样本，输入神经网络模型，对所有模型参数进行更新。

在具体实施中，由于在先用于训练的序列无需进行标记，因此可以输入海量的序列数据进行训练，训练完毕的神经网络模型可以有效掌握遥感影像的时间序列中有价值的规律性信息，降低神经网络模型对标记样本的依赖。

在具体实施中，后续为了实际将神经网络模型应用于特定的地表覆盖状态分类，可以输入标记样本进行训练，标记样本的观测地点可以与在先用于训练的观测地点不相同，标签也可以是任意的，例如，在先用于训练的遥感影像的观测地点可以是南京，后续标记样本的遥感影像的观测地点可以是上海，观测地点的不同不影响神经网络模型的有效学习和有效分类应用。提高神经网络模型学习的实用性，在使用少量的标记样本完成神经网络模型的训练学习后，可以有效地实际应用于地表覆盖状态分类。

在具体实施中，将经过预训练的神经网络模型用于地表覆盖状态分类时，可以将神经网络模型的输出层改进为适用于分类任务的输出层。在具体实施中，将图2所示的最后一个全连接层替换为平均池化层，然后输入一个全连接层及softmax函数进行分类，得到对应的土地覆盖类型。

本发明还提供一种用于遥感影像的神经网络模型预训练装置，包括：提取单元、自监督单元、预测单元、训练单元和学习单元，其中：

所述提取单元，用于将观测地点的遥感影像按照时间排序得到包括原始值的时间序列；所述原始值包括观测地点的原始光谱值和对应的时间信息；

所述自监督单元，用于对时间序列添加环境模拟噪声，得到包括观测值的观测时间序列；

所述预测单元，用于将观测时间序列中的元素变换为观测编码向量后输入至神经网络模型，获取观测编码向量对应的隐藏状态向量；

所述训练单元，用于将观测值对应的隐藏状态向量映射至原始光谱值的维度得到预测光谱值，基于预测光谱值与对应的原始光谱值之间的误差，对神经网络模型进行训练；

所述学习单元，用于训练完毕后，将带有标签的遥感影像时间序列输入神经网络模型进行学习。

本发明实施例中，所述提取单元，用于对观测地点的遥感影像进行逐像素提取得到原始光谱值，并结合对应的时间信息作为观测地点的原始值，将原始值按照时间排序得到时间序列；对原始值的原始光谱信息进行噪声剔除处理和标准化。

所述自监督单元，用于挑选时间序列中预设部分的原始值作为观测值，将所述预设部分的原始光谱值分别添加正噪声和负噪声后得到的光谱值，作为观测值的观测光谱值。

所述预测单元，用于将光谱值和对应的时间信息转换为向量后进行组合，形成观测编码向量。

所述预测单元，用于将光谱值采用以下公式映射为k维向量：

qi=ciw，

其中，ci表示按照观测时间序列排序的第i个光谱值，qi表示映射得到的第i个光谱值编码向量，w表示可训练的变换矩阵；

将时间信息采用以下公式编码为p维向量：

，

其中，ti表示按照观测时间排序的第i个观测值对应的时间信息，ti表示编码得到的第i个时间信息编码向量，ti(p)表示ti的第p维元素；

将向量qi和向量ti按照以下任意一种公式进行组合得到观测编码向量：

zi=qi+ti；zi=[qi,ti]，

其中，zi表示第i个观测编码向量。

所述预测单元，将得到的观测编码向量序列输入至神经网络模型，在所述神经网络模型学习观测编码向量序列全部光谱值和时间信息后，得到观测编码向量对应的隐藏状态向量；所述神经网络模型为双向循环神经网络。

所述训练单元，用于采用以下公式计算预测光谱值与对应的原始光谱值之间的误差，并作为损失函数用于训练神经网络模型：

，

其中，oj表示添加环境模拟噪声的观测光谱值对应的第j个原始光谱值，表示第j个原始光谱值对应的预测光谱值，n表示添加环境模拟噪声的原始光谱值的数量；

通过最小化损失函数mseloss，更新神经网络模型的模型参数，当满足训练停止条件时停止训练。

所述学习单元，用于将经过预训练的神经网络模型的模型参数作为初始值，将带有任意标签的任意观测地点的遥感影像时间序列作为学习样本，输入神经网络模型，对所有模型参数进行更新。