基于卷积自动编解码算法的气象数据填补方法与流程

文档序号:12271933阅读:259来源:国知局
基于卷积自动编解码算法的气象数据填补方法与流程

本发明属于计算机技术领域,更进一步涉及气象数据处理技术领域中的一种基于卷积自动编解码算法的气象数据填补方法。本发明可以应用于气象数据处理,气象数据分析等具体应用场景,针对已有的气象数据填补算法的局限性,根据多次学习气象数据属性特征之间的相关性,对于缺失的气象数据,填补其气象数据值。



背景技术:

填充空缺值是由于数据缺失引起的方法。数据缺失是指在数据采集时由于某种原因应该得到而没有得到的数据。它指的是现有数据集中某个或某些属性的值是不完全的。在科学研究中,为了提高数据的可信度科学度,保证调查研究的顺利进行,需要一些填充空缺值的方法来填充缺失数据。目前填充空缺值的方法主要包括人工填写法、平均值填充法、热卡填充法和多重填补法。其中人工填写法费时费力,当缺失的数值很多时,使用这种方法是不可能的。平均值填充法和热卡填充法主观因素较多,准确性低。

国网山东省电力公司应急管理中心在其申请的专利“基于电网GIS的气象数据调用与预处理方法及系统”(专利申请号:201410709084.6,申请公开号:CN104951857A)中提出了一种基于电网GIS的气象数据处理方法及系统。该方法首先建立电网气象数据库,然后分别对电网GIS平台采集的不同格式的气象数据进行处理并存储,再对存储至电网气象数据库的数据进行分类预处理,之后进行数据缓存与调用。在对实时监测数据进行完整性检查时,当出现数据缺失、错误等异常情况时,该方法调用当前无效时间点的上一时刻数据,采用向上追溯的方式进行填充处理。该方法优化了气象数据在电网中的应用方法,为电力行业与气象部门间的快速数据交互提供了基础。但是,该方法仍然存在的不足之处是,对于缺失、错误等异常情况的处理方式过于简单,并且填补的数据准确性低。

宁波绮耘软件有限公司在其申请的专利“一种异常数据判定与处理方法及装置”(专利申请号:201410504085.7,申请公开号:CN104281779A)中提出了一种异常数据判定与处理方法及装置。该方法首先从原始气象数据中提取与观测点数据相关的数据块,计算二者的数值变化,若不在预定范围内,则观测点数据为异常值,对异常值进行修正并输出修正后的气象数据。该方法对连续观测的气象数据中存在的不符合气象数据变化规律的数据进行修正,从而减少突然增高或降低的异常数据对气候特征观察的影响。但是,该方法仍然存在的不足之处是,判断气象数据是否异常时提取的数据块范围仅为1-3,选取的数据块太少,数据的修正也仅是用不包括观测点的数据块的平均值来替换,修正的气象属性值只与同种属性的属性值有关,建立在完全随机缺失的假设上,数据填充的精度不高,不能准确反映气象数据的变化规律。



技术实现要素:

本发明的目的在于克服上述已有技术的不足,提出一种基于卷积自动编解码算法的气象数据填补方法,以提高气象数据填补结果的精度。本发明利用卷积自动编码和卷积自动解码,在填补数据过程中学习周边数据特征的相关性,有效地克服了气象数据填充的精度不高的问题。

实现本发明目的的具体思路是:首先是根据相邻数据属性之间的关系,进行数据预处理,然后再利用卷积自动编码和卷积自动解码等步骤,提取属性特征之间的复杂关系,对气象数据进行填补,提高了算法的鲁棒性和填补的精度,可用于高维数据的多个缺失值填补。

实现本发明目的的具体步骤如下:

(1)对气象数据进行预处理:

(1a)用一个含有6个属性值的一维数据,构建一个3×2二维矩阵;

(1b)用一个气象数据文件中所有气象数据构建一个四维矩阵;

(2)设置迭代次数:

设置最大迭代次数为1000,设置当前迭代次数为k,并初始化为1;

(3)对四维矩阵进行卷积自动编码:

(3a)按照下式,用32个1×1卷积核w和偏移权重b卷积四维矩阵,分别提取气象数据6个属性值中每一个属性值的数据特征,得到32组6个属性值的数据特征:

Y=wX+b

其中,Y表示气象数据6个属性值中任意一个属性值的数据特征,w表示一个1×1的矩阵,X表示气象数据6个属性值中与Y对应的属性值,b表示由随机函数在(0,1)之间产生的一个随机数;

(3b)按照下式,分别计算气象数据32组6个属性值中每一个属性值的匹配特征,得到32组6个属性值的匹配特征:

m=max(0,Y)

其中,m表示气象数据6个属性值中任意一个属性值的匹配特征,max表示取最大值操作,Y表示气象数据6个属性值中与m对应的属性值的数据特征;

(3c)对32组6个属性值的匹配特征中的每一组,将6个属性值的前2个属性值的匹配特征,依次作为特征匹配矩阵的第一行,将6个属性值的中间2个值的匹配特征,依次作为特征匹配矩阵的第二行,将6个属性值的后2个值的匹配特征,依次作为特征匹配矩阵的第三行,得到一个3×2的特征匹配矩阵;

(3d)判断是否完成32个3×2的特征匹配矩阵的构建,若是,则执行步骤(3e),否则,执行步骤(3c);

(3e)按照下式,分别对32个3×2的特征匹配矩阵中的每一个特征匹配矩阵进行填充,得到32个5×5填充后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值;

(3g)分别对32个5×5的填充后的特征匹配矩阵进行大小为3×3的最大值形式的池化,步长为1,得到32个3×3的第一次编码后的特征匹配矩阵;

(4)对特征匹配矩阵进行卷积自动编码:

(4a)对32个3×3的第一次编码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×3的第一次编码后的特征匹配矩阵;

(4b)判断是否完成32个3×3的第一次编码后的特征匹配矩阵的更新,若是,则执行步骤(4c),否则,执行步骤(4a);

(4c)按照下式,分别对32个3×3的更新后的第一次编码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值;

(4d)分别对32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化,步长为1,得到32个3×3的第二次编码后的特征匹配矩阵;

(5)对特征匹配矩阵进行卷积自动编码:

(5a)对32个3×3的第二次编码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×3的第二次编码后的特征匹配矩阵;

(5b)判断是否完成32个3×3的第二次编码后的特征匹配矩阵的更新,若是,则执行步骤(5c),否则,执行步骤(5a);

(5c)按照下式,分别对32个3×3的更新后的第二次编码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值;

(5d)对32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化,步长为1,得到32个3×3的第三次编码后的特征匹配矩阵;

(6)对特征匹配矩阵进行卷积自动解码:

(6a)对32个3×3的第三次编码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×3的第三次编码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×3的第三次编码后的特征匹配矩阵;

(6b)判断是否完成32个3×3的第三次编码后的特征匹配矩阵的更新,若是,则执行步骤(6c),否则,执行步骤(6a);

(6c)按照下式,对32个更新后的3×3的第三次编码后的特征匹配矩阵中的每一个特征匹配矩阵,分别修正一个更新后的3×3的第三次编码后的特征匹配矩阵中的每一个元素值:

p=max(0,Q)

其中,p表示修正后的更新后的3×3的第三次编码后的特征匹配矩阵中的任意一个元素值,max表示取最大值操作,Q表示更新后的3×3的第三次编码后的特征匹配矩阵中的与y对应的元素值;

(6d)判断是否完成32个更新后的3×3的第三次编码后的特征匹配矩阵的修正,若是,则执行步骤(6e),否则,执行步骤(6c);

(6e)按照下式,分别对32个修正后的更新后的3×3的第三次编码后的特征匹配矩阵进行填充,得到32个5×5的填充后的修正后的更新后的第二次编码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值;

(6f)对32个5×5的特征匹配矩阵进行大小为3×4的最大值形式的池化,步长为1,得到32个3×2的第一次解码后的特征匹配矩阵;

(7)对特征匹配矩阵进行卷积自动解码:

(7a)对32个3×2的第一次解码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×2的第一次解码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×2的第一次解码后的特征匹配矩阵;

(7b)判断是否完成32个3×2的第一次解码后的特征匹配矩阵的更新,若是,则执行步骤(7c),否则,执行步骤(7a);

(7c)按照下式,分别对32个3×2的更新后的第一次解码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第一次解码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值;

(7d)对32个5×5的填充后的更新后的第一次解码后的特征匹配矩阵进行大小为3×4的最大值形式的池化,步长为1,得到32个3×2的第二次解码后的特征匹配矩阵;

(8)对特征匹配矩阵进行卷积自动解码:

(8a)对32个3×2的第二次解码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×2的第二次解码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×2的第二次解码后的特征匹配矩阵;

(8b)判断是否完成32个3×2的第二次解码后的特征匹配矩阵的更新,若是,则执行步骤(8c),否则,执行步骤(8a);

(8c)按照下式,分别对32个3×2的更新后的第二次解码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第二次解码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值;

(8d)对32个5×5的填充后的更新后的第二次解码后的特征匹配矩阵进行大小为3×4的最大值形式的池化,步长为1,得到32个3×2的第三次解码后的特征匹配矩阵;

(9)按照下式,对32个3×2的第三次解码后的特征匹配矩阵分别计算损失函数:

其中,Lrec(x)表示x对应的损失函数,||·||2表示求二范数操作,表示数据中缺失的部分,⊙表示数组元素依次相乘操作,x表示输入的真实数据,F表示编码过程;

(10)按照下式,利用梯度下降法更新卷积核w和偏移权重b:

其中,w1表示更新后的卷积核,w表示更新前的卷积核,α表示取值为0.1的学习速率,Lrec(x)表示损失函数,表示损失函数Lrec(x)在卷积核w处的偏导数,b1表示更新后的偏移权重,b表示更新前的偏移权重,α表示取值为0.1的学习速率,Lrec(x)表示损失函数,表示损失函数Lrec(x)在偏移权重b处的偏导数;

(11)判断当前迭代次数k是否达到最大迭代次数,若是,则执行步骤(12),否则,将当前迭代次数k加1后,执行步骤(3);

(12)取32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵,将32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵的第一行的两个元素值作为气象数据6个属性值中的大气气压和干球温度,将32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵的第二行的两个元素值作为6个属性值中的露点温度和风速,将32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵的第三行的两个元素值作为6个属性值中的风向和总云量;

(13)完成气象数据填补。

本发明与现有方法相比具有如下优点:

第1,由于本发明引入对气象数据进行预处理,利用周边数据特征具有相关性的特点,将气象数据构建成为一个四维矩阵,从而克服了现有技术对于缺失、错误等异常情况的处理方式过于简单的问题,克服了填充的气象属性值只与同种属性值有关的问题,使得本发明的缺值填充更灵活、准确度更高。

第2,由于本发明引入卷积自动编码和卷积自动解码,利用卷积自动编码卷积自动解码等步骤,提取气象属性特征之间的复杂关系,得到较优的填充气象数据的计算模型,从而克服了数据填补的精度不高的问题,使得本发明具有高鲁棒性、高缺值填充准确度的优点。

附图说明

图1为本发明的流程图;

图2为本发明利用3×3的卷积核对5×5的矩阵进行卷积过程的示意图;

图3为本发明对5×5的矩阵进行大小为3×3的最大值形式的池化的过程的示意图;

图4为本发明对3×3的矩阵填充为5×5的矩阵的示意图。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

参照附图1,对本发明实现的步骤作进一步的详细描述。

步骤1,对气象数据进行预处理。

第1步,用一个含有6个属性值的一维数据,构建一个3×2二维矩阵。

所述的6个属性值是指,大气气压,干球温度,露点温度,风速,风向,总云量。

所述的3×2二维矩阵的构建方式为,将6个属性值的前2个值依次作为二维矩阵的第一行,将6个属性值的中间2个值依次作为二维矩阵的第二行,将6个属性值的后2个值依次作为二维矩阵的第三行,若有空缺值,用1填补。

第2步,用一个气象数据文件中所有气象数据构建一个四维矩阵。

所述四维矩阵的构建方式为,将一个文件中的所有气候数据所在的行数作为四维矩阵的第一维,第二维取1,将二维矩阵中的元素值作为四维矩阵的后两维。

步骤2,设置迭代次数。

设置最大迭代次数为1000,设置当前迭代次数为k,并初始化为1。

步骤3,对四维矩阵进行卷积自动编码。

第1步,按照下式,用32个1×1卷积核w和偏移权重b卷积四维矩阵,分别提取气象数据6个属性值中每一个属性值的数据特征,得到32组6个属性值的数据特征:

Y=wX+b

其中,Y表示气象数据6个属性值中任意一个属性值的数据特征,w表示一个1×1的矩阵,X表示气象数据6个属性值中与Y对应的属性值,b表示由随机函数在(0,1)之间产生的一个随机数。

第2步,按照下式,分别计算气象数据32组6个属性值中每一个属性值的匹配特征,得到32组6个属性值的匹配特征:

m=max(0,Y)

其中,m表示气象数据6个属性值中任意一个属性值的匹配特征,max表示取最大值操作,Y表示气象数据6个属性值中与m对应的属性值的数据特征。

第3步,对32组6个属性值的匹配特征中的每一组,将6个属性值的前2个属性值的匹配特征,依次作为特征匹配矩阵的第一行,将6个属性值的中间2个值的匹配特征,依次作为特征匹配矩阵的第二行,将6个属性值的后2个值的匹配特征,依次作为特征匹配矩阵的第三行,得到一个3×2的特征匹配矩阵。

第4步,判断是否完成32个3×2的特征匹配矩阵的构建,若是,则执行本步骤的第5步,否则,执行本步骤的第3步。

第5步,按照下式,分别对32个3×2的特征匹配矩阵中的每一个特征匹配矩阵进行填充,得到32个5×5填充后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值。

第6步,分别对32个5×5的填充后的特征匹配矩阵进行大小为3×3的最大值形式的池化,步长为1,得到32个3×3的第一次编码后的特征匹配矩阵。

步骤4,对特征匹配矩阵进行卷积自动编码。

第1步,对32个3×3的第一次编码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×3的第一次编码后的特征匹配矩阵。

所述的卷积公式如下:

Mij=wxst+b

其中,Mij表示更新后的特征匹配矩阵中第i行第j列的元素值,w表示一个1×1的矩阵,xst表示更新前的特征匹配矩阵中第s行第t列的元素值,i和s取相同的值,j和t取相同的值,b表示由随机函数在(0,1)之间产生的一个随机数。

第2步,判断是否完成32个3×3的第一次编码后的特征匹配矩阵的更新,若是,则执行本步骤的第3步,否则,执行本步骤的第1步。

第3步,按照下式,分别对32个3×3的更新后的第一次编码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值。

第4步,分别对32个5×5的填充后的更新后的第一次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化,步长为1,得到32个3×3的第二次编码后的特征匹配矩阵。

步骤5,对特征匹配矩阵进行卷积自动编码。

第1步,对32个3×3的第二次编码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×3的第一次编码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×3的第二次编码后的特征匹配矩阵。

所述的卷积公式如下:

Mij=wxst+b

其中,Mij表示更新后的特征匹配矩阵中第i行第j列的元素值,w表示一个1×1的矩阵,xst表示更新前的特征匹配矩阵中第s行第t列的元素值,i和s取相同的值,j和t取相同的值,b表示由随机函数在(0,1)之间产生的一个随机数。

第2步,判断是否完成32个3×3的第二次编码后的特征匹配矩阵的更新,若是,则执行本步骤的第3步,否则,执行本步骤的第1步。

第3步,按照下式,分别对32个3×3的更新后的第二次编码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值。

第4步,对32个5×5的填充后的更新后的第二次编码后的特征匹配矩阵进行大小为3×3的最大值形式的池化,步长为1,得到32个3×3的第三次编码后的特征匹配矩阵。

步骤6,对特征匹配矩阵进行卷积自动解码。

第1步,对32个3×3的第三次编码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×3的第三次编码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×3的第三次编码后的特征匹配矩阵。

所述的卷积公式如下:

Mij=wxst+b

其中,Mij表示更新后的特征匹配矩阵中第i行第j列的元素值,w表示一个1×1的矩阵,xst表示更新前的特征匹配矩阵中第s行第t列的元素值,i和s取相同的值,j和t取相同的值,b表示由随机函数在(0,1)之间产生的一个随机数。

第2步,判断是否完成32个3×3的第三次编码后的特征匹配矩阵的更新,若是,则执行本步骤的第3步,否则,执行本步骤的第1步。

第3步,按照下式,对32个更新后的3×3的第三次编码后的特征匹配矩阵中的每一个特征匹配矩阵,分别修正一个更新后的3×3的第三次编码后的特征匹配矩阵中的每一个元素值:

p=max(0,Q)

其中,p表示修正后的更新后的3×3的第三次编码后的特征匹配矩阵中的任意一个元素值,max表示取最大值操作,Q表示更新后的3×3的第三次编码后的特征匹配矩阵中的与y对应的元素值。

第4步,判断是否完成32个更新后的3×3的第三次编码后的特征匹配矩阵的修正,若是,则执行本步骤的第5步,否则,执行本步骤的第3步。

第5步,按照下式,分别对32个修正后的更新后的3×3的第三次编码后的特征匹配矩阵进行填充,得到32个5×5的填充后的修正后的更新后的第二次编码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值。

第6步,对32个5×5的特征匹配矩阵进行大小为3×4的最大值形式的池化,步长为1,得到32个3×2的第一次解码后的特征匹配矩阵。

步骤7,对特征匹配矩阵进行卷积自动解码。

第1步,对32个3×2的第一次解码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×2的第一次解码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×2的第一次解码后的特征匹配矩阵。

所述的卷积公式如下:

Mij=wxst+b

其中,Mij表示更新后的特征匹配矩阵中第i行第j列的元素值,w表示一个1×1的矩阵,xst表示更新前的特征匹配矩阵中第s行第t列的元素值,i和s取相同的值,j和t取相同的值,b表示由随机函数在(0,1)之间产生的一个随机数。

第2步,判断是否完成32个3×2的第一次解码后的特征匹配矩阵的更新,若是,则执行本步骤的第3步,否则,执行本步骤的第1步。

第3步,按照下式,分别对32个3×2的更新后的第一次解码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第一次解码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值。

第4步,对32个5×5的填充后的更新后的第一次解码后的特征匹配矩阵进行大小为3×4的最大值形式的池化,步长为1,得到32个3×2的第二次解码后的特征匹配矩阵。

步骤8,对特征匹配矩阵进行卷积自动解码。

第1步,对32个3×2的第二次解码后的特征匹配矩阵中的每一个特征匹配矩阵,利用卷积公式,分别更新一个3×2的第二次解码后的特征匹配矩阵中的每一个元素值,得到一个更新后的3×2的第二次解码后的特征匹配矩阵。

所述的卷积公式如下:

Mij=wxst+b

其中,Mij表示更新后的特征匹配矩阵中第i行第j列的元素值,w表示一个1×1的矩阵,xst表示更新前的特征匹配矩阵中第s行第t列的元素值,i和s取相同的值,j和t取相同的值,b表示由随机函数在(0,1)之间产生的一个随机数。

第2步,判断是否完成32个3×2的第二次解码后的特征匹配矩阵的更新,若是,则执行本步骤的第3步,否则,执行本步骤的第1步。

第3步,按照下式,分别对32个3×2的更新后的第二次解码后的特征匹配矩阵进行填充,得到32个5×5的填充后的更新后的第二次解码后的特征匹配矩阵:

其中,Bij表示填充后的特征匹配矩阵中第i行第j列的元素值,Ai-1,j-1表示填充前的特征匹配矩阵中第i-1行第j-1列的元素值。

第4步,对32个5×5的填充后的更新后的第二次解码后的特征匹配矩阵进行大小为3×4的最大值形式的池化,步长为1,得到32个3×2的第三次解码后的特征匹配矩阵。

步骤9,按照下式,对32个3×2的第三次解码后的特征匹配矩阵分别计算损失函数:

其中,Lrec(x)表示x对应的损失函数,||·||2表示求二范数操作,表示数据中缺失的部分,⊙表示数组元素依次相乘操作,x表示输入的真实数据,F表示编码过程。

步骤10,按照下式,利用梯度下降法更新卷积核w和偏移权重b:

其中,w1表示更新后的卷积核,w表示更新前的卷积核,α表示取值为0.1的学习速率,Lrec(x)表示损失函数,表示损失函数Lrec(x)在卷积核w处的偏导数,b1表示更新后的偏移权重,b表示更新前的偏移权重,α表示取值为0.1的学习速率,Lrec(x)表示损失函数,表示损失函数Lrec(x)在偏移权重b处的偏导数。

步骤11,判断当前迭代次数k是否达到最大迭代次数,若是,则执行步骤12,否则,将当前迭代次数k加1后,执行步骤3。

步骤12,取32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵,将32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵的第一行的两个元素值作为气象数据6个属性值中的大气气压和干球温度,将32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵的第二行的两个元素值作为6个属性值中的露点温度和风速,将32个3×2的第三次解码后的特征匹配矩阵中损失函数最小的特征匹配矩阵的第三行的两个元素值作为6个属性值中的风向和总云量。

步骤13,完成气象数据填补。

下面结合附图2,对本发明利用3×3的卷积核对5×5的矩阵进行卷积的过程作进一步的详细描述。

图2中,对于一个5×5的输入矩阵,利用3×3的卷积核,卷积生成3×3的特征匹配矩阵。其中,图2(a)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(b)所示特征匹配矩阵中第一行第一列的元素值。图2(c)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(d)所示特征匹配矩阵中第一行第二列的元素值。图2(e)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(f)所示特征匹配矩阵中第一行第三列的元素值。图2(g)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(h)所示特征匹配矩阵中第二行第一列的元素值。图2(i)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(j)所示特征匹配矩阵中第二行第二列的元素值。图2(k)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(l)所示特征匹配矩阵中第二行第三列的元素值。图2(m)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(n)所示特征匹配矩阵中第三行第一列的元素值。图2(o)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(p)所示特征匹配矩阵中第三行第二列的元素值。图2(q)表示一个5×5的输入矩阵,阴影部分的下标构成3×3的卷积核,将阴影部分的输入矩阵元素值与其对应的下标值分别相乘然后再将乘积相加即得到图2(r)所示特征匹配矩阵中第三行第三列的元素值。

参照附图3,对本发明对5×5的矩阵进行大小为3×3的最大值形式的池化的过程作进一步的详细描述。

图3中,对5×5的输入矩阵,进行大小为3×3的最大池操作,步长为1。最大池操作包括将输入分裂成小块并且输出每一块的最大值。其中,图3(a)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(b)所示特征匹配矩阵中第一行第一列的元素值。图3(c)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(d)所示特征匹配矩阵中第一行第二列的元素值。图3(e)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(f)所示特征匹配矩阵中第一行第三列的元素值。图3(g)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(h)所示特征匹配矩阵中第二行第一列的元素值。图3(i)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(j)所示特征匹配矩阵中第二行第二列的元素值。图3(k)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(l)所示特征匹配矩阵中第二行第三列的元素值。图3(m)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(n)所示特征匹配矩阵中第三行第一列的元素值。图3(o)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(p)所示特征匹配矩阵中第三行第二列的元素值。图3(q)表示一个5×5的输入矩阵,阴影部分表示进行最大值形式池化的模块,取阴影部分矩阵元素值的最大值即得到图3(r)所示特征匹配矩阵中第三行第三列的元素值。

参照附图4,对本发明实现填充的过程作进一步的详细描述。

图4中,将3×3的输入矩阵,填充为为5×5的输出矩阵。其中,图4(a)表示一个3×3的输入矩阵,图4(b)表示一个5×5的输出矩阵,图4(b)中第一行,第五行,第一列和第五列的元素值均为0。图4(b)中第二行第二列的元素值等于图4(a)中第一行第一列的元素值。图4(b)中第二行第三列的元素值等于图4(a)中第一行第二列的元素值。图4(b)中第二行第四列的元素值等于图4(a)中第一行第三列的元素值。图4(b)中第三行第二列的元素值等于图4(a)中第二行第一列的元素值。图4(b)中第三行第三列的元素值等于图4(a)中第二行第二列的元素值。图4(b)中第三行第四列的元素值等于图4(a)中第二行第三列的元素值。图4(b)中第四行第二列的元素值等于图4(a)中第三行第一列的元素值。图4(b)中第四行第三列的元素值等于图4(a)中第三行第二列的元素值。图4(b)中第四行第四列的元素值等于图4(a)中第三行第三列的元素值。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1