一种基于卷积神经网络的DEM超分辨率方法与流程
本发明属于地形测绘技术领域，更具体地，涉及一种基于卷积神经网络的dem超分辨率方法。
背景技术：
数字高程模型(digitalelevationmodel,dem)是数字地形模型的一个分支，它是用一组有序数值阵列形式表示地面高程的一种数字模型。其在经济和国防建设中具有广泛的应用需求，如航迹规划中，人们希望能够利用更加精确的地形数据，尽可能规划结果最优，故人们对高精度地形模型的追求是一个永恒的主题。为获得高精度的地形模型，通常采用两种方法。一种方法通常采用更高精度的测量设备如高分辨率的遥感影像，并通过密集测量，以达到提高精度的目的。这种方法生产成本高，特别是对于海底地形的测绘，相对于地表利用卫星遥感影像测绘而言，成本增加尤为显著。第二种方法采取超分辨率的策略，通过对低分辨率数据的处理，提高dem的精度和分辨率，降低高分辨率数据获取的成本，因此吸引了大量研究者的关注。
根据以上分析，已有的超分辨率的策略主要采取一种非局部的学习方法，该方法采用传统的基于学习的超分辨率方法，根据流形学习的原理，通过计算测试dem数据和样本库中低分辨率数据的相似性，根据相似度和相似dem对应的高分辨率数据进行超分辨处理。该方法在一定程度上提高了高分辨率dem数据的精度，但是缺点在于该方法适应性相对较小，并且严重依赖于相似度的测定。另外，若要建立基于卷积神经网络的dem超分辨率方法，需要利用大量的dem样本，而高精度的dem相对于图像样本是难于获取的，因为大部分的高分辨率dem是保密的。因此，建立一种不依赖于高精度的dem数据并且鲁棒性较好的dem超分辨率方法具有十分重要的意义。
技术实现要素：
针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于卷积神经网络的dem超分辨率方法，其中通过对其关键的低分辨率dem数据处理过程、卷积神经网络的训练学习方式等进行改进，使得该超分辨率方法鲁棒性强，重建结果精度高；并且，本方法通过借助于dem的梯度动态范围相对较小，满足由图像样本训练的卷积神经网络的精度，从而避免了获取高精度dem样本数据，大大减低了生产成本。
为实现上述目的，按照本发明，提供了一种基于卷积神经网络的dem超分辨率方法，其特征在于，包括以下步骤：
(1)根据预先相互对应的低分辨率图像数据、以及高分辨率图像数据，训练得到的超分辨率用卷积神经网络；
(2)利用插值方法将待处理的低分辨率dem数据扩充s倍，得到与期望的高分辨率dem数据同一尺度大小的准高分辨率dem数据；
(3)利用边缘提取算子得到所述准高分辨率dem数据的梯度图；
(4)将所述步骤(3)中得到的所述梯度图输入到所述步骤(1)中得到的所述超分辨率用卷积神经网络中，得到高分辨率dem数据的估计梯度图、以及相应的估计梯度值；
(5)基于所述步骤(4)中得到的所述估计梯度图和所述待处理的低分辨率dem数据的约束，重建出高分辨率dem的高度图。
作为本发明的进一步优选，所述步骤(1)具体包括以下步骤：
(1-1)对高分辨率图像数据进行降质处理得到相对应的低分辨率图像数据，然后利用边缘提取算子提取得到所述高分辨率图像数据、以及所述低分辨率图像数据的梯度图，接着将每个梯度图分割为多个梯度块，然后选取相对应的高分辨率图像数据的梯度块、以及低分辨率图像数据的梯度块作为训练样本；
(1-2)构建卷积神经网络并设置模型参数；
(1-3)根据所述步骤(1-1)中获取的所述训练样本训练所述步骤(1-2)中的所述卷积神经网络，得到超分辨率用卷积神经网络。
作为本发明的进一步优选，所述步骤(1-2)中的所述卷积神经网络，包括多个卷积层，任意两个相邻的所述卷积层通过激励层相连；其中，首个所述卷积层用于输入低分辨率图像数据，末个所述卷积层用于输出高分辨率图像数据。
作为本发明的进一步优选，所述步骤(5)具体包括以下步骤：
(5-1)构建一个基于所述估计梯度图和所述待处理的低分辨率dem数据约束的、关于目标高分辨率dem数据的最小二乘函数；
(5-2)利用迭代更新的求解方法寻找所述步骤(5-1)中所述最小二乘函数的最优解；
(5-3)若对所述最优解进行降采样处理后得到的数据和所述待处理的低分辨率dem数据之间的平均重建误差超过预先设定的阈值th或者迭代次数未达到预先设定的要求，则返回所述步骤(5-2)；否则，所述最优解即对应最终的高分辨率dem数据，该最优解即用于重建所述高分辨率dem的高度图。
作为本发明的进一步优选，所述步骤(5-1)中，所述最小二乘函数为
作为本发明的进一步优选，所述步骤(5-2)中所述迭代更新的求解方法为梯度下降法；优选的，第t+1次迭代更新后的yt+1满足：
其中，yt是第t次迭代更新后的数据；τ是预先设定的迭代步长；y即第t+1次迭代更新后的yt+1；x为所述待处理的低分辨率dem数据；↓s表示s倍降采样处理，y↓s为对y进行s倍降采样处理得到的数据；↑s表示s倍上采样处理，(x-y↓s)↑s为对(x-y↓s)进行s倍上采样处理得到的数据；▽y为y对应的梯度，
作为本发明的进一步优选，所述步骤(5-3)中，th优选为5；
所述步骤(5-1)、以及所述步骤(5-2)中，β优选为0.03。
作为本发明的进一步优选，所述步骤(5-2)中，最大迭代次数优选为150次，迭代步长τ优选为0.2。
作为本发明的进一步优选，所述上采样处理和所述降采样处理，是采取插值方法或隔点采样方法；优选的，所述插值方法为最近邻域插值、双线性插值或双三次插值；
所述边缘提取算子可以为sobel算子、roberts算子、prewitt算子或canny算子。
作为本发明的进一步优选，所述步骤(3)中，所述准高分辨率dem数据的梯度图包含x方向和y方向上的边缘图，所述x方向和所述y方向相互垂直。
通过本发明所构思的以上技术方案，与现有技术相比，由于根据预先相互对应的低分辨率图像数据、以及高分辨率图像数据(其中，低分辨率图像数据可以是将高分辨率图像数据通过降采样处理得到的)，训练得到超分辨率用卷积神经网络，再利用该超分辨率用卷积神经网络处理初始低分辨率dem数据(即，待处理的低分辨率dem数据)，能够重建出高分辨率dem数据。
本发明中基于卷积神经网络的dem超分辨率方法，概括来讲，主要包括以下步骤：首先，通过获取大量图像高分辨率数据，对图像数据库中所有图像进行降采样、模糊等降质操作得到对应的低分辨率数据，然后利用边缘提取算子分别提取高低分辨率数据的梯度图并切成小块，将对应的高低分辨率数据的梯度块作为训练样本；然后，基于获取的训练样本，建立并训练一个从低分辨率到高分辨率映射的超分辨率用卷积神经网络；接着，利用插值方法将低分辨率dem数据扩充得到与期望的高分辨率dem数据同一尺度大小的准高分辨率dem；然后，利用边缘提取算子得到准高分辨率dem数据的梯度图；接着，将梯度图输入到已经训练好的卷积神经网络中以得到高分辨率dem数据的估计梯度图；最后，基于估计梯度图和原始低分辨率dem数据的约束，重建出高分辨率dem的高度图。本发明能利用图像数据来重建高分辨率dem数据，从而解决了高分辨率dem数据难以大量获取的问题且重建结果清晰，准确度高。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
1、将基于卷积神经网络的学习方法引入到dem重建中，只要一经训练，便可以使用于所有dem数据的超分辨率，从而提升了算法的鲁棒性。
2、采用图像样本训练的cnn网络(即，卷积神经网络)实现dem梯度超分辨率，从而进行dem超分辨率重建，避免了收集高精度dem样本数据的工作内容，大大减低了生产成本。
3、采用基于梯度的思想避免了因dem的动态范围高于图像的动态范围而导致的结果误差较大的缺点，从而提高了算法的精确度，使得重建结果清晰，准确度更高。
附图说明
图1是本发明实施例的dem超分辨率方法的流程图；
图2是超分辨率用卷积神经网络(即，cnn)结构图；
图3是本发明实施例的dem超分辨率方法与传统方法比较图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明实施例的基于卷积神经网络的dem超分辨率方法，包括如下步骤：
(1)利用插值方法将低分辨率dem数据扩充s倍，以得到与期望的高分辨率dem数据同一尺度大小(即，图像尺寸相同)的准高分辨率dem数据。
其中，所述插值方法为最近邻域插值、双线性插值或双三次插值。
(2)利用边缘提取算子得到准高分辨率dem数据的梯度图，此时的梯度图包含x和y方向上的边缘图。
其中，边缘提取算子可以为sobel算子、roberts算子、prewitt算子或canny算子。
(3)将梯度图输入到根据高低分辨率图像数据训练得到的超分辨率用卷积神经网络中，得到高分辨率dem数据的估计梯度图；
其中，所述高低分辨率图像数据训练得到的超分辨率用卷积神经网络，按照如下步骤得到：
(3-1)获取多个图像高分辨率数据(数量越多越好)，对图像数据库中所有图像进行先下采样、再上采样等降质操作得到对应的低分辨率图像数据，将高低分辨率图像数据进行利用边缘提取算子提取梯度图并切成小块，将对应的高低分辨率图像数据的梯度块作为训练样本，其中上采样和下采样可以采取双三次插值方法或隔点采样方法；
(3-2)构建卷积神经网络并设置模型参数，图2展示了卷积神经网络的模型，包括依次连接的卷积层、激励层、卷积层、激励层和卷积层(其中各个激励层图2并未示出)。最后卷积层输出的即为对应的高分辨率数据。然后设置模型参数，其中学习率优选设置为0.001，每训练10000次学习率下降为原学习率的1/5；
(3-3)根据步骤(3-1)中获取的高低分辨率图像数据的梯度块训练步骤(3-2)中获得的卷积神经网络，得到所述的超分辨率用卷积神经网络；
优选地，步骤(3-2)中所述的卷积神经网络模型包括依次连接的卷积层、激励层、卷积层、激励层和卷积层。最后卷积层输出的即为对应的高分辨率数据。
(4)通过步骤(3)中得到的估计梯度图和原始低分辨率dem数据的约束，重建出高分辨率dem的高度图。
其中，所述的高分辨率dem的高度重建过程具体步骤优选为：
(4-1)构建一个基于梯度图和低分辨率dem数据约束的最小二乘函数；
(4-2)利用迭代更新的求解方法寻找得到最优解；
(4-3)如果最优解的下采样版本和原始低分辨率dem数据平均重建误差超过一定阈值th或者迭代次数t不够，则返回步骤(4-2)。
其中，所述的最小二乘函数优选为
其中t是迭代次数，τ是迭代步长，↑是上采样操作，div为散度运算。
所述的高分辨率dem的高度重建中参数阈值th优选为5，权重β为0.03。迭代次数t为150次，迭代步长τ为0.2。
优选的，所述上采样和下采样可以采取插值方法或隔点采样方法。
优选的，所述插值方法为最近邻域插值、双线性插值或双三次插值。
优选的，所述的边缘提取算子可以为sobel算子、roberts算子、prewitt算子或canny算子。
以下为具体实施例：
实施例1
本实施例1包括以下步骤：
(1)利用双三次插值方法将低分辨率dem数据扩充s倍，得到与期望的高分辨率dem数据同一尺度大小的准高分辨率dem数据。
(2)利用sobel算子提取得到准高分辨率dem数据的x和y方向上的边缘图。
(3)将梯度图输入到根据高低分辨率图像数据训练得到的超分辨率用卷积神经网络中，得到高分辨率dem数据的估计梯度图；
其中，所述高低分辨率图像数据训练得到的超分辨率用卷积神经网络，按照如下步骤得到：
(3-1)获取大量图像高分辨率数据，对图像数据库中所有图像进行先双三次下采样、再双三次上采样操作得到对应的低分辨率图像数据，将高低分辨率图像数据进行利用sobel算子提取梯度图并切成小块，将对应的高低分辨率图像数据的梯度块作为训练样本方法，其中低分辨率梯度块大小为33，高分辨率梯度块大小为21；
(3-2)构建卷积神经网络，图2展示了卷积神经网络的模型，包括依次连接的卷积层、激励层、卷积层、激励层和卷积层。最后卷积层输出的即为对应的高分辨率数据。
设置模型参数为：第一个卷积层模板大小设置为1×9×9×64，第二个卷积层模板大小设置为64×1×1×32，最后一个卷积层模板大小设置为32×5×5×1。激励层均采用relu(max(0，x))。
(3-3)根据步骤(3-1)中获取的高低分辨率图像数据的梯度块训练步骤(3-2)中获得的卷积神经网络，得到所述的超分辨率用卷积神经网络；
设置学习率为0.001，每训练10000次学习率下降为原学习率的1/5。采用随机梯度下降法进行权重的迭代更新。
(4)通过步骤(3)中得到的估计梯度图和原始低分辨率dem数据的约束，重建出高分辨率dem的高度图。
其中，所述的高分辨率dem的高度重建过程具体步骤为：
(4-1)构建一个基于梯度图和低分辨率dem数据约束的最小二乘函数；
(4-2)利用迭代更新的求解方法寻找最优解；
(4-3)如果最优解的下采样版本和原始低分辨率dem数据平均重建误差超过一定阈值th或者迭代次数t不够，则返回步骤(4-2)。
其中，所述的最小二乘函数优选为
其中t是迭代次数，τ是迭代步长，↑是上采样操作，div为散度运算。
所述的高分辨率dem的高度重建中参数阈值th设置为5，权重β为0.03。迭代次数t为150次，迭代步长τ为0.2。
表1展示了2组测试数据在不同的s倍放大下的结果与传统的双三次插值方法的结果进行定性的质量评价。图3为dem2在4倍放大下的结果示意图。其中图3(a)为真实图，图3(b)为双三次插值结果，图3(c)为测试结果。
表1
从表1和图3可以明显的看出，我们得到的结果在不同的数据下较传统的插值方法有着显著的精度提升，并且细节更加明显。因此也验证了我们方法的合理性。
本发明中未详细说明的各个函数(如各种边缘提取算子、argmin(y)函数)均可为数学领域的常规定义；上采样、下采样的处理数据方法(如插值方法、隔点采样方法)等均可参考图像处理领域的现有技术。例如，
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！