专利名称：一种基于压缩采样的海洋遥感图像水色水温监测方法
技术领域：
本发明属于海洋监测领域，特别涉及一种基于压缩采样的海洋遥感图像水色水温监测方法。
背景技术：
随着科技的日益发展，海洋遥感技术得到了长足的进步。作为卫星海洋遥感的应用，海洋水色水温遥感的使用愈发突出，但是受气候随机变化以及薄云检测算 法不够理想等客观因素的影响，数据的缺失不仅给使用遥感产品的海洋研究和业务工作等带来了很大的限制，又由于海洋卫星遥感数据量很大，使得遥感产品的应用受到了进一步的限制，更甚者，数据的缺失使得海洋要素的监测面积大大减少。虽然有些应用可以容忍部分数据异常和缺失，但是随着科技的发展，许多部门对完整的遥感数据集的需求越来越大，对海洋监测的力度不断加大。发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足现有技术中的监测方法重构缺失图像效率低，对重构对象的要求苛刻，存在局限性。
发明内容
本发明提供了一种基于压缩采样的海洋遥感图像水色水温监测方法，本方法提高了重构缺失图像的效率，扩大了重构图像的范围，详见下文描述一种基于压缩采样的海洋遥感图像水色水温监测方法，所述方法包括以下步骤(I)获取待检测的海洋水色或水温原始遥感数据，对原始遥感数据进行压缩采样稀疏变换和图像处理，获取水色水温数据集；(2)通过SOM方法对所述水色水温数据集依次进行去噪和重构处理，获取处理后水色水温数据集；(3)对所述处理后水色水温数据集进行去噪处理，并利用其连续插值特性重构缺失图像数据；(4)输出并显示所述缺失图像数据。所述方法还包括当所述原始遥感数据中包含有陆地数据和岛屿数据时，剔除所述陆地数据和所述岛屿数据。所述通过SOM方法对所述水色水温数据集依次进行去噪和重构处理，获取处理后水色水温数据集具体为通过所述SOM方法的非线性结构对所述水色水温数据集进行非线性插值重构和去噪处理，获取所述处理后水色水温数据集。所述对所述处理后水色水温数据集进行去噪处理，并利用连续插值特性重构缺失图像数据具体为
I)对所述处理后水色水温数据集进行自适应EOF分解，获取空间模态矩阵U、奇异值矩阵S和时间模态矩阵V ；2)利用蒙特卡罗交叉校正集确定最佳重构模态数P ；3)通过所述最佳重构模态数P、所述空间模态矩阵U、所述奇异值矩阵S和所述时间模态矩阵V构建所述缺失图像数据X。所述利用蒙特卡罗交叉校正集确定最佳重构模态数P具体为设模态数为P和P+1时的交叉校正误差分别为Rp和RP+1，定义模态数为P时模态误差降低比Ratiop = OT1-RpVRp,当Ratiop小于指定阈值且RP〈RP+1时，停止最佳重构模态数的选择，将当前模态数P作为最佳重构模态数，其中，IT1为模态数为P-I时的交叉校正误 差。所述方法还包括确定每个所述最佳重构模态数P的最佳迭代次数，不超过最大迭代次数N。所述确定所述最佳重构模态数P的迭代次数具体为定义所述最大迭代次数N和最小交叉验证误差，判断下一迭代误差和当前迭代误差的差值是否小于所述最小交叉验证误差，如果是，停止迭代；否则，继续执行迭代处理，当迭代次数为所述最大迭代次数N停止迭代。所述缺失图像数据X具体为X = UxSxV + X X为原始遥感数据中的有效数据的平均值。本发明提供的技术方案的有益效果是本方法克服了以往的处理遥感水色水温图像时需要处理大量冗余信息和处理效率低的缺点，克服了以往采用传统的最优插值法需要遥感数据集的先验信息的缺点，把SOM算法引入了该领域，解决了该领域新兴的EOF算法的不足，并提出了 SOM-EOF算法更好的实现了海洋要素的监测。本方法能够利用压缩采样原理来降低处理的数据量，综合利用自组织映射SOM算法的非线性估计和改进型的经验正交分解EOF算法的线性估计与连续插值等优点，使得对数据集的重构效果更加的反映数据集的客观的内在特点，提高了重构缺失图像的效率，扩大了重构图像的范围，进而使得海洋遥感水色水温要素监测的精度更高，效率更高。
图I为本发明提供的一种基于压缩采样的海洋遥感图像水色水温监测方法的示意图；图2为本发明提供的数据预处理的示意图；图3为本发明提供的SOM算法的示意图；图4为本发明提供的改进型EOF算法的示意图；图5a为本发明提供的2010年8月I日的SST图像；图5b为本发明提供的2010年9月21日的SST图像；图5c为本发明提供的2010年10月27日的SST图像；图5d为图5a重构后的图像；图5e为图5b重构后的图像；图5f为图5c重构后的图像；
图6a为本发明提供的2010年8月17日的SST图像；图6b为本发明提供的2010年9月17日的SST图像；图6c为本发明提供的2010年9月29日的SST图像；图6d为图6a重构后的图像；图6e为图6b重构后的图像；图6f为图6c重构后的图像。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步地详细描述。为了提高重构缺失图像的效率，扩大重构图像的范围，本发明实施例提供了一种基于压缩采样的海洋遥感图像水色水温监测方法，参见图I、图2、图3、图4、图5和图6，详见下文描述101 :获取待检测的海洋水色或水温原始遥感数据，对原始遥感数据进行压缩采样稀疏变换和图像处理，获取水色水温数据集；其中，该步骤具体为从相关数据库下载待检测的海洋水色或水温遥感图像原始数据，对数据压缩包进行解压缩，在把所有的图像数据都解压完毕后，计算出每一张图像中包含的数据，此时的卫星数据依然是海量的。再利用压缩采样原理把每一张图像数据都进行稀疏变换，进而使得数据量大大减少；由于系列图像的数据值的经纬度坐标存在偏差，还需要利用图像处理软件对数据进行网格化操作来校正坐标。其中,本发明实施例采用seadas软件导出每一张图像的数据,并采用surfer软件对数据进行网格化操作来校正坐标，具体实现时，还可以采用其他的处理方法，本发明实施例对此不做限制。进一步地，为了降低重构误差，本方法还包括当原始遥感数据中包含有陆地数据和岛屿数据时，剔除陆地数据和岛屿数据。具体的剔除方法为本领域人员所公知，本发明实施例在此不再赘述。例如当原始遥感数据中只包含有陆地数据时，利用ArcGIS软件做出研究区域的陆地模板，剔除每一天图像中的陆地部分，此时就构成了可以直接进行处理的水色水温的数据集。102 :通过SOM方法对水色水温数据集依次进行去噪和重构处理，获取处理后水色水温数据集；其中，该步骤具体为通过SOM方法的非线性结构对水色水温数据集进行非线性插值重构和去噪处理，获取处理后水色水温数据集。考虑到SOM方法网络研究及应用最多的还是二维网络阵列，以及其成熟的优良特性，本方法使用了一个二维的网络结构，首次提出了把SOM方法应用于海洋遥感水色水温要素监测，取得了不错的效果。SOM方法拥有根据数据内在特性有效地重构水色水温遥感数据，体现遥感数据集的非线性结构，保持数据结构的延续性等优点，可以完成对研究区域的海洋要素的监测，SOM方法的具体内容参见文献I和2，本发明实施例在此不再赘述。103 :对处理后水色水温数据集进行去噪处理，并利用连续插值特性重构缺失图像数据；
本方法利用了 Alvera-AzcarateI5]的DINE0F,但是改进了该方法。针对EOF方法执行过程中奇异值分解SVD大矩阵效率低的问题，本方法引入lanczos算子[6]加速SVD分解过程。又针对EOF方法的迭代过程效率低(一般预先设定的迭代次数都比实际使用的次数多)的问题，本方法使用改进的迭代收敛准则。利用改进型EOF算法对数据集进一步去噪，最后利用其连续线性插值特性有效地重构缺失数据，如图4所示。EOF算法是使用奇异值分解SVD进行的对数据集的线性估计，不能反映数据集的非线性结构，而且EOF算法对数据集的初始化比较敏感，但是其估计的空间维数可以像输入数据一样高，而且该算法还是连续估计的。但是本专利在继承了 EOF算法的基础上，提出了改进型的EOF算法，克服了原有算法的缺点，并联合了 SOM算法，所以，专利采取的SOM-EOF算法能够扬长避短，最终使得系统对海洋要素的监测效果更好。其中，SOM算法的非线性特性对原始数据去噪后，其运行结果作为改进型EOF算法处理时对数据集的初始化，再利用EOF算法对数据集进一步去噪，最后利用其连续插值特性有效地重构缺失数据，达到了海洋要素监测的目的。图5和图6分别给出了三副不同缺失比例的原始卫星图像(SST和CHL)和处理后的结果。EOF算法拥有着对观测网点(站点)的空间分布特征并不加以严格的限制，是一种效率很高的信号降维技术；用少量的互不相关而又互相正交的正交函数来表征时空分布复杂的原始物理向量场，非常有利于对物理向量场的统计预报；经验正交函数比其他正交函数收敛的速度更快；将一个 复杂的系统，分解成有限多个彼此之间正交的时间空间特征模态的线性组合，非常有利于从纯粹的物理意义上解释具有时间变化成分的空间分布的信号等优点，可以很好的完成对研究区域的海洋要素的监测，但是也同样存在一些有待改进的地方，进而提高海洋要素重构的监测精度，这些不足体现在以下几个方面(I)由于是线性插值方式，EOF算法不能反映数据集的非线性结构。(2)不能处理缺失比率高的图像。在图像预处理时，几乎都会选择预先剔除信噪比比较高和数据缺失比率比较高的图像，亦即待重构的数据不能太少，否则被剔除图像的重构结果就简单的使用原始遥感数据集的均值替代，不符合客观。(3) EOF算法的初始化敏感性问题。EOF算法不能直接用于含有缺失数据的信号，缺失值必须首先初始化，无论初始值选择的是时间维的均值，空间维的均值，线性插值，还是信号的均值，都会带来主观性问题。由于信号原本的缺失数据和蒙特卡罗经验校正集内的数据都使用能够使得原始数据集无偏估计的零值代替，这也将导致奇异值SVD分解时可能产生的奇异值相似的问题，当然如果原始数据集的数据缺失比率相对较低，其影响会比较低，然而如果数据的缺失比率比较高的话，EOF的初始化问题的敏感性就会比较高，进而导致重构的精度较低，直接影响算法的有效性和可信度。另外初始化为零值和信号中原始的噪声对EOF的影响，这些都会不可避免的被解释成有用信号，将导致奇异值增大，主要的特征模态更少，遗弃的信息更多，进而使得重构的监测误差增大。(4)作为重构精度标准的交叉校正集的选择的客观性问题。EOFs最优重构数对被选择的蒙特卡罗经验校正集的数据是非常敏感的，云覆盖的区域越大，亦即原始数据缺失比例越大，所用的EOFs的重构数就越少。这表示只有有着充分多的大尺度特性的确定的EOF模式能够可靠地被重构出来，而高阶的EOF (代表小尺度和小范围)不能由给定的特定的云的大小估计出来。也就是说，云覆盖的中尺度特征从开始就是低采样的，不能可靠的重构，EOFs的最优数只包括了几个最主要的EOFs，抛弃了大部分的中尺度信息。而且引入到交叉校正集的数据可能含有受污染得数据，这将导致整个数据集也受到污染。(5)算法执行时的程序运行的效率问题。程序执行前要设定一个最大特征模态的个数kmax (该数必须比理论上的最佳重构模态数要大)，但最大特征模态的个数kmax与原始数据集的时间维数和空间差异有关，也没有统一的标准，更多的是依靠研究者的经验，所以事先确定一个可靠的数值是很难的，如果选择的kmax较大，会导致程序执行时间的迅速增加，如果选择的最大特征模态的个数kmax较小，很明显达不到既定的重构误差小的效果。而且为了避免程序陷入无限循环，程序执行前会设定一个确定的最大递归次数N，即认为每一次循环的迭代次数达到最大数N时程序便收敛了，然而，N的选择是一个比较难的事情，N选的越大，程序耗费时间越多，事实上，不是迭代次数越大，重构精度就越好；N选的越小，又难以保证程序的收敛性。确定迭代次数时，若误差曲线下降的慢，而尽管误差降低比较小，但是交叉验证误差大，就停止迭代了，这无疑会造成重构精度下降。其中，该步骤具体为I)对处理后水色水温数据集进行自适应EOF分解，获取空间模态矩阵U、奇异值矩阵S和时间模态矩阵V ；
·
2)利用蒙特卡罗交叉校正集确定最佳重构模态数P ；其中，该步骤具体为设模态数为P和P+1时的交叉校正误差分别为Rp和Rp+1，定义模态数为P时模态误差降低比RatiOp = (RH-Rp) /Rp,当Ratiop小于阈值且RP〈RP+1时(本发明实施例以O. 01为例进行说明，具体实现时，本发明实施例对此不做限制)，停止最佳重构模态数的选择，选择当前模态数P作为最佳重构模态数，就不需要再计算其他模态数的情况了，以此来提高程序的执行效率M。，其中，Rp-1为模态数为P-I时的交叉校正误差。而对于事先选取的最大迭代次数N可能带来效率低的问题，为了提高运行效率，本方法还包括确定最佳重构模态数P的迭代次数，该步骤具体为定义最大迭代次数N和最小交叉验证误差，判断下一迭代误差和当前迭代误差的差值是否小于最小交叉验证误差，如果是，停止迭代；否则，当迭代次数等于最大迭代次数N时，停止迭代。其中，最大迭代次数和最小交叉验证误差的取值根据实际应用中的需要进行设定，具体实现时，本发明实施例对此不做限制。确定迭代次数时，定义相邻的交叉验证误差的相差的绝对值和误差降低比两者结合优势的方法控制最佳模态。此外，在执行的过程中，引入了 lanczos算子[6]加速矩阵的分解，进一步提闻了程序效率。3)通过最佳模态数P、空间模态矩阵U、奇异值矩阵S和时间模态矩阵V构建缺失图像数据X。其中，缺失图像数据X= t/x,SxF + X，1为原始遥感数据中的有效数据的平均值。有效数据为原始数据矩阵中的非缺失数据，缺失数据事先统一用NaN标记，那些没标记的已经存在的数据即为有效数据，本方法就是利用数据的时间空间相关性，使用这些有效数据重构出缺失数据。104 :输出并显示缺失图像数据。下面以具体的试验来验证本发明实施例提供的一种基于压缩采样的海洋遥感图像水色水温监测方法的可行性，详见下文描述通过SOM方法的非线性特性对原始遥感数据去噪后，其运行结果作为EOF算法处理时对数据集的初始化，再利用EOF算法对数据集进一步去噪，最后利用其连续插值特性有效地重构缺失数据，达到了海洋要素监测的目的。图5和图6分别表示出了三副不同缺失比例的原始卫星图像(SST和CHL)和处理后的结果。通过上述几组实验，可以验证本方法的可行性,通过图像序列的预处理,经过SOM和改进型的EOF算法处理的数据，重构效率闻，重构范围广。图5 :其中，图a为2010年8月I日的SST图像，图b为2010年9月21日的SST图像，图V为2010年10月27日的SST图像；图d，图e和图f分别为图a、图b和图c经过SOM-EOF算法重构后的图像。每年9月到10月这一时间段正是长江口及其附近海域海表温度逐渐降低的过程，从图e和图f可以看出，重构后的海温分布图能够很好地体现了这一海温渐变的过程，同时能够保持海洋流场的基本形态，并没有因为重构后而遭到破坏，还可以看出人类活动对于沿岸附近海域海表温度的影响。更值得注意的是这3张原始图像，每一幅图的数据缺失比率都是相当高的，分别是42. 00% (已经是本次实验中缺失比率最低的)、81. 39%和97. 53%。特别是图像中存在大面积缺失时，尤其是图C，传统的数据插值方法很难达到这样的插值效果，甚至是无能为力。而本方法能够以较高的重构精度重构出图像，首先经过SOM插值结果对EOF的初始化，再经过经验正交函数来提取原始遥感数据在空间及时 间域上的物理特征，通过保留几个最佳重构模态，不仅可以对缺失的观测数据进行有效的较高重构精度的重构，同时还保持了遥感数据集的时空分布特征，以便于对数据集的分析。而在本实验数据集的总体缺失比率高达83. 23%，相对缺失比率比较低的数据集，存在更多噪声的严峻情况下，也能够达到这样的重构效果，实属不易。图6 :其中，图a为2010年8月17日的SST图像，图b为2010年9月17日的SST图像，图c为2010年9月29日的SST图像；图d，图e和图f分别为图a、图b和图c经过SOM-EOF算法重构后的图像。每年8月到9月的长江口及其附近海域的海水温度、水中的富含的钾和磷元素等海洋环境，是浮游植物、悬浮微生物等生长适合的最佳时机，从图d和图e的重构后的叶绿素浓度分布图能够很好地体现，同时能够保持海洋流场的基本形态，并没有因为重构后而遭到破坏。更值得注意的是图C，缺失比率高达90. 54%，传统的插值方法很难达到这样的重构效果，甚至是束手无策。而本方法都能成功重构，首先经过SOM插值对EOF的初始化，再经过经验正交函数来提取原始数据在空间及时间域上的物理特征，通过保留几个最佳重构模态，不仅可以对缺失的观测数据进行有效的较高重构精度的重构，同时还保持了遥感数据集的时空分布特征，以便于对数据集的分析。综上所述，本发明实施例提供了一种基于压缩采样的海洋遥感图像水色水温监测方法，本方法克服了以往的处理遥感水色水温图像时需要处理大量冗余信息和处理效率低的缺点，克服了以往采用传统的最优插值法需要遥感数据集的先验信息的缺点，把SOM算法引入了该领域，解决了该领域新兴的EOF算法的不足，并提出了 SOM-EOF算法更好的实现了海洋要素的监测。本方法能够利用压缩采样原理来降低处理的数据量，综合利用自组织映射SOM算法的非线性估计和改进型的经验正交分解EOF算法的线性估计与连续插值等优点，使得对数据集的重构效果更加的反映数据集的客观的内在特点，进而使得海洋遥感水色水温要素监测的精度更高，效率更高。参考文献[I] Sorjamaa A. , Mer I in P. ,Maillet B. et. al. S0M+E0F for findingmissing values. European Symposium on Artificial Neural NetworksBruges (Belgium)，2007. 115 120[2]Cottrell M. , Letremy. P. Missing values:Processing with the kohonenalgorithm. Applied Stochastic Models and Data Analysis，France，2005 (5)，17 20.[3] Alvera-Azcarate A. , Barth A. , Rixenj et al. Reconstruction ofincomplete oceanographic data sets using Empirical Orthogonal Functions.Application to the Adriatic Sea surface temperature. Ocean Model, 2005. 325^346.[4] Alvera-Azcarate A.，Barth A. ，Beckers J. _M. et. al. Multivariatereconstruction of missing data in sea surface temperature, chlorophyll, and windsatellite fields. J. Geophys. Res. 2007. 112，C03008. doi : 10. 1029/2006JC003660.[5] Lendasse A. , Wertz V·，Verleysen M. Mode I selection withcross-validations and bootstraps—application to time series prediction withrbfn models.In LNC S，Springer-Verlagj Berlin, number2714，2003，573 580.[6] Toumazou V. , Cretaux J. Using a Lanczos eigensolver inthe computation of empirical orthogonal functions. Monthly WeatherReview, 2001，129 (5) : 1243 1250.[7]盛峥，石汉青，丁又专，利用DINEOF方法重构缺测的卫星遥感海温数据，海洋科学进展，2009，27 (2) :243 249.[8] 丁又专，卫星遥感海表温度与悬浮泥沙浓度的资料重构及数据同化试验[博士论文]，南京；南京理工大学，2009.本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述方法包括以下步骤 (1)获取待检测的海洋水色或水温原始遥感数据，对原始遥感数据进行压缩采样稀疏变换和图像处理，获取水色水温数据集； (2)通过SOM方法对所述水色水温数据集依次进行去噪和重构处理，获取处理后水色水温数据集； (3)对所述处理后水色水温数据集进行去噪处理，并利用其连续插值特性重构缺失图像数据； (4)输出并显示所述缺失图像数据。
2.根据权利要求I所述的一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述方法还包括 当所述原始遥感数据中包含有陆地数据和岛屿数据时，剔除所述陆地数据和所述岛屿数据。
3.根据权利要求I所述的一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述通过SOM方法对所述水色水温数据集依次进行去噪和重构处理，获取处理后水色水温数据集具体为 通过所述SOM方法的非线性结构对所述水色水温数据集进行非线性插值重构和去噪处理，获取所述处理后水色水温数据集。
4.根据权利要求I所述的一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述对所述处理后水色水温数据集进行去噪处理，并利用连续插值特性重构缺失图像数据具体为 1)对所述处理后水色水温数据集进行自适应EOF分解，获取空间模态矩阵U、奇异值矩阵S和时间模态矩阵V ； 2)利用蒙特卡罗交叉校正集确定最佳重构模态数P； 3)通过所述最佳重构模态数P、所述空间模态矩阵U、所述奇异值矩阵S和所述时间模态矩阵V构建所述缺失图像数据X。
5.根据权利要求4所述的一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述利用蒙特卡罗交叉校正集确定最佳重构模态数P具体为 设模态数为P和P+1时的交叉校正误差分别为Rp和Rp+1，定义模态数为P时模态误差降低比RatiOp = (RH-Rp) /Rp,当Ratiop小于指定阈值且RP〈RP+1时，停止最佳重构模态数的选择，将当前模态数P作为最佳重构模态数，其中，Rp-1为模态数为P-I时的交叉校正误差。
6.根据权利要求4所述的一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述方法还包括确定每个所述最佳重构模态数P的最佳迭代次数，不超过最大迭代次数N。
7.根据权利要求6所述的一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述确定所述最佳重构模态数P的迭代次数具体为 定义所述最大迭代次数N和最小交叉验证误差，判断下一迭代误差和当前迭代误差的差值是否小于所述最小交叉验证误差，如果是，停止迭代；否则，继续执行迭代处理，当迭代次数为所述最大迭代次数N停止迭代。
8.根据权利要求4所述的一种基于压缩采样的海洋遥感图像水色水温监测方法，其特征在于，所述缺失图像数据X具体为 X = UxSxV + X MrPr J为原始遥感数据中的有效数据的平均值。
全文摘要
本发明公开了一种基于压缩采样的海洋遥感图像水色水温监测方法,获取待检测的海洋水色或水温原始遥感数据，对原始遥感数据进行压缩采样稀疏变换和图像处理，获取水色水温数据集；通过SOM算法对所述水色水温数据集依次进行去噪和重构处理，获取处理后的水色水温数据集；对所述处理后水色水温数据集进行去噪处理，并利用其连续插值特性重构缺失图像数据；输出并显示所述缺失重构的图像数据。本方法利用压缩采样原理来降低处理的数据量，利用自组织映射SOM算法的非线性估计和改进型的经验正交分解EOF算法的线性估计与连续插值等优点，提高了重构缺失图像的效率，扩大了重构图像的范围，使得海洋遥感水色水温监测的精度更高，效率更高。
文档编号G01C13/00GK102798384SQ20121022778
公开日2012年11月28日 申请日期2012年7月3日 优先权日2012年7月3日
发明者王建乐, 宋占杰, 庞彦伟 申请人:天津大学