基于遥感影像的特征函数空间滤值回归模型并行化方法与流程

本发明属于空间统计分析服务应用技术领域，特别涉及一种基于遥感影像的特征函数空间滤值回归模型并行化方法。

背景技术：
空间统计学是研究地理空间事物和现象分布、相互关系和变化规律的重要科学，作为空间分析的重要分支，空间统计分析研究的发展为空间数据分析提供了强大的数学基础和理论支撑。遥感卫星不仅能够快速便捷获取到最新数据，缩短了地表数据的获取时间，降低了数据获取的成本，同时数据精确性也更高，已经成为空间统计的重要数据来源。传统的空间统计方法通常以区域统计数据或遥感影像采样数据做回归分析，由于采样点分布在一定程度上会破坏自然要素的连续性和完整性，从而对分析结果造成影响。而遥感影像数据量巨大，而现有遥感影像分析和数据处理能力还难以满足应用需求(文献1)，成为制约遥感影像应用到空间统计领域重要瓶颈。现实中，统计分析的变量都具有空间依赖和关联的性质，在空间分析过程中表现为空间自相关性(文献2)。变量空间自相关性的存在会影响回归模型的准确度，在构建回归模型过程中，需要消去空间自相关的影响才能构建更准确的回归模型。空间自相关性程度通常用Moran指数来衡量(文献3)。Getis(文献4)和Griffith(文献5)分别提出了空间滤值方法用来解决回归分析中的空间自相关问题。该方法的核心思想是将变量分解成空间影响和非空间影响两部分，滤去空间影响部分就可以用传统的回归方法来分析(文献6)。Griffith的特征函数空间滤值方法与Getis的相比结果相当，可移植性较好(文献6)。但由于特征函数空间滤值方法计算量较大，通常应用到数据量较小的采样点或统计区域，在整幅的遥感影像数据中尚未有大规模应用。随着计算机并行计算技术的发展，可以采用分布式计算的方法来解决单节点计算能力不足的问题(文献7)。目前并行计算的门槛随着计算机软硬件技术的发展而不断降低，多核处理器已经成为PC机的基本配置。将多台多核计算机通过局域网连接可以构成并行计算集群，并行计算集群可以提供分布式计算服务，解决计算、数据密集型问题，大大缩减了用户用于解决网络通信等问题所耗费的时间和精力(文献8)。基于多核集群的并行化方法已经应用到人脸识别算法(文献9)、高光谱影像协方差矩阵计算(文献10)等图像处理等领域，实验结果表明计算效率均有显著提高。背景文献：[1]李德仁，张良培，夏桂松.遥感大数据自动分析与数据挖掘[J].测绘学报，2014.43(12):1211-1216.[2]沈体雁，冯等田，孙铁山，2010.空间计量经济学[M].北京：北京大学出版社，32-33.[3]P.A.P.Moran,1950.NotesonContinuousStochasticPhenomena[J].Biometrika,37(1/2):17-23.[4]J.K.Ord,ArthurGetis,1995.LocalSpatialAutocorrelationStatistics:DistributionalIssuesandanApplication[J].GeographicalAnalysis,27(4):286-306.[5]GriffithD,2000.Alinearregressionsolutiontothespatialautocorrelationproblem[J].GeogrSyst,2(2):141-156.[6]ArthurGetis,DanielA.Griffith,2002.ComparativeSpatialFilteringinRegressionAnalysis[J].GeographicalAnalysis,34(2):130-140.[7]ChenGL,SunGZ,ZhangYQ,etal.Studyonparallelcomputing[J].JComputSciTech,2006.21(5):665—673.[8]刘维.实战Matlab之并行程序设计[M].北京：北京航空航天大学出版社2012.3:154-156.[9]郑晓薇，于梦玲.基于MATLAB多核集群的人脸识别算法的并行化设计[J].计算机应用，2011.31(10):2597-2599.[10]王茂芝，郭科，徐文皙.基于集群和GPU的高光谱遥感影像并行处理[J].红外与激光工程，2013.42(11):3070-3075.

技术实现要素：
为了解决基于遥感影像的空间统计学回归分析中变量空间自相关性影响回归模型准确性、且数据量大导致计算能力不足等问题，本发明提供了一种基于遥感影像数据的特征函数空间滤值回归模型的并行化方法。本发明所采用的技术方案是：步骤1：遥感影像分块，确定最小分割单元N×N并计算空间邻接矩阵W；步骤2：空间邻接矩阵W中心化得到矩阵C，计算矩阵C的特征值和特征向量Eigenvectors；步骤3：创建并行任务，将分块的影像和特征向量Eigenvectors加入任务队列，并分发至各个计算节点；步骤4：各计算节点中，将分块的遥感影像进行中心化处理得到中心化后的自变量Xcent和因变量Ycent，计算自变量模型中每加入Eigenvectors中的一个特征向量后残差e的莫仑指数Moran’sI，得到莫仑指数数组Im，利用前向选择法选取其中最小值所对应的特征向量Ei；步骤5：各计算节点中，对步骤4得到的Im中最小的Moran’sI进行显著性检验；若结果显著，则将最小I值所对应的特征向量Ei从Eigenvectors中提取出来，加入到自变量Xcent中，再利用后向消除法将最小I值所对应的特征向量Ei从Eigenvectors中剔除；并回转执行上述步骤4；结果不显著，则执行下述步骤6；步骤6：则汇总各分块提取出的所有特征向量；步骤7：返回各分块影像特征向量提取结果到主节点，构建基于遥感影像数据的特征函数空间滤值回归模型。本发明针对遥感影像数据回归建模过程中变量空间自相关性对模型的影响，提出采用特征函数空间滤值方法，通过将影像进行分块，利用搭建的并行计算集群进行分布式计算，最后将分块计算的结果返回给主节点汇总，通过对比串行和并行分别得到的回归模型拟合评价参数MSE、RMSE、R2、Adj.R2以及并行加速比S，验证基于遥感影像的特征函数空间滤值并行方法在空间统计回归建模中能够消除空间自相关影响，并有效提高计算效率。附图说明图1为本发明实施例的流程图。图2为本发明实施例步骤1的原理示意图。图3为本发明实施例步骤3的原理示意图。图4为本发明实施例步骤4的子流程图。图5为本发明实施例的模型评价方法流程图。具体实施方法为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。本发明要解决的核心问题是：利用特征函数空间滤值方法消除遥感影像回归分析中的空间自相关对回归模型拟合优度的影响，同时采用并行计算的方法解决遥感影像数据量大而导致单节点计算能力不足的问题，以并行化方法建立基于遥感影像的特征函数空间滤值回归模型。请见图1，本发明提供的一种基于遥感影像的特征函数空间滤值回归模型并行化方法，包括以下步骤：步骤1：影像分块，计算空间邻接矩阵。影像分块的具体实现方法参见图2。步骤1.1：根据实验需要确定合适的最小分割单元N×N，N的大小由整幅影像大小和单幅影像计算时间共同确定，采用影像分块方法将整幅遥感影像依次切分成相同大小的分块，用对应的行列号(i，j)区分各分块影像。步骤1.2：由分割单元大小N×N创建空间邻接矩阵W，空间相邻关系以“象”相邻方式定义，即像元相邻的上下左右和对角线方向的八个像元之间的关系为邻接，其余为不邻接。在基于遥感影像的回归分析中，单个像元所代表的地理单元具有一定规模，这种以象相邻方式定义的空间邻接矩阵归一化后得到的空间权重矩阵，相比其他相邻方式计算简单，同时顾及像元之间边和顶点的方式也更符合现实。步骤2：计算中心化邻接矩阵的特征值和特征向量。将步骤1.2创建的空间邻接矩阵W进行中心化处理得到中心化后的空间邻接矩阵C，利用QR分解法计算中心化空间邻接矩阵C的特征值和特征向量Eigenvectors。步骤3：创建并行任务，分发数据。在搭建好并行计算环境中，将分块后的数据加入到任务队列，由主节点控制的调度器将数据自动分配到各个计算节点node中。分块后的影像组分别由调度器(scheduler)分配给并行集群中的计算节点(node)进行特征函数空间滤值计算。并行计算分发分块影像数据过程参见图3。步骤4：各计算节点中，计算自变量模型中每加入Eigenvectors中的一个特征向量后残差e的莫仑指数Moran’sI，得到莫仑指数数组Im，利用前向选择法选取其中最小值所对应的特征向量Ei；具体计算过程参见图4。步骤4.1：将分块的遥感影像数据进行中心化处理得到中心化后的自变量Xcent和因变量Ycent。依次选择一个特征向量Ei(来自于Eigenvectors，要求特征值大于0)加入到自变量Xcent中得到新的Xcent(此后无需再中心化)，计算残差e，利用新得到的Xcent和Ycent计算残差e，计算残差e的公式如下：其中，Xcent为加入特征向量后的自变量模型，Ycent为中心化后的因变量模型。步骤4.2：计算步骤4.1得到的残差e的莫仑指数Moran’sI，计算莫仑指数I的公式如下：其中，e为步骤4.1计算得到的残差，W为空间邻接矩阵，n为样本个数。步骤4.3：依次将Eigenvectors中的特征向量Ei，重复上述步骤4.1-4.2，循环迭代，得到莫仑指数数组Im，利用前向选择法选取其中最小值所对应的特征向量Ei；步骤5：各计算节点中，对步骤4得到的Im中最小的Moran’sI进行显著性检验；若结果显著，则将最小I值所对应的特征向量Ei从Eigenvectors中提取出来，加入到自变量Xcent中，再利用后向消除法将最小I值所对应的特征向量Ei从Eigenvectors中剔除；结果不显著，则执行下述步骤6；步骤6：结束提取，保存并汇总在各分块影像中提取出的特征向量Ei；步骤7：返回各分块影像特征向量提取结果到主节点，构建基于遥感影像数据的特征函数空间滤值回归模型。将各分块影像通过并行计算提取得到的特征向量返回到主节点，选择适合具体应用环境的回归模型(如多元线性回归、泊松回归等)，将步骤4.3所有提取出来的特征向量Ei加入到自变量模型中，再按照多元线性回归方式，以分段函数的形式，利用最小二乘法求取系数α、β和残差e，汇总得到基于遥感影像的特征函数空间滤值回归模型，公式如下：Y＝Xβ+Eα+e；其中，X为原始的自变量模型，Y为原始的因变量模型，E为各分块影像提取出的特征向量，β和α分别为特征函数空间滤值回归模型利用最小二乘法求取的自变量模型系数，e为特征函数空间滤值回归模型的残差。步骤8：模型评价。选择均方误差MSE、均方根误差RMSE、拟合优度R2、调整后的拟合优度Adj.R2作为评价对比参数以验证基于遥感影像数据的特征函数空间滤值回归模型并行化方法的高拟合度。利用整幅影像做空间滤值回归，得到计算时间以验证基于遥感影像数据的特征函数空间滤值回归模型并行化方法的高计算效率。步骤8.1：分别计算基于遥感影像数据的传统多元线性回归模型和基于遥感影像数据的特征函数空间滤值回归模型的均方误差MSE、均方根误差RMSE、拟合优度R2、调整后的拟合优度Adj.R2，公式分别如下：其中，为特征函数空间滤值回归模型中因变量的拟合值，yi为自变量模型的原始值，为自变量模型原始值的平均值，n为的样本数量，k为特征函数空间滤值回归模型自变量的个数。上述对比拟合参数中，一种回归模型中MSE、RMSE的值越小，R2和Adj.R2越大，则说明回归模型精度越高。步骤8.2：分别获得整幅影像做特征函数空间滤值和影像分块空间滤值的计算时间Ts和Tp，计算并行对串行的计算时间加速比S，公式如下：若并行计算精度达到要求且S大于1，则表明基于图像分割的遥感影像空间滤值并行处理方法在保证模型精度的前提下能够有效提高计算效率。本发明可应用于大规模分布式环境下基于遥感影像数据的空间回归建模领域。应当理解的是，本说明书未详细阐述的部分均属于现有技术。应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。