基于改进模糊层次分析法的气象数据质量评估方法与流程

本发明涉及数据挖掘
技术领域：
，具体而言，尤其涉及基于改进模糊层次分析法的气象数据质量评估方法。
背景技术：
：气象数据质量评估是当今世界现代化作战中的一种很重要的评估手段，也是影响野外作业时装备检测的一种重要指标。随着城市化，工业化高速发展，气象环境对于社会的影响变得越来越广泛，所以对气象数据评估也变得越来越重要。在对气象数据进行质量评估，涌现了许多方法，但也存在一些缺陷。在文献《气象数据质量分析与评估》中提出了一种在mdos平台实时质控和人工质控联合的基础上，对气象数据的完整率，可用率进行了很好的改善，从而对气象数据进行评估。该方法易于理解，研究范围广。但是该方法更新数据比较缓慢，且往平台上上传新数据时效率不高。在文献《气象数据的质量控制及真值发现系统的关键技术研究》中将数据挖掘中的相关算法运用气象数据评估中，提出一种基于极限学习机的要素相关气象观测数据质量控制模型来对气象数据进行评估分析。该方法建模简单，可以很好的考虑各方面因素所造成的影响，但是此方法只能针对综合性的分析，而且过分依赖于数据参数的改变，可能会随着参数改变从而造成过大误差。文献《数据挖掘中决策树算法的最新进展》中利用了决策树算法和组合算法，构建气象数据分类模型，从而更好的对气象数据进行预测。但是该方法性能不高，考虑的气象因素过少。文献《基于层次分析法的公共安全大数据质量评估研究》基于层次分析法的公共安全大数据质量评价方法,通过建立数据质量评价指标体系,利用层次分析法计算各评价指标的相对权重值,经综合评价函数得出数据质量综合得分。但是此方法受主观因素影响，所得结果可能与实际值存在误差。文献《anevaluationmethodofdatavaluationbasedonanalytichierarchyprocess》提出提出了一种新的数据值评价方法。该算法不仅考虑了数据的大小、访问时间、文件内容、数据读写频率和访问，同时考虑了数据的重要性和随着时间推移被访问的可能性。利用层次分析法对数据属性值进行加权，得到数据值的量化公式。技术实现要素：根据上述提出的技术问题，而提供一种基于改进模糊层次分析法的气象数据质量评估方法。本发明主要利用对模糊层次分析法进行改进，首先建立了三层气象数据质量指标体系，在原有的模糊层次分析方法上引入了比较值函数来进行双重求权，为防止主观因素的干扰，再使用满意一致相容性的优化方式不断地对权重进行优化，从而使最终结果的评估大大接近于实际标准值。本发明包括一种基于改进模糊层次分析法的气象数据质量评估方法，其特征在于，包括以下步骤：步骤s1：采用层次分解法，将气象数据质量包括：作为一级分指标用来构建气象数据指标体系的可见属性，体感属性，作用属性三个类型方面来进行评估；其中，可见属性包括：沙尘、降水和能见度三个气象因素的二级子指标所；所述体感属性包括：光照，温度，湿度三个气象因素的二级子指标；所述作用属性包括：气压，风速和风向三个气象因素的二级子指标；步骤s2：确定气象数据质量指标和其他指标之间的互相关联，通过对指标进行定量化处理，使每一个指标都用一一对应的数量值表示，则所述数量值称为指标值；步骤s3：建立三层气象数据质量指标体系，再确立每个指标的阈值；步骤s4：利用指标相互之间进行两两判断，采用一个因素与另一个因素相互比较的重要程度来定量表示，从而得到模糊互补判断矩阵，进而得到模糊互补判断矩阵的权重；步骤s5：采用模糊一致性和相容性的判断方法来对多个专家的评估进行汇总分析从而得出一个合理的评估结果，并将不合理的评估结果进行剔除，从而不断的对权重进行优化；步骤s6：优化权重之后，使用比较值函数来对指标值和阈值进行比较，通过计算得出指标值和阈值之间所比较的比较值，控制最终权重增长幅度；步骤s7：使用模糊层次分析法与比较值函数相结合的双重权重来对气象数据质量进行最终的评估，从而得到最终的可靠评估结果。进一步地，建立了三层气象数据质量指标体系，具体方式为：当a＝(aij)n×n和b＝(bij)n×n均为模糊判断矩阵时，用公式来求解两两矩阵之间a和b的相容性指标，公式如下所示：用w＝(w1,w2,...,wn)t来表示模糊判断矩阵a的权重向量，且令则判断矩阵a的特征矩阵为：w*＝(wij)n*n对于所得的模糊互补判断矩阵是否准确，我们要进行一致性和相容性检验，分别为：1)当i(a,w*)≤α时，则可以说明判断矩阵a符合满意一致性；2)当i(a,b)≤α时，则可以说明a,b两个判断矩阵符合满意相容性；其中α表示为决策者的一种态度，当α越小的时候，则说明决策者对于这个模糊判断矩阵的一致性和相容性要求越高，一般取α为0.1；当1)和2)两个条件都同时满足时，则对于满足条件的m(m≤n)个权重集，将它们的均值用来作为因素指标的权重分配向量就是合理可靠的，此时权重向量表达式为：更进一步地，所述比较值函数gi构建的公式为：其中，xi表示i个指标的指标值大小，ui表示i个指标的阈值大小，m表示对比较值函数的增长速度快慢的调节,n表示当比较值大于阈值时，用来控制gi的最大取值，通过调节m,n可以使评估结果更加接近于标准值；根据sigmoid函数的特性以及分段函数的特性衍化而来，表示为：1)当指标值小于阈值时，它们相距越大，则比较值越小，越接近于0；反之，当它们相距越小时，比较值越大越接近1。2)当指标值与阈值相同时，则比较值结果为1。3)当指标值大于阈值时，两者相距越大则比较值越大，越大于1；两者相距越小时，比较值越接近于1。进一步地，使用模糊层次分析法与比较值函数相结合的双重权重来对气象数据质量进行最终的评估，从而得到最终的可靠评估结果；将气象数据质量评估结果作为结果值g，当各项指标值，权重以及比较值都评估出来之后，通过公式进行评估，具体公式为：其中，fi表示为二级子指标zi所对应的第一权重，通过模糊层次分析法中利用的求权思想将指标两两对比从而得到权重值；gi表示为二级子指标zi所对应的第二权重，通过指标值与阈值相比较从而得出的比较值结果，当指标值小于阈值时，说明此时比最低标准低，所对应第二权重就会降低，反之当指标值大于阈值，说明此时高于最低标准，则第二权重将会增加；xi表示各个指标zi所对应的指标值，h1,h2,h3分别表示为一级分指标可见属性，体感属性，作用属性所对应的权重。较现有技术相比，本发明具有以下优点：本发明提供一种基于模糊层次分析法的气象数据质量评估的方法，在原模糊层次分析算法中引入比较值函数，从而将两者相结合来进行二重求权，使得出的结果在用满意一致相容性的优化方式不断地进行权重优化，从而使最终的评估结果更加的接近实际标准值。分析结果表明：改进之后的仿真结果比未改进之前平均每一项数据误差减小26.01％左右。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明气象数据质量指标体系。图2为本发明仿真结果值与标准值对比仿真图。具体实施方式为了使本
技术领域：
的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。图1为气象数据质量指标体系，将气象数据质量广泛的分为可见属性，体感属性，作用属性三个类型方面来进行评估。可见属性，体感属性和作用属性来作为一级分指标用来构建气象数据指标体系。其中，可见属性包括沙尘、降水和能见度三个气象因素的二级子指标所组成；体感属性由光照，温度，湿度三个气象因素的二级子指标所组成；作用属性由气压，风速和风向三个气象因素的二级子指标所组成。在确定了气象数据质量指标和其他指标之间的互相关联之后，通过对这些定性的指标进行定量化的处理，使每一个指标都可以用一个数量值的大小来对它进行表示，这些数量值就被称为指标值。然后对每一项指标设定对应的一个阈值，设定阈值的目的就是用来判断指标值是否符合最低标准。本次所用的各个阈值指标如表1所示。表1指标阈值表指标z1z2z3z4z5z6z7z8z9阈值809510072.89085928287其中zi表示指标，z1表示沙尘，z2表示降水，z3表示能见度，z4表示光照，z5表示温度，z6表示湿度，z7表示气压，z8表示风速，z9表示风向。然后使用模糊层次分析法进行判断矩阵的求解，在得出模糊互补判断矩阵(1)之后，便可用以下对模糊互补判断矩阵的权重进行求解，权重公式如下所示由于公式(2)所得出的权重值是单个专家评估结果，容易遭受个人主观因素所产生的的误差，从而造成最终评估结果的不准确。因此需要对多个专家的评估进行汇总分析从而得出一个合理的评估结果，并将不合理的评估结果进行剔除。因此本文引用数据模糊一致性和相容性的方法来对评估结果进行检验。当a＝(aij)n×n和b＝(bij)n×n均为模糊判断矩阵时，用下式来求解两两矩阵之间a和b的相容性指标，公式如下所示：用w＝(w1,w2,...,wn)t来表示模糊判断矩阵a的权重向量，且令则判断矩阵a的特征矩阵为：w*＝(wij)n*n；对于所得的模糊互补判断矩阵是否准确，要进行一致性和相容性检验，分别为：当i(a,w*)≤α时，则可以说明判断矩阵a符合满意一致性。当i(a,b)≤α时，则可以说明a,b两个判断矩阵符合满意相容性。其中α表示为决策者的一种态度，当α越小的时候，则说明决策者对于这个模糊判断矩阵的一致性和相容性要求越高，一般取α为0.1。当1)和2)两个条件都同时满足时，则对于满足条件的m(m≤n)个权重集，将它们的均值用来作为因素指标的权重分配向量就是合理可靠的，此时权重向量表达式为：比较值函数是用来对指标值和阈值进行比较的函数，该函数通过计算可以得出指标值和阈值之间所比较的比较值，由此来控制最终权重增长幅度。比较值函数gi构建的公式为:其中xi表示i个指标的指标值大小，ui表示i个指标的阈值大小，s是对比较值函数的增长速度快慢的调节,t为当比较值大于阈值时，用来控制gi的最大取值，通过调节s,t可以使评估结果更加接近于标准值。该公式是根据sigmoid函数的特性以及分段函数的特性衍化而来，它表示的含义为：1)当指标值小于阈值时，它们相距越大，则比较值越小，越接近于0；反之，当它们相距越小时，比较值越大越接近1。2)当指标值与阈值相同时，或者当指标值大于阈值且两者相距较小时，则比较值结果为1。3)当指标值大于阈值时，两者相距越大则比较值越大，越大于1；两者相距越小时，比较值越接近于1。本文将气象数据质量评估结果作为结果值g，当各项指标值，权重以及比较值都评估出来之后，通过公式(7)就可将结果值评估出来。具体公式为：其中fi表示为二级子指标zi所对应的第一权重，它是通过模糊层次分析法中利用的求权思想将指标两两对比从而得到权重值。gi表示为二级子指标zi所对应的第二权重，它是利用指标值与阈值相比较从而得出的比较值结果，当指标值小于阈值时，说明此时比最低标准低，所对应第二权重就会降低，反之当指标值大于阈值，说明此时高于最低标准，则第二权重将会增加。xi为各个指标zi所对应的指标值。h1,h2,h3分别表示为一级分指标可见属性，体感属性，作用属性所对应的权重。在实际天气预测过程中将会生成大量的气象数据，影响每一气象数据质量的指标会各有偏重，因而产生的指标得分将会有所不同，项目中给出8组数据，经过专家对每一组数据集各个指标进行综合，得到表3所示的8组数据指标所对应的打分结果以及评估结果。表3指标打分结果及评估结果其中的xi分别表示所对应的第i个指标值。mi表示第i组数据。通过模糊层次分析法可以对指标之间两两进行对比利用公式(1)从而得出模糊互补判断矩阵，然后通过计算公式(2)所求得的8组数据所对应一级分指标和二级子指标权重如表4所示。表4指标权重表通过计算出每一组判断矩阵的权重向量之后，根据公式(4)可求得每一组所对应的特征矩阵。计算出特征矩阵之后，通过公式(3)来对各组数据进行判断，从而分析各组数据是否符合满意一致性。并用公式(3)来对各组数据的判断矩阵两两进行计算，从而分析各组数据两两之间是否符合满意相容性。判断结果如表5，表6所示。表5满意一致性判断数据集i(a1,w*1)i(a2,w*2)i(a3,w*3)m10.00.0170.017m20.030.030.01m30.060.040.03m40.0280.0050.022m50.060.0750.03m60.030.050.03m70.030.030.03m80.030.030.03通过表5可以看出所有数据集中的各项指标的i(a,w*)都小于0.1，所以它们都符合满意一致性，因此这些数据集的权重分配是合理的。表6满意相容性判断i(a11,a21)0.0i(a12,a22)0.044i(a13,a23)0.0i(a11,a31)0.02i(a12,a32)0.04i(a13,a33)0.0i(a11,a41)0.0i(a12,a42)0.0i(a13,a43)0.044i(a11,a51)0.022i(a12,a52)0.044i(a13,a53)0.0i(a11,a61)0.0i(a12,a62)0.067i(a13,a63)0.044i(a11,a71)0.0i(a12,a72)0.044i(a13,a73)0.044i(a11,a81)0.0i(a12,a82)0.044i(a13,a83)0.044i(a21,a31)0.067i(a22,a32)0.044i(a23,a33)0.0i(a21,a41)0.044i(a22,a42)0.0i(a23,a43)0.0i(a21,a51)0.067i(a22,a52)0.044i(a23,a53)0.0i(a21,a61)0.044i(a22,a62)0.067i(a23,a63)0.0i(a21,a71)0.044i(a22,a72)0.044i(a23,a73)0.0i(a21,a81)0.044i(a22,a82)0.044i(a23,a83)0.0i(a31,a41)0.067i(a32,a42)0.0i(a33,a43)0.0i(a31,a51)0.089i(a32,a52)0.111i(a33,a53)0.044i(a31,a61)0.067i(a32,a62)0.067i(a33,a63)0.0i(a31,a71)0.067i(a32,a72)0.044i(a33,a73)0.044i(a31,a81)0.067i(a32,a82)0.044i(a33,a83)0.0i(a41,a51)0.044i(a42,a52)0.044i(a43,a53)0.0i(a41,a61)0.044i(a42,a62)0.022i(a43,a63)0.044i(a41,a71)0.044i(a42,a72)0.0i(a43,a73)0.044i(a41,a81)0.044i(a42,a82)0.0i(a43,a83)0.044i(a51,a61)0.067i(a52,a62)0.067i(a53,a63)0.0i(a51,a71)0.067i(a52,a72)0.111i(a53,a73)0.044i(a51,a81)0.067i(a52,a82)0.044i(a53,a83)0.0i(a61,a71)0.044i(a62,a72)0.067i(a63,a73)0.044i(a61,a81)0.044i(a62,a82)0.067i(a63,a83)0.044i(a71,a81)0.044i(a72,a82)0.044i(a73,a83)0.044通过表6可以看出只有i(a32,a52)与i(a52,a72)所得结果大于0.1，不满足满意相容性，且通过判断矩阵之间互相两两比对可以看出是第五组专家评估数据不准确，与其它数据比对不满足满意相容性，所以不能用来进行最后评估，因此将第五组数据进行剔除。由表5，表6可以看出除了第五组专家评估数据之外，其他专家评估数据均满足满意一致性和满意相容性两个条件，因此使用它们的均值来作为因素指标的权重分配向量就是合理可靠的。剔除第五组数据之后，利用公式(5)综合其他专家评估数据，可求得最终权重向量如表7所示。表7最终权重向量表二级子指标的第二权重可用公式(6)的比较值函数求解出来，利用表1中的数据作为阈值，利用表3中的数据作为指标值，选取参数s＝1/4,t＝0.5；s＝1/4,t＝0.6；s＝1/6,t＝0.6三组实验数据分别来求各个二级子指标的比较值，利用公式(7)来求得最后气象数据质量的评估结果。最终所得的各个二级子指标比较值与结果值如表8，9，10所示。表8s＝1/4,t＝0.5时比较值、结果值表表9s＝1/4,t＝0.6时比较值、结果值表表10s＝1/6,t＝0.6时比较值、结果值表由表8,9,10可以看出未改进之前，参数s＝1/4,t＝0.5评估结果最好，因此，选用参数s＝1/4,t＝0.5来作为剔除第五组数据之后改进所得的二级子指标数据测试结果评估，结果如表11所示。表11改进后的比较值、结果值表通过结合表8，表9，表10，表11。将它们的仿真结果与标准值进行对比，得到的比对结果如图2所示。从表8，9，10，11可以看出，s,t参数取值不同，最终得出的比较值结果也不同，仿真结果值总会与标准值之间存在误差，通过不断调节两个参数，可以使结果更接近标准值。通过图2这四组对比仿真结果可以看出，当参数在确定之后，改进之后的仿真结果比未改进之前平均每一项数据误差减小26.01％左右，更大程度的接近表3的标准值。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页12