专利名称：气象要素实时数据中奇异值的剔除方法
技术领域：
本发明属于气象领域，具体地说，是涉及一种气象要素实时数据中奇异值的剔除方法。
背景技术：
风速、湿度、气压和温度等气象参数是船舶航行、飞机起降所需要的重要参数，对这些参数的实时监测对船舶航行、飞机起落起着非常重要的指导作用。在气象要素观测过程中，观测到的要素参数实际值通常取决于观测设备、传感器的性能，实时数据一般在设备测量精度范围内波动。而这些传感器由于是户外在线连续实时运行，环境非常恶劣，极易受到各种干扰，如内电、周围电磁干扰，且自身也容易发生故障。当某一传感器发生故障或受到干扰时，设备将观测到的错误数据报出，并传输到数据中心，在数据中心通过人工或计算机进行处理，即数据采集人员对数据进行浏览，根据经验，发现有奇异值时人为剔除；另外一种方法就是在数据采集过程中，由采集系统实现剔除，但此剔除仅仅对数据中的突变数据进行判别并予以剔除。
气象要素数据往往不是突变的，是由于某些原因使数据出现异常，如温湿度、风等要素发生变化时气压也会改变，而当气压传感器滞后或发生故障时，其并不会发生变化，从而使气压数据出现异常，这些奇异数据如不及时剔除将对导航和飞机起降引起非常严重的危险后果。
发明内容
本发明提供一种气象要素实时数据中奇异值的剔除方法，使气象仪给数据中心提供可靠的气象要素参数，达到气象要素数据的可靠观测。
为解决上述技术问题，本发明采用以下技术方案予以实现 a、接收气象仪测得的气象数据； b、调用已训练好的径向基概率神经网络模型，将所述气象数据以及每个数据与上一时刻值的变化梯度参数通过归一化后作为径向基概率神经网络的输入变量进行识别； 将气象数据先进行梯度计算主要是为了扩充输入数据，用梯度值作为输入变量同时也有利于模型的回归；将输入的数据进行归一化计算主要是为了给径向基概率神经网络模型的输入量即不同的气象数据提供一个统一的标准。
c、根据所述径向基概率神经网络模型输出变量的状态来剔除奇异数据。
所述步骤b中径向基概率神经网络模型按如下步骤训练 b1、数据准备准备两组数据，分别称为正样本和反样本， 其中正样本中没有奇异值，反样本中存在奇 异值； b2、数据分类将准备的样本分别分为两组，称为训练样本 和测试样本； b3、模型训练利用训练样本对模型进行训练，使模型能够 识别出奇异值； b4、模型测试对训练好的模型用测试样本进行测试，如果 能够识别奇异值的准确性达到误差要求，则 停止训练，该模型即为已训练好的模型；反 之，则需要继续准备数据、进行训练，一直 到达到误差要求。所述误差要求由应用领 域、地域等条件制约，因而此处对误差要求 并没有具体限定。
具体地讲，所述输入变量包括风速、温度、湿度、大气压的实时参数；所述输出变量为气象要素参数的状态，包括正确和故障两种情况，具体地讲包括全部参数正常、风速参数异常、温度参数异常、湿度参数异常、大气压参数异常、系统故障，其中系统故障是指两个及其以上参数状态异常。由于径向基概率神经网络模型的输出变量为N*1矩阵，如果全部参数状态正常，则输出变量的相应位置的状态为1，如果有异常，则输出变量的相应位置的值为-1，即如果风速参数出现异常，则输出变量中风速参数的输出值为-1，当然正常与异常的表示也可以用其他值表示，如正常为1，异常为0。这样根据输出量的状态即可将奇异值剔除。
与现有技术相比，本发明的优点和积极效果如下本发明将气象要素实时数据及其变化作为神经网络的输入，能够通过对已知数据的学习，找到数据内在的相互依赖关系，从而对未知数据进行预测或对其性质进行判断，输出为参数对应状态，实现数据状态识别，将故障奇异数据进行有效识别，使气象仪给数据中心提供可靠的气象要素参数，对故障数据进行自动识别和预警，达到气象要素的可靠观测。实验结果表明，该方法可靠，且具有较好的泛化能力，能够实现气象要素实时数据状态的有效识别。
图1为径向基神经网络结构图； 图2为气象要素参数状态识别过程框图。
具体实施例方式 下面结合附图和具体实施方式
对本发明作进一步详细地说明。
本发明利用径向基概率神经网络RBPNN实现气象要素观测数据映射，将状态变量显示地表达在代价泛函中。在实际训练过程中，将风速、温度、湿度、气压等实时参数作为识别模型的输入，输出为每个参数的状态识别，即对每个参数是否为奇异值进行识别。通过离线和在线的学习，即可可靠地识别参数状态，实现对奇异值进行剔除和报警处理，我们将参数状态定义为两种正确和故障，分别用1和-1表示，正确表示该数据在正确范围内，而故障表示该数据超出范围，应该给予剔除并预警，具体步骤如下 1、径向基概率神经网络构造 根据径向基概率神经网络结构1所示，隐层基函数选择常用的高斯基函数径向基概率神经网络及其算法如下 径向基概率神经网络为双隐层结构，如图1所示。对c个类别分别对应的样本数分别为M(1)、M(2)、...、M(c)，则第一、二隐层节点数分别为、H2＝c。若记且假设L0＝0，则第二隐层第k个节点对应的输出为 其中，Sj(j＝1，...，H1)为c个类别的训练样本按第一、二...依次排列形成总训练样本矢量，即第一隐层中心矢量，σj为第一隐层高斯函数的形状参数，第二个隐层输出端第k节点对应的类别为第k类。因此，zk相当于第k节点对应的第k类别的条件概率密度pk(x/ωk)。在k时刻迭代加权误差目标函数为 其中，λ为加权遗忘因子，t为输入模式矢量矩阵的次数标记，ε(t)为输出层在第t个模式输入时对应的误差信号矩阵，D[t]为输出层在第t个模式输入时对应的期望输出矩阵，Y[t]为输出层在第t个模式输入时的输出矩阵，tr(·)为矩阵取迹运算。
若X[t]为第t个输入模式矢量矩阵，令zij[t](1≤i≤M，1≤j≤M)表示第二隐层第i个节点对Xj[t]的输出响应，实际输出矩阵Y[t]是一个M×M矩阵{y ji}j，i∈M×M，输出层第i个节点对Xj[t]的输出响应y ji[t]为 其中ωi0[t]＝θi[t]为第i个节点在t时刻的输出偏置。第二隐层输出矩阵Z[t]和连接权矢量矩阵W[t]，则网络输出矩阵Y[t]为 Y[t]＝ZT[t]W[t] 这时期望输出矩阵D[t]为M×M的单位矩阵IM。
通常按照最小二准则对权值W[t]进行估值，使输出误差与数据集正交，这时网络连接权矢量递推最小二乘关系如下 g[k]＝λ-1P[k-1]Z[k](I+λ-1ZT[k]P[k-1]Z[k])-1 P[k]＝λ-1(P[k-1]-g[k]ZT[k]P[k-1]) W[k]＝W[k-1]+g[k](D[k]-ZT[k]W[K-1]) 其中g[K]为k时刻的卡尔曼增益矩阵。这里形状参数σi的递推迭代采用梯度下降自适应迭代算法，公式为 σi[k]＝σi[k-1]+ηδi[k]+ ξ(σi[k-1]-σi[k-2]) 2、样本获取与模型训练 为了得到数据样本，利用安装在科考调查船上本研究所生产的船舶气象仪，在江门市涯东海域和上海吴淞码头分别进行连续跟踪和数据采集。将传感器正常无任何故障时得到的数据作为正样本，将有传感器故障或系统故障时的数据作为反样本。
将准备的样本分为两组，称为训练样本和测试样本；利用训练样本和测试样本对模型进行训练。
本实施例训练样本特征数据如表1、表2所示，其中风速为相对平均风速，表中输出只列出状态为1的结果。用实时监测到的数据进行模型训练。
表1 2006年9月上海吴淞实时典型数据 表2 2006年9月江门涯东海域实时典型数据 直到模型能够识别出奇异值，此时即确定了输入变量和输出变量之间的关系即 W[k]＝W[k-1]+g[k](D[k]-ZT[k]W[k-1]) 3、模型测试 为了验证训练结果，对模型用实时数据进行了测试，如果能够识别奇异值的准确性达到误差要求，则停止训练，该模型即为已训练好的模型；反之，则需要继续准备数据、进行训练，一直到达到误差要求。表3中是对胶东海域获取的实时数据测试结果的部分数据。
表3 2007年4月胶东海域实时典型数据 4、调用已训练好的模型，将风速、温度、湿度、大气压的实时数据以及每个数据与上一时刻值的变化梯度参数通过归一化后作为网络模型输入变量，对这些参数的归一化过程为实时参数输入变量＝实测参数/(相应的参数量程上限-量程下限)，变化梯度输入变量＝变化梯度/(相应的参数量程上限-量程下限)。风速、温度、湿度、大气压这四个参数及其变化梯度归一化得到8个输入变量，分别表示V、T、H、P、ΔV、ΔT、ΔH、ΔP。
网络的输出变量为气象要素参数的状态，包括全部参数正常Y1、风速参数异常Y2、温度参数异常Y3、湿度参数异常Y4、大气压参数异常Y5、系统故障Y6，其中系统故障是指两个及其以上参数异常。
5、RBPNN模型识别 气象要素参数状态识别过程如图2所示。图中S1～S4分别为风速、温度、湿度和气压的传感器，实时数据通过RBPNN参数状态识别后，如果有故障数据存在，则将结果以预警方式显示，如果数据正常则通过计算后将结果输出。
权利要求
1.一种气象要素实时数据中奇异值的剔除方法，包括如下步骤
a、接收气象仪测得的气象数据；
b、调用已训练好的径向基概率神经网络模型，将所述数据以及每个数据与上一时刻值的变化梯度参数通过归一化后作为径向基概率神经网络的输入变量进行识别；
c、根据所述径向基概率神经网络模型输出变量的状态来剔除奇异数据。
2.根据权利要求1所述的气象要素实时数据中奇异值的剔除方法，其特征在于所述步骤b中径向基概率神经网络模型按如下步骤训练
b1、数据准备准备两组数据，分别称为正样本和反样本，其中正样本中没有奇异值，反样本中存在奇异值；
b2、数据分类将准备的样本分别分为两组，称为训练样本和测试样本；
b3、模型训练利用训练样本对模型进行训练，使模型能够识别出奇异值；
b4、模型测试对训练好的模型用测试样本进行测试，如果能够识别奇异值的准确性达到误差要求，则
停止训练，该模型即为已训练好的模型；反之，则需要继续准备数据、进行训练，一直到达到误差要求。
3.根据权利要求1或2所述的气象要素实时数据中奇异值的剔除方法，其特征在于所述输入变量包括风速、温度、湿度、大气压的实时气象数据参数；所述输出变量为气象要素数据的状态，包括正确和故障两种情况。
全文摘要
本发明涉及一种气象要素实时数据中奇异值的剔除方法，通过将气象要素实时数据及其变化作为神经网络的输入，能够通过对已知数据的学习，找到数据内在的相互依赖关系，从而对未知数据进行预测或对其性质进行判断，输出为参数对应状态，实现数据状态识别，将故障奇异数据进行有效识别，使气象仪给数据中心提供可靠的气象要素参数，对故障数据进行自动识别和预警，达到气象要素的可靠观测。实验结果表明，该方法可靠，且具有较好的泛化能力，能够实现气象要素实时数据状态的有效识别。
文档编号G06N3/00GK101149819SQ200710113598
公开日2008年3月26日 申请日期2007年10月31日 优先权日2007年10月31日
发明者漆随平, 宋文杰, 李小峰, 王建晓, 初伟先, 于宏波, 慧 杨, 王东明 申请人:山东省科学院海洋仪器仪表研究所