一种海水剖面观测数据的距平求取方法与流程

本发明属于数据处理技术领域，特别涉及一种基于无噪音引入趋势项的海水剖面观测数据的距平求取方法。

背景技术：

现场调查是认知和把握海洋环境最直接、最有效的方法，为了能准确地揭示海洋环境的时空分布特征和变化规律，保证所获取调查数据的准确性和可靠性就显得尤为重要。由于仪器或人为因素，所获取的海水剖面观测数据中包含测量误差在所难免，主要包括随机误差和过失误差。一般情况下，观测数据在整个水深剖面上的变化范围较大，特别是在海洋中跃层区或逆跃层区等变化剧烈的水层，观测数据本身的变化幅度与奇异值导致的变化幅度之间存在交叉。根据奇异值具有震荡性，而正常数据具有连续性，可通过精确距平的求取，为海水剖面观测数据奇异值的识别与剔除提供判别依据，保证观测数据的可靠性，为海洋环境监测提供可靠的数据保障。而精确距平求取的关键在于精确趋势项的求取。

目前，关于数据趋势项的求取一般采用最小二乘拟合法、低通滤波法或经验模式分解(emd)方法等。其中最小二乘拟合法和低通滤波法通常需要预先知道原始数据趋势项的类型，这在很大程度上限制了其应用范围，特别是对于复杂趋势项的提取；而经验模式分解进行趋势项提取的前提则是原始数据必须能够完全分解，即满足可分解条件，且需要对每一个固有模态函数(imf)分量进行判断是否满足趋势项判定条件，将满足趋势项判定条件的各imf分量相加作为最终的趋势项。

上述数据趋势项的求取方法一般适用于高频变化数据趋势项的求取，且三种方法分别受拟合次数、滤波次数和imf分量相加数的改变而变化，所求取的海水剖面观测数据的趋势项在某些数据段只能反应原始数据的大体变化趋势，很难作为海水剖面观测数据的精确趋势项。因此本文根据海水剖面观测数据的特性，提出了一种基于无噪音引入的趋势项的精确求取方法。

技术实现要素：

针对上述技术问题，本发明提供一种海水剖面观测数据的距平求取方法，该方法基于海水剖面观测数据的特性，在提取趋势项时，为了避免多次重复执行，首先求取原始剖面数据对水深压强的一阶差分，并对一阶差分运用3σ准则进行初步质量控制，最大限度保留数据原始特性的同时减少噪音对精确趋势项求取的干扰，从而能够一次性精确地求取海水剖面观测数据的距平。

为了实现上述目的，本发明采用如下技术方案：一种海水剖面观测数据的距平求取方法，包括如下步骤：

s1.获取海水剖面观测原始数据；

s2.消除所述原始数据的噪音项，得到消噪数据；

s3.求取所述消噪数据的趋势项；

s4.基于所述趋势项求取距平。

进一步地，所述s2包括：

求取原始数据序列x(i)相对于水深压强p(i)的一阶微分dx(i)/dp(i)，并对所述一阶微分dx(i)/dp(i)采用3σ准则剔除噪音项，得到消噪数据，其中σ为一阶微分dx(i)/dp(i)的标准差，i＝1,2,3…。

进一步地，所述对所述一阶微分dx(i)/dp(i)采用3σ准则剔除噪音项包括：

将一阶微分dx(i)/dp(i)中范围外的数据项进行标识，剔除所述标识数据项所对应的原始数据项，剔除后的所述原始数据为消噪数据，其中为一阶微分dx(i)/dp(i)的平均值。

进一步地，所述步骤s3包括：

s31.求取所述消噪数据序列x'(i)的极值点；

s32.采用akima插值结合线性插值替换所述极值点，得到所述消噪数据序列x'(i)的上下边界；

s33.求取所述消噪数据序列x'(i)的趋势项。

进一步地，所述步骤s31包括：

对于消噪数据序列x'(i)，从第二个数据x'(k)(k＝2,3,…)开始，对每一个数据进行逐点判断，若被判断数据项x'(k)均大于或等于前一个点x'(k-1)与后一个点数据x'(k+1)，则被判断数据点x'(k)为极大值点x'max；若被判断数据点x'(k)均小于或等于前一个点x'(k-1)与后一个点数据x'(k+1)，则被判断数据点为极小值点x'min；从而求出所述消噪数据的所有极值点。

进一步地，所述步骤s32包括：

将消噪数据x'(i)中所有极大值点x'max剔除，利用剩余数据序列对原极大值点进行akima插值替换，若插值后的数据出现凸起，则再次用线性插值替代，得到新的数据序列xdown'(i)，作为原始数据的下边界；

将消噪数据x'(i)中的所有极小值点x'min剔除，利用剩余数据序列对原极小值点进行akima插值换，若插值后的数据出现凸起，则再次用线性插值替代，得到另一新的数据序列xup'(i)，作为原始数据的上边界。

进一步地，所述步骤s33包括：

所述消噪数据x'(i)的趋势项t(i)为上下边界的平均值，即t(i)＝(xdown'(i)+xup'(i))/2为上下边界的平均值，即t＝(xdown'(i)+xup'(i))/2。

进一步地，将趋势项t(i)与原始数据x(i)做差得到距平a(i)＝x(i)-t(i)。

与现有技术相比，本发明的海水剖面观测数据的距平求取方法具有以下有益效果：本发明的方法基于海水剖面观测数据的特性，在提取趋势项时，为了避免多次重复执行，首先求取原始剖面数据对水深压强的一阶差分，并对一阶差分运用3σ准则进行初步质量控制，最大限度保留数据原始特性的同时减少噪音对精确趋势项求取的干扰，从而能够一次性精确地求取海水剖面观测数据的距平。本方法在消除原始数据噪音且不再次引入噪音、最大限度保留剖面数据原始特性的前提下，避免多次重复，一次性求取海水剖面观测数据的精确趋势项，从而获得精确距平，为海水剖面观测数据奇异值的识别与剔除提供可靠的判别依据，保证观测数据的可靠性，为海洋环境监测提供可靠的数据保障。

附图说明

图1是求取趋势项的主要示意图；

其中：(a)为原始数据，空心圆点为极大值点，星点为极小值点；(b)为上边界线(黑色圆圈点插值连线)；(c)为下边界线(黑色星点插值连线)；(d)为趋势项；(e)为距平值；

图2是本发明示例图；

其中：(a)为电导率剖面原始数据(b)为电导率相对于水深压强的一阶差分；(c)为通过“3σ法则”识别出的噪音(黑色实点)与消除噪音后的剖面数据(灰色实线)；(d)为通过上下边界线均值求取的趋势项；(e)为电导率距平值；

图3为本发明方法(b)、最小二乘法(c)及emd方法(d)对电导率剖面原始数据(a)进行趋势项求取的对比图；

图4为本发明方法(b)、最小二乘法(c)及emd方法(d)对电导率剖面原始数据(a)求取的距平对比图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了保证海水剖面观测数据的可靠性，从而为海洋环境监测提供可靠的数据保障，通常通过精确距平的求取，为海水剖面观测数据奇异值的识别与剔除提供判别依据，而精确距平求取的关键在于精确趋势项的求取。现有技术中一般通采用最小二乘拟合法、低通滤波法或经验模式分解(emd)方法求取趋势项，但是上述数据趋势项的求取方法一般适用于高频变化数据趋势项的求取，且三种方法分别受拟合次数、滤波次数和imf分量相加数的改变而变化，所求取的海水剖面观测数据的趋势项在某些数据段只能反应原始数据的大体变化趋势，很难作为海水剖面观测数据的精确趋势项。因此本文根据海水剖面观测数据的特性，提出了一种基于无噪音引入的趋势项的精确求取方法。

为了精确求取海水剖面观测数据的趋势项，本发明基于海水剖面观测数据的特点，提供一种基于无噪音引入趋势项的海水剖面观测数据的距平求取方法，具体包括如下步骤：

s1.获取海水剖面观测原始数据，如图1a)所示。

海水剖面观测数据是指某一海水要素在海洋中某一定点位置从海表面到海底或某一深度水层随水深变化的数值分布情况。研究海水剖面观测数据可以帮助我们熟悉某一海水要素(如水温)的三维分布结构，为海洋环境监测、海洋渔业等提供数据支持与指导。目前海水剖面观测数据主要通过船载仪器或漂流仪器近匀速的从海洋表面运动到近海底或某一水层，随后再近匀速上升到海面，如此往返一次作为一个海水剖面观测周期，本发明中所用到的海水剖面观测数据指从海洋表面运动到近海底的下降过程所获取的数据。

s2.消除所述原始数据的噪音项，得到消噪数据；

对海水剖面原始数据进行消噪处理是为了最大限度的保留原始数据，同时又能剔除噪音的干扰，在步骤s2中主要采用“3σ准则”对原始数据进行消噪处理。

3σ准则又称为拉依达准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。这种判别处理原理及方法仅局限于对正态或近似正态分布的样本数据处理，在正态分布中σ代表标准差,μ代表均值，x＝μ即为图像的对称轴，3σ原则为：

数值分布在(μ-σ,μ+σ)中的概率为0.6827；

数值分布在(μ-2σ,μ+2σ)中的概率为0.9545；

数值分布在(μ-3σ,μ+3σ)中的概率为0.9973；

可以认为，y的取值几乎全部集中在(μ-3σ,μ+3σ)区间内，超出这个范围的可能性仅占不到0.3％。

设海水剖面观测原始数据序列为x(i)，首先求取原始数据序列x(i)相对于水深压强p(i)的一阶差分dx(i)/dp(i)，由于海水的连续性，dx(i)/dp(i)基本对称的分布在0的两侧，可近似满足正态分布，随后对所述一阶差分dx(i)/dp(i)采用3σ准则剔除噪音项，得到消噪数据，其中σ为一阶差分dx(i)/dp(i)的标准差，i＝1,2,3…。

在采用3σ准则剔除噪音项时，具体是先将一阶差分dx(i)/dp(i)中范围外的数据项进行标识，剔除所述标识数据项所对应的原始数据项，剔除后的所述原始数据为消噪数据，其中为一阶差分dx(i)/dp(i)的平均值。

通过采用3σ准则对原始数据序列x(i)进行处理，可保留99.7％以上的原始数据，即最大限度的保留了原始数据，又避免了噪音项对提取原始数据精确趋势项的影响。

s3.求取所述消噪数据的趋势项。步骤s3具体分解为以下几个步骤：

s31.求取所述消噪数据序列x'(i)的极值点；

若f(a)是函数f(x)的极大值或极小值，则a为函数f(x)的极值点，极大值点与极小值点统称为极值点。求取极值点的步骤如下：

设消噪数据序列为x'(i)，其中i＝1,2,3…，从第二个数据x'(k)(k＝2,3,…)开始，对每一个数据进行逐点判断，若被判断数据项x'(k)均大于或等于前一个点x'(k-1)与后一个点数据x'(k+1)，则被判断数据点x'(k)为极大值点x'max；若被判断数据点x'(k)均小于或等于前一个点x'(k-1)与后一个点数据x'(k+1)，则被判断数据点为极小值点x'min；从而求出所述消噪数据的所有极值点。

s32.采用akima插值结合线性插值替换所述极值点，得到所述消噪数据序列x'(i)的上下边界；

为了使步骤s32更加清楚，容易理解，首先介绍akima插值以及线性插值的定义。

akima插值，译为阿基玛插值法，定义如下：

在两个实测点之间进行内插，共需六个实测点，设用i(i＝1,2,...,6)表示这六个实测点的序号，其坐标为(xi,yi)，插值点位于第3个和第4个实测点之间，即x3<x<x4，则插值y可用下式计算：

y＝p0+p1(x-x3)+p2(x-x3)²+p3(x-x3)³，其中

上式中t3和t4是第3和第4号实测点要素的斜率，它们分别用1，2，3，4，5和2，3，4，5，6号点上的实测值表示。在一般的情况下，t3和t4可用下式计算：

ti＝(|mi+1-mi|mi-1+|mi-1-mi-2|mi)/(|mi+1-mi|+|mi-1-mi-2|)，(i＝3,4)

若分母为零，则或ti＝mi，其中mi为斜率，用下式表示mi＝(yi+1-yi)/(xi+1-xi)。

线性插值是指插值函数为一次多项式的插值方式，其在插值节点上的插值误差为零。线性插值相比其他插值方式，如抛物线插值，具有简单、方便的特点。

已知函数y＝f(x)在区间[a,b]上(n+1)个互异点xm(m＝0,1,2,3...,n)上的函数值ym，若存在一简单函数使

并要求误差

的绝对值|r(x)|在整个区间[a,b]上比较小。这样的问题称为插值问题。

其中

xm,(m＝0,1,2,3,...,n)：插值节点

f(x)：被插值函数

插值函数

[min(x0,x1,...xn),max(x0,x1,...xn)]：插值区间

如果在插值区间内部用代替f(x)则称为内插；在插值区间以外，用代替f(x)则称为外插。

步骤s32具体为：将消噪数据x'(i)中所有极大值点x'max剔除，利用剩余数据序列对原极大值点进行akima插值替换，若插值后的数据出现凸起，则再次用线性插值替代，得到新的数据序列xdown'(i)，作为原始数据的下边界，如图1b)所示。

将消噪数据x'(i)中的所有极小值点x'min剔除，利用剩余数据序列对原极小值点进行akima插值换，若插值后的数据出现凸起，则再次用线性插值替代，得到另一新的数据序列xup'(i)，作为原始数据的上边界，如图1c)所示。再次使用线性插值，保证不再次引入噪音。

s33.求取所述消噪数据序列x'(i)的趋势项。

所述步骤s23具体为：所述消噪数据x'(i)的趋势项t(i)为上下边界的平均值，即t(i)＝(xdown'(i)+xup'(i))/2，趋势项如图1d)所示。

s4.基于所述趋势项求取距平。将趋势项t(i)与原始数据x(i)做差得到距平a(i)＝x(i)-t(i)，距平值如图1e)所示。

本发明内容包括三部分：一是消除原始数据噪音，通过求取剖面数据对水深压强的一阶差分，并对一阶差分进行“3σ准则”控制，从而消除原始数据的噪音，以不再次引入其他噪音为前提，利用akima插值结合线性插值，得到消除噪音后的新数据序列；二是求取消除噪音后的新数据序列的趋势项，首先求取新数据序列的所有极值点，包括极大值点和极小值点，然后剔除极大/小值点，以剩余绝大多数数据使用akima插值与线性插值替代极大/小值点，以此作为新数据序列的下/上边界线，将上、下边界的平均值作为原始数据的精确趋势项；三是基于精确趋势项求取精确距平，将求取的原始数据精确趋势项与原始数据作差求得精确距平值。

本方法整体效果如下：

1.本发明方法首先利用“3σ准则”对海水剖面原始数据进行质量控制，去除噪音项的同时，最大限度保留数据原始特性，使趋势项的提取更加精确；

2.然后利用极大极小值获取上下边界，极大(小)值点仅占整体剖面数据的较小部分，利用去除极大(小)值后剩余绝大部分数据对极大(小)值进行插值替换，使求取的上下边界更加精确；

3.采用akima插值结合线性插值替代极大/小值点，如此保证在插值过程中不会再次引入噪音，避免对原始数据产生二次噪音干扰。

通过以上三点可有效保证提取趋势项的精确性，从而获得精确距平。如此，可为海水剖面观测数据奇异值的识别与剔除提供有效精确判别依据，保证观测数据的准确性和可靠性，为海洋环境监测提供可靠的基础数据保障。

为了对本发明的方法的可行性进行验证，选取了海水电导率剖面原始数据进行了计算，具体过程如图2所示，其中a.为电导率剖面原始数据；b.为电导率相对于水深压强的一阶差分；c.为通过“3σ法则”识别出的噪音(黑色实点)与消除噪音后的剖面数据(灰色实线)；d.为通过上下边界线均值求取的趋势项；e.为电导率距平值。

为了对本发明的方法的可行性进行验证，同时选取了利用emd方法、最小二乘法以及本发明方法分别求取距平进行了对比，图3为求取趋势项结果的对比，图4为求取距平结果的对比。其中图3(a)、图4(a)为海水电导率剖面原始数据，图3(b)与图4(b)分别为利用本发明方法求取的趋势项与距平，图3(c)与图4(c)分别为利用最小二乘法求取的趋势项和距平，图3(d)与图4(d)分别为利用emd方法求取的趋势项与距平。通过对比，三种方法均可给出原始剖面数据的变化趋势项，其中emd方法求取的趋势项最为平滑，相应的距平最为粗糙，最小二乘法求取的趋势项与距平次之，本发明方法求取的趋势项与距平最为精确，除噪音处相应距平较大，其他全部接近零，标明趋势项与去噪后的剖面数据基本一致。

通过emd方法以及最小二乘法与本发明方法进行对比，本方法在消除原始数据噪音且不再次引入噪音、最大限度保留剖面数据原始特性的前提下，避免多次重复，一次性求取海水剖面观测数据的精确趋势项，从而获得精确距平，为海水剖面观测数据奇异值的识别与剔除提供可靠的判别依据，保证观测数据的可靠性，为海洋环境监测提供可靠的数据保障。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。