雷达测元数据的递推诊断与自修复方法与流程
本发明属于航天测量与控制领域，是一种基于飞行目标外弹道的力学特性和雷达测量特点的雷测数据递推诊断与自修复方法。
背景技术：
随着我国航天测控任务密度的不断增加，测控新设备的陆续使用，在短周期、高精度条件下完成外测数据处理任务的需求显得越来越迫切。雷达是航天测控网的支柱性设备，但大多数雷达受测量体制限制，测量的精度依旧不高，测量数据的误差也比较大。为了更充分地利用好雷达测量数据，尽可能准确地排除异常数据干扰，寻找一种可以快速诊断雷达测元数据是否异常、并实现精确自修复的方法显得尤为重要，因为这是开展数据精细化处理的先决条件。
近两年来，火箭上面级外弹道数据处理任务持续增多，但由于国外建站成本高，风险大，能对火箭上面级实施测量的雷达设备只能维持在很少的数量，这必然导致测量精度受限。火箭上面级与基础级分离后，在大多数时间段都保持无动力飞行状态，仅仅依靠自身的滚转保持平衡，所以雷达获取的天线信号常常时有时无，其跟踪测量数据也会频繁出现中断或异常。为尽可能多地修复高频野值与长时段野值，确保孤立雷达的测量数据得到最大化利用，同样需要寻找一种可以快速诊断雷达测元数据是否异常、并实现精确自修复的方法。
根据火箭飞行弹道的力学特性，可知火箭在飞行过程中质量与受力都在不停改变，其飞行轨迹可以用三阶多项式或更高阶的多项式近似拟合。但是，如果将时间限制在很短的范围内，只要火箭飞行时刻不处于火箭动作特征点附近，就可以简化火箭飞行的动力学模型，认为火箭的质量与受力近似保持恒定不变，即可以在短弧段内将火箭飞行的测元(测角、测速、测距)数据用二阶多项式拟合，将测元数据的一阶差分用线性拟合，二阶差分用常数拟合。经实测数据检验，简化的模型在广泛应用中与实际情况基本一致。分析测元数据的一阶差分值与二阶差分值，是诊断识别异常数据的常用方法之一。
目前常用的雷达测元数据的异常值诊断修复方法主要有两类，一类是先用一阶差分、二阶差分及合理性检验识别出异常数据范围，然后用异常数据两边邻近的正常数据修复异常数据；另一类是先设定容错数据管道宽度，然后用容错滤波拟合出原始数据变化的趋势曲线，再用趋势曲线上的数据替代超出门限的异常数据。这两类方法通常都要求正常数据必须足够多，足够长，在异常数据较多、较长时，这两类方法还需要分步多次使用。一旦出现正常数据分布松散，且被大量异常数据淹没的情况，这两类数据修复方法就会凸显出严重的局限性，轻者，使修复结果出现较大偏差，重者，使修复过程出现中断，无法完成。
技术实现要素：
为了克服现有技术的不足，本发明提供一种雷达测元数据异常值递推诊断与自修复方法，把雷达测元数据分为正常数据、容错数据、异常数据三类，以飞行目标外弹道的力学特性和雷达测量特点为基础，通过数据列表合并与整理、数据检验窗口与门限设定、数据分类诊断与信息记录、数据循环自修复四个步骤，对全任务弧段雷达测元数据进行诊断修复，为后续数据处理提供可靠信息。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤一，辨识并合并同类测元数据的文本文件，包括测距、测角和测速三类数据，并给所述文本文件标注序号；按照序号大小依次读入各文本文件里的测元数据列表，并记录下对应数据列表的首时间及长度；采用冒泡法对合并后的所有数据按时间先后顺序进行排序，形成新的时间递增的总数据列表；
将数据列表中相邻两行数据对应时间之差小于设定门限的点视为重复的点，称为重点，保留与前一相邻数据相比绝对值最小的点；对于相邻两行数据对应时间间隔大于1.5倍正常数据采样间隔的，将两行的中间时间点视为缺失的点，称为丢点，等时间间隔补齐丢点并将该点时间对应的数据值赋为0；
步骤二，设定异常数据的检验门限、容错数据的检验门限以及正常数据一阶差分波动的检验门限；把数据序列中的所有数据分为正常数据、容错数据和异常数据三类；把容错数据与异常数据统一称为非正常数据；大于等于异常数据检验门限的数据判定为异常数据；小于异常数据检验门限，但大于等于容错数据检验门限的数据判定为容错数据；小于容错数据检验门限的数据判定为正常数据；在数据序列中选取设定位置和设定长度的正常数据作为数据检验窗口，数据检验窗口中的数据及其一阶差分值、二阶差分值作为数据检验窗口的初始数据；
步骤三，通过不同的方法计算数据序列二阶差分的绝对值；根据异常数据的长短和正常数据的段落序号，确定各种方法计算的二阶差分绝对值的适用范围和使用节点，以所述绝对值不同组合的最小值，遴选出不同类型数据的诊断依据；将诊断依据分别与所述的异常数据检验门限、容错数据检验门限以及正常数据一阶差分波动检验门限相比较，判断数据的种类是正常数据、容错数据还是异常数据，判断正常数据一阶差分波动是否大于设定值；对异常数据进行初步修复，对异常数据相关的一阶差分值、二阶差分值进行初步修复，对容错数据相关的一阶差分值、二阶差分值进行修复；
记录正常数据、容错数据还是异常数据的段落数，记录每段数据的起止时间、起止序号和长短，记录每个数据的类别，记录每段正常数据最后一点数据值及其一阶差分结果的最后一点值，生成数据信息记录文件，并根据数据判断与初步修复结果，记录数据初步修复结果文件；
步骤四，将正常数据与容错数据称为好数据，用初步修复结果替换孤立异常数据或小斑点异常数据，所述的孤立异常数据是指该异常数据两边均为好数据，小斑点异常数据是指该段异常数据连续的点数小于设定数值；在小斑点长度上增加一个与小斑点长度相同的小步长，作为新步长，改用最小二乘正交多项式修复长度小于等于新步长的斑点异常数据，再循环增加相同的小步长作为新步长，继续用最小二乘正交多项式继续修复小于等于新步长的斑点异常数据，直至所有可以修复的异常数据全部被修复，最后再用拉格朗日混合插值修复未修复的异常数据，并把时间对齐到整秒上；根据不同阶段修复数据的结果，记录成不同的修复结果文件；
返回步骤二，用原始数据或修复的结果数据动态更新窗口中所有检验数据；在包括正常数据和修复数据的数据序列中将窗口向后逐点滑动并重复步骤二至四，直至遍历数据序列中所有点。
所述的步骤一中，采用冒泡法对合并后的所有数据进行排序前检验所有数据列表的时间，对于存在跨日现象的数据列表进行跨日处理。
所述的步骤三中，计算数据序列二阶差分的绝对值的不同方法包括：
1)用原始数据与检验数据求二阶差分绝对值；
2)用前一段正常数据求二阶差分值绝对值；
3)用再前一段正常数据求二阶差分值绝对值；
4)用前一段正常数据的最后一点值与到第i+1点间每一点一阶差分的第二种预测值求二阶差分绝对值；
5)求原始数据的二阶差分绝对值；
6)先用第i点一阶差分的第二种线性预测值与前一段正常数据一阶差分的最后一点值求一阶差分中点平均值，再用第i+1数据与前一段正常数据最后一点值求一阶差分平均值，然后两平均值作差，求二阶差分值绝对值；
7)先用第i点一阶差分第二种线性预测值与再前一段正常数据一阶差分最后一点值求一阶差分中点平均值，再用第i+1数据与再前一段正常数据最后一点值求一阶差分平均值，然后两平均值作差，求二阶差分值绝对值；
8)用第i点一阶差分第一种线性预测值与第i点一阶差分值作差，求二阶差分值绝对值；
9)用第i点一阶差分第一种线性预测值与第i点一阶差分值作差，求二阶差分值绝对值；
10)用第i点一阶差分与前一段正常数据一阶差分最后一点之差，求二阶差分值绝对值；
11)用第i点一阶差分与再前一段正常数据一阶差分最后一点之差，求二阶差分值绝对值；
12)先引入第i+1点数据计算得到第i点一阶差分预测值，再用该预测值与前段包含已正确修复的正常数据最后9个一阶差分的平均值作差并取平均，最后求二阶差分值绝对值；
13)先引入第i+1点数据计算得到第i点一阶差分预测值，再用该预测值与再前段包含已正确修复的正常数据最后9个一阶差分的平均值作差并取平均，最后求二阶差分值绝对值；
14)用第i+1点原始数据与第i-1点检验数据和第i-1点一阶差分检验值，求两点之间二阶差分平均值的绝对值；
15)用第i+1点原始数据与第i-2点检验数据和第i-2点一阶差分检验值，求两点之间二阶差分平均值的绝对值；
16)先用第i+1数据与前一段正常数据最后一点值求一阶差分平均值，再用该平均值与前一段正常数据一阶差分最后一点的第二种预测值，求二阶差分的绝对值；
17)先用第i+1数据与再前一段正常数据最后一点值求一阶差分平均值，再用该平均值与再前一段正常数据一阶差分最后一点的第二种预测值，求二阶差分的绝对值；
18)直接用第i点一阶差分原始值与前一段正常数据一阶差分最后一点的第二种预测值作差，求二阶差分的绝对值；
19)直接用第i点一阶差分原始值与再前一段正常数据一阶差分最后一点的第二种预测值作差，求二阶差分的绝对值。
所述的步骤三中，所述的数据序列二阶差分使用被检测数据、被检测数据前的正常数据及已修复的检验数据进行计算，或者使用被检测数据前所有正常数据及修复检验数据的预测值、差分值进行计算。
所述的数据修复包括修复异常数据，以及与1个异常数据相关的2个一阶差分值和3个二阶差分值，也包括修复1个异常数据相关的2个一阶差分值和3个二阶差分值；如果两个正常数据之间的一阶差分大于正常数据一阶差分波动的检验门限，则需要根据被检验数据前正常数据连续出现的个数重新判定前一数据为正常数据还是容错数据，如果正常数据连续出现的个数大于1，则认为前一数据是正常数据，仅仅修复波动的一阶差分值及与之相关2个二阶差分值；如果正常数据连续出现的个数等于1，则重新判定前一数据为容错数据，此时不仅要修复与前一数据相关的2个一阶差分值和3个二阶差分值，还需要重新修复用前一数据修复的所有非正常数据。
本发明的有益效果是：
1)可以采用分块标识、冒泡排序法，对多文件记录的雷测数据列表按时间先后顺序进行快速稳定排序；
2)可以采用逐点差分比对方法，批处理完成多数据列表中数据的重点剔除、丢点补齐工作；
3)可以采用多重判别门限，细化数据种类，诊断识别出雷测数据列表中孤立的、分布松散的正常数据，保留接近正常数据值的容错数据；
4)可以快速修复雷测数据列表中频繁出现的大量的小斑点(小于等于5点)异常数据和夹在短时段(小于等于5点)好数据中的大斑点(大于5点)异常数据；
5)可以递进精准自动修复雷测数据列表中的异常数据，避免单次修复时计算方法的误差偏大，多次修复时计算过程的时间冗长等问题，提升雷达测元数据自修复效率；
6)可以推广应用到导弹数据、卫星数据的分析处理领域，为异常值诊断、识别与修复提供新的研究思路。
附图说明
图1是三次任务全弧段测距数据修复结果比对图；
图2是一次任务三段数据修复结果比对图，其中图(b)、(c)是采用同一段数据不同异常数据检验门限值获取的修复结果比对图；
图3是本发明的流程框架图；
图4是数据合并排序及等间距整理的流程图；
图5是数据窗口滑动赋值及门限设计流程图；
图6是数据诊断初修复及分类信息记录流程；
图7是数据迭代精修复及结果生成流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
本发明包括以下步骤：
一、数据列表合并与整理，该步骤由多数据文件合并与数据列表整理两步组成。
1.测元数据合并
测元数据合并指合并多个相同测元数据文件为一个文件。完成该步首先需要辨识记录同类测元(测距、测角、测速)数据的文本文件，并给这些文件的名称中标注上序号；其次需要按照文件名中序号的大小依次读入各文件里的测元数据列表，并记录下对应数据列表的首时间及长度；然后需要检验所有数据列表的时间，看是否存在跨日现象(从86400秒跳变到0秒)，如果存在，则必须先对数据列表进行跨日处理；最后需要依据已记录的各数据列表的首时间及长度，采用冒泡排序法对合并后的所有数据按时间先后顺序进行稳定排序，形成新的时间递增的总数据列表。
2.数据列表整理
数据列表整理指剔除合并后的数据列表中的重点(相邻两行数据对应时间之差小于等于0.000001秒的点)，等间隔补齐丢点(相邻两行数据对应时间间隔大于1.5倍正常数据采样间隔，两行中间时间缺失的点)。完成该步首先需要检查测元数据是否包含方位角数据，如果包含，就必须对“方位角过零跳变(方位角从接近0度突变到接近360或从接近360度突变到接近0度)”进行处理；其次需要依据数据列表的时间检查数据列表中出现的重点，仅保留与前一相邻数据相比绝对值最小的点(如相同，可保留任意一点)，剔除其它重点；然后需要依据数据列表的时间变化大小等间距补齐数据列表中丢失的点，给所有补点时间对应的数据值赋0，并用数组记录下非等间距变化的时间；最后根据不同阶段对数据列表的处理情况生成记录重点、丢点对应时间及对应序号的文件，仅剔除重点数据的文件和剔除重点数据且补齐丢点数据的文件。
二、数据检验窗口与门限设定，该步骤在数据列表整理结果的基础上进行，由数据检验窗口设定与数据检验门限设定两步组成。
1.数据检验窗口设定
本发明把数据序列中的所有数据分为正常数据、容错数据、异常数据三类。把容错数据与异常数据统一称为非正常数据，把检验窗口中的数据及其一阶差分值、二阶差分值统一称为检验数据。雷达测元数据列表在本发明中用时间等间隔采样的数据序列表示。数据检验窗口设定指先在数据序列中选取特定位置、特定长度的正常数据，计算其一阶差分值、二阶差分值作为检验窗口的初始数据(本发明选用数据序列的头10个正常数据的一阶差分值与二阶差分值)，然后在诊断修复数据的基础上将窗口以固定长度向后逐点滑动，最后用原始数据或修复的结果数据动态更新该窗口中所有检验数据。
2.数据检验门限设定
数据检验门限设定指确定异常数据的检验门限，容错数据的检验门限与正常数据一阶差分波动的检验门限。
正常数据为与数据序列整体变化趋势相吻合的数据；容错数据为轻微偏离正常数据变化趋势的数据；异常数据为严重偏离正常数据变化趋势的数据。其中异常数据检验门限用于诊断识别异常数据，容错数据检验门限用于诊断识别容错数据，一阶差分波动检验门限用于检查修复数据后首个正常数据是否误判或用于限制正常数据间一阶差分值出现较大幅度波动。
大于等于异常数据检验门限的数据判定为异常数据，异常数据必须修复，与1个异常数据相关的2个一阶差分值，3个二阶差分值也必须修复。小于异常数据检验门限，但大于等于容错数据检验门限的数据判定为容错数据，容错数据不需要修复，但1个异常数据相关2个一阶差分值，3个二阶差分值也必须修复。小于容错数据检验门限的数据判定为正常数据，正常数据同样不需要修复，但如果两正常数据之间的一阶差分出现较大波动，则需要根据被检验数据前正常数据连续出现的个数重新判定前一数据仍为正常数据还是容错数据。
如果正常数据连续出现的个数大于1，表明被检数据与前两个数据都已判定为正常数据，此时认为前一数据一定是正常数据，仅仅修复波动的一阶差分值及与之相关2个二阶差分值即可。如果正常数据连续出现的个数等于1，考虑到前一数据此前判定为正常数据受修复数据影响较大，可以重新判定前一数据为容错数据，此时不仅要修复与前一数据相关的2个一阶差分值，3个二阶差分值，还需要重新修复用前一数据修复的所有非正常数据。
异常数据检验门限与容错数据的检验门限通过检验窗口内检验数据的一阶差分值与二阶差分值共同确定，区别只是门限大小不同。正常数据一阶差分波动的检验门限则由检验窗口内检验数据一阶差分的不同的线性预测值共同确定。
三、数据分类诊断与信息记录，该步骤在数据检验窗口设定与数据检验门限确定后进行，由数据分类依据计算、数据诊断与初步修复、数据信息记录三步组成。
1.数据分类依据计算
数据分类依据计算指模拟人脑判断原则，设计出尽可能多的方法(本发明设计了19种计算方法)，计算数据序列二阶差分的绝对值。
计算这些二阶差分的绝对值(即数据分类依据)，可以使用被检测数据，被检测数据前的正常数据及已修复的检验数据，也可以使用被检测数据前所有正常数据及修复检验数据的预测值，差分值，但绝不能使用容错数据。
2.数据诊断与初步修复
数据诊断与初步修复指先根据异常数据的长短和正常数据的段落序号，确定上述19种二阶差分绝对值的适用范围和使用节点，再以这些绝对值不同组合的最小值，遴选出不同类型数据的诊断依据，然后用诊断依据分别与三重检验门限相比较，判断数据的种类是正常数据、容错数据还是异常数据，判断正常数据一阶差分波动是否偏大，最后完成异常数据初步修复，与异常数据相关的一阶差分值、二阶差分值初步修复，及与容错数据相关的一阶差分值、二阶差分值初步修复。所有的数据初步修复工作都是为了确保滑动窗口的检验数据在非特征点时间附近，不出现大幅跳变，能够成为准确识别后续数据种类的可靠依据。
3.数据信息记录
数据信息记录指记录各类数据的段落数，每段数据的起止时间、起止序号和长短，每个数据的类别，每段正常数据最后一点数据值及其一阶差分结果的最后一点值，生成数据信息记录文件，并根据数据诊断与初步修复结果，记录数据初步修复结果文件。
本发明在记录诊断与初步修复结果数据时，将包含有容错数据的文件和不包含容错数据的文件分开记录。为方便叙述，将前者称为好数据(含正常数据与容错数据)文件，后者称为正常数据文件。
四、数据循环自修复，该步骤在好数据文件的基础上进行，由异常值循环自修复与数据精修复结果生成两步组成。
1.异常值循环自修复
异常值循环自修复指先用诊断修复值替换孤立的(该异常数据两边均为好数据)或小斑点异常数据(该段异常数据连续的点数小于等于5)，然后在小斑点长度上增加一个小步长(5点)，改用最小二乘正交多项式修复长度小于等于新步长(10点)的斑点异常数据，再循环增加相同的小步长(5点)，继续用最小二乘正交多项式继续修复小于等于新步长(15点)的斑点异常数据，直至所有可以修复的异常数据全部被修复，最后再用拉格朗日混合插值修复那些未修复的异常数据，并把时间对齐到整秒上。
2.数据精修复结果生成
数据精修复结果生成指根据不同阶段修复数据的结果，记录成不同的修复结果文件。数据修复结果生成的目的是为了检查不同阶段数据序列的修复效果，确保最终修复结果可靠。
如图3所示，本发明的实施例包括以下步骤：
1.数据列表合并与整理步骤说明
在数据列表文件合并时，需要检验时间是否存在跨日现象(从86400秒跳变到0秒)。依据每日有86400秒和上面级飞行时间小于12小时的前提条件，可知数据序列的时间总长度小于12小时。如果数据序列的首时间大于中午12时(即43200秒)，且数据列表中后续时间有跨日现象出现，则需要在跨日后的时间上统一都加86400秒，确保数据列表对应的时间序列不出现跳变，保持连续。
将多个文件的数据列表合并到同一个文件中时，读入各文件名的序号按ascii码字符读入，比对这些序号的大小时则按十进制整数计算，记录各文件中数据列表的首时间与长度，主要是为了快速稳定排序，即只针对各数据列表首时间进行冒泡排序，然后对各数据列表对应长度的内容进行整块移动。
方位角过零跳变处理参照方位角每360度呈周期性变化完成，若相邻两行的方位角数据之差大于330度且两方位角中前一方位角数据大于330度或小于30度，则为了确保方位角数据变化连续，不发生跳变，需在两方位角中后一方位角数据上对应增加360度或减少360度。
重点识别，用该点时间与前一点时间之差是否小于等于0.000001秒来完成，若小于等于0.000001秒，则判定此两点为重点。重点剔除则先用两重点对应数据分别与前一非重点数据做差，然后比对差值绝对值的大小，剔除绝对值偏大的点，保留绝对值小的点。
丢点判断，用该点时间与前一点时间之差是否大于正常数据时间间隔的1.6倍来完成，若大于1.6倍，则判定此两点间存在丢点。等间隔丢点补齐，以不破坏正常数据、保留原始数据为原则。若与前一数据对应时间相比，时间间隔大于正常数据时间间隔的1.6倍，则直接在前一时间基础上逐一加正常数据的时间间隔，直至新时间与该点时间间隔不再大于正常数据时间间隔的1.6倍；若时间间隔小于等于正常数据时间间隔的1.6倍，大于正常数据时间间隔的1.01倍，或小于等于正常数据时间间隔的0.99倍，大于0.000001秒，则认定该点数据为异常数据，只用前一点时间正确值加正常时间间隔替换该点时间即可，后续数据及对应时间仍保持不变。为方便识别，所有补齐时间对应的丢点数据都用数值0填补。在等间距补齐过程中，还需要检查补齐数据对应的最后一点时间与其后第一点原始数据对应时间之差，若差值小于等于0.000001秒，则直接剔除新补齐的最后一点数据及其对应时间。
2.数据检验窗口与门限设定
本发明以头10个正常数据为第1个检验窗口，则此窗口数据计算的前9个一阶差分值，前8个二阶差分值均为正常结果。第10个一阶差分预测值即可以用前9个正常数据一阶差分值或修复数据一阶差分值的最小二乘线性预测获取，也可以用前面相距一段距离(可以设定相距为5个数)的两个窗口的正常一阶差分的移动平均值列直线方程获取。为尽可能使窗口数据的二阶差分计算结果客观反映二阶差分的实际大小，二阶差分检验标准用前8个正常二阶差分值的均方根值、前9个一阶差分的标准偏差值及前9个一阶差分的残差平均值共同确定。
为描述方便，本发明用以下符号对雷达测元数据等间隔采样序列进行定义：
记雷达测元的原数据序列为{x(ti)|t＝t+ih,i＝1,2,3,…n}，(h表示采样间隔)
一阶差分序列为{xc1(ti)|t＝t+ih,i＝1,2,3,…n-1}，
二阶差分值序列{xc2(ti)|t＝t+ih,i＝1,2,3,…n-2}；
再记该测元对应的检验数据序列为{xj(ti)|t＝t+ih,i＝1,2,3,…n}，
一阶差分值为{xj1(ti)|t＝t+ih,i＝1,2,3,…n-1}，
二阶差分值为|{xj2(ti)|t＝t+ih,i＝1,2,3,…n-2}，
记第m个检验窗口一阶差分值为{xj1(ti)|t＝t+ih,i＝m-1,m-2,…m-9}。
简记x(ti)为xi或x(i)，xc1(ti)为xc1i或xc1(i)，xc2(ti)为xc2i或xc2(i)，xj(ti)为xji或xj(i)，xj1(ti)为xj1i或xj1(i)，xj2(ti)为xj2i或xj2(i)。
窗口过长，会使连续正常数据要求提高，且一阶差分值线性减弱，窗口过短，会使单一数据变化影响剧烈，且计算结果统计规律偏差增大。本发明为计算方便，设定检验数据窗口长度为10，这个长度在雷测数据采样频率为20点/秒时，相当于0.5秒数据，在雷测数据采样频率为2点/秒时，相当于5秒数据，基本符合非特征点时间附近，短时段内飞行目标受力不变的假设。所以在本发明中，可以认为窗口内检验数据的一阶差分近似为线性变化，二阶差分近似为恒定值。
由于窗口内检验数据是判断识别后续数据是否异常的基础，所以本发明可以应用的前提条件就是第一次选用的窗口检验数据必须全部为正常值，即数据序列的头10个数据必须为正常数据。且用这10个数据计算的9个一阶差分值，8个二阶差分值也必须为正常值。当然为了检验可以持续准确地完成，本发明要求窗口在滑动更新过程中检验数据也应始终保持为接近正常值。
由于检验数据的二阶差分的幅值，符号都在不停变化，单一的统计计算结果很难客观准确地反映二阶差分真值，所以在本发明中，采用窗口内检验数据计算8个二阶差分值的均方根值、9个一阶差分的标准偏差值及9个一阶差分的残差平均值，共同获取二阶差分的真值。
1)求二阶差分值的均方根值jfg0，jfg
式中jfg0表示首个数据检验窗口中正常数据二阶差分值统计的均方根值，jfg表示后面任意一个检验窗口中数据二阶差分统计的均方根值。此统计结果的缺点是，只考虑了幅值的变化，若二阶差分值正负交替均匀变化，会使统计结果偏大。
2)求一阶差分的标准偏差stv
式中
3)求一阶差分的绝对残差平均值ccz
此统计结果作为标准偏差stv的补充，防止单一的一阶差分值影响偏大。
4)用最小二乘线性预测法求滑动窗口内检验数据一阶差分值的线性预测结果
式中b为9点最小二乘线性估计系数阵，
式中
式中
my1＝|xy2(i+1)-xy1(i)|(8)
式中my1表示最小二乘线性预测法计算的一阶差分波动值。
5)用移动平均线性预测法求滑动窗口内检验数据一阶差分值的线性预测结果
为了减少各种窗口数据的计算量，本发明移动平均窗口的数据值直接使用滑动检验窗口的数据值。但是由于初始检验窗口为数据序列的头10个数据，检验过程是从数据序列的第11个数据开始，且被检验数据前的正常数据只有一段时和有多段时检验标准不同，所以需要分四种情况用移动平均法计算一阶差分的线性预测值
为了在后续诊断识别第i+1点数据的种类时，不重新分情况计算被检数据与前面正常数据之间一阶差分的平均值和一阶差分的线性预测值
为描述方便，下文中用zd表示正常数据段落的序号，用“前一段正常数据”表示第i点数据所在段落之前的正常数据段落，用“再前一段正常数据”表示在第i点数据所在段落之前，且与第i点数据所在段落相隔一个非正常数据段落的正常数据段落。
①第一种情况，正常数据段落数zd＝1，前一段正常数据最后一点序号大于等于10且小于等于15；
计算移动窗口一阶差分数据xj1(i-k1-1)、xj1(i-k1-2)、xj1(i-k1-3)、……、xj1(i-k1-9)的平均值xp1。
k1＝i+1-zhe(zd)(9)
式中zhe(zd)表示前一段正常数据最后一点在数据序列中的序号，k1表示第i+1点数据到前一段正常数据最后一点之间的数据间隔数，xp1表示前一段正常数据一阶差分最后9点的平均值。
用第i+1点数据x(i+1)与前一段正常数据最后一点计算两数据之间的一阶差分平均值yp1。
式中zge(zd)表示前一段正常数据最后一点数据值。
用xp1与首段正常数据一阶差分的第一点值xc1(1)，计算第i点一阶差分的预测值
式中ypz(i)表示第i点一阶差分预测值
用xp1与首段正常数据一阶差分的第一点值xc1(1)，计算第i-k1点一阶差分的预测值
式中pcg(zd)表示第i-k1点一阶差分预测值xc1(i-k1)yc2-1是用前一段正常数据一阶差分的平均值计算得到的，该值也为前一段正常数据一阶差分最后一点的预测值。
用yp1与首段正常数据一阶差分的第一点值xc1(1)，计算第i点一阶差分的预测值
式中ypj(i)同样为第i点一阶差分预测值，但由于引入了未知类别的第i+1点数据，该一阶差分值有可能也表现为异常。
式中my2表示用移动平均线性预测法获得的一阶差分波动值。
②第二种情况，正常数据段落数不为1，再前一段正常数据最后一点序号大于等于10且小于等于15；
计算移动窗口一阶差分数据xj1(i-k2-1)、xj1(i-k2-2)、xj1(i-k2-3)、……、xj1(i-k2-9)的平均值xp2
k2＝i+1-zhe(zd-1)(16)
式中zhe(zd-1)表示再前一段正常数据最后一点在数据序列中的序号，k2表示第i+1点数据到再前一段正常数据最后一点之间的数据间隔数，xp2表示再前一段正常数据一阶差分最后9点的平均值。
用第i+1点数据x(i+1)与再前一段正常数据最后一点计算两数据之间的一阶差分平均值yp2。
式中zge(zd-1)表示再前一段正常数据最后一点数据值。
用xp2与首段正常数据一阶差分的第一点值xc1(1)，计算第i-k2点一阶差分的预测值
式中pcg(zd-1)表示第i-k2点一阶差分预测值xc1(i-k2)yc2-1是用再前一段正常数据一阶差分的平均值计算得到的，该值也为再前一段正常数据一阶差分最后一点的预测值。在第二种情况下，
③第三种情况，正常数据段落数zd＝1，且前一段正常数据最后一点序号大于15；
计算移动窗口一阶差分数据xj1(i-k1-6)、xj1(i-k1-7)、xj1(i-k1-8)、……、xj1(i-k1-14)的平均值xp3。
式中xp3为前一段正常数据一阶差分倒数第14点至倒数第6点的平均值。
计算第i点一阶差分预测值
用移动平均线性预测法获得的一阶差分波动值。
④第四种情况，正常数据段落数不为1，且再前一段正常数据最后一点序号大于15。
计算移动窗口一阶差分数据xj1(i-k2-6)、xj1(i-k2-7)、xj1(i-k2-8)、……、xj1(i-k2-14)的平均值xp4。
式中xp4为再前一段正常数据一阶差分倒数第14点至倒数第6点的平均值。
用xp2与xp4，计算第i-k2点一阶差分的预测值
在第四种情况下，
检验异常数据与容错数据时，主要观察被检数据二阶差分的计算结果偏离正常数据二阶差分值的大小，而长时段出现坏数据会造成二阶差分的均方根值严重偏离真实情况，所以设计异常数据检验门限与容错数据检验门限时，会选取jfg、stv、ccz的最小值。又因为，长时段单调变化的一阶差分结果会造成stv、ccz严重偏小，长时段近似恒定的一阶差分会造成jfg接近于0，所以设计异常数据检验门限与容错数据检验门限时，还需要对jfg、stv、ccz设定下限。
6)异常数据检验门限mx1与容错数据检验门限mx2计算
式中me是用窗口检验数据的一阶差分值与二阶差分值统计得到的二阶差分近似真值，当min(jfg,stv,ccz)小于等于0.1时，依据经验，可令me＝0.1。xs1是异常数据门限的系数，该值可以根据异常值检验的需要选择大小。通常情况下，为了尽可能多地保留正常数据和容错数据，该值不宜选太小，当然为了避免放进过多的异常数据，该值也不宜选太大。依据经验该值在50～10000之间选择均可以。xs2是容错数据检验门限的系数，该值应远小于xs1，但也且不宜选大或选小。若考虑到只有收紧检验门限，才能尽可能准确地找出真实的正常数据，识别容错数据，该值需要减小。但若考虑该值太小，就会使正常数据进入太少，造成有用信息大量丢失，甚至使后续诊断识别无法进行，该值就需要增大。所以依据经验该值在10～50之间选较为合适。
检验一阶差分波动时，主要观察两种一阶差分线性值的变化情况，为了避免单一的预测方法误判一阶差分波动过大，尽可能将一阶差分的波动限制在最小范围内，控制其对二阶差分的影响，通常以变化较小的线性预测值为一阶差分波动检验门限的基准。但是，考虑到长时间使用修复数据计算的一阶差分变化量会很小，与实际情况不符，所以对一阶差分预测值之差同样需要设定下限。
7)一阶差分波动检验标准计算
式中my是检验一阶差分波动量的二阶差分值，是两种一阶差分预测值中差值较小的数，当min(my1,my2)的值小于等于jfg0的一半时，依据经验，可以令my＝0.5·jfg0。xs3作为检验一阶差分波动的门限系数，大小与xs2相差不大，且存在关联。为严格控制正常数据一阶差分的波动。依据经验，xs3值一般都小于xs2，通常在5～20之间选择。
3.数据分类诊断与信息记录
为了准确判断第i+1点数据x(i+1)的种类，减少误判发生的几率，本发明设计的19种计算二阶差分绝对值的方法如下。
1)用原始数据与检验数据(可以是原始数据赋值，也可以是修复的且认定为正常的数据赋值)的求二阶差分绝对值ep0。
ep0＝|x(i+1)-xj(i)-xj1(i-1)|(29)
式中xj(i)为第i点检验数据，xj1(i-1)检验数据第i-1点一阶差分值。
2)用前一段正常数据求二阶差分值绝对值ep1
式中zcg(zd)是前段正常数据一阶差分的最后一点值。
3)用再前一段正常数据求二阶差分值绝对值ep2
式中zcg(zd-1)是再前一段正常数据一阶差分的最后一点值。
4)用前一段正常数据的最后一点值与到第i+1点间每一点一阶差分的第二种预测值求二阶差分绝对值ep3
5)求原始数据的二阶差分绝对值ep4
ep4＝|x(i+1)-x(i)-xc1(i-1)|(33)
6)先用第i点一阶差分的第二种线性预测值与前一段正常数据一阶差分的最后一点值求一阶差分中点平均值，再用第i+1数据与前一段正常数据最后一点值求一阶差分平均值，然后两平均值作差，求二阶差分值绝对值ep5。
7)先用第i点一阶差分第二种线性预测值与再前一段正常数据一阶差分最后一点值求一阶差分中点平均值，再用第i+1数据与再前一段正常数据最后一点值求一阶差分平均值，然后两平均值作差，求二阶差分值绝对值ep6。
8)用第i点一阶差分第一种线性预测值与第i点一阶差分值作差，求二阶差分值绝对值ep7。
9)用第i点一阶差分第一种线性预测值与第i点一阶差分值作差，求二阶差分值绝对值ep8。
10)用第i点一阶差分与前一段正常数据一阶差分最后一点之差，求二阶差分值绝对值ep9。
ep9＝|(xc1(i)-zcg(zd)/k1|(38)
11)用第i点一阶差分与再前一段正常数据一阶差分最后一点之差，求二阶差分值绝对值ep10。
ep10＝|(xc1(i)-zcg(zd-1)/k2|(39)
12)先引入第i+1点数据计算得到第i点一阶差分预测值ypj(i)，再用该预测值与前段正常数据(包含已正确修复的数据)最后9个一阶差分的平均值作差并取平均，最后求二阶差分值绝对值ep11。
ep11＝|(ypj(i)-xp1)/(k1+4)|(40)
13)先引入第i+1点数据计算得到第i点一阶差分预测值ypj(i)，再用该预测值与再前段正常数据(包含已正确修复的数据)最后9个一阶差分的平均值作差并取平均，最后求二阶差分值绝对值ep12。
ep12＝|(ypj(i)-xp2)/(k2+4)|(41)
14)用第i+1点原始数据与第i-1点检验数据和第i-1点一阶差分检验值，求两点之间二阶差分平均值的绝对值ep13
15)用第i+1点原始数据与第i-2点检验数据和第i-2点一阶差分检验值，求两点之间二阶差分平均值的绝对值ep14
16)先用第i+1数据与前一段正常数据最后一点值求一阶差分平均值，再用该平均值与前一段正常数据一阶差分最后一点的第二种预测值，求二阶差分的绝对值ep15。
ep15＝|yp1-pcg(zd)|(44)
17)先用第i+1数据与再前一段正常数据最后一点值求一阶差分平均值，再用该平均值与再前一段正常数据一阶差分最后一点的第二种预测值，求二阶差分的绝对值ep16。
ep15＝|yp2-pcg(zd-1)|(45)
18)直接用第i点一阶差分原始值与前一段正常数据一阶差分最后一点的第二种预测值作差，求二阶差分的绝对值ep17。
ep17＝|xc1(i)-pcg(zd)|(46)
19)直接用第i点一阶差分原始值与再前一段正常数据一阶差分最后一点的第二种预测值作差，求二阶差分的绝对值ep18。
ep18＝|xc1(i)-pcg(zd-1)|(47)
要准确判断第i+1数据的属于哪一类数据，除了需要了解该点前非正常数据的长短、正常数据的段落序号外，还必需知道已知第i点之前(包含第i点)所有数据的类型。通过将二阶差分绝对值不同组合的最小值值放在不同的节点上，可以较好地完成数据分类识别，也便于异常数据及容错数据一阶差分值、二阶差分值的初步修复，并有效控制正常数据一阶差分值、二阶差分值的波动。
识别数据种类，先识别异常数据，然后识别容错数据，最后识别正常数据中一阶差分存在波动的数据。上述19种二阶差分绝对值(即数据分类依据)不同组合的最小值是识别数据种类的诊断依据。当诊断依据大于等于mx1时，认为被诊断数据为异常数据；当诊断依据小于mx1，且大于等于mx2时，认为被诊断数据为容错数据；当诊断依据小于mx2，且大于等于mx3时，认为被诊断数据为一阶差分波动较大的正常数据。
当正常数据仅有一段时，若第i点数据是正常数据，仅需比较ep4与mx1的大小，在ep4大于等于mx1时，判别第i+1点数据为异常数据。若第i点数据是异常数据或容错数据，还需要根据非正常数据连续出现的长短来进一步选择诊断依据。如果连续的非正常数据个数小于等于5点，则直接采用ep0与ep3的最小值与mx1进行比较，在最小值大于等于mx1时，判别第i+1点数据为异常数据。如果连续的非正常数据个数大于5点，考虑到修复数据结果可能出现偏差，需增加诊断依据，采用ep0、ep3、k1·ep5、(k1+4)·ep11的最小值与mx1进行比较，在最小值大于等于mx1时，判别第i+1点数据为异常数据。
当正常数据出现两段以上后，考虑到修复数据的影响，不仅可以利用前一段的正常数据来判别第i+1点数据的种类，还可以用再前一段的正常数据来增加诊断依据。若第i点数据是正常数据，且该段正常数据点数为1，则需要根据该数据前面连续非正常数据的点数选择判别异常数据的依据。当连续非正常数据点数大于6时，以ep0、ep3、k2·ep6、(k2+4)·ep12的最小值为诊断依据，当连续非正常数据点数小于等于6时，以ep0、ep3的最小值为诊断依据。若第i点数据是正常数据，且该段正常数据点数大于等于2，则直接以ep0、ep3、ep13、ep14的最小值为诊断依据。若第i点数据是异常数据或容错数据，仍需根据该数据前面连续非正常数据的点数选择判别异常数据的依据。当连续非正常数据点数大于5时，以ep0、ep3、k1·ep5、(k1+4)·ep11的最小值为诊断依据，当连续非正常数据点数小于等于5时，以ep0、ep3的最小值为诊断依据。
若第i+1点数据判别为异常数据，则先采用一阶差分第一种预测值
若第i+1点数据判别为非异常数据，则需要进一步使用容错数据判别门限和诊断依据继续比较，找出正常数据。与判别异常数据类似，判别容错数据同样需要根据第i点数据的种类及正常数据的段落数分情况讨论。
在非正常数据中，当正常数据仅有一段时，若第i点数据是正常数据，判别第i+1点数据是否为容错数据只需比较ep4与mx2的大小即可。即在ep4大于等于mx2时，判别第i+1点数据为容错数据。
当正常数据出现两段以上后，判别容错数据同样需要考虑修复数据的影响，也同样可以利用前一段和再前一段正常数据建立诊断依据。若第i点数据是正常数据，且该段正常数据点数为1，则需要根据该数据前面连续非正常数据的点数选择判别容错数据的依据。当连续非正常数据点数大于6时，以ep0、ep3、k2·ep6、(k2+4)·ep12、k2·ep2、ep7、ep8、k2·ep10、ep16的最小值为诊断依据，当连续非正常数据点数小于等于6时，以ep0、ep3、k2·ep2、k2·ep6、ep7、ep8的最小值为诊断依据。若第i点数据是正常数据，且该段正常数据点数大于等于2，则直接以ep0、ep3、ep13、ep14、ep7、ep8、ep15的最小值为诊断依据。若第i点数据是异常数据或容错数据，同样需根据该数据前面连续非正常数据的点数选择判别容错数据的依据。当连续非正常数据点数大于5时，以ep0、ep3、k1·ep5、(k1+4)·ep11、ep7、ep8、k1·ep1、k1·ep9、ep17的最小值为诊断依据，当连续非正常数据点数小于等于5时，以ep0、ep3、ep7、ep8的最小值为诊断依据。
若第i+1点数据判别为容错数据，则除了不修复容错数据本身外，其它与该数据相关的数据均需要重新计算。它们既包括与该容错数据对应的检验数据，也包括与该数据相关的2个一阶差分值、3个二阶差分值及对应检验数据的一阶差分值、二阶差分值。
在第i点数据为正常数据时，若第i+1点数据判别仍为正常数据，为防止其一阶差分波动偏大造成二阶差分统计值倍增，需要用一阶差分波动检验门限对波动大的一阶差分值进行先判别，后修正。针对非首段正常数据，若第i点数据为正常数据，且该段正常数据点数为1，则说明该数据前面的数据必为修复数据。这时选用的一阶差分波动诊断依据是ep4、ep7、ep18的最小值。当该最小值大于一阶差分波动检验门限mx3时，可重新认为第i点数据为容错数据，第i+1点数据才为新正常数据段落的第一点数据。这时需要对第i点数据按容错数据修复的方法进行补充修复。若第i点数据为正常数据，且该段正常数据点数大于等于2，则表明正常数据加上第i+1点已连续出现3个。此时选用的一阶差分波动诊断依据直接用检验数据的第i-1点二阶差分。当该二阶差分大于一阶差分波动检验门限mx3时，只需用移动平均线性预测法计算的第i一阶差分预测值替换检验数据一阶差分值，并重新计算与其相关的2个检验数据二阶差分值即可，不需要对其它数据进行任何计算和替换。
为了确保数据分类依据的计算可持续，数据分类与初步修复可最终完成，必须将每段正常数据及每段修复数据的最后一点数据值及其一阶差分的最后一点值赋值给指定数组。
数据信息记录可以按正常数据信息、好数据信息、异常数据信息独立生成三个文件，其中好数据信息文件需要用容错数据信息与正常数据信息合并生成。
4.数据循环自修复
考虑到雷达测元数据在非特征点时间段的大多数情况下用二阶多项式拟合较符合实际，所以本发明在修复数据时采用的是最小二乘二阶多项式拟合与拉格朗日三点、二点混合插值方法。其中混合拉格朗日插值的思想是在任意两数间建立插值结果检验门限，对超过检验门限的插值结果直接用两点插值结果替代。
1)用最小二乘二阶多项式求异常数据拟合值
式中p表示构造的二阶正交多项式系数阵，x表示正常数据的向量。
2)用三阶与二阶混合拉格朗日插值修复结果数据x
式中t表示被插数据x对应的时间、t1、t2、t3表示参与插值数据对应的时间、x1、x2、x3表示参与插值数据值。
图1所示的三次任务全弧段测距数据修复结果比对图，其中细虚线是原始测元数据，粗实线是修复测元数据，由图可见修复数据的变化趋势与原始数据的吻合度良好。
图2所示是一次任务三段数据修复结果比对图。其中粗虚线是原始测元数据，细实线是修复测元数据，图(a)是数据列表的变化曲线，图(b)与图(c)是同一段数据采用不同异常数据检验门限获得的修复数据结果比对图。由图可见，在控制好检验门限系数的情况下，本发明既可以认为幅值变化较小的数据为异常数据，进行准确诊断，完美修复，也可以认为幅值变化较小的数据为正常数据或容错数据，保留它们。
如图3所示，本发明首先执行步骤1-1-1，完成测元数据合并，对合并后的数据列表按时间先后顺序进行稳定排序。其次，执行步骤1-1-2，完成数据列表整理，剔除数据列表中时间出现重点的记录行，对数据列表中时间出现丢点、或出现间隔异常的记录行进行时间等间隔补齐，数据补零处理。第三，执行步骤1-2-1，完成数据检验窗口设定，给检验窗口数据及其一阶差分值、二阶差分值赋初值或在窗口滑动后赋更新值。第四，执行步骤1-2-2，完成数据检验门限设定，用检验窗口数据的一阶差分值与二阶差分值计算二阶差分真值的近似值，设定异常数据检验门限与异常数据检验门限；用检验窗口数据的一阶差分值及正常数据一阶差分的移动平均值计算一阶差分的线性预测值，设定一阶差分波动的检验门限。第五，执行步骤1-3-1，完成数据分类依据计算，设计19种二阶差分绝对值的计算方法，用计算结果作为判断数据种类的依据。第六，执行步骤1-3-2，完成数据诊断与初步修复，通过选择不同依据与三重门限进行比较判断，标定每一个数据所属的类别并初步修复所有非正常数据。第七，执行步骤1-3-3，完成数据信息记录，将各类数据的段落个数，各段长短、起止时间与序号，各数据种类都记录到信息文件中，方便在后续工作中对原始数据进行精细的处理。第八，执行步骤1-4-1，完成异常值循环自修复，对所有异常数据从孤立型、小斑点到大斑点、长时段，自动逐步进行循环修复。最后，执行步骤1-4-2，完成数据修复结果生成。记录生成各类数据序列和各种修复结果。
如图4所示，本发明进行数据列表合并与整理时，首先，执行步骤2-1，对所有数据文件按3位数序号进行重命名。其次，执行步骤2-2，根据文件名序号计算百位数jb、十位数js和个位数jg的具体值。第三，执行步骤2-3，根据百位数jb、十位数js和个位数jg的具体值给对应的ascii码的百位数bw、十位数sw、个位数gw赋初值。第四，执行步骤2-4，根据ascii码百位数bw，十位数sw，个位数gw读取文件，记录数据序列首时间及数据长度，对数据作时间跨日处理(即当跟踪测量数据时间出现跨日现象时，必须在第二日秒的基础上增加86400秒)。第五，执行步骤2-5，读取文件的个位数jg，进行累加，直到满十进位，然后对个位数jg清零，继续记录数据序列首时间及数据长度，对数据作时间跨日处理。第六，执行步骤2-6，读取文件的个位数jg，继续进行累加，直到个位数与十位数同时满十，百位进一，对个位数jg，十位数js同时清零，继续记录数据序列首时间及数据长度，对数据作时间跨日处理。第七，执行步骤2-7，记录未按时间排序的合并后的数据序列，记录各文件中数据序列的起止时间。第八，执行步骤2-8，依据每个数据序列首时间进行冒泡排序，然后根据数据序列长度对数据进行整块移动。第九，执行步骤2-9，记录按时间先后排列的合并后的数据序列及各文件数据起止时间。第十，执行步骤2-10，先针对方位角数据跳变进行处理，然后根据前后数据比对结果对重点进行剔除，剔除偏离前后数据较大的重点。第十一，执行步骤2-11，记录时间非等间距变化的数据点序号。第十二，执行步骤2-12，对数据序列中丢失的点，在尽量不破坏原数据点的前提下进行等间距补齐，补点时，对所有数据都用数据0填充。如再次出现重点，只剔除新补的重点。最后，执行步骤2-13，记录补点后的数据文件。
如图5所示，本发明进行检验窗口与门限设定时，首先，执行步骤3-1，对所有数据进行一阶差分与二阶差分计算。其次，执行步骤3-2，设定滑动窗口长度为10，给最小二乘线性预测法的系数赋初值，对各类数据的总点数、段落个数、各段数据起止时间、序号，长短、各数据种类及各数据求和计算值赋初值。然后，执行步骤3-3，给滑动窗口检验数据序列的一阶差分、二阶差分赋初值，计算检验序列二阶差分的均方根值jfg，一阶差分的标准偏差值stv及一阶差分的绝对残差平均值ccz。第四，执行步骤3-4，根据滑动窗口检验数据序列的9个一阶差分值与9个已知系数，用最小二成线性预测法计算第i点一阶差分预测值xy1(i)、第i+1点一阶差分预测值xy2(i+1)及一阶差分波动检验标准my1。第五，执行步骤3-5，用第i+1点原始数据、第i点检验值和第i-1点一阶差分检验值计算二阶差分绝对值ep0。第六，执行步骤3-6，用第i+1点原始数据、前一段正常数据的最后一点值及前一段正常数据一阶差分的最后一点值，计算一阶差分平均值yp1和二阶差分绝对值ep1。第七，执行步骤3-7，计算前一段正常数据(已赋值给检验序列)的一阶差分的最后9点平均值xp1。第八，执行步骤3-8，判断正常数据段落数zd是否不等于1。若满足条件，执行步骤3-9，用第i+1点原始数据、再前一段正常数据最后一点值及再前一段正常数据一阶差分的最后一点值，计算一阶差分平均值yp2和二阶差分绝对值ep2；若不满足条件，跳到步骤3-11。执行步骤3-10，计算再前一段正常数据(已赋值给检验序列)的一阶差分的最后9点平均值xp2。执行步骤3-11，判断是否正常数据段落等于1且最后一点正常数据的序号大于15。若满足条件，执行步骤3-12，求前一段正常数据一阶差分的倒数第14点至倒数第6点的平均值xp3，然后跳到步骤3-16；若不满足条件，执行步骤3-13，继续判断是否正常数据段落zd不等于1且再前一段正常数据最后一点的点序大于15。如果满足条件，执行步骤3-14，计算前一段正常数据一阶差分的倒数第14点至倒数第6点的平均值xp3；若不满足条件，直接跳到步骤3-16。执行步骤3-15，计算再前一段正常数据一阶差分的倒数第14点至倒数第6点的平均值xp4。执行步骤3-16，重新判断是否正常数据段落仅有一段且其最后一点数据的点序是否小于等于15。如果满足条件，执行步骤3-17，用xp1和xj1(1)求第i-k1点一阶差分预测值pcg(1)、第i点一阶差分预测值ypz(i)及一阶差分波动检验标准my2，用yp1和xj1(1)求第i点一阶差分预测值ypj(i)，然后跳到步骤3-24；如果不满足条件，执行步骤3-18，继续判断是否正常数据段落仅有一段且其最后一点数据的点序是否大于15。若满足条件，执行步骤3-19，用xp1和xp3求第i-k1点一阶差分预测值pcg(1)、第i点一阶差分预测值ypz(i)、及一阶差分波动检验标准my2，用yp1和xp1求第i点一阶差分预测值ypj(i)，然后跳到步骤3-24；如果不满足条件，执行步骤3-20，继续判断是否正常数据段落不只一段且再前一段正常数据最后一点数据的点序小于等于15。若满足条件，执行步骤3-21，用xp1和xj1(1)，求第i-k1点一阶差分预测值pcg(zd)、第i点一阶差分预测值ypz(i)及一阶差分波动检验标准my2，用yp1和xj1(1)求第i点一阶差分预测值ypj(i)，用xp2和xj1(1)，求第i-k2点一阶差分预测值pcg(zd-1)，然后跳到步骤3-24；若不满足条件，执行步骤3-22，继续判断是否正常数据段落不只一段且再前一段正常数据最后一点数据的点序大于15。若满足条件，执行步骤3-23，用xp1和xp3，求第i-k1点一阶差分预测值pcg(zd)、第i点一阶差分预测值ypz(i)及一阶差分波动检验标准my2，用yp1和xp3求第i点一阶差分预测值ypj(i)，用xp2和xp4，求第i-k2点一阶差分预测值pcg(zd-1)，然后跳到步骤3-24；如果不满足条件，直接跳到步骤3-24。执行步骤3-24，令二阶差分检验标准为me＝min(jfg，stv，ccz)，且确保me的最小值为0.1。执行步骤3-25，令一阶差分波动检验标准为my＝min(my1，my2)且确保my最小值为0.5*jfg0。最后，执行步骤3-26，设计异常数据检验门限＝mx1＝xs1*me，容错数据检验门限＝mx2＝xs2*me，一阶差分波动检验门限＝mx3＝xs3*my。
如图6所示，本发明进行检验窗口与门限设定时，首先，执行步骤4-1，判断正常数据段落仅有1段时，第i点数据种类的标志rbz(i)是否等于0(即第i点数据是否为正常数据)。若满足条件，则执行步骤4-2，计算二阶差分绝对值ep4，取第一重数据分类诊断依据ep等于ep4，然后跳到步骤4-19；若不满足条件，执行步骤4-3，继续判断正常数据段落仅有1段时，第i点数据种类标志rbz(i)是否等于1(即第i点数据为容错数据)或等于2(即第i点数据为异常数据)。若满足条件，则执行步骤4-4，计算二阶差分绝对值ep3，ep4，ep5，ep11，然后跳到步骤4-6；若不满足条件，执行步骤4-5，计算二阶差分绝对值ep3，ep4，ep5，ep6，ep7，ep8，ep9，ep10，ep11，ep12，ep13，ep14，ep15，ep16，ep17，ep18，然后跳到步骤4-9。执行步骤4-6，判断k1值是否大于5。若k1大于5，执行步骤4-7，取ep等于ep0，ep3，k1*ep5与(k1+4)*ep11的最小值，然后跳到步骤4-19；若k1小于等于5，执行步骤4-8，取ep等于ep0与ep3的最小值，然后跳到步骤4-19。执行步骤4-9，此时正常数据必然不止一段，需重新判断第i点数据种类的标志rbz(i)是否等于0。若满足条件，跳到步骤4-10；若不满足条件，跳到步骤4-15。执行步骤4-10，继续判断第i点正常数据为新正常数据段落的第一点数据时(即zds＝1时)，k2是否大于6。若满足条件，执行步骤4-11，取ep等于ep0，ep3，k2*ep6与(k2+4.0)*ep12的最小值，然后跳到步骤4-19；若不满足条件，执行步骤4-12，继续判断zds＝1时，k2是否小于等于6。若满足条件，执行步骤4-13，取ep等于ep0与ep3的最小值，然后跳到步骤4-19；若不满足条件，说明zds必然大于等于2，此时执行步骤4-14，取ep等于ep0，ep3，ep13与ep14的最小值，然后跳到步骤4-19。执行步骤4-15，判断正常数据不止一段时，第i点数据种类标志rbz(i)等于1或等于2是否成立。若满足条件，跳到步骤4-16；若不满足条件，说明第i点数据种类已全覆盖考虑，可以结束ep赋值，直接跳到步骤4-19。执行步骤4-16，判断k1>5是否成立；若满足条件，取ep等于ep0，ep3，k1*ep5与(k1+4.0)*ep11的最小值，然后跳到步骤4-19，；若不满足条件，执行步骤4-18，取ep等于ep0与ep3的最小值，然后跳到步骤4-19。执行步骤4-19，判断第一重数据分类诊断依据ep是否大于异常数据检验门限mx1，若满足条件，执行步骤4-20，先记录异常数据信息(段落号，总点数及每段的起止时间，序号和点数)，再执行步骤4-21，修复第i+1点异常数据及与其相关的2个一阶差分值、3个二阶差分值，将修复结果赋值给检验数据序列，并记录最后一点数据及一阶差分值最后一点值，记录第i+1点数据类型，然后跳到步骤4-66；若不满足条件，执行步骤4-22，记录好数据(包含正常数据与容错数据)信息，然后执行步骤4-23，判断仅有一段好数据时，第i点数据种类的标志rbz(i)是否等于0。若满足条件，跳到步骤4-24；若不满足条件，跳到步骤4-31。执行步骤4-24，令第二重数据分类诊断依据ec等于步骤4-2中的第一重数据分类诊断依据ep且判断ec是否小于等于容错数据检验门限mx2，若满足条件，执行步骤4-25，取一阶差分波动诊断依据em等于ep4；若不满足条件，执行步骤4-26，记录容错数据信息，并修复容错数据。执行步骤4-27，继续判断em是否大于一阶差分波动检验门限mx3。若满足条件，执行步骤4-28，修复第i点一阶差分及与其相关的2个二阶差分值，然后跳到步骤4-29；若不满足条件，直接执行步骤4-29，记录正常数据信息。执行步骤4-30，将各类修复的容错数据及正常数据赋值给检验数据序列，记录最后它们的最后一点数据及一阶差分的最后一点值，并记录第i+1点数据类型，然后跳到步骤4-66。执行步骤4-31，判断仅有一段好数据时，第i点数据种类的标志rbz(i)是否等于1或2。若满足条件，跳到步骤4-32；若不满足条件，跳到步骤4-37。执行步骤4-32，令ec等于步骤4-7或4-8中的ep，继续判断ec是否小于等于容错数据检验门限mx2。若满足条件，先执行步骤4-33，记录正常数据信息，再执行步骤4-35，修复第i点前的所有异常数据及容错数据；若不满足条件，执行步骤4-34，记录容错数据信息，并修复容错数据。执行步骤4-36，将所有修复数据赋值给检验数据序列，记录最后一点数据及一阶差分最后一点值，记录第i+1点数据类型，然后跳到步骤4-66。执行步骤4-37，此时正常数据必然不止一段，需重新判断第i点数据种类的标志rbz(i)等于0时，新段落正常数据的点数是否为1。若满足条件，跳到步骤4-38；若不满足条件，跳到步骤4-49。执行步骤4-38，判断k2是否大于6。若满足条件，执行步骤4-39，取ec等于步骤4-11中的ep与k2*ep2，ep7，ep8，ep16、k2*ep10的最小值，然后跳到步骤4-41；若不满足条件，执行步骤4-40，取ec等于步骤4-13中的ep与ep7、ep8的最小值，然后也跳到步骤4-41。执行步骤4-41，判断ec是否小于等于容错数据检验门限mx2。若满足条件，执行步骤4-42，取一阶差分波动诊断依据em等于取ep4，ep7与ep18的最小值，然后跳到步骤4-44。若不满足条件，执行步骤4-43，记录容错数据信息，完成容错数据修复。执行步骤4-44，判断em是否大于一阶差分波动检验门限mx3。若满足条件，说明第i-1点数据可能是误判为正常数据的容错数据，所以需要执行步骤4-45，对容错数据加1，正常数据减1，再跳到步骤4-46，若不满足条件，只需直接执行步骤4-47，记录正常数据信息。执行步骤4-46，记录正常数据信息，并重新修复第i点前所有异常数据及容错数据。执行步骤4-48，将各类修复的异常数据、容错数据及正常数据赋值给检验数据序列，记录最后一点数据及一阶差分最后一点值，记录第i+1点数据类型，然后跳到步骤4-66。执行步骤4-49，在正常数据段落不止一段，第i点数据种类的标志rbz(i)等于0时，判断新段落正常数据的点数是否不为1，若满足条件，执行步骤4-50，取ec等于步骤4-14中ep与ep7，ep8，ep15的最小值；若不满足条件，跳到步骤4-58。执行步骤4-51，判断ec是否小于等于容错数据检验门限mx2。若满足条件，执行步骤4-52，取em为检验序列第i-1点二阶差分值；若不满足条件，执行步骤4-53，记录容错数据信息，修复容错数据。执行步骤4-54，判断em是否大于一阶差分波动检验门限mx3。若满足条件，执行步骤4-55，修复第i点一阶差分及与其相关的2个二阶差分，然后跳到步骤4-56；若不满足条件，直接执行步骤4-56，记录正常数据信息。执行步骤4-57，将所有容错数据的修复结果及正常数据赋值给检验数据序列，记录最后一点数据及一阶差分最后一点值，记录第i+1点数据类型，然后跳到步骤4-66。执行步骤4-58，在正常数据段落不止一段时，判断第i点数据种类的标志rbz(i)是否等于1或等于2。若满足条件，跳到步骤4-59，若不满足条件，跳到步骤4-66。执行步骤4-59，判断k1是否大于5，若满足条件，执行步骤4-60，取ec等于步骤4-17中的ep与k1*ep1、ep7、ep8、ep17、k1*ep9的最小值，然后跳到步骤4-62。若不满足条件，执行步骤4-61，取ec等于步骤4-18中的ep与ep7、ep8的最小值。执行步骤4-62，判断ec是否小于等于mx2，若满足条件，执行步骤4-63，记录正常数据信息，修复第i点前所有异常数据及容错数据，然后跳到步骤4-65。若不满足条件，执行步骤4-64，记录容错数据信息，修复容错数据。执行步骤4-65，将所有异常数据、容错数据的修复结果及正常数据赋值给检验数据序列，记录最后一点数据及一阶差分最后一点值，记录第i+1点数据类型，然后跳到步骤4-66。执行步骤4-66，滑动窗口，继续逐点诊断修复各类数据，直至所有数据诊断修复完毕。最后，执行步骤4-67，生成记录各类数据信息的文件。
如图7所示，本发明进行检验窗口与门限设定时，首先，执行步骤5-1，判断异常数据的段落个数bd是否为0，若满足条件，说明异常数据已全部修复，直接跳到步骤5-25。若不满足条件，执行步骤5-2，读取每个异常数据段落的长度lbd(bd)及其两侧好数据段落的长度lgd(gd)与lgd(gd+1)(含容错数据与正常数据)，由于本发明要求数据列表的起始窗口数据必是正常数据，所以好数据段落个数gd等于异常数据段落个数bd或比异常数据段落个数bd多1。执行步骤5-3，判断异常数据段落的长度lbd(bd)是否小于等于检验步长l(设初始步长为5，即5个连续的数据)。若满足条件，跳到步骤5-5；若不满足条件，执行步骤5-4，保留原异常数据值不做修复。执行步骤5-5，用诊断模块的初始修复结果直接替代需要修复的数据。执行步骤5-6，每修复一个异常数据段落，异常数据段落个数bd减1，并将每个修复数据的种类标志rbz从2改为1，即重新认定为容错数据。执行步骤5-7，判断异常数据段落中是否含有原数据序列的最后一点，若满足条件，执行步骤5-9，保持好数据段落个数gd不变；若不满足条件，执行步骤5-8，将好数据段落个数gd减1。执行步骤5-10，此时异常数据段落个数bd减1，好数据段落个数gd也减1，新好数据段落长度等于此异常数据段落长度加其前、后两段好数据段落长度。执行步骤5-11，此时异常数据段落个数bd减1，好数据段落个数gd不变，新好数据段落长度等于此异常数据段落长度与其前段好数据段落长度之和。执行步骤5-12，重新统计所有异常数据与好数据的信息，包括各类数据段落个数、段落起止时间、序号及长度、段落中每个数据的种类标志。执行步骤5-13，继续判断异常数据段落个数是否为0，若满足条件，说明异常数据已全部修复，直接跳到步骤5-25。若不满足条件，执行步骤5-14，将数据检验窗口步长l增加5，即令l＝l+5＝10。执行步骤5-15，继续读取未修复的每个异常数据段落的长度lbd(bd)及其两侧好数据(含已修复的异常数据和原来的容错数据、正常数据)段落的长度lgd(gd)，通常好数据段落个数gd等于异常数据段落个数bd或比bd多1。执行步骤5-16，判断未修复的每个异常数据段落的长度lbd(bd)是否小于等于更新后的检验窗口步长l。若满足条件，跳到步骤5-17；若不满足条件，跳到步骤5-21。执行步骤5-17，判断异常数据段落中是否含有原数据序列的最后一点，若满足条件，执行步骤5-19，保持好数据段落个数gd不变，并比较新统计的异常数据的段落长度lbd(bd)与其前段好数据的段落长度lgd(gd)的长短；若不满足条件，执行步骤5-18，好数据段落个数gd减1，比较新统计的异常数据的段落长度lbd(bd)与其两侧好数据的段落长度lgd(gd)、lgd(gd+1)的长短。执行步骤5-20，判断lgd(gd)或lgd(gd+1)中是否至少有一个大于等于lbd(bd)，若满足条件，执行步骤5-22，用单侧或双侧最小二乘正交多项式拟合二次曲线，修复异常数据，并重新计算lbd(bd)，lgd(gd，然后跳到步骤5-23；若不满足条件，跳到步骤5-21。执行步骤5-21，保留原异常数据值不做修复，然后跳到步骤5-23。执行步骤5-23，重新统计所有异常数据与好数据的信息，包括段落个数、段落起止时间、序号及长度、每个数据点的种类标志。执行步骤5-24，继续执行第5-13步至5-23步，直至窗口长度l大于200个点，若异常数据段落个数bd仍然不等于0，则需跳出循环修复。此时要么是每个异常数据段落两边好数据(包括修复的数据)段落的长度均小于该异常数据段落的长度，要么是异常数据的段落长度大于200个点，所以认为原异常数据修复方法已不再可用。执行步骤5-25，用拉格朗日混合插值对修复的数据序列进行统一插值，设计两点插值门限，控制插值后结果不出现剧烈变化。最后，执行步骤5-26，根据统计的各类数据信息生成各类数据序列文件，根据各阶段数据修复情况生成各种数据修复结果文件。
- 还没有人留言评论。精彩留言会获得点赞！