卫星遥测数据离线统一快速处理系统的制作方法

本发明涉及卫星测试领域，具体地，涉及卫星遥测数据离线统一快速处理系统。

背景技术：

卫星型号任务的不断增多、卫星型号的增加、遥测数据码速率的提高、遥测参数数量不断增加，实时进行数据判读、实时分析已经难以满足目前大数据量测试的需求。因此卫星测试数据的离线处理已经成为了卫星地面测试系统的一个重要组成部分。搭建不同卫星离线遥测数据处理系统已经成为测试系统搭建的一项重要工作，遥测数据解析处理已经成为了对卫星状态分析、故障定位、问题分析的一种重要手段。

缩短卫星研制周期、提高测试数据分析能力已经成为卫星地面系统的两大主要目标。设计一种卫星遥测数据离线统一快速处理系统，提高了终端的通用性，降低了新型号离线处理平台开发的工作量和复杂度，缩短测试系统研制的周期，有效节约了人力，并且提高了可靠性；通过一系列优化措施，尽量提高遥测数据处理效率，为设计师提供一个高效的离线分析和处理的手段，满足大数据下卫星遥测数据的分析能力，提高了卫星遥测数据离线分析的能力，通过调用其他数据分析工具，为设计师提供了全面了解卫星状态的方法。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种卫星遥测数据离线统一快速处理系统，以至少解决现有技术中没有统一的离线遥测数据处理系统，目前卫星遥测离线数据处理速度慢的问题。

根据本发明提供的一种卫星遥测数据离线统一快速处理系统，包括结果设定模块、数据选择模块、数据预处理模块、数据处理模块以及数据输出模块；

结果设定模块：用于进行待处理遥测数据组织形式及输出方式的设定；

数据选择模块：按照设定将待处理遥测数据进行筛选，选出需处理遥测数据；

数据预处理模块：对需处理遥测数据的基本信息进行提取；

数据处理模块：按照设定对遥测数据进行内容提取，将遥测数据由码流数据转换为可供识别的遥测信息；

数据输出模块：对遥测信息以文件形式输出。

优选地，所述结果设定模块用于对待处理遥测数据的遥测波道、遥测通道、处理起止时间、遥测通道、实时延时、分析软件、是否输出指令列、是否输出校验不正确数据、本帧无数据是否填充上次结果、处理时间间隔、时间数据格式中的任一项或任多项内容进行设定。

优选地，所述数据选择模块用于对不同遥测通道的数据、延时和实时数据、是否符合处理起止时间、处理时间间隔中的任一项或任多项数据进行筛选。

优选地，所述基本信息包括遥测数据的通道信息、遥测数据源数据生成时间信息、指令信息。

优选地，数据处理模块采用如下任一种或任多种方式进行数据处理：

-处理前根据当前帧是否包含所选处理波道选择是否处理；

-采用生产者消费者模型保证码流数据的获取和数据处理的并行性；

-采用循环队列的方式保证数据读取的安全性；

-数据处理中采用双线程乒乓操作，只对原始码流数据中需要处理的遥测波道进行数据处理；

-数据处理线程采用统一的接口对不同型号卫星进行适配。

优选地，所述数据输出模块在数据写入结果文件时采用块写的方式，当处理后数据积累到一定的量时进行一次文件块写入来提高处理效率，处理后调用其他分析处理软件对数据进行进一步分析处理。

与现有技术相比，本发明具有如下的有益效果：

1、本发明具有良好的适用性和通用性，为离线数据分析和处理提供了一个开放的定义清晰的处理流程。本发明通过模块化的结构设计，为后续拓展提供了可能，同时采用了统一的标准接口，提高了不同型号卫星遥测数据处理的通用性。

2、本发明通过数据处理中的并行处理，以及之间明确的接口关系实现了大数量卫星遥测数据的快速解析处理，提高了离线数据处理的速度和效率，提高卫星遥测数据的分析能力。

3、本发明将卫星下传的原始码流转换成可供识别的遥测信息，更重要的是通过调用其他分析处理软件对遥测数据进行分析处理，从而拓展了测试数据分析的手段。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例的卫星遥测数据处理的流程示意图。

图2为本发明实施例的信息流示意图。

图3为本发明实施例的统一接口模型图。

图4为本发明实施例的原码获取和数据处理并行模型。

图5为本发明实施例的并行处理模型。

图6为本发明实施例的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供了一种卫星遥测数据离线统一快速处理系统，该系统包括结果设定模块、数据选择模块、数据预处理模块、数据处理模块、数据输出模块，实现了卫星遥测数据离线数据的统一快速处理。在本发明中，提供了一中卫星遥测数据离线统一快速处理系统，以解决现有技术中没有统一的离线遥测数据处理系统，通过统一接口的方式解决了不同卫星遥测处理无法统一的问题，通过一系列手段提高了离线处理的速度，解决了过去离线遥测数据处理速度较慢的问题，提高了处理分析效率。

根据本发明提供的一种卫星遥测数据离线统一快速处理系统，包括结果设定模块、数据选择模块、数据预处理模块、数据处理模块以及数据输出模块；

结果设定模块：用于进行待处理遥测数据的组织形式及输出方式的设定；

数据选择模块：按照设定将待处理遥测数据进行筛选，选出需处理遥测数据；

数据预处理模块：对需处理遥测数据的基本信息进行提取；

数据处理模块：按照设定对遥测数据进行内容提取，将遥测数据由码流数据转换为可供识别的遥测信息；

数据输出模块：对遥测信息以文件形式输出。

优选地，所述结果设定模块用于对待处理遥测数据的遥测波道、遥测通道、处理起止时间、遥测通道、实时延时、分析软件、是否输出指令列、是否输出校验不正确数据、本帧无数据是否填充上次结果、处理时间间隔、时间数据格式中的任一项或任多项内容进行设定。

优选地，所述数据选择模块用于对不同遥测通道的数据、延时和实时数据、符合处理起止时间、处理时间间隔中的任一项或任多项数据进行筛选。

优选地，所述基本信息包括遥测数据的通道信息、遥测数据生成时间信息、指令信息。

优选地，数据处理模块采用如下任一种或任多种方式进行数据处理：

-处理前根据当前帧是否包含所选处理波道选择是否处理；

-采用生产者消费者模型保证码流数据的获取和数据处理的并行性；

-采用循环队列的方式保证数据读取的安全性；

-数据处理中采用双线程乒乓操作，只对原始码流数据中需要处理的遥测波道进行数据处理；

-数据处理线程采用统一的接口实现不同型号卫星进行适配。

优选地，所述数据输出模块在数据写入结果文件时采用块写的方式，当处理后数据积累到一定的量时进行一次文件块写入来提高处理效率，处理后调用其他分析处理软件对数据进行进一步分析处理。

根据本发明提供的一种卫星遥测数据离线统一快速处理系统，包括结果设定步骤、数据选择步骤、数据预处理步骤、数据处理步骤以及数据输出步骤；

结果设定步骤：加载遥测信息表，转换成可识别形式，获取遥测处理方法、遥测获取方法以及遥测波道信息；加载用户上次操作信息及用户配置信息，根据不同用户启动相应界面，同时根据用户当次操作进行结果设定，如果设置无效则进行提示，如果设置成功则启动下一步流程；

数据选择步骤：根据用户选择的条件对原码遥测数据进行筛选，将筛选后的数据送给数据预处理模块和数据处理模块进行分别处理；

数据预处理步骤：数据预处理步骤对接收到数据后开始进行处理，对数据中的基本信息进行提取，为数据输出模块提供数据基本信息；

数据处理步骤：数据处理步骤对接收到数据进行数据解析，将原始码流数据转换为可供识别的遥测信息，处理后的数据发给数据输出模块；

数据输出步骤：数据输出模块对遥测信息进行组织，进行格式化输出，输出后的结果根据用户设定调用相应的数据处理分析工具对数据进行分析和处理。完成数据输出后，进入等待模式，等待用户的下一次操作，同时将本次用户操作进行保存。

优选地，在结果设定步骤中，对待处理遥测数据的遥测波道、遥测通道、处理起止时间的选择、遥测通道的选择、实时延时选择、分析软件设置、是否输出指令列、是否输出校验不正确数据、本帧无数据是否填充上次结果、处理时间间隔、时间数据格式中的任一项或任多项内容进行设定。

优选地，在所述数据选择步骤中，对不同遥测通道的数据、延时和实时数据、符合处理起止时间、处理时间间隔中的任一项或任多项数据进行筛选。

优选地，所述基本信息包括遥测数据的通道信息、遥测数据生成时间信息、指令信息。

优选地，在数据处理步骤中，采用如下任一种或任多种方式进行数据处理：

-处理前根据当前帧是否包含所选处理波道选择是否处理；

-采用生产者消费者模型保证码流数据的获取和数据处理的并行性；

-采用循环队列的方式保证数据读取的安全性；

-数据处理中采用双线程乒乓操作，只对原始码流数据中需要处理的遥测波道进行数据处理；

-数据处理线程采用统一的接口对不同型号卫星进行适配。

优选地，在所述数据输出步骤中，在数据写入结果文件时采用块写的方式，当处理后数据积累到一定的量进行一次文件写入来提高处理效率，处理后调用其他分析处理软件对数据进行分析处理。

在一个优选例中，本发明的卫星遥测数据离线统一快速处理系统的流程如图1所示，其实现步骤描述如下：

1)加载遥测信息表，转换成可识别形式，获取遥测处理方法、遥测获取方法以及遥测波道信息；

2)加载用户上次操作信息及用户配置信息，根据不同用户启动相应界面，同时根据用户当次操作进行结果设定，如果设置无效则进行提示，如果设置成功则启动下一步流程；

3)根据用户选择的条件对原码遥测数据进行筛选，将筛选后的数据送给数据预处理模块和数据处理模块进行分别处理；

4)数据预处理模块接收到数据后开始进行处理，对数据中的基本信息进行提取，为数据输出模块提供数据基本信息；

5)数据处理模块接收到数据后开始进行数据解析，将原始码流数据转换为可供识别的遥测信息，处理后的数据发给数据输出模块；

6)数据输出模块对遥测信息进行组织，进行格式化输出，输出后的结果根据用户设定调用相应的数据处理分析工具对数据进行分析和处理；

7)完成数据输出后，进入等待模式，等待用户的下一次操作，同时将本次用户操作进行保存。

图2是一种卫星遥测数据离线统一快速处理方法中的信息流图，任务调度是整个实例的核心，实现对整个离线处理过程的控制，启动后对线程调度服务、处理服务、数据筛选服务、界面服务、数据分析服务和文件服务进行实例初始化。处理服务响应线程调度服务的管理，在线程调度下完成并行数据处理服务，数据处理服务和数据筛选服务进行数据的交互。数据筛选服务在实例化后根据任务调度模块的参数对遥测原码数据进行筛选，与处理服务进行筛选后数据的交互。线程调度服务对处理服务数据筛选服务和文件服务的多线程流程进行管理。界面服务在实例化后与用户和界面进行配置参数数据交互。文件服务受线程管理服务的管理，与遥测原码数据进行交互，同时也与数据分析服务进行处理结果的交互。

卫星离线数据处理过程中，用户可通过界面操作，进行处理流程服务的停止、启动等操作，任务调度服务根据操作指令，控制流程执行。执行过程中，暂停对界面服务中的除流程控制外的指令的相应，防止服务中出现数据处理前后不一致的现象。

本发明的卫星遥测数据离线统一快速处理方法的统一接口模型如图3所示，针对不同的卫星，采用相同的数据处理动态链接库和标准的遥测处理描述方式来实现不同型号接口的一致性。

由于本发明的数据处理采用并行处理的模式，因此存在多个数据处理单元，每个数据处理单元注册一个动态链接库程序，注册成功之后，控制流程实例对数据处理模块进行调用，通过多线程技术实现卫星遥测数据的并行离线处理。

采用的统一的动态链接库接口的方式可以极大的提高了不同卫星之间数据处理的灵活性，仅采用标准接口实现与离线处理方法的对接。标准的接口采用给动态链接库一帧完成遥测数据以及需处理的遥测信息，给出统一格式的处理后的数据，处理后的标准格式包括遥测代号、遥测原码、处理后物理量、长度信息和显示方式，用户输出模块根据这些信息对结果进行组织，输出成处理后的完整结果信息。动态链接库可以采用统一的处理架构和脚本语言的方式实现不同卫星遥测信息的处理和配置，通过这种方式能够极大的提高不同卫星数据离线处理系统的重用性，标准的遥测处理描述方式采用脚本语言的方式对遥测信息进行描述，包括遥测波道描述和遥测处理方法描述，通过这种方式实现卫星数据处理接口的统一性。

本发明的原码获取和数据处理并行模型如图4所示，遥测原码提取和数据处理采用三个独立的线程，其中数据筛选采用独立的线程进行原码文件的读取并且写入循环队列中，写入前对循环队列是否满进行判断，若不满，则马上进行写入，如果满，则进行等待模式，直到队列非满，则继续进行写队列和数据筛选操作，该线程采用突发工作模式。数据处理单元是两个独立的线程，在管理单元的控制下进行并行处理，在处理过程中采用并行处理的方式保证数据处理单元工作的连续性，本优选例采用双核CPU进行处理，因此采用双线程处理模式，对于多核计算机，可以增加数据处理单元的个数来显著提高处理效率。数据输出模块对数据处理单元处理后的数据进行重新组织，排序后进行输出。

管理单元还负责对数据处理单元的错误进行管理，包括超时管理和处理错误管理，超时是当一次时长过长则中断处理，重新处理当前帧，错误处理包括异常处理和多次超时处理。由于不同型号的处理流程可能在处理中有异常行为，对处理过程中发生的异常现象进行处理，跳过该帧处理同时将错误信息进行记录，便于分析问题。多次超时处理是指一帧处理多次发生超时现象，对该帧跳过处理同时将错误信息进行记录，便于后续分析发生超时的原因。

本发明并行处理模型如图5所示，并行处理主要包含四个过程，首先在收到处理请求时，对所有处理线程进行查询，查询是否有空闲线程，如果没有空闲线程则进行等待，直到有空闲线程后将处理任务分配给该线程，当有数据处理线程完成数据处理后，则将处理后的遥测结果信息传递给数据输出模块，同时当此时有数据处理请求时，则将当次数据任务分配给该线程进行处理。一般地，每帧数据的处理时间大致相当，因此数据处理任务均分至各个数据处理线程中。

除了要进行任务分配和结果获取的功能以外，管理单元还需要对数据处理线程的运行时间和运行情况进行管理。当运行时间过长，则终止当前处理，重新进行任务分配，当任务重新分配次数超过设定的阈值则放弃该次处理且对超时进行记录。当运行中线程出现异常退出或者错误时，进行错误捕捉，重启线程并将错误进行记录，同时管理单元还负责对循环队列进行访问控制，将输出结果送至数据输出模块。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项模块可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。