基于冗余消除的遥测存储方法
【专利摘要】基于冗余消除的遥测存储方法，通过遥测帧解析为遥测包、遥测包划分为任务包、解析遥测包的并行操作，完成遥测数据的解析和存储。卫星配置信息和遥测数据保存在本地数据库中，首先从本地数据库中获取配置信息，依据配置信息将遥测帧解析为遥测包，并将遥测帧、遥测包存储到本地数据库中；然后将遥测包解析划分为多个任务包；最后完成任务包在规定范围内的包解析，将遥测包解析为遥测参数并存储到本地数据库中。在遥测包解析之前和解析完后分别识别并去除冗余，减少重复数据的存储，实现节约存储空间的目的。
【专利说明】基于冗余消除的遥测存储方法
【技术领域】
[0001] 本发明涉及一种卫星遥测参数的存储方法。
【背景技术】
[0002] 遥测数据是卫星上各种被测信息经过传感器变换、采集编排后通过无线信道传达 到地面的数据。每颗卫星需要传输的遥测参数多达几千个，直接反映了卫星所有搭载设备 的工作状态和健康情况。在卫星电性能测试过程中，设计师主要通过遥测数据来判断卫星 状态。
[0003] 由于传统的测试模式数据存储和应用的局限性，缺乏对测试数据（历史）进行统 一、全面的分析，测试历史数据的利用率不高，不容易发现大量测试数据内部隐藏很深的可 能存在的偶然或必然的联系，所以在测试深度和广度上受到了一定的限制。因此，利用历史 数据存储平台合理管理和存储这些遥测数据显得极为重要。
[0004] 但是数据容量大是卫星历史数据存储管理面临的主要困难。以常见的小卫星测试 加电1000小时为例，假设遥测参数单条记录存储空间为20字节，一个平台速变遥测参数则 需要存储空间约72M，一颗卫星需要的存储空间高达几百GB甚至更高。数据容量大也是导 致数据查询统计速度慢、图形化处理速度慢的主要原因。
[0005] 研究发现尽管每颗卫星每秒需要传送的遥测参数多达几千个，但是在稳定状态 下，大多遥测参数的值保持不变，或者一阶差分范围不超过3个遥测分层值，存储层次上存 在大量重复数据。因此导致小卫星数据容量大的一个重要原因就是重复遥测参数过多，需 要一种去除小卫星冗余遥测参数，减少小卫星遥测参数占用存储空间，来加快数据查询速 度和处理速度的方法。
【发明内容】
[0006] 本发明解决的技术问题是：克服现有技术的不足，提供了一种小卫星遥测数据存 储方法，使用计算机多线程来使遥测数据解析、存储并行进行，遥测数据解析效率更高，消 除了遥测参数的冗余存储，并使所需数据存储空间更少。
[0007] 本发明的技术解决方案是：一种基于冗余消除的遥测存储方法，包括以下步骤：
[0008] (1)从卫星测控系统获取遥测文件，从本地数据库读取存储的配置信息，按照配置 信息中指定的遥测帧长度从遥测文件中读取遥测帧，将遥测帧解析为遥测包，并将遥测帧 和遥测包同时存储在本地数据库中；所述遥测文件为顺序记录各遥测帧的数据文件，所述 配置信息定义了遥测帧的长度、遥测包的类；
[0009] (2)从本地数据库中读取存储的遥测包，按照时间片和配置信息中定义的遥测包 类型将所有遥测包划分为任务包，使得每一任务包仅包含同一时间片内的同类型的遥测 包；所述时间片是指一个连续的时间范围，由起始时间和截止时间两个字段确定，时间范围 内的时间点标识了遥测包的获取时间；
[0010] (3)对于每一个任务包，对其包含的所有遥测包进行随机排序形成遥测包序列，选 取遥测包序列中的第一个遥测包进行解析，得到对应的遥测参数及其源码值并存储在本地 数据库中，从遥测包序列中的第二个遥测包开始，比较该遥测包数据与前一遥测包数据是 否相同，如果相同则不再解析该遥测包，只记录该遥测包中遥测参数的获取时间，同时建立 该遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的遥测参数 的参数值的映射关系，不再重复存储该遥测包中遥测参数的参数值；如果不相同，则进入下 一步；
[0011] (4)解析该遥测包，得到对应的遥测参数及其源码值，并比较该遥测包中每个遥 测参数的源码值与前一遥测包解析获得的对应遥测参数的源码值，如果遥测参数及其源码 值均相同，则只记录该遥测参数的获取时间，同时建立该遥测参数及其源码值与本地数据 库中存储的前一相同遥测参数及其源码值的映射关系，不再重复存储该遥测参数及其源码 值；如果遥测参数及其源码值有一项不相同，则将该遥测参数及其源码值存入本地数据库 中。
[0012] 本发明与现有技术相比的优点在于：
[0013] (1)同一遥测参数的数值如果在连续一个时间段内保持不变，则会出现重复数据。 本发明方法解析遥测包时将同一类型遥测包聚集在一起，更有利于识别重复数据，通过数 据共享减少冗余数据存储；
[0014] (2)本发明方法能有效去除冗余遥测数据的存储，从而减少数据库插入操作，减少 了数据存贮所用空间，进一步提升工作效率；
[0015] (3)本发明方法支持并行数据处理，利用线程并行工作优势提高工作效率。相比传 统帧解析方法，既实现了帧解析与包解析之间的并行工作，又实现了不同类的遥测包之间 的并行工作。
【专利附图】
【附图说明】
[0016] 图1为本发明遥测数据解析流程图；
[0017] 图2为本发明帧解析流程图；
[0018] 图3为本发明包解析流程图。
【具体实施方式】
[0019] 如图1所示，本发明方法包括遥测帧解析为遥测包、遥测包划分为任务包、解析遥 测包等工作过程，所述的解析和划分过程都需要本地数据库的协作配合。
[0020] 1)遥测帧解析为遥测包
[0021] 从遥测文件中读取遥测帧，依据本地数据库中存储的卫星配置信息，按照图2所 示流程依次将遥测帧解析为遥测包，并将遥测帧和遥测包存入数据库中。所述配置信息包 括遥测帧配置（遥测帧长度、遥测帧格式）、遥测包配置（遥测包类型、遥测包代号）、遥测 参数配置（遥测参数类型、遥测参数格式）。
[0022] 2)遥测包划分为任务包
[0023] 从本地数据库中读取存储的遥测包，按照时间片和配置信息中定义的遥测包类型 将所有遥测包划分为任务包，使得每一任务包仅包含同一时间片内的同类型遥测包的包代 号。时间片是指一个连续的时间范围，由起始时间和截止时间两个字段确定,时间范围内的 时间点标识了遥测包的获取时间。
[0024] 3)解析遥测包
[0025] 解析遥测包。从任务包获取遥测包包代号，根据遥测包包代号从数据库中获取遥 测包，并按照图3所示流程依次将遥测包解析为遥测参数，并存储遥测参数及其源码值。
[0026] 从任务包中的第二个遥测包开始，遥测包解析之前比较该遥测包数据与前一遥测 包数据是否相同，如果相同则不再解析该遥测包，只记录该遥测包中遥测参数的获取时间， 同时建立该遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的 遥测参数的参数值的映射关系，不再重复存储该遥测包中遥测参数的参数值；如果不相同， 则解析该遥测包，得到对应的遥测参数及其源码值，并比较该遥测包中每个遥测参数的源 码值与前一遥测包解析获得的对应遥测参数的源码值，如果遥测参数及其源码值均相同， 则只记录该遥测参数的获取时间，同时建立该遥测参数及其源码值与本地数据库中存储的 前一相同遥测参数及其源码值的映射关系，不再重复存储该遥测参数及其源码值；如果遥 测参数及其源码值有一项不相同，则将该遥测参数及其源码值存入本地数据库中。所述的 遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的遥测参数的 参数值的映射关系，使得部分遥测包的遥测参数不再重复存储，节省了存储空间。
[0027] 所述的遥测帧解析为遥测包的过程、遥测包划分为任务包的过程、解析遥测包的 过程采用计算机多线程并行进行。
[0028] 4)本地数据库
[0029] 本发明采用SQL Server数据库，它保存两类数据：卫星配置信息和卫星遥测数 据。配置信息包括遥测帧配置（遥测帧长度、遥测帧格式）、遥测包配置（遥测包类型、遥测 包格式）、遥测参数配置（遥测参数类型、遥测参数格式）。卫星遥测数据按时序进行存储， 包括遥测帧和解析得到的遥测包和遥测参数。
[0030] 表1所示为数据库存储遥测包（Package_Value)和遥测参数（Parameter_Value) 的映射模型（使用大写表示关键属性）。遥测包的数据模式由遥测包ID号（Pack_ID)、遥测 包计数（Pack_Count)、遥测包内容（Content)和产生时间（GENTIME)四个属性组成。遥测 参数的数据模式由遥测参数ID号（PARA_ID)、遥测参数值（Para_Value)、遥测参数工程值 (Para_Engivalue)和遥测差值（Difference)四个属性组成。映射模型（Parameter_Map) 构建遥测包和遥测参数之间的映射关系。现实工程中，需要根据遥测包中参数个数对映射 模型进行扩展，每个遥测参数设置一列，构建遥测包与多个参数之间的映射关系。由于所有 遥测参数都是从遥测包中解析得到的，因此，在去除冗余前，遥测包和遥测参数关系表中的 记录具有一一对应关系。通过映射模型和遥测参数之间的左连接可以还原遥测参数所有的 记录。如表2所不，基于遥测包、映射模型和遥测参数构建视图（View_Parameter_Value)， 访问遥测参数可以基于视图进行查询，数据库依据视图与映射模型之间的映射关系，对查 询进行重构，得到完整的查询结果。
[0031] 表1遥测包和遥测参数的数据存储模式
[0032]
【权利要求】
1.基于冗余消除的遥测存储方法，其特征在于包括以下步骤： (1) 从卫星测控系统获取遥测文件，从本地数据库读取存储的配置信息，按照配置信息 中指定的遥测帧长度从遥测文件中读取遥测帧，将遥测帧解析为遥测包，并将遥测帧和遥 测包同时存储在本地数据库中；所述遥测文件为顺序记录各遥测帧的数据文件，所述配置 信息定义了遥测帧的长度、遥测包的类型； (2) 从本地数据库中读取存储的遥测包，按照时间片和配置信息中定义的遥测包类型 将所有遥测包划分为任务包，使得每一任务包仅包含同一时间片内的同类型的遥测包；所 述时间片是指一个连续的时间范围，由起始时间和截止时间两个字段确定，时间范围内的 时间点标识了遥测包的获取时间； (3) 对于每一个任务包，对其包含的所有遥测包进行随机排序形成遥测包序列，选取 遥测包序列中的第一个遥测包进行解析，得到对应的遥测参数及其源码值并存储在本地数 据库中，从遥测包序列中的第二个遥测包开始，比较该遥测包数据与前一遥测包数据是否 相同，如果相同则不再解析该遥测包，只记录该遥测包中遥测参数的获取时间，同时建立该 遥测包中遥测参数的参数值与本地数据库中存储的前一相同遥测包中包含的遥测参数的 参数值的映射关系，不再重复存储该遥测包中遥测参数的参数值；如果不相同，则进入下一 [K 少； (4) 解析该遥测包，得到对应的遥测参数及其源码值，并比较该遥测包中每个遥测参数 的源码值与前一遥测包解析获得的对应遥测参数的源码值，如果遥测参数及其源码值均相 同，则只记录该遥测参数的获取时间，同时建立该遥测参数及其源码值与本地数据库中存 储的前一相同遥测参数及其源码值的映射关系，不再重复存储该遥测参数及其源码值；如 果遥测参数及其源码值有一项不相同，则将该遥测参数及其源码值存入本地数据库中。
【文档编号】G06F17/30GK104252526SQ201410438779
【公开日】2014年12月31日 申请日期:2014年8月29日 优先权日:2014年8月29日
【发明者】柳佳 申请人:航天东方红卫星有限公司