基于缓慢变化维格式的遥信数据压缩存储和查缺补缺方法
【技术领域】
[0001] 本发明涉及企业数据存储领域，尤其是电力系统开关开断状态信息的存储；更具 体地说，本发明涉及一种基于缓慢变化维格式的遥信数据压缩存储和查缺补缺方法。
【背景技术】
[0002] 国家电网华东分部管理着世界范围内最大的区域电网，所辖范围内的断路器、刀 闸、接地刀闸等开关类设备共有7万多个，每个设备每分钟产生1个遥信数据（开关的开断 状态）发送给D5000调度自动化EMS系统（能量管理系统），调度数据中心又从D5000EMS 获得这些遥信数据，如何及时有效的存储、使用这些数据是一个技术难点。
[0003] 对于数据存储，最常见的方式是是参考文件内容，在数据库中建好对应的表，然后 编程或使用ETL (Extract-Transform-Load，抽取-转换-加载）工具将数据保存进数据库 表中。对于遥信数据来说，按此格式存储表如表1的遥信数据以普通格式保存的示例所示。
[0004] 表 1
[0005]
[0006]
【主权项】
1. 一种基于缓慢变化维格式的遥信数据压缩存储和查缺补缺方法，其特征在于包括： 新旧文件比较步骤：通过将接入的遥信文件的带有时间标记的文件名与数据库中已存 文件名进行比较，判断接入的遥信文件是新文件还是旧文件； 正常入库步骤：在新旧文件比较步骤中判断接入的遥信文件是新文件的情况下，在已 有遥信数据上增加最新的状态，并且在数据库表中添加发生状态变化的遥信数据； 补缺入库步骤：在新旧文件比较步骤中判断接入的遥信文件不是新文件的情况下，在 已有历史遥信数据中增添过去的特定时间点的遥信状态； 文件名保存步骤：在完成正常入库步骤或补缺入库步骤后，将遥信数据的文件名以普 通格式保存下来。
2. 根据权利要求1所述的方法，其特征在于还包括数据缺失检查处理，所述数据缺失 检查处理包括： 生成遥信文件的全量文件名，其中全量文件名的格式为"设备名+时间+文件类型"组 成，并保存进全量文件名表中； 根据全量文件名查找缺失文件名； 进行缺失文件名保存，其中将缺失文件名保存到数据库表中。
3. 根据权利要求2所述的方法，其特征在于，其中在生成遥信文件的全量文件时，由程 序自动生成检查时间内所有时间点以及D5000EMS中的三类遥信设备的文件名。
4. 根据权利要求2所述的方法，其特征在于，在根据全量文件名查找缺失文件名时，使 用SQL语句中minus语句，用全量文件名去减入库文件名，得到已入库文件名比全量文件名 缺少的文件名，即为缺失文件名。
5. 根据权利要求1或2所述的方法，其特征在于，将遥信数据保持在内存中。
6. 根据权利要求5所述的方法，其特征在于，在遥信数据处理时，先将遥信文件中的数 据读取到内存，然后在内存中与历史最新遥信值进行比较，最后将变化的遥信值存入数据 库，同时将内存中的遥信状态更新到最新状态。
7. 根据权利要求1或2所述的方法，其特征在于，在补缺入库步骤中，使用JAVA程序读 取遥信文件中的数据并保存到临时表中，然后使用存储过程进行遥信的补缺。
8. 根据权利要求1或2所述的方法，其特征在于，在补缺入库步骤中，对将要补缺的数 据进行过滤，其中将将要补缺的遥信值与遥信表中对应时间段内的遥信值进行对比，只保 留将要补缺的数据中的遥信状态发现变化的数据。
9. 根据权利要求1或2所述的方法，其特征在于，在补缺入库步骤中，将补缺点划分成 五种类型而且针对每种类型执行相应的补缺处理，其中所述五种类型为无记录的补缺点、 状态不变化的补缺点、处于起点位置的补缺点、处于中间位置的补缺点、以及处于尾部位置 的补缺点。
【专利摘要】本发明提供了一种基于缓慢变化维格式的遥信数据压缩存储和查缺补缺方法，包括：新旧文件比较步骤，其中通过将接入的遥信文件的带有时间标记的文件名与数据库中已存文件名进行比较，判断接入的遥信文件是新文件还是旧文件；正常入库步骤，其中在新旧文件比较步骤中判断接入的遥信文件是新文件的情况下，在已有遥信数据上增加最新的状态，并且在数据库表中添加发生状态变化的遥信数据；补缺入库步骤，其中在新旧文件比较步骤中判断接入的遥信文件不是新文件的情况下，在已有历史遥信数据中增添过去的特定时间点的遥信状态；文件名保存步骤，其中在完成正常入库步骤或补缺入库步骤后，将遥信数据的文件名以普通格式保存下来。
【IPC分类】G06F3-06, G06F17-30
【公开号】CN104834487
【申请号】CN201510268933
【发明人】毕晓亮, 张亮, 徐尧强, 岑维新, 吴超, 李丽, 周瑾, 郭华军, 马欢, 周晓苏
【申请人】华东电网有限公司, 上海欣同创科技有限公司
【公开日】2015年8月12日
【申请日】2015年5月24日