将电力系统历史数据高效完整同步到综合数据平台的方法

文档序号:9597959阅读:345来源:国知局
将电力系统历史数据高效完整同步到综合数据平台的方法
【技术领域】
[0001] 本发明涉及一种将电力系统历史数据高效完整同步到综合数据平台的方法。
【背景技术】
[0002] 电力调度机构中的调度自动化系统(SCADA/EMS)运行期间会产生大量的历史数 据,这些数据包括一次性设备的电压、电流、有功、无功、系统统计值、系统计算值等。大部分 历史数据都是以量测为单位每间隔5分钟进行存储,量测是指历史数据的种类,如:某个一 次性设备的电压是一个量测,而电流是另一个量测。
[0003] 目前,随着综合数据平台对调度自动化系统历史数据的应用分析越来越广泛,需 要将调度自动化系统历史数据完整同步迀移到综合数据平台中,以方便分析应用,但是,因 为历史数据数量庞大且随着时间不断增多,还存在部分数据中间丢失后又通过后期补全的 历史数据,所以,历史数据的定时高效完整性同步迀移及数据补全同步是综合数据平台历 史数据迀移的关键环节。
[0004] 现有同步数据的一个方法是所有量测采用同一个起止时间查询数据,为了保证每 个量测历史数据的完整拼接,每次查询数据的起始时间都是在上次结束时间基础上往前增 加一段时间,,比如上次查询结束时间是12点,这次查询起始时间则是10点,其缺陷在于: 因为调度自动化系统历史数据每个量测最后更新时间不一定一致,即使每次多重复查询一 段时间的历史数据,也无法保证部分量测历史数据不丢失,使得部分量测历史数据无法完 整拼接,从而不能保证同步历史数据的完整性,并且重复查询会在很大程度上降低了数据 同步的效率,存在部分量测历史数据重复同步的问题。
[0005] 现有同步数据的另一个方法是每个量测单独记录一个最后的时间点,但是,没有 缺失点记录,其缺点在于:无法对后续补全的调度自动化历史数据进行同步补全,不能做到 完整性同步,从而无法保证同步历史数据的完整性。

【发明内容】

[0006] 本发明的目的在于提供一种同步效率高且确保同步历史数据的完整性的将电力 系统历史数据完整同步到综合数据平台的方法,可将电力调度系统历史数据高效同步到综 合数据平台,能够保证历史数据同步的无缝拼接与数据补全,确保同步历史数据的完整性。
[0007] 本发明的上述目的通过以下的技术措施来实现:一种将电力系统历史数据完整同 步到综合数据平台的方法,其特征在于包括以下步骤:
[0008] ⑴解析整体同步时间记录文件,获取上次整体同步结束时间点;
[0009] ⑵解析每个量测数据的最后同步时间点文件,获取量测与该量测最后一个记录时 间点的映射表;
[0010] ⑶解析丢失历史数据时间点文件,获取缺失历史数据的量测与时间点;
[0011] ⑷连接调度自动化系统的历史数据库,根据缺失历史数据的量测与时间点查询历 史数据库,将查询到的缺失历史数据导入综合数据平台中,根据查询到的缺失历史数据删 除丢失历史数据文件中已经补全的缺失历史数据时间点;
[0012] (5)查询全部调度自动化系统的量测,获得全部量测信息,根据量测信息,在映射表 中查找每个量测的最后一个记录时间点,映射表中存在的每个量测的最后一个记录时间点 作为该量测的本次同步起始时间;映射表中没有的量测作为新增量测,以上次整体同步结 束时间点为新增量测的本次同步起始时间,全部量测的整体同步结束时间统一为当前时 间;
[0013] (6)查询具有相同同步起始时间的多个量测的历史数据,将查询到的历史数据导入 综合数据平台中,在历史数据查询过程中,根据调度自动化系统储存一次历史数据的时间 间隔找出缺失历史数据的时间点,并将缺失历史数据的量测与时间点记录到丢失历史数据 文件中,同时根据查询到的历史数据将每个量测的最新数据时间点更新到同步时间点文件 中,该同步时间点文件作为下次同步的最后同步时间点文件,最后将当前统一结束时间更 新到整体同步时间记录文件中。
[0014] 本发明能够有效保证数据同步到综合数据平台的完整性,保证及时同步补全数据 及每次同步数据的无缝拼接,可以实现高效同步,解决了大多数电力调度系统历史数据在 同步迀移时无法保证每个量测的历史数据的无缝拼接,且存在丢失数据及后续补全数据的 问题。
[0015] 作为本发明的一种实施方式,在所述步骤(6)中,所述的时间间隔为5分钟。
[0016] 与现有技术相比,本发明具有如下显著的效果:
[0017] ⑴本发明记录上次整体同步时间,作为新量测起始同步时间,保证了新量测的全 部历史数据完整同步。
[0018] ⑵本发明独立记录每个量测的最后一条数据时间,保证数据每次同步的无缝拼 接。
[0019] ⑶本发明根据源历史数据库历史数据每5分钟一个点的特点,记录缺失量测及时 间点,保证同步补全缺失的历史数据。
【具体实施方式】
[0020] 本发明一种将电力系统历史数据完整同步到综合数据平台的方法,包括以下步 骤:
[0021] ⑴解析整体同步时间记录文件syntime. opt,获取上次整体同步结束时间点;
[0022] ⑵解析每个量测数据的最后同步时间点文件measurementtime· opt,,获取量测与 该量测最后一个记录时间点的映射表;
[0023] ⑶解析丢失历史数据时间点文件lose, opt,获取缺失历史数据的量测与时间点;
[0024] 以上的 syntime. opt、measurementtime· opt 和 lose, opt 参见下表:
[0025]

[0027] (表 1)
[0028] ⑷连接调度自动化系统的历史数据库,根据缺失历史数据的量测与时间点查询历 史数据库,将查询到的缺失历史数据导入综合数据平台中,根据查询到的缺失历史数据删 除丢失历史数据文件中已经补全的缺失历史数据时间点;
[0029] (5)查询全部调度自动化系统的量测,获得全部量测信息,根据量测信息,在映射表 中查找每个量测的最后一个记录时间点,映射表中存在的每个量测的最后一个记录时间 点,作为该量测的本次同步起始时间;映射表中没有的量测作为新增量测,以上次整体同步 结束时间点为新增量测的本次同步起始时间,全部量测的整体同步结束时间统一为当前统 一结束时间;
[0030] (6)查询具有相同同步起始时间的多个量测的历史数据,将查询到的历史数据导入 综合数据平台中,在历史数据查询过程中,根据调度自动化系统历史数据每间隔5分钟一 个时间点找出缺失历史数据的时间点,并将缺失历史数据的量测与时间点记录到丢失历史 数据文件中,同时根据到的历史数据将每个量测的最新数据时间点更新到同步时间点文件 中,该同步时间点文件作为下次同步的最后同步时间点文件,最后将当前统一结束时间更 新到整体同步时间记录文件中。
[0031] 本发明的实施方式不限于此,根据本发明的上述内容,按照本领域的普通技术知 识和惯用手段,在不脱离本发明上述基本技术思想前提下,本发明还可以做出其它多种形 式的修改、替换或变更,均落在本发明权利保护范围之内。
【主权项】
1. 一种将电力系统历史数据高效完整同步到综合数据平台的方法,其特征在于包括以 下步骤: ⑴解析整体同步时间记录文件,获取上次整体同步结束时间点; (2)解析每个量测数据的最后同步时间点文件,获取量测与该量测最后一个记录时间点 的映射表; ⑶解析丢失历史数据时间点文件,获取缺失历史数据的量测与时间点; ⑷连接调度自动化系统的历史数据库,根据缺失历史数据的量测与时间点查询历史数 据库,将查询到的缺失历史数据导入综合数据平台中,根据查询到的缺失历史数据删除丢 失历史数据文件中已经补全的缺失历史数据时间点; (5) 查询全部调度自动化系统的量测,获得全部量测信息,根据量测信息,在映射表中查 找每个量测的最后一个记录时间点,映射表中存在的每个量测的最后一个记录时间点,作 为该量测的本次同步起始时间;映射表中没有的量测作为新增量测,以上次整体同步结束 时间点为新增量测的本次同步起始时间,全部量测的整体同步结束时间统一为当前统一结 束时间; (6) 查询具有相同同步起始时间的多个量测的历史数据,将查询到的历史数据导入综合 数据平台中,在历史数据查询过程中,根据调度自动化系统储存一次历史数据的时间间隔 找出缺失历史数据的时间点,并将缺失历史数据的量测与时间点记录到丢失历史数据文件 中,同时根据查询到的历史数据将每个量测的最新数据时间点更新到同步时间点文件中, 该同步时间点文件作为下次同步的最后同步时间点文件,最后将当前统一结束时间更新到 整体同步时间记录文件中。2. 根据权利要求1所述的将电力系统历史数据高效完整同步到综合数据平台的方法, 其特征在于:在所述步骤(6)中,所述的时间间隔为5分钟。
【专利摘要】本发明公开了一种将电力系统历史数据完整同步到综合数据平台的方法包括以下步骤:⑴获取上次整体同步结束时间点;⑵获取量测与该量测最后一个记录时间点的映射表;⑶获取缺失历史数据的量测与时间点;⑷将查询到的缺失历史数据导入综合数据平台中,根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点;⑸映射表中存在的每个量测的最后一个记录时间点作为该量测的本次同步起始时间;映射表中没有的量测作为新增量测,以上次整体同步结束时间点为新增量测的本次同步起始时间,全部量测整体同步结束时间统一为当前时间。本发明可保证数据高效同步到综合数据平台的完整性,保证及时同步补全数据及每次同步数据的无缝拼接。
【IPC分类】G06F17/30
【公开号】CN105354322
【申请号】CN201510783124
【发明人】高雅, 杜双育, 谢善益, 杨强, 马金宝, 孙龙涛, 徐庆平
【申请人】广东电网有限责任公司电力科学研究院, 威海欣智信息科技有限公司
【公开日】2016年2月24日
【申请日】2015年11月13日
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1