专利名称：一种电力调度海量数据的存储方法
技术领域：
本发明涉及一种海量数据的存储方法，尤其是涉及一种电力调度海量数据 的存储方法。
背景技术：
电力系统为确保电网安全稳定运行与及时监控管理，需要使用多种业务子 系统提供足够的数据支持。为此，各业务系统运行期间均会产生大量能有效反 映电网运行状况的监控数据与历史数椐。同时，国内各电力企业在信息化领域 发展迅速，各类业务子系统，尤其是二次应用系统数量不断增多，产生数据的 种类与范围也不断扩展。
经过多年运行，各业务系统逐步积累有大量历史数据，形成丰富的数据信 息资源，这些数据资源描述了各级电网长期的运行状况，蕴涵着电力系统运行 的历史特性，可以从中总结、挖掘出丰富的经验及规则，值得长期保留。伴随 集约化管理的深入和信息化建设的成熟，各电力企业越发重视对数据信息资源， 尤其是对电力调度数据的保存与综合使用，并逐步开展了调度数据整合工作。
另一方面，长期保存后的电力调度数据量较大，采用传统方式存储后，将 因存储表记录过多而使得数据存取访问性能大大降低，严重影响外部对各类电 力调度数据的综合使用效果。
目前，各系统对这些海量数据的存储与处理方式主要分为以下几种 一、按传统方式存储，但为了确保系统性能而限制数据保存年限。超过保 存年限后的历史数据，将被永久性移出至其他备用空间，不再留存于当前运行 系统，仅当需要时才临时导回。这种存储与处理方式通过减少海量数据存储时
间来换取系统效率，不能满足长期存储并使用的要求。
二、 按时间分表存储，将传统模式下的单表按日期拆分为很多张子表。这 种存储处理方式可以保存所有历史数据，且单表存取访问性能较高，但拆分破 坏了电力调度数据典型的时间连续性特点，使得对数据的组织与使用十分不便。
三、 数据点式存储，将各个数据作为孤立的数据点看待，分配编号并依次 按顺序存于一组传统结构的数据表的对应编号的数据域中。这种存储处理方式 能较好的保存长期的历史数据，且不会在单表形成海量记录，通过凄t据点与数 据表及数据域的映射关系来获取数据，但由于数据点之间彼此无任何关联，因 此同样不便于获取有联系的多种批量数据。
其他各种电力调度海量数据的存储处理方法，也因各种原因均未能兼顾海 量存储与使用方便的两方面要求。
发明内容
1、 发明目的
本发明的目的在于提供一种有效的电力调度海量数据存储实现技术，通过 进一步细分海量数据，采用对应的存储结构，4吏数据库在存储有较长时间的电 力调度历史数据时，仍具有非常好的数据存取性能，且各类数据更容易组织与 综合使用。
2、 技术方案
本发明的存储实现技术首先基于电网拓朴模型建立面向对象的广域动态电 网设备管理4莫型，此模型涵盖与海量数据有关的电网各级组织机构(如省级 电网、地市级电网等)、各种设备类型(如发电厂、变电站、线路等)等，同
时在数据库中建立对应的设备实例存储表，并按实际情况存入具体的各个组织 机构与设备实例。
继而在此电网i殳备管理模型基础上，建立本电网的动态数据模型。对海量
数据按照数据釆样周期分类，形成5分钟、15分钟、1小时、1日、1月、1 年等多个不同的数据采样周期。同时划分出海量数据中各种数据种类(如有 功、无功、电量等)，按照数据种类与上述设备模型、数据采样周期的关系，建 立各个数据类别(如机组5分钟有功、母线15分钟电压、电厂每日发电量等)， 并为各数据类别建立与相应数据存储表/域间的关联，并将此关联关系保存在数
据库中，从而形成该电网的动态数据模型。
本发明的存储实现技术综合考虑数据存储性能与电力系统数据特性，对不 同采样周期的数据使用不同的存储结构对于1小时、1日、l月、l年等采样 周期的数据使用纵向存储结构，对5分钟、IO分钟、15分钟、30分钟等采样周 期的数据使用对应的横向存储结构。每种存储结构内的数据记录均能体现各数 据所关联的电网组织机构或设备实例、数据采样周期、数揚时间等信息，从而 将海量数据中原本各个孤立的数据个体，转变为信息含量丰富、多维度相关、 非常便于组织的数据对象。
纵向存储结构包含有二个维度域及不定个数的数据域，二个维度域分别用 于关联数据对应的设备实例及数据时刻，数据域则用于分别存放与当前设备实 例、当前时刻相关的多个数据，该存储结构中每个记录可承栽一个设备实例、 一个时刻的多种数据，是一种较常见的数据存储结构。
横向存储结构包含有三个维度域及固定个数的数据域，三个维度域分别用 于关联数据对应的设备实例、数据时刻及数据种类，数据域个数与该存储结构 相适应的采样周期有关，该存储结构中每个记录可承栽一个设备实例、 一种数据在一天内各时刻的值。
采样周期为时、日、月、年的电力调度数据，由于周期跨度相对较大，多 年历史数据对存取性能的影响有限。使用纵向存储结构存储，可以最大限度发 挥数据库自身的统计功能优势。
采样周期为各分钟的电力调度数据，周期跨度小，数据量明显增长，多年 历史数据对存取性能有显著影响。采用横向存储结构，可使记录总数平均降低
至使用传统存储结构的记录数的1/20，从而极大提高数据库存取性能。
由于各种存储结构都包含设备维度和时间维度信息，因此也更容易从多个 维度角度组织数据，获取批量或单个同类设备的时段或单时刻的多种数据也变 得更加方便。
3、有益效果
本发明的存储实现技术采用电网设备管理模型和电网动态数据模型来划分 与关联数据，能明显使各类电力调度数据更容易组织与综合使用，改变了以往 只能按厂点取用、数据间较为孤立的状况。
同时，本发明通过进一步细分海量数据，并采用最合适存储结构，能够使 数据库在存储有较长时间的电力调度历史数据之后，仍具有非常好的数据存取
性能，消除了以往海量数据效率低下的问题。
图l M电机设备实例表； 图2是数据类别定义表；
图3是采用纵向存储结构的发电机5分钟数据表A; 图4是采用横向存储结构的发电机5分钟数据表B;
具体实施例方式
以下将举一较佳实施例对本发明的存储技术作进一步描述。 本实施例为对典型电力调度数据"发电机5分钟有功、无功值"的海量 存储性能分析。
1、 按照本发明的存储技术，首先建立广域动态设备管理模型，此处建立 "发电机，，设备类型、发电机设备实例表，存入各发电机记录，至少包括
ID、名称，发电机个数按500个计，发电机ID分别为1、 2........ 500,
发电机名称分别为#1机、#2机........#500机，参见图1
2、 对海量数据按照采样周期进行分类，得到l个采样周期5分钟；
3、 划分数据种类，得到2个数据种类有功、无功；
4、 建立数据类别，得到2个数据类别发电机5分钟有功出力、发电机 5分钟无功出力，数据类别ID分别为1、 2,从而形成数据模型，参见图 2
5、 建立发电机5分钟数据表A,采用纵向存储结构，参见图3
6、 建立发电机5分钟数据表B,采用横向存储结构，参见图4
7、 存储8年的发电机5分钟历史数据； 由上述实施例的要求，可以推算出如下结果 对于发电机5分钟数据表A:
8年总记录量=500 (个发电机记录)x 288 ( 5分钟点数/机/天)x 365 (天 /年)x8(年)=420480000 4. 2亿(条记录)
对于发电机5分钟数据表B:
8年总记录量=500 (个发电机记录)x2 (数据类别/机/天)x 365 (天/ 年)x8(年)=2920000 = 292万(条记录)
分析结果采用横向存储结构的B表，记录数明显少于采用纵向存储结构 的A表，B表记录数仅为A表的7%。，使得B表的存取时间也明显小于A表， 数据库对海量数据的存取性能得到极大改善。
上述实施例仅用于更好的阐述本发明的存储技术，并不对本发明有任何限 制，任何基于本发明做出的修改和变化都属于本发明精神的范围内。
权利要求
1、一种电力调度海量数据的存储方法，其特征在于，对于采样周期大于30分钟所采集的数据采用纵向存储的存储方式；对于采样周期小于等于30分钟所采集的数据采用横向存储的存储方式。
全文摘要
本发明涉及一种海量数据的存储方法，尤其是涉及一种电力调度海量数据的存储方法，其特征在于，对于采样周期大于30分钟所采集的数据采用纵向存储的存储方式；对于采样周期小于等于30分钟所采集的数据采用横向存储的存储方式。本发明通过进一步细分海量数据，并采用最合适存储结构，能够使数据库在存储有较长时间的电力调度历史数据之后，仍具有非常好的数据存取性能，消除了以往海量数据效率低下的问题。
文档编号G01D9/00GK101354270SQ20081002547
公开日2009年1月28日 申请日期2008年5月5日 优先权日2008年5月5日
发明者刚 俞, 峰 林 申请人:国网南京自动化研究院;南京南瑞集团公司