能量管理系统分布式实时内存数据库的分区存储方法
【专利摘要】本发明公开了能量管理系统分布式实时内存数据库的分区存储方法，其特征在于，包括如下步骤：步骤1、将数据表中的数据进行ID编号和分组，每条数据记录拥有唯一的ID编号且每条数据记录被分配一个分组编号；步骤2、每条数据记录根据分配的分组编号分配到对应的分区存储文件中；步骤3、建立数据表ID编号?分区编号映射，创建索引文件；步骤4、根据需要将同一个分区存储文件存储到不同的数据节点，或将不同的分区存储文件存储到同一个数据节点。将不同的记录数据存储于不同的分区中，同时为了保证分区数据可以并发访问，将不同的分区进行分成不同文件独立存储。
【专利说明】
能量管理系统分布式实时内存数据库的分区存储方法
技术领域
[0001 ]本发明涉及一种能量管理系统分布式实时内存数据库的分区存储方法。
【背景技术】
[0002] 能量管理系统(EMS)是现代电网调度自动化系统(含硬、软件）的总称，其主要功能 由基础功能和应用功能两个部分组成。基础功能包括:计算机、操作系统和EMS支撑系统，而 应用功能包括:数据采集与监视(SCADA)、自动发电控制(AGC)与计划、网络应用分析等。
[0003] 能量管理系统结构复杂、功能丰富，其实时数据库包含大量数据，由于其实时内存 数据库中，单表记录数过大，导致数据访问性能大大降低。
【发明内容】
[0004] 针对上述问题，本发明提供一种能量管理系统分布式实时内存数据库的分区存储 方法，通过数据库分片的方式将较大的数据表分成多个数据分区，将不同的记录数据存储 于不同的分区中，同时为了保证分区数据可以并发访问，将不同的分区进行分成不同文件 独立存储。
[0005] 为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
[0006] 能量管理系统分布式实时内存数据库的分区存储方法，其特征在于，包括如下步 骤：
[0007] 步骤1、将数据表中的数据进行ID编号和分组，每条数据记录拥有唯一的ID编号且 每条数据记录被分配一个分组编号；
[0008] 步骤2、每条数据记录根据分配的分组编号分配到对应的分区存储文件中；
[0009] 步骤3、建立数据表1D编号-分区编号映射，创建索引文件；
[0010] 步骤4、根据需要将同一个分区存储文件存储到不同的数据节点，或将不同的分区 存储文件存储到同一个数据节点。
[0011] 优选，每个数据节点的数据库索引只包括本节点上已有的数据。
[0012] 优选，实时内存数据库建立单独的分区索引存储数据表中每条数据记录的ID到数 据记录所属分组编号及存储位置的映射关系，并为每张数据表形成独立的索引文件。
[0013] 本发明的有益效果是：
[0014] 第一、实现实时数据库中数据分区的独立存储；
[0015]第二、提供分片数据的并发读写；
[0016]第三、数据的可移植性强。
[0017]通过数据库分片的方式将较大的数据表分成多个数据分区，将不同的记录数据存 储于不同的分区中，同时为了保证分区数据可以并发访问，将不同的分区进行分成不同文 件独立存储。
【附图说明】
[0018] 图1是本发明实施例中数据文件部署方式的示意图。
【具体实施方式】
[0019] 下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领 域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限 定。
[0020] 能量管理系统分布式实时内存数据库的分区存储方法，包括如下步骤：
[0021] 步骤1、将数据表中的数据进行ID编号和分组，每条数据记录拥有唯一的ID编号且 每条数据记录被分配一个分组编号；
[0022] 本发明以数据表device为例，device表包含2个字段dev_id(ID编号），和dev_type (分组编号），如表1所示：
[0023]表 1
[0025]步骤2、每条数据记录根据分配的分组编号分配到对应的分区存储文件中；
[0026]数据表按照deV_type进行分区后变为3个分区，并将分区数据写入到对应的分区 文件:对应dev_type为1，记录存入分区文件表A_分区1;对应dev_type为2,存入分区文件表 A_分区2;dev_type为3,存入分区文件表六_分区3,分别对应为表2-4:
[0033]步骤3、建立数据表1D编号-分区编号映射，创建索引文件，主键索引文件即图1中 的表A_主键，如表5所不：
[0034] 表5主键索引文件表六_主键
[0036] 步骤4、根据需要将同一个分区存储文件存储到不同的数据节点，或将不同的分区 存储文件存储到同一个数据节点，如图1所示，不同分区可存储在不同的计算机节点上。
[0037] 优选，每个数据节点的数据库索引只包括本节点上已有的数据。每个计算机节点 上的数据单独构造索引，索引中只包含本节点的数据。
[0038]优选，实时内存数据库建立单独的分区索引存储数据表中每条数据记录的ID到数 据记录所属分组编号及存储位置的映射关系，并为每张数据表形成独立的索引文件。
[0039] 本发明涉及的能量管理系统分布式实时内存数据库的分区存储方法是结合工作 在应用层的自主开发的实时库上实现，不依赖于具体的操作系统，适用于各种操作系统。本 方法保证了可移植性，能够随着实时数据库系统安全、稳定地运行在IB M AIX、S u n Solar is、Alpha Tru64、HPUX、Linux、Windows 等操作系统平台上。
[0040] 本发明的有益效果是：
[0041] 第一、实现实时数据库中数据分区的独立存储；
[0042]第二、提供分片数据的并发读写；
[0043]第三、数据的可移植性强。
[0044]通过数据库分片的方式将较大的数据表分成多个数据分区，将不同的记录数据存 储于不同的分区中，同时为了保证分区数据可以并发访问，将不同的分区进行分成不同文 件独立存储。
[0045]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关 的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1. 能量管理系统分布式实时内存数据库的分区存储方法，其特征在于，包括如下步骤： 步骤1、将数据表中的数据进行ID编号和分组，每条数据记录拥有唯一的ID编号且每条 数据记录被分配一个分组编号； 步骤2、每条数据记录根据分配的分组编号分配到对应的分区存储文件中； 步骤3、建立数据表1D编号-分区编号映射，创建索引文件； 步骤4、根据需要将同一个分区存储文件存储到不同的数据节点，或将不同的分区存储 文件存储到同一个数据节点。2. 根据权利要求1所述的能量管理系统分布式实时内存数据库的分区存储方法，其特 征在于，每个数据节点的数据库索引只包括本节点上已有的数据。3. 根据权利要求1所述的能量管理系统分布式实时内存数据库的分区存储方法，其特 征在于，实时内存数据库建立单独的分区索引存储数据表中每条数据记录的ID到数据记录 所属分组编号及存储位置的映射关系，并为每张数据表形成独立的索引文件。
【文档编号】G06F17/30GK105912601SQ201610207974
【公开日】2016年8月31日
【申请日】2016年4月5日
【发明人】吴庆曦, 彭晖, 王瑾, 靳晶, 魏娜, 陈鹏, 季学纯, 葛以踊, 高原, 孟勇亮, 孙世明, 陈宁, 徐春雷, 余璟, 吴海伟, 胡浔惠, 佘勇
【申请人】国电南瑞科技股份有限公司, 国电南瑞南京控制系统有限公司, 国家电网公司, 国网江苏省电力公司