基于Ceph的电网多时态模型存储与管理系统及方法与流程

本发明涉及一种电网多时态模型管理系统，特别是涉及一种基于Ceph的电网多时态模型存储与管理系统及方法，属于电力系统自动化电网模型管理技术领域。

背景技术：

随着电网运行方式日趋复杂，电网的调度运行管理面临新的挑战，对作为电网安全稳定运行基础的电网模型和参数提出了更高的要求。多种电控业务不仅需要电网调度控制系统能从年、月、日未来时间维度提前进行建模及分析工作，而且需要根据不同历史时期电网模型进行静态追忆分析。

目前，国内外电力系统自动化厂家通常采用磁盘阵列与商用关系型数据库组合方式存储当前电网模型，为业务应用当前模型维护与历史模型备份提供了良好支撑，较难从全时间维度对电网未来、历史模型进行存储与管理，从而无法为业务应用提供模型数据相互隔离的未来、历史版本模型使用环境。磁盘阵列存储容量较难扩展，很难满足日益增加的未来、历史模型版本的数据存储规模；多时态版本模型采用商用关系型数据库二维表结构存储，需要通过特定高速数据导出支撑才能进行版本模型共享功能，无法达到快捷共享多时态模型的应用需求。因此，实现多时态电网模型构建、存储及管理对提升电网应用业务分析水平具有重要意义。

技术实现要素：

本发明的主要目的在于，克服现有技术中的不足，提供一种基于Ceph的电网多时态模型存储与管理系统及方法，采用分布式存储系统Ceph，可满足电网调控业务对多时态版本模型构建与存储的需求，并为电网调控中心内部各专业系统模型管理与共享提供一体化支撑，进一步提升调控系统对未来模型构建、历史模型回溯、模型共享等方面的支撑能力。

为了达到上述目的，本发明所采用的技术方案是：

一种基于Ceph的电网多时态模型存储与管理系统，以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互，包括分布式块存储池模块、模型数据存储介质模块、多时态模型版本存储模块和多时态模型版本管理功能模块；

所述分布式块存储池模块，为若干台安装有Ceph软件与操作系统的独立服务器组建成的Ceph存储集群，其对外模拟成一个大容量可弹性扩展的Ceph块设备，所述Ceph块设备挂载到部署有Ceph客户端的电网多时态模型版本业务服务器上，用于为电网的多时态模型版本的存储提供数据持久化支撑；

所述模型数据存储介质模块，采用电网通用模型描述规范的CIM/E文件与轻量级文件数据库，用于为多时态模型版本提供存储及访问支撑；

所述多时态模型版本存储模块，用于为每个模型版本分配名称唯一且相互隔离的文件系统目录，文件系统目录全部存储在Ceph块设备挂载点上，并从在线调控运行系统的模型数据库中高速抽取当前时刻断面模型，从而根据当前时刻断面模型在文件系统目录中生成所对应的CIM/E文件与轻量级文件数据库文件，为多时态模型版本提供互不影响的数据存取环境；

所述多时态模型版本管理功能模块，以全量与差异模型共同保存的方式对多时态模型版本进行存储与管理，用于快速获取指定时刻版本模型与版本之间的模型差异，提供未来版本模型的比较、合并功能，以及历史版本模型的回溯、共享功能。

本发明的系统进一步设置为：所述独立服务器为三台以上，每台独立服务器均采用x86服务器。

本发明的系统进一步设置为：每台独立服务器至少有两个1Gbps的网络接口控制器，以及网卡；网络接口控制器中的一个作为公共网络、一个作为集群网络。

本发明的系统进一步设置为：所述Ceph存储集群包括集群管理节点、集群状态监控节点和存储节点，所述集群管理节点和集群状态监控节点分别由一台独立服务器构建，所述存储节点由构建集群管理节点和集群状态监控节点的两台独立服务器中的任意一台构建。

本发明的系统进一步设置为：所述Ceph块设备直接挂载到电网多时态模型版本业务服务器上，Ceph块设备中的rdb提供块存储服务，一个rbd卷对外表现为一个块设备；所述电网多时态模型版本业务服务器上的应用程序通过操作系统接口对rdb卷磁盘挂载点进行文件I/O操作。

本发明的系统进一步设置为：所述CIM/E文件用于存储多时态模型版本的全量与增量模型，在线调控运行系统抽取的断面模型；所述轻量级文件数据库用于根据在线调控运行系统中的应用模型数据结构，对CIM/E文件中模型数据进行二维表结构化存储，为上层服务或工具提供满足结构化查询语言标准的查询修改操作；

所述文件系统目录包括用于存储CIM/E文件的CIM/E目录和用于存储轻量级文件数据库的Database目录；所述Database目录采用垂直拆分机制以模型类名创建二级目录进行分目录存储，并对大数据量模型表根据关键字进行水平拆分机制进行多文件存储。

本发明的系统进一步设置为：所述未来版本模型的合并功能基于多时态模型版本变更痕迹日志与模型比较机制进行实现；

所述历史版本模型以日、周、月为周期对在线调控运行系统的不同应用模型集进行模型保存，逻辑上形成多个时序化可追溯模型版本树；所述历史版本模型的回溯功能通过叠加不同版本的模型差异内容快速得到两个时间相近的历史版本差异信息，对于时间间隔较远的历史版本模型则通过模型比较方式得到模型差异。

本发明还提供一种基于Ceph的电网多时态模型存储与管理方法，包括以下步骤：

1）构建前述的基于Ceph的电网多时态模型存储与管理系统，基于Ceph存储集群的底层通过接口动态库的方式对外提供块设备、文件系统、对象存储的服务，并采用面向服务的体系结构为模型访问客户端提供数据存取接口；其中，面向服务的体系结构自下而上包括模型持久层、数据访问层、数据处理层与应用层；

2）所述模型持久层采用CIM/E文件对多时态模型版本的全量与增量模型及在线调控运行系统的断面模型进行持久化存储，并存储于CIM/E目录下；

3）所述数据访问层采用轻量级文件数据库进行多数据表存储，并存储于Database目录下，且在模型数据维护完成后通过数据回写服务将轻量级文件数据库中的模型回写入全量模型CIM/E文件；

4）所述数据处理层进行SQL改写、数据路由与语句执行、以及结果归并操作，所述应用层进行应用程序的运行；其中，应用程序的运行包括模型数据维护服务，对未来版本模型或历史版本模型的比较、合并、回溯、共享功能；

5）所述模型数据维护服务包括唯一性与可比较性的维护和未来电网拓扑连接关系的变化维护；

所述唯一性与可比较性的维护是通过集中索引存储方式对各未来规划版本新增模型的名称进行唯一性约束控制，并通过预先分段机制为新增模型分配互不重复的键值；

所述未来电网拓扑连接关系的变化维护是对不同未来版本使用经过格式扩展的独立CIM/E文件分别记录相应未来版本模型维护时发生的增量变化，CIM/E文件中按行对模型维护变更内容进行时序性记录，每行内容包含记录变化类型、变化涉及到的属性、属性变化前与变化后的值，其中变化类型包括增、删、改。

本发明的方法进一步设置为：所述未来版本模型的合并功能，具体实现包括步骤为，

A）对各个待合并未来版本模型的模型范围计算全集，由此生成合并的模型范围；

B）根据合并的模型范围创建新的未来版本模型，并根据合并的模型范围从在线调控运行系统抽取当前模型数据；

C）将待合并未来版本模型按照预计投运时间排序，按时间先后顺序依次将各待合并未来版本模型增量CIM/E文件中的变更模型导入；

D）多个版本增量文件中可能存在对相同记录进行维护的情况，将同一记录删除或更新，记录相同属性值视为幂等操作，自动按序导入；针对记录属性更新值不一致的情况，提供按预计投运时间自动堆叠导入与人工选择导入两种方式。

本发明的方法进一步设置为：所述历史版本模型的比较功能，具体实现包括步骤为，

a）采用全数据比较与差异CIM/E文件堆叠两种方式对历史版本模型进行比较；

b）历史版本比较服务自动对新归并的历史版本与上一个历史版本进行比较，采用格式扩展的CIM/E文件记录差异内容；其中，比较服务采用基于数据分片技术的大模型数据比较方法，将不同模型表拆分成多个数据分片后进行并发比较，最终将差异结果进行合并；

c）在历史归并版本与上一个版本自动比较生成差异CIM/E文件的情况下，50个版本之内的相近版本的历史版本模型比较采用差异CIM/E文件内容堆叠方法，快速生成版本间的差异信息；版本间隔较远的历史版本模型采用数据分片并发方式进行完整数据比较。

与现有技术相比，本发明具有的有益效果是：

1、提供的基于Ceph的电网多时态模型存储与管理系统，以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互，可以有效防止多版本模型构建与使用过程中对在线调控运行系统造成影响。

2、采用CIM/E文件与轻量级文件数据库作为模型数据存储介质，可摆脱多版本模型存储与维护对商用关系型数据库的依赖。

3、所有模型版本的文件系统目录全部存储在Ceph块设备挂载点上，后续可根据模型数据增长规模，弹性地对分布式存储集群进行磁盘或服务器扩充，从而提高多时态模型版本的存储容量。

4、以全量与差异模型共同保存的方式对多时态版本模型进行存储与管理，通过数据分片并发比较与差异模型堆叠方法可快速获取指定时刻版本模型与版本之间的模型差异。

上述内容仅是本发明技术方案的概述，为了更清楚的了解本发明的技术手段，下面结合附图对本发明作进一步的描述。

附图说明

图1为本发明实施例中基于Ceph的电网多时态模型存储与管理系统的结构示意图；

图2为本发明实施例中分布式块存储体系结构示意图；

图3为本发明实施例中基于文件的电网模型存取技术体系结构示意图；

图4为本发明实施例中多时态版本模型文件存储目录结构示意图；

图5为本发明实施例中未来模型版本合并的步骤流程图。

具体实施方式

下面结合说明书附图，对本发明作进一步的说明。

本发明提供一种基于Ceph的电网多时态模型存储与管理系统，如图1所示，以智能电网调度控制系统平台软件为基础构建、并独立于智能电网调度控制系统的在线调控运行系统、以及通过网络代理与在线调控运行系统进行数据交互，包括分布式块存储池模块、模型数据存储介质模块、多时态模型版本存储模块和多时态模型版本管理功能模块。

所述分布式块存储池模块，为三台以上安装有Ceph软件与操作系统的独立服务器x86服务器组建成的Ceph存储集群，其对外模拟成一个大容量可弹性扩展的Ceph块设备，所述Ceph块设备直接挂载到部署有Ceph客户端的电网多时态模型版本业务服务器上，用于为电网的多时态模型版本的存储提供数据持久化支撑。

其中，由于大多数硬盘驱动器的吞吐量大约为100MB/秒，所以需要每台独立服务器至少有两个1Gbps的网络接口控制器，以及网卡；网络接口控制器中的一个作为公共网络、一个作为集群网络，网卡能够处理Ceph存储集群中磁盘的流量。

所述Ceph存储集群包括集群管理节点、集群状态监控节点和存储节点，所述集群管理节点和集群状态监控节点分别由一台独立服务器构建，所述存储节点由构建集群管理节点和集群状态监控节点的两台独立服务器中的任意一台构建。Ceph块设备中的rdb提供块存储服务，一个rbd卷对外表现为一个块设备；所述电网多时态模型版本业务服务器上的应用程序通过操作系统接口对rdb卷磁盘挂载点进行文件I/O操作。如图2所示，Ceph的基础是Rados集群，Rados集群中最基本的组件是监控器Monitor与OSD；其监控器负责维护集群的状态，OSD进程主要用来存储数据，并负责处理数据的同步、恢复与填充。在上述基础上Rados集群向客户端提供librbd接口动态库，Ceph的底层通过接口动态库的方式对外提供了块设备、文件系统、对象存储的服务。

所述模型数据存储介质模块，采用电网通用模型描述规范的CIM/E文件与轻量级文件数据库，如图4所示，用于为多时态模型版本提供存储及访问支撑，从而摆脱多版本模型存储与维护对商用关系型数据库的依赖。

其中，所述CIM/E文件用于存储多时态模型版本的全量与增量模型，在线调控运行系统抽取的断面模型；所述轻量级文件数据库用于根据在线调控运行系统中的应用模型数据结构，对CIM/E文件中模型数据进行二维表结构化存储，为上层服务或工具提供满足结构化查询语言标准的查询修改操作；

其中，所述文件系统目录包括用于存储CIM/E文件的CIM/E目录和用于存储轻量级文件数据库的Database目录；所述Database目录采用垂直拆分机制以模型类名创建二级目录进行分目录存储，并对大数据量模型表根据关键字进行水平拆分机制进行多文件存储。

所述多时态模型版本存储模块，用于为每个模型版本分配名称唯一且相互隔离的文件系统目录，文件系统目录全部存储在Ceph块设备挂载点上，并从在线调控运行系统的模型数据库中高速抽取当前时刻断面模型，从而根据当前时刻断面模型在文件系统目录中生成所对应的CIM/E文件与轻量级文件数据库文件，为多时态模型版本提供互不影响的数据存取环境。

所述多时态模型版本管理功能模块，以全量与差异模型共同保存的方式对多时态模型版本进行存储与管理，用于快速获取指定时刻版本模型与版本之间的模型差异，提供未来版本模型的比较、合并功能，以及历史版本模型的回溯、共享功能。

其中，所述未来版本模型的合并功能基于多时态模型版本变更痕迹日志与模型比较机制进行实现。

其中，所述历史版本模型以日、周、月为周期对在线调控运行系统的不同应用模型集进行模型保存，逻辑上形成多个时序化可追溯模型版本树；所述历史版本模型的回溯功能通过叠加不同版本的模型差异内容快速得到两个时间相近的历史版本差异信息，对于时间间隔较远的历史版本模型则通过模型比较方式得到模型差异。

本发明还提供一种基于Ceph的电网多时态模型存储与管理方法，包括以下步骤：

1）构建前述的基于Ceph的电网多时态模型存储与管理系统，基于Ceph存储集群的底层通过接口动态库的方式对外提供块设备、文件系统、对象存储的服务，并采用面向服务的体系结构为模型访问客户端提供数据存取接口；其中，面向服务的体系结构自下而上包括模型持久层、数据访问层、数据处理层与应用层；如图3所示。

2）所述模型持久层采用CIM/E文件对多时态模型版本的全量与增量模型及在线调控运行系统的断面模型进行持久化存储，并存储于CIM/E目录下；

3）所述数据访问层采用轻量级文件数据库进行多数据表存储，并存储于Database目录下，且在模型数据维护完成后通过数据回写服务将轻量级文件数据库中的模型回写入全量模型CIM/E文件；

4）所述数据处理层进行SQL改写、数据路由与语句执行、以及结果归并操作，所述应用层进行应用程序的运行；其中，应用程序的运行包括模型数据维护服务，对未来版本模型或历史版本模型的比较、合并、回溯、共享功能；

5）所述模型数据维护服务包括唯一性与可比较性的维护和未来电网拓扑连接关系的变化维护；

所述唯一性与可比较性的维护是通过集中索引存储方式对各未来规划版本新增模型的名称进行唯一性约束控制，并通过预先分段机制为新增模型分配互不重复的键值；

所述未来电网拓扑连接关系的变化维护是对不同未来版本使用经过格式扩展的独立CIM/E文件分别记录相应未来版本模型维护时发生的增量变化，CIM/E文件中按行对模型维护变更内容进行时序性记录，每行内容包含记录变化类型、变化涉及到的属性、属性变化前与变化后的值，其中变化类型包括增、删、改。

所述未来版本模型的合并功能，具体实现包括步骤为，如图5所示，

A）对各个待合并未来版本模型的模型范围计算全集，由此生成合并的模型范围；

B）根据合并的模型范围创建新的未来版本模型，并根据合并的模型范围从在线调控运行系统抽取当前模型数据；

C）将待合并未来版本模型按照预计投运时间排序，按时间先后顺序依次将各待合并未来版本模型增量CIM/E文件中的变更模型导入；

D）多个版本增量文件中可能存在对相同记录进行维护的情况，将同一记录删除或更新，记录相同属性值视为幂等操作，自动按序导入；针对记录属性更新值不一致的情况，提供按预计投运时间自动堆叠导入与人工选择导入两种方式。

另外，所述历史版本模型的比较功能，具体实现包括步骤为，

a）采用全数据比较与差异CIM/E文件堆叠两种方式对历史版本模型进行比较；

b）历史版本比较服务自动对新归并的历史版本与上一个历史版本进行比较，采用格式扩展的CIM/E文件记录差异内容；其中，比较服务采用基于数据分片技术的大模型数据比较方法，将不同模型表拆分成多个数据分片后进行并发比较，最终将差异结果进行合并；

c）在历史归并版本与上一个版本自动比较生成差异CIM/E文件的情况下，50个版本之内的相近版本的历史版本模型比较采用差异CIM/E文件内容堆叠方法，快速生成版本间的差异信息；版本间隔较远的历史版本模型采用数据分片并发方式进行完整数据比较。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。