数据管理方法、装置及系统与流程

本发明涉及数据管理领域，尤其涉及数据的业务数据的操作。

背景技术：

电网运营状态瞬息万变，对实时性要求很高，而主动配电网，长期以来智能化程度很低，很大一部分原因，就是因为系统的应急反应能力达不到运营要求，那怕只需要几秒种的计算延误，也足以给电网生产系统带来灾难性的影响。所以主动配电网的智能化调度往往是通过仿真计算(基于电网的实际运营数据)，模拟电网的各种异常状况，找到针对各种异常状况的解决方案，提前设定在电网的生产系统中。当生产系统遇到某种异常情况时，就自动切换到对应的解决方案，从而节省了保贵的决策时间，其实就是一种空间换时间的方法。这种通过仿真环境模拟电网各种运行状况的情景就称之为多场景多态。多场景多态是进行仿真计算的基础，因为必须先有模拟环境，才能进行仿真计算。

电力行业的所谓多场景是个人为划分的概念，比如安全场景，异常场景，特定事件场景等，每个场景下都存在多种选择方案，称为多态，多场景多态如附图1所示，多态数据库是基于生产库而生成的，生产库按不同研究目的可生成多个多态数据库版本，分别用于满足不同的仿真试验场合。多态数据库仅仅是一些数据文件而已，所谓多态实例，是指数据库服务进程加载某个多态数据库文件，从而生成特定的可运行的数据库服务。

在目前电力行业，多态数据提取以及实例的部署都是人工操作的，自动化程度很低，效率不高，部署一个实例通常需要一天甚至数天时间。

现有的多态方案资源共享率很低，一个多态实例往往需要独占一批服务器资源，且完成验证后，资源的释放也是个很大的问题，一般需要人工删除，清理或重装系统。

现有的多态系统，在多态数据库实例部署上线后，业务系统如要访问该实例，还需在业务系统中人工配置好该实例数据库对应的ip地址与端口，缺少一种有效的服务自动注册与发现机制。

现有技术中，事务操作会直接操作生产数据，主要依靠人工完成，工作量大，效率低，而且由于事务操作会涉及大量多态版本的管理和数据的变更，很容易造成数据混乱，风险较大。

技术实现要素：

本发明实施例提供一种数据管理方法，其特征在于，包括：

将系统初始化，初始化后的数据目录至少包括生产数据存储目录和事件数据存储目录；

当监听到业务事务操作，通过委托事务模型交由系统执行该操作。

因为事务操作会造成数据的变更，风险较大，所以不充许业务直接操作生产数据，通过委托事务模型交由系统执行。

进一步的，该方法还包括：

当接收到查询请求，执行该查询请求。

因为查询不会造成生产数据的损坏，所以充许业务直接查询生产数据。

进一步的，所述业务事务操作包括：增加、删除或修改。

进一步的，所述生产数据目录和事件目录包括地区、场景和实例三层结构。

进一步的，所述生产数据目录中保存的数据为生产数据的标识和接口。

在本发明的一个实施例中，所述数据管理方法包括三层结构，分别为地区、场景和实例。所述的业务事务操作，包括以下操作：

1)地区管理：对地区新增实例的管理：系统新增地区实例流程，当监听到地区业务触发事件，通过委托事务模型交由系统部署新的实例数据库，自动配置相关目录；然后进行系统回填操作，给出结果以待审核；

删除地区实例的管理：当监听到地区业务触发事件，通过委托事务模型交由系统执行对数据的删除操作；然后进行系统回填操作，给出结果以待审核。

2)场景管理：对场景新增实例的管理：系统新增场景实例流程，当监听到场景业务触发事件，通过委托事务模型交由系统部署新的实例数据库，自动配置相关目录；然后进行系统回填操作，给出结果以待审核；

删除场景实例的管理：当监听到场景业务触发事件，通过委托事务模型交由系统执行对数据的删除操作；然后进行系统回填操作，给出结果以待审核。

3)实例管理：对新增实例的管理：系统新增实例流程，当监听到业务触发事件，通过委托事务模型交由系统部署新的实例数据库，自动配置相关目录；然后进行系统回填操作，给出结果以待审核；

删除实例的管理：当监听到业务触发事件，通过委托事务模型交由系统执行对数据的删除操作；然后进行系统回填操作，给出结果以待审核。

在本发明的一个实施例中，所述数据管理方法包括三层结构，分别为地区、场景和实例。所述的查询操作，包括以下操作：

1)查询所有地区；

2)查询某地区的所有场景；

3)查询某地区,某场景下的所有实例；

4)查询某地区生产库接口；

5)查询某地区，某场景，某实例的接口。

本发明实施例还提供一种数据管理装置，其特征在于，包括：

初始化模块，用于将系统初始化，初始化后的数据目录至少包括生产数据存储目录和事件监听目录；

监听模块，用于当监听到业务事务操作，通过委托事务模型交由系统执行该操作。

进一步的，所述装置还包括：

查询模块，用于当接收到查询请求，执行该查询请求。

本发明实施例还提供一种数据管理系统，其特征在于，包括：

存储模块，用于存储生产数据和事件数据；

初始化模块，用于初始化系统，使存储模块中的数据目录至少包括成生产数据存储目录和事件数据存储目录；

监听模块，用于当监听到业务事务操作，通过委托事务模型交由系统执行该操作；

查询模块，用于当接收到查询请求，执行该查询请求。

进一步的：所述存储模块为etcd集群。

与现有技术相比，本发明所述的技术方案的特点在于：1)支持按地区，场景，实例配置的三层架构模型；2)支持基于事件的委托事务处理模型；3)支持生产数据与业务操作相隔离的安全模型；4)基于etcd集群的数据存储与处理模型。本发明能够快速高效，自动完成基于容器云的智能化多场景多态配置。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是现有技术中多场景多态的示意图；

图2是本发明实施例中数据管理流程示意图；

图3是本发明实施例中初始化之后的目录结构示意图；

图4是本发明实施例中地区管理中新增地区之后的目录结构示意图；

图5是本发明实施例中地区管理中删除地区之后的目录结构示意图；

图6是本发明实施例中场景管理中新增场景之后的目录结构示意图；

图7是本发明实施例中场景管理中删除场景之后的目录结构示意图；

图8是本发明实施例中实例管理中新增实例之后的目录结构示意图；

图9是本发明实施例中实例管理中删除实例之后的目录结构示意图；

图10是本发明实施例中数据管理装置的示意图；

图11是本发明实施例中数据管理系统的示意图；

图12是本发明实施例中的数据模型设计示意图。

具体实施方式

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

本发明实施例提出如图2所示的一种数据管理方法：

步骤210，将系统初始化，初始化后的数据目录至少包括生产数据存储目录和事件数据存储目录；

在该步骤中，系统初始化后的存储结构如图3所示，其中‘multi-scenes’为根目录，根目录下有两个子目录’district’与’listener’。其中‘district‘主要存储生产数据，用于业务查询；’listener’目录用于事件监听，通过业务设置委托事件，系统代理业务实现事务性操作，如‘district’目录中数据结构的增，删等。

步骤220，当监听到业务事务操作，通过委托事务模型交由系统执行该操作；

因为事务操作会造成数据的变更，风险较大，所以不充许业务直接操作生产数据，通过委托事务模型交由系统执行。

在本实施例中，多态多场景模型包括三层结构，分别为地区、场景和实例。所述的业务事务操作，包括以下操作：

1.地区管理

1.1新增地区流程(假设地区编号为’beijing-001’)：

1)业务触发监听事件；

设置键值:

键名为:/multi-scenes/listener/district-listener/beijing-001

键值为：new；

2)系统监听

’/multi-scenes/listener/district-listener’目录的变化，取得相应键值，代理业务执行委托事务，自动配置相关目录。

完成后etcd目录结构如图4所示，图中410和420是新增部分，这部分数据结构由系统自动维护,部分数据须从已部署的生产库中提取。

3)启动新的监听器

新地区下增加二个监听器：

/multi-scenes/listener/beijing-001/scene-listener,用于管理多场景；

/multi-scenes/listener/beijing-001/instance-listener,用于多态(实例)管理；

4)系统回填操作结果(供业务检测)

键：/multi-scenes/listener/district-listener/beijing-001

值：ok表示成功，失败则设置失败原因。

1.2删除地区流程(假设地区编号为’beijing-001’)：

1)业务触发监听事件

设置键值:

键名为:/multi-scenes/listener/district-listener/beijing-001

键值为：delete；

2)系统监听

’/multi-scenes/listener/district-listener’目录的变化，取得相应键值，清理有关目录，此时etcd目录结构如图5所示，其中图中虚线框部分表示删除的部分。

3)删除监听器

删除下列二个监听器：

/multi-scenes/listener/beijing-001/scene-listener；

/multi-scenes/listener/beijing-001/instance-listener；

4)系统回填操作结果

键：/multi-scenes/listener/district-listener/beijing-001

值：ok表示成功，失败则设置失败原因。

2.场景管理

2.1新增场景流程(假设地区编号为’beijing-001’，新场景名称为‘中期规划‘)：

1)业务触发监听事件

设置键值:

键名为:/multi-scenes/listener/beijing-001/scene-listener/中期规划；

键值为：new；

2)系统监听

’/multi-scenes/listener/beijing-001/scene-listener’目录的变化，取得相应键值，自动配置相关目录，此时etcd目录结构如图6所示，图中610和620为新增部分。

3)系统回填操作结果

键：/multi-scenes/listener/beijing-001/scene-listener/中期规划

值：ok表示成功，失败则设置失败原因。

2.2删除场景流程(假设地区编号为’beijing-001’，新场景名称为‘中期规划‘)：

1)业务触发监听事件

设置键值:

键名为:/multi-scenes/listener/beijing-001/scene-listener/中期规划；

键值为：delete；

2)系统监听

’/multi-scenes/listener/beijing-001/scene-listener’目录的变化，取得相应键值，删除相关目录，如果此场景下含有实例，会级联删除所有实例，此时etcd目录结构如图7所示，其中图中虚线框部分表示删除的部分。

3)系统回填操作结果

键：/multi-scenes/listener/beijing-001/scene-listener/中期规划

值：ok表示成功，失败则设置失败原因。

3.实例管理

3.1新增实例流程(假设地区编号为’beijing-001’，场景名称为‘中期规划‘,实例名称为’安全分析’)：

1)业务触发监听事件

设置键值:

键名为:/multi-scenes/listener/beijing-001/instance-listener/中期规划/安全分析

键值为：new；

2)系统监听

’/multi-scenes/listener/beijing-001/instance-listener/中期规划’目录的变化，取得相应键值,部署新的实例数据库，自动配置相关目录，此时etcd目录结构如图8所示，其中810为新增部分。

3)系统回填操作结果

键：/multi-scenes/listener/beijing-001/instance-listener/中期规划/安全分析

值：ok表示成功，失败则设置失败原因。

3.2删除实例流程(假设地区编号为’beijing-001’，场景名称为‘中期规划‘,实例名称为’安全分析’)：

1)业务触发监听事件

设置键值:

键名为:/multi-scenes/listener/beijing-001/instance-listener/中期规划/安全分析；

键值为：delete；

2)系统监听

’/multi-scenes/listener/beijing-001/instance-listener/中期规划’目录的变化，取得相应键值,卸载相应的实例数据库，清理相关目录，此时etcd目录结构如图9所示，其中图中虚线框部分表示删除的部分。

3)系统回填操作结果

键：/multi-scenes/listener/beijing-001/instance-listener/中期规划/安全分析；

值：ok表示成功，失败则设置失败原因。

步骤230，当接收到查询请求，执行该查询请求。

因为查询不会造成生产数据的损坏，所以充许业务直接查询生产数据。

在本实施例中，查询操作例如可以包括如下操作：

1)查询所有地区

搜索目录:’/multi-scenes/district’下的所有子目录；

2)查询某地区的所有场景(假设地区编号为’beijing-001’)

搜索目录:’/multi-scenes/district/beijing-001/scenes’下的所有子目录；

3)查询某地区,某场景下的所有实例(假设地区编号为’beijing-001’，场景为’中期规划’)

搜索目录:’/multi-scenes/district/beijing-001/scenes/中期规划’下的所有子目录；

4)查询某地区生产库接口(假设地区编号为’beijing-001’)

搜索键值:’/multi-scenes/district/beijing-001/default/online’；

5)查询某地区，某场景，某实例的接口(假设地区编号为’beijing-001’，场景’中期规划’,实例为‘安全分析’)

搜索键值:’/multi-scenes/district/beijing-001/scenes/中期规划/安全分析’；

为解决本发明所要解决的技术问题，本发明实施例还提供了一种多场景多态模型数据管理装置，如图10所示，包括：

初始化模块，用于将系统初始化，初始化后的数据目录至少包括生产数据存储目录和事件监听目录；

监听模块，用于当监听到业务事务操作，通过委托事务模型交由系统执行该操作；

查询模块，用于当接收到查询请求，执行该查询请求。

为解决本发明所要解决的技术问题，本发明实施例还提供了一种如图11所示的数据管理系统，包括：

存储模块，用于存储生产数据和事件数据；

初始化模块，用于初始化系统，使存储模块中的数据目录至少包括成生产数据存储目录和事件数据存储目录；

监听模块，用于当监听到业务事务操作，通过委托事务模型交由系统执行该操作；

查询模块，用于当接收到查询请求，执行该查询请求。

本发明实施例采用etcd集群存储生产及事件数据，etcd采用目录结构存贮数据，本发明的数据模型设计如图11所示。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

上述说明示出并描述了本发明的若干具体实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。