一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法
【专利摘要】本发明公开了一种多源数据实时库数据生成方法，适用于调度与变电站一体化系统，包括步骤：1)启动实时库生成进程，读取配置信息；2）根据配置信息确定数据源，分别提取生成实时库需要的表、域、索引等结构信息、模型数据信息、实时数据信息。目前支持从关系数据库、其他同构实时库、文件提取；3）对提取的表、域、索引结构、模型数据、实时数据，进行完整性和一致性校验；4）根据通过校验的结构信息、模型数据和实时数据，调用实时库生成接口生成实时数据库。本发明可根据配置从关系数据库、其他同构实时库、文件等多种数据源获取实时库生成所需的结构信息、模型数据与实时数据，实现实时库的数据生成，可靠高效、便于扩展，可满足不同场景的应用需要。
【专利说明】一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法
【技术领域】
[0001]本发明涉及一种多源数据实时库数据生成方法，具体涉及的是适用于调度与变电站一体化系统的多源数据实时库数据生成方法，属于实时数据库技术应用领域。
【背景技术】
[0002]实时库数据生成指将生成实时库所需的数据结构及相关数据提取到本地系统，生成实时数据库实体，映射到内存中。在调度与变电站一体化系统中，既有主站系统，又有子站系统，系统环境复杂，同时监控对象、采集数据多种多样、形式不一。而各子系统的运行环境、网络带宽、设备性能也有很大差异，传统基于关系库的实时库生成方式，占用资源多、耗费时间长，对机器性能、网络环境有很高的要求，在带宽较窄、硬件配置不高的系统上运行效率低下。因此需要设计一种基于多种数据源、高效可靠、灵活通用的实时数据库生成方式。
【发明内容】
[0003]为解决现有方法的不足，本发明的目的是提供一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法，可根据配置从关系数据库、同构实时库、数据文件等不同数据源，获取生成实时库需要的结构信息、模型数据与实时数据，从而实现多源数据实时库的数据生成。
[0004]为解决上述技术问题，本发明的技术方案如下:
一种多源数据实时库数据生成方法，适用于调度与变电站一体化系统，其特征在于，其包括步骤如下:
(O启动实时库生成进程，读取配置信息，提取数据源类型；
(2)根据配置信息确定数据源，分别调用提取结构信息接口、提取模型数据接口、提取实时数据接口，完成生成实时库需要的结构信息、模型数据信息、实时数据信息的获取，所述数据源为从关系数据库、其他同构实时库、数据文件的数据源；
(3)对提取的表、域、索引结构信息、模型数据信息、实时数据信息，进行完整性和一致性的安全校验；
(4)调用数据格式转换接口，将通过安全校验的数据转换成一种通用的中间存储方法，用于屏蔽不同数据源的数据在存储方式和存储格式上的差异；
(5)根据经过转换的结构信息、模型数据和实时数据，调用实时库生成接口生成实时数据库。
[0005]前述步骤(2)中，所述提取生成实时库需要的结构信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的结构信息，并具有多种重载形式；所述多种重载形式如下:
(I )从指定关系数据库提取结构信息； (II)从指定同构实时库提取结构信息；
(III)从指定文件提取结构信息。
[0006]前述步骤(2)中，所述提取生成实时库需要的模型数据信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的模型数据，并具有多种重载形式；所述多种重载形式如下:
(a)从指定关系数据库提取模型数据；
(b)从指定同构实时库提取模型数据；
(C)从指定文件提取模型数据。
[0007]前述步骤(2)中，提取生成实时库需要的实时数据信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的实时数据，并具有多种重载形式，该多种重载形式如下:
(i )从指定关系数据库提取实时数据；
(ii)从指定同构实时库提取实时数据；
(iii)从指定文件提取实时数据。
[0008]前述步骤(3)中，进行安全校验的校验接口是根据传入的结构信息、模型数据信息、实时数据信息，返回校验结果；并具有多种重载形式，该形式如下:
(A)校验从关系数据库提取数据的完整性与一致性；
(B)校验从同构实时库提取数据的完整性与一致性；
(C)校验从文件提取数据的完整性与一致性。
[0009]前述步骤(4)中的数据格式转换接口是将传入的从不同数据源提取的结构信息、模型数据、实时数据，转换成通用的中间存储方法，所述通用的中间存储方法为以STDB_CREAT_REQ结构的中间存储格式的存储方法，所述数据格式转换接口转换时具有多种重载形式，其形式如下:
①将关系数据库数据格式转换为中间存储格式；
②将同构实时库数据格式转换为中间存储格式；
③将文件数据格式转换为中间存储格式。
[0010]前述步骤5)中描述的生成实时库接口，根据传入的STDB_CREAT_REQ结构信息生成实时库。
[0011]前述的适用于调度与变电站一体化系统的多源数据实时库数据生成方法，其特征在于:从不同数据源获取结构信息、模型数据与实时数据，实现实时库的数据生成，可充分满足调度与变电站一体化系统不同现场条件下，硬件配置、运行环境、设备性能存在差异的应用需要。由于采用了多源模式，相比单一的生成途径更加高效；提供了对结构、数据的完整性和一致性校验，确保了生成实时库的可靠性；实时库生成接口封装了统一的数据格式，支持对多数据源的扩展。
[0012]本发明所达到的有益效果:
1、由于调度与变电站一体化系统环境复杂，同时监控对象、采集数据多种多样、形式不一。而各子系统的运行环境、网络带宽、设备性能也有很大差异，采用多数据源模式生成实时数据库，可根据需要配置不同的数据源，实现对数据结构、模型数据、实时数据的安全校验和灵活提取，使用高效可靠； 2、提供多种重载类型的接口，适合调度与变电站一体化系统不同现场条件下，硬件配置、运行环境、设备性能存在差异的应用需求；
3、由于采用了多源模式，相比单一的生成途径更加高效；提供了对结构、数据的完整性和一致性校验，确保了生成实时库的安全性；
4、实时库生成接口封装了统一的数据格式，支持对多数据源的扩展对于不同数据源，可扩展性好；
5、支持从关系数据库、其他同构实时库、数据文件等多种数据源获取实时库生成所需的结构信息、模型数据与实时数据，实现实时库的数据生成。
【专利附图】
【附图说明】
[0013]图1适用于调度与变电站一体化系统的多源数据实时库数据生成处理流程。【具体实施方式】
[0014]以下结合附图对本发明作进一步详细的介绍:
O读取配置信息；
2)对提取的表、域、索引结构、模型数据、实时数据，进行完整性和一致性校验；
3)调用数据格式转换接口，将通过校验的数据转换成一种通用的中间存储方法，从而屏蔽不同数据源的数据在存储方式和存储格式上的差异；
4)根据经过转换的结构信息、模型数据和实时数据，调用实时库生成接口生成实时数据库。
[0015]参见图1，本实施例提供的是一种适用于调度与变电站一体化系统的多源数据实时库数据生成方法，可根据配置从关系数据库、同构实时库、数据文件等不同数据源，获取生成实时库需要的结构信息、模型数据与实时数据，从而实现多源数据实时库的数据生成。
[0016]由于采用了多源模式，相比单一的生成途径更加高效；提供了对结构、数据的完整性和一致性校验，确保了生成实时库的安全性；实时库生成接口封装了统一的数据格式，支持对多数据源的扩展。其包括步骤如下:
(O首先启动实时库生成进程，读取配置文件，确定要提取内容的数据源，目前数据源支持从关系数据库、同构实时库、数据文件提取；
(2)接下来依次定位生成实时库所需的结构信息、模型数据信息、实时数据信息的数据来源，分别调用提取结构信息接口、提取模型数据接口、提取实时数据接口，完成生成信息的获取；
(3)再根据不同数据源对提取信息的一致性和完整性进行安全校验；
由于不同的数据源存在不同的校验方法，需要提供一个通用的接口，封装这些校验方法的差异；
对于关系数据库需要校验提取结构的完整性，包括表基本信息如表名、记录个数、记录长度、域个数，域基本信息如:域名、域号、域数据类型、是否主键等；
对于同构实时库还要校验索引存储类型、索引结构等信息；对于数据文件，要校验文件大小、文件权限等信息；
(4)如果通过校验，需要调用数据格式转换接口，将数据转换成一种通用的中间存储方法。由于不同数据源获取的数据格式在存储方式和存储格式上都存在差异，在生成实时库时需要针对不同的格式提供不同的方法，同时不利于后续的维护和扩展，因此通过转换成通用结构STDB_CREAT_REQ来屏蔽这些差异。STDB_CREAT_REQ结构包含了生成实时库所需的基本信息，包括表结构信息、域结构信息、索引结构信息、模型数据信息、实时数据信息；该步骤中描述的数据格式转换接口，将传入的从不同数据源提取的结构信息、模型数据、实时数据，转换成为STDB_CREAT_REQ结构的通用存储格式，并具有多种重载形式:
①将关系数据库数据格式转换为中间存储格式；
②将同构实时库数据格式转换为中间存储格式；
③将文件数据格式转换为中间存储格式；
其中:STDB_CREAT_REQ结构声明如下 struct STDB_CREAT_REQ
{
DB_CTRL_STRU db_ctrl_info; //实时库表控制信息 STDB_TAB_STRU stdb_tab_info; //实时库表结构信息 SEQ_STDB_FILED_STRU seq_field; //实时库表域结构信息 SEQ_INDEX_DEF_STRU seq_idxdef; //实时库表索引结构信息 SEQ_FIELD_INDEXDEF_STRU seq_filed_idxdef; //实时库表域索引结构信息 SEQ_FILED_INDEX_USED_STRU seq_filed_idxused; //使用的域索引信息 UData model_data; // 模型数据 UData rt_data; // 实时数据 }；
(5)最后将经过转换的数据，调用生成实时库接口生成实时库。
[0017]在调度与变电站一体化系统中，在调度中心的主站系统的机器性能和网络环境都
比较好，通常采用较为稳定的方式，即从关系数据库提取所需信息生成实时库，这时无论响
应时间还是对系统性能的影响都不会有太大问题。但在变电站系统中，受现场条件的制约，
系统规模较小，硬件配置和网络带宽可能不会很高，从关系数据库生成时需要耗费相当时
间在数据检索及网络传输上，此时可选择从同构实时库或文件提取，能大大缩短响应时间，
降低实时库生成时的系统负载。
【权利要求】
1.一种多源数据实时库数据生成方法，适用于调度与变电站一体化系统，其特征在于，包括步骤如下: (1)启动实时库生成进程，读取配置信息，提取数据源类型； (2)根据配置信息确定数据源，分别调用提取结构信息接口、提取模型数据接口、提取实时数据接口，完成生成实时库需要的结构信息、模型数据信息、实时数据信息的获取，所述数据源为从关系数据库、其他同构实时库、数据文件的数据源； (3)对提取的结构信息、模型数据信息、实时数据信息，进行完整性和一致性的安全校验; (4)调用数据格式转换接口，将通过安全校验的数据转换成一种通用的中间存储方法，用于屏蔽不同数据源的数据在存储方式和存储格式上的差异； (5)根据经过转换的结构信息、模型数据和实时数据，调用实时库生成接口生成实时数据库。
2.如权利要求1所述的方法，其特征在于，所述结构信息为表、域或索引的信息。
3.如权利要求1所述的方法，其特征在于，所述步骤(2)中，所述同构实时库指部署在系统其他应用服务器上，表、域、索引结构相同的实时数据库；所述数据文件指调度与变电站一体化系统中，进行持久化存储的数据文件，且包含实时库生成所需的必要信息。
4.如权利要求3所述的方法，其特征在于，所述数据文件包括SCD文件或XML文件。
5.如权利要求1-4任意一项所述的方法，其特征在于，所述步骤(2)中，所述提取生成实时库需要的结构信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的结构信息，并具有多种重载形式；所述多种重载形式如下: (I )从指定关系数据库提取结构信息； (II)从指定同构实时库提取结构信息； (III)从指定文件提取结构信息。
6.如权利要求5所述的方法，其特征在于，所述步骤(2)中，所述提取生成实时库需要的模型数据信息中所使用的模型数据接口是根据传入的表号，返回从不同数据源提取的模型数据，并具有多种重载形式；所述多种重载形式如下: (a)从指定关系数据库提取模型数据； (b)从指定同构实时库提取模型数据； (c)从指定文件提取模型数据。
7.如权利要求6所述的方法，其特征在于，所述步骤(2)中，提取生成实时库需要的实时数据信息中所使用的数据接口是根据传入的表号，返回从不同数据源提取的实时数据，并具有多种重载形式，该多种重载形式如下: (i )从指定关系数据库提取实时数据； (ii)从指定同构实时库提取实时数据； (iii)从指定文件提取实时数据。
8.如权利要求7所述的方法，其特征在于，所述步骤(3)中，进行安全校验的校验接口是根据传入的结构信息、模型数据信息、实时数据信息，返回校验结果；并具有多种重载形式，该形式如下: (A)校验从关系数据库提取数据的完整性与一致性；(B)校验从同构实时库提取数据的完整性与一致性； (C)校验从文件提取数据的完整性与一致性。
9.如权利要求8所述的方法，其特征在于，所述步骤(4)中的数据格式转换接口是将传入的从不同数据源提取的结构信息、模型数据、实时数据，转换成通用的中间存储方法，所述通用的中间存储方法为以STDB_CREAT_REQ结构的中间存储格式的存储方法，所述数据格式转换接口转换时具有多种重载形式，其形式如下: ①将关系数据库数据格式转换为中间存储格式； ②将同构实时库数据格式转换为中间存储格式； ③将文件数据格式转换为中间存储格式。
10.如权利要求1所述的方法，其特征在于，所述步骤(5)中描述的生成实时库接口，根据传入的STDB_CREAT_REQ结构信息生成实时库。
【文档编号】G06F17/30GK103699555SQ201310276676
【公开日】2014年4月2日 申请日期:2013年7月3日 优先权日:2013年7月3日
【发明者】靳晶, 王瑾, 吴庆曦, 杨志宏, 魏娜 申请人:国电南瑞科技股份有限公司