一种综合数据管控方法及数据管控平台与流程

1.本发明涉及数据处理领域，具体是一种综合数据管控方法及数据管控平台。


背景技术：

2.现有的数据管控模块的数据传输其实并没有合理的利用网络资源，缺少管理疏导，对传输的数据没有进行有效的区分处理，所以就像交通一样，在数据传输高峰期有可能由于传输的数据过多而导致传输障碍，传输效率低下，造成网络数据堵塞，传输质量变低，甚至导致网络瘫痪无法正常工作，严重影响用户的工作效率。因此，如何提高数据的利用效率，是当下研究人员需要研究的课题。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供一种综合数据管控平台，包括管控模块、质量管理模块、模型管理模块、元数据管理模块、数据资源管理模块、标准管理模块、区块链网络、智能合约模块；所述的量管理模块、模型管理模块、元数据管理模块、数据资源管理模块、标准管理模块、智能合约模块分别与所述的区块链网络连接；所述的区块链网络、智能合约模块分别与所述的管控模块连接；所述的质量管理模块用于对数据质量进行管理，所述的模型管理模块用于对入库的模型进行管理，所述的元数据管理模块用于对产生的元数据进行管理，所述的数据资源管理模块用于对资源数据进行管理，所述的标准管理模块用于对标准体系数据进行管理，所述的区块链网络用于连接各管理模块，所述的智能合约模块用于存储智能合约，存储多个智能合约，所述多个智能合约包括权限智能合约、数据存储智能合约和数据读取智能合约。
4.应用综合数据管控模块的综合数据管控方法，包括如下过程：管控模块为用户分别颁发数字证书，并存储至区块链网络，并接收用户输入的文档，并构建文档参数；利用智能合约模块调用权限智能合约，获取具有读取文档的权限的数字证书公钥列表，并利用数字证书公钥列表对文档加密；利用智能合约模块调用数据存储智能合约；数据存储智能合约根据所述文档参数判断用户是否具有存储文档的权限，若是，则将加密后的文档和所述文档参数存储至区块链网络，通过区块链发送至对应的管理模块；管控模块接收用户输入的文档获取请求；根据数字证书公钥列表验证用户是否具有读取文档的权限，若是，数据读取智能合约通过区块链网络调取对应管理模块中的对应的加密文档，将加密后的文档发送至管控模块，管控模块利用智能合约模块对加密后的文档进行解密，并将文档提供给用户。
5.进一步的，所述数据存储智能合约根据所述文档参数判断用户是否具有存储文档的权限，包括：
判断所述数据存储权限规则中是否具有第一用户的数字证书，判断所述文档参数对应的签名和用户的用户公钥是否匹配，以及，判断时间戳误差是否在预设的阈值内；若均满足条件，则用户具有存储文档的权限。
6.进一步的，所述管控模块为用户分别颁发数字证书，并存储至区块链网络，包括：在用户通过身份认证后，由用户自行确定助记词；区块链网络根据助记词生成密钥对，所述密钥对包括用户公钥和用户私钥，并将用户公钥发送至管控模块；管控模块调用区块链网络，根据用户的身份信息和用户公钥向用户颁发数字证书，并将数字证书存储至区块链网络。
7.进一步的，在构建文档参数的同时，还包括：管控模块接收到用户输入的文档时，将提供界面展示给用户，以使用户输入助记词；管控模块调用区块链网络；区块链网络根据助记词获取用户的用户公钥和私钥，并利用私钥对文档参数进行数字签名；所述文档参数包括：文档编码、文档名称、时间戳和随机数；区块链网络将用户公钥、数字签名和文档参数发送至管控模块。
8.进一步的，所述利用数字证书公钥列表对文档加密，包括：使用数字证书公钥列表中的所有公钥分别对文档进行非对称加密。
9.进一步的，所述管控模块接收用户输入的文档获取请求，包括：管控模块接收到用户输入的文档获取请求时，将提供界面展示给用户，用户输入助记词。
10.进一步的，所述根据数字证书公钥列表验证用户是否具有读取文档的权限，还包括：管控模块根据助记词获取用户的公钥和私钥，并构建数据读取参数，所述数据读取参数包括：文档所属管理模块、文档编码、文档名称、时间戳和随机数；根据私钥对数据读取参数进行数字签名，并将用户的用户公钥、数据读取参数和签名发送至管控模块。
11.进一步的，所述根据数字证书公钥列表验证用户是否具有读取文档的权限，包括：管控模块通过智能合约模块调用数据读取合约；数据读取合约对用户进行校验，包括：判断用户的公钥和签名是否匹配，若匹配，则用户具有读取文档的权限。
12.进一步的，所述数据读取合约对用户进行校验的步骤，还包括：判断时间戳误差是否在预设的阈值内；若满足，则用户具有读取文档的权限。
13.本发明的有益效果是：通过本发明的技术方案可以提高数据的安全和数据利用的高效性，提高了工作效率。
附图说明
14.图1为一种综合数据管控平台的原理示意图；图2为具体实施的综合数据管控平台的示意图。
具体实施方式
15.下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
16.为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
17.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
18.而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
19.以下结合实施例对本发明的特征和性能作进一步的详细描述。
20.如图1所示，一种综合数据管控平台，包括管控模块、质量管理模块、模型管理模块、元数据管理模块、数据资源管理模块、标准管理模块、区块链网络、智能合约模块；所述的量管理模块、模型管理模块、元数据管理模块、数据资源管理模块、标准管理模块、智能合约模块分别与所述的区块链网络连接；所述的区块链网络、智能合约模块分别与所述的管控模块连接；所述的质量管理模块用于对数据质量进行管理，所述的模型管理模块用于对入库的模型进行管理，所述的元数据管理模块用于对产生的元数据进行管理，所述的数据资源管理模块用于对资源数据进行管理，所述的标准管理模块用于对标准体系数据进行管理，所述的区块链网络用于连接各管理模块，所述的智能合约模块用于存储智能合约，存储多个智能合约，所述多个智能合约包括权限智能合约、数据存储智能合约和数据读取智能合约。
21.应用综合数据管控模块的综合数据管控方法，包括如下过程：管控模块为用户分别颁发数字证书，并存储至区块链网络，并接收用户输入的文档，并构建文档参数；利用智能合约模块调用权限智能合约，获取具有读取文档的权限的数字证书公钥列表，并利用数字证书公钥列表对文档加密；利用智能合约模块调用数据存储智能合约；数据存储智能合约根据所述文档参数判断用户是否具有存储文档的权限，若是，则将加密后的文档和所述文档参数存储至区块链网络，通过区块链发送至对应的管理模块；管控模块接收用户输入的文档获取请求；根据数字证书公钥列表验证用户是否具
有读取文档的权限，若是，数据读取智能合约通过区块链网络调取对应管理模块中的对应的加密文档，将加密后的文档发送至管控模块，管控模块利用智能合约模块对加密后的文档进行解密，并将文档提供给用户。
22.所述数据存储智能合约根据所述文档参数判断用户是否具有存储文档的权限，包括：判断所述数据存储权限规则中是否具有第一用户的数字证书，判断所述文档参数对应的签名和用户的用户公钥是否匹配，以及，判断时间戳误差是否在预设的阈值内；若均满足条件，则用户具有存储文档的权限。
23.所述管控模块为用户分别颁发数字证书，并存储至区块链网络，包括：在用户通过身份认证后，由用户自行确定助记词；区块链网络根据助记词生成密钥对，所述密钥对包括用户公钥和用户私钥，并将用户公钥发送至管控模块；管控模块调用区块链网络，根据用户的身份信息和用户公钥向用户颁发数字证书，并将数字证书存储至区块链网络。
24.在构建文档参数的同时，还包括：管控模块接收到用户输入的文档时，将提供界面展示给用户，以使用户输入助记词；管控模块调用区块链网络；区块链网络根据助记词获取用户的用户公钥和私钥，并利用私钥对文档参数进行数字签名；所述文档参数包括：文档编码、文档名称、时间戳和随机数；区块链网络将用户公钥、数字签名和文档参数发送至管控模块。
25.所述利用数字证书公钥列表对文档加密，包括：使用数字证书公钥列表中的所有公钥分别对文档进行非对称加密。
26.所述管控模块接收用户输入的文档获取请求，包括：管控模块接收到用户输入的文档获取请求时，将提供界面展示给用户，用户输入助记词。
27.所述根据数字证书公钥列表验证用户是否具有读取文档的权限，还包括：管控模块根据助记词获取用户的公钥和私钥，并构建数据读取参数，所述数据读取参数包括：文档所属管理模块、文档编码、文档名称、时间戳和随机数；根据私钥对数据读取参数进行数字签名，并将用户的用户公钥、数据读取参数和签名发送至管控模块。
28.所述根据数字证书公钥列表验证用户是否具有读取文档的权限，包括：管控模块通过智能合约模块调用数据读取合约；数据读取合约对用户进行校验，包括：判断用户的公钥和签名是否匹配，若匹配，则用户具有读取文档的权限。
29.所述数据读取合约对用户进行校验的步骤，还包括：判断时间戳误差是否在预设的阈值内；若满足，则用户具有读取文档的权限。
30.具体的，通过建立数据管控模型，提供用户自由选择数据管理模型，根据需要选择一个或多个模型进行配置。
31.对采集的数据进行数据质量综合判断。综合判断的类型包括：1)空值检查模型2) 值域检查模型3) 逻辑检查模型4) 规范检查模型5) 引用完
整性检查模型6) 重复数据检查模型7) 及时性检查模型8) 记录完整性检查模型9)离群值检查模型10) 波动性检查模型11)平衡性检查模型。
32.数据管控模块功能包括：1)数据展示管理：实现管理业务数据的综合展示，面向不同用户提供展示内容，以及钻取明细。
33.2)数据校验管理：根据用户配置的规则，对异常数据进行校验。
34.3)预警管理：数据异常发生时，提供预警功能。根据异常情况对配置的管理人员进行预警。
35.4)数据编码管理：提供数据编码管理功能，根据iec61850标准进行电标准编码体系建立。
36.5)报表管理：通过场景管理实现业务场景及所属报表的分类管理；通过报表管理，实现各场景报表的统计分析功能。
37.6)数据维护功能：根据实际管理情况，存在数据补充同步的功能。通过数据维护功能做所需要同步数据的配置，系统自动将数据同步配置转换为指令，通知源端系统进行数据按需传递。
38.7)标准管理:提供对数据标准的集中管控，为信息化标准制定者以及标准采用方提供完善的数据标准管理，以及对标准制定产生的编码、指标、文档提供全面的搜索服务。
39.8)系统维护管理：提供包括组织、用户、角色、权限系统基础维护功能。
40.对现有的综合数据管理平台配置网页服务进行升级维护。实现现有的综合数据平台的可视化维护功能。
41.数据管控模块作为生产指挥中心的重要组成部分，基于综合数据中心提供统一数据质量管理、标准管理、异常数据告警及前台展示功能。旨在提升综合数据中心现代化管理水平，为综合数据中心最终由建设转向运营建立“统一数据管理、统一数据运维、统一数据服务”的环境，优化数据管理，进一步实现数据资产的统一管理和全景化，并规范数据接口访问协议，建设综合数据中心统一对外访问接口，确保综合数据中心数据访问畅通有序，同时固化综合数据中心数据管理及服务流程，明确运维工作事项，统一把控数据质量和数据传输，积极贯彻模型、主数据等数据标准规范。在项目建设过程中，按照“建设为用，以用促建”思路，开展平台设计及实施。
42.如图2所示的综合数据平台，可以建立以元数据管理、数据模型管理、数据质量管理、数据资源管理为一体的综合数据管理平台，面向业务系统提供数据应用服务。
43.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。