一种异构数据的共享方法及智能共享系统与流程

本发明属于异构数据的共享技术领域，尤其涉及一种异构数据的共享方法及智能共享系统方法。

背景技术：

目前，异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，几个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的数据库管理系统、外构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍有自己的应用特性、完整性控制和安全性控制。然而，现有对异构数据进行人工计算与验证，容易出错；同时，现有的异构数据质量评估在技术和实现上有一定的局限性；采用传统机器学习技术，结合神经网络算法来评估数据质量。这种方法需要准备样本数据集来训练神经网络，形成数据质量评估模型，当数据质量规则发生变化时，就需要重新训练新模型，过程比较繁杂。

综上所述，现有技术存在的问题是：现有对异构数据进行人工计算与验证，容易出错；同时，现有的异构数据质量评估在技术和实现上有一定的局限性；采用传统机器学习技术，结合神经网络算法来评估数据质量。这种方法需要准备样本数据集来训练神经网络，形成数据质量评估模型，当数据质量规则发生变化时，就需要重新训练新模型，过程比较繁杂。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种异构数据的共享方法及智能共享系统。

本发明是这样实现的，一种异构数据的共享方法，所述异构数据的共享方法包括以下步骤：

步骤一，通过数据源获取模块利用网络设备获取数据源；通过数据库构建模块利用数据库构建程序构建异构数据库；通过中央控制模块利用中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；通过数据加密模块利用加密算法对异构数据进行加密处理；

步骤二，通过异构数据整合模块利用整合程序对异构数据进行整合处理；通过异构数据验证模块利用检索程序检索异构数据，确定用于生成配置数据的计算模板格式，结合设计异构数据文档内容，确定计算模板公式；利用验证程序对计算模板公式与设计异构数据文档内容的一致性进行验证，得到验证结果，基于验证结果生成验证报告；

步骤三，获取特定项目的样本原始异构数据，对样本原始异构数据进行验证，将验证通过后的样本原始异构数据按计算模板格式添加到计算模板公式，根据计算模板公式得到配置结果，基于配置结果以及样本原始异构数据构建配置异构数据文件；根据设计异构数据文档内容和计算模板格式，获取验证公式；将样本原始异构数据导入验证公式，得到验证公式结果，结合配置异构数据文件以及验证报告，生成二次验证结果；

步骤四，通过异构数据同步模块利用同步程序对异构数据库数据进行同步；通过异构数据共享模块利用共享程序对异构数据进行共享；通过质量评估模块利用校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集；针对所述待评估异构数据集的特点、关联业务以及数据归属，预设多维度参数的异构数据质量规则，并对每条异构数据质量规则的每个维度参数，预设评定的分值范围；

步骤五，利用评估程序根据预设的所述异构数据质量规则的维度参数分值和重要性权重，构建异构数据质量规则的权重矩阵；通过计算异构数据质量规则的通过率，从异构数据的完整性、准确性、一致性、时效性以及规范性多个维度，分别计算异构数据质量评估得分，结合异构数据质量规则的权重矩阵，对全部异构数据质量规则的通过率进行加权求和，得出待评估的异构数据集的综合评估结果；

步骤六，通过数据存储模块利用存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；通过更新显示模块利用显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。

进一步，步骤二中，所述设计异构数据文档内容包括信号系统的系统参数以及计算方式。

进一步，步骤三中，所述验证公式如下：

其中，h2，h3为哈希函数，name||i为异构数据文档标识符，所述异构数据文档内容包含m′，m′＝h3(e(σ,c1)·c2u)，vi∈zp，c1＝g^ρ，c2＝z^ρ和z＝e(sk,g^α)，mi∈zp，zp＝{0,1,....p-1}；ρ为所述随机数据，ρ∈zp。

进一步，步骤四中，所述通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集，包括：

(1)获取多源异构海量数据包括以标准化采集任务模板来快速接入各类数据；针对多源异构实时数据，采用消息队列技术获取；

(2)针对多源异构海量历史数据，采用数据总线技术获取；所述多源异构数据存储至内存数据库或并行数据库，形成待评估异构数据集。

进一步，步骤四中，所述在预设多维度参数的异构数据质量规则时，所述维度参数包括：所属系统重要性、引用次数、约束类型、规则完备度、评估对象相关度以及规则重要性。

进一步，步骤五中，所述异构数据质量规则权重矩阵，采用如下公式表示：

wi＝a％*wa(i)+b％*wb(i)+c％*wc(i)+d％*wd(i)+e％*we(i)+f％*wf(i)；

其中，wi代表第i项数据质量规则的加权分值；wa(i)代表第i项数据质量规则在“a”维度下的分值，wb(i)，wc(i)，wd(i)，we(i)，wf(i)含义与wa(i)同，分别表示在各自对应维度下的分值；a％，b％，c％，d％，e％，f％分别代表权重矩阵中各个维度参数的占比，且a％+b％+c％+d％e％+f％＝100％。

进一步，步骤五中，所述对异构数据质量综合评估时，采用如下公式：

其中，s表示异构数据质量的综合得分；wi表示第i个异构数据质量规则的加权分值；rei表示第i个的异构数据质量规则的通过率；n表示全部异构数据质量规则的数量。

本发明的另一目的在于提供一种应用所述的异构数据的智能共享方法的异构数据的智能共享系统，所述异构数据的智能共享系统包括：

数据源获取模块、数据库构建模块、中央控制模块、数据加密模块、异构数据整合模块、异构数据验证模块、异构数据同步模块、异构数据共享模块、质量评估模块、数据存储模块、更新显示模块。

数据源获取模块，与中央控制模块连接，用于通过网络设备获取数据源；

数据库构建模块，与中央控制模块连接，用于通过数据库构建程序构建异构数据库；

中央控制模块，与数据库构建模块、数据加密模块、异构数据整合模块、异构数据验证模块、异构数据同步模块、异构数据共享模块、质量评估模块、数据存储模块、更新显示模块连接，用于通过中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；

数据加密模块，与中央控制模块连接，用于通过加密算法对异构数据进行加密处理；

异构数据整合模块，与中央控制模块连接，用于通过整合程序对异构数据进行整合处理；

异构数据验证模块，与中央控制模块连接，用于通过验证程序对异构数据进行验证；

异构数据同步模块，与中央控制模块连接，用于通过同步程序对异构数据库数据进行同步；

异构数据共享模块，与中央控制模块连接，用于通过共享程序对异构数据进行共享；

质量评估模块，与中央控制模块连接，用于通过评估程序对多源异构数据进行质量评估；

数据存储模块，与中央控制模块连接，用于通过存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；

更新显示模块，与中央控制模块连接，用于通过显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。

本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的异构数据的智能共享方法。

本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的异构数据的智能共享方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的异构数据的共享方法，通过异构数据验证模块利用计算模板公式对样本原始异构数据进行计算与验证，得到配置异构数据文件，通过验证公式对配置异构数据文件进行验证，进而判定了配置异构数据文件的准确性，以及在验证过程中能对出现错误的具体位置进行定位的问题，借助上述双重验证的方式，提高了配置异构数据文件的可用性；同时，通过质量评估模块采用消息队列法和数据总线法分别获取历史数据和实时数据，相比于传统技术，不再局限于单一类型数据处理，满足了多源异构数据需求；降低数据质量评估计算的复杂度。

附图说明

图1是本发明实施例提供的异构数据的共享方法流程图。

图2是本发明实施例提供的异构数据的智能共享系统结构框图；

图中：1、数据源获取模块；2、数据库构建模块；3、中央控制模块；4、数据加密模块；5、异构数据整合模块；6、异构数据验证模块；7、异构数据同步模块；8、异构数据共享模块；9、质量评估模块；10、数据存储模块；11、更新显示模块。

图3是本发明实施例提供的通过异构数据验证模块利用验证程序对异构数据进行验证的方法流程图。

图4是本发明实施例提供的通过质量评估模块利用评估程序对多源异构数据进行质量评估的方法流程图。

图5是本发明实施例提供的通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估数据集的方法流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的异构数据的共享方法包括以下步骤：

s101，通过数据源获取模块利用网络设备获取数据源；通过数据库构建模块利用数据库构建程序构建异构数据库；

s102，通过中央控制模块利用中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；

s103，通过数据加密模块利用加密算法对异构数据进行加密处理；通过异构数据整合模块利用整合程序对异构数据进行整合处理；

s104，通过异构数据验证模块利用验证程序对异构数据进行验证；通过异构数据同步模块利用同步程序对异构数据库数据进行同步；

s105，通过异构数据共享模块利用共享程序对异构数据进行共同；通过质量评估模块利用评估程序对多源异构数据进行质量评估；

s106，通过数据存储模块利用存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；

s107，通过更新显示模块利用显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。

如图2所示，本发明实施例提供的异构数据的智能共享系统包括：数据源获取模块1、数据库构建模块2、中央控制模块3、数据加密模块4、异构数据整合模块5、异构数据验证模块6、异构数据同步模块7、异构数据共享模块8、质量评估模块9、数据存储模块10、更新显示模块11。

数据源获取模块1，与中央控制模块3连接，用于通过网络设备获取数据源；

数据库构建模块2，与中央控制模块3连接，用于通过数据库构建程序构建异构数据库；

中央控制模块3，与数据库构建模块2、数据加密模块4、异构数据整合模块5、异构数据验证模块6、异构数据同步模块7、异构数据共享模块8、质量评估模块9、数据存储模块10、更新显示模块11连接，用于通过中央处理器协调控制所述异构数据的智能共享系统各个模块的正常工作；

数据加密模块4，与中央控制模块3连接，用于通过加密算法对异构数据进行加密处理；

异构数据整合模块5，与中央控制模块3连接，用于通过整合程序对异构数据进行整合处理；

异构数据验证模块6，与中央控制模块3连接，用于通过验证程序对异构数据进行验证；

异构数据同步模块7，与中央控制模块3连接，用于通过同步程序对异构数据库数据进行同步；

异构数据共享模块8，与中央控制模块3连接，用于通过共享程序对异构数据进行共同；

质量评估模块9，与中央控制模块3连接，用于通过评估程序对多源异构数据进行质量评估；

数据存储模块10，与中央控制模块3连接，用于通过存储器存储获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果；

更新显示模块11，与中央控制模块3连接，用于通过显示器对获取的数据源、异构数据加密处理结果、异构数据整合结果、异构数据验证结果、异构数据同步信息、共享数据以及质量评估结果的实时数据进行更新显示。

下面结合具体实施例对本发明作进一步描述。

实施例1

本发明实施例提供的异构数据的共享方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过异构数据验证模块利用验证程序对异构数据进行验证的方法包括：

s201，通过检索程序检索异构数据，确定用于生成配置数据的计算模板格式，结合设计异构数据文档内容，确定计算模板公式；

s202，对计算模板公式与设计异构数据文档内容的一致性进行验证，得到验证结果，基于验证结果生成验证报告；

s203，获取特定项目的样本原始数据，对样本原始数据进行验证，将验证通过后的样本原始数据按计算模板格式添加到计算模板公式；

s204，根据计算模板公式得到配置结果，基于配置结果以及样本原始数据构建配置异构数据文件；根据设计异构数据文档内容和计算模板格式，获取验证公式；

s205，将样本原始数据导入验证公式，得到验证公式结果，结合配置异构数据文件，生成二次验证结果。

本发明实施例提供的步骤s201中，所述设计异构数据文档内容包括信号系统的系统参数以及计算方式。

本发明实施例提供的步骤s204中，所述验证公式如下：

其中，h2，h3为哈希函数，name||i为异构数据文档标识符，所述异构数据文档内容包含m′，m′＝h3(e(σ,c1)·c2u)，vi∈zp，c1＝g^ρ，c2＝z^ρ和z＝e(sk,g^α)，mi∈zp，zp＝{0,1,....p-1}；ρ为所述随机数据，ρ∈zp。

实施例2

本发明实施例提供的异构数据的共享方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过质量评估模块利用评估程序对多源异构数据进行质量评估的方法包括：

s301，通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集；

s302，针对所述待评估异构数据集的特点、关联业务以及数据归属，预设多维度参数的异构数据质量规则，并对每条异构数据质量规则的每个维度参数，预设评定的分值范围；

s303，利用预设的所述异构数据质量规则的维度参数分值和重要性权重，构建异构数据质量规则的权重矩阵；

s304，通过计算异构数据质量规则的通过率，从数据的完整性、准确性、一致性、时效性以及规范性多个维度，分别计算异构数据质量评估得分；

s305，结合数据质量规则的权重矩阵，对全部异构数据质量规则的通过率进行加权求和，得出待评估的异构数据集的综合评估结果。

本发明实施例提供的步骤s303中，在预设多维度参数的数据质量规则时，所述维度参数包括：所属系统重要性、引用次数、约束类型、规则完备度、评估对象相关度以及规则重要性。

本发明实施例提供的步骤s303中，所述异构数据质量规则权重矩阵，采用如下公式表示：

wi＝a％*wa(i)+b％*wb(i)+c％*wc(i)+d％*wd(i)+e％*we(i)+f％*wf(i)；

其中，wi代表第i项数据质量规则的加权分值；wa(i)代表第i项数据质量规则在“a”维度下的分值，wb(i)，wc(i)，wd(i)，we(i)，wf(i)含义与wa(i)同，分别表示在各自对应维度下的分值；a％，b％，c％，d％，e％，f％分别代表权重矩阵中各个维度参数的占比，且a％+b％+c％+d％e％+f％＝100％。

本发明实施例提供的步骤s305中，所述对异构数据质量综合评估时，采用如下公式：

其中，s表示异构数据质量的综合得分；wi表示第i个异构数据质量规则的加权分值；rei表示第i个的异构数据质量规则的通过率；n表示全部异构数据质量规则的数量。

如图5所示，本发明提供的通过校准程序对多源数据进行校准，获取多源异构海量数据作为待评估异构数据集，包括：

s401，通过校准程序获取多源异构海量数据包括以标准化采集任务模板来快速接入各类数据；

s402，针对多源异构实时数据，采用消息队列技术获取；

s403，针对多源异构海量历史数据，采用数据总线技术获取；所述多源异构数据存储至内存数据库或并行数据库，形成待评估异构数据集。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。