一种异构数据源的数据集成方法和系统与流程

文档序号:27434108发布日期:2021-11-17 22:39阅读:来源:国知局

技术特征:
1.一种异构数据源的数据集成方法,其特征在于:包括以下步骤:(s1)采集数据结构、存取方式、形式不一样的多个数据源,并将不同数据库之间信息实现传递或者交互;数据采集的方式包括但不局限于:sms网络、gprs网络、cdma无线网网络或者光纤网;(s2)将互相关联的分布式异构数据源集成到一起,使用户能够以透明的方式访问这些数据源;用于分析异构数据源集成信息;分析异构数据源集成信息时,采用改进和声搜索优化算法用于分析异构数据源集成信息;采用长短时记忆神经网络算法用于诊断异构数据源集成过程中的故障信息;并实现不同数据信道的交互与通信;(s3)应用集成后的多源异构数据信息采集、控制、通信、应用、运维、诊断或者数据显示。2.根据权利要求1所述的一种异构数据源的数据集成方法,其特征在于:所述改进和声搜索优化算法为基于马尔可夫决策过程模型的优化算法。3.根据权利要求2所述的一种异构数据源的数据集成方法,其特征在于:改进和声搜索优化算法包括以下步骤:步骤一:定义采集到的多源异构数据信息:在公式(1)中,f(x)是指多源异构集成信息评估的目标函数;x
i
是指影响多源异构集成信息评估的变量,x
i
是指多源异构集成信息评估区域范围;n是指多源异构集成信息评估函数中的变量个数;定义hs算法中求解优化问题所需的和声向量集大小、hmcr和最大迭代次数等参数;步骤二:hm的产生:和声向量集是存储所有多源异构集成信息评估时输出的解向量和评估数据目标函数在每次迭代中得到的值的地方,其中充满了随机产生的影响多源异构集成信息变量值,输出的多源异构集成信息评估信息构成矩阵b表示为:步骤三:新和声的生成:在这一步中,多源异构集成信息参数中新和声向量的元素根据hmcr的可能性通过更新hm的多源异构集成信息参数元素或将随机值分配给在第二步骤中应用的x多源异构集成信息数据范围来生成;为此,首先在0和1值之间选择一个随机多源异构集成信息参数:如果随机产生的多源异构集成信息参数数字对应于hmcr可能性,所述可能性介于0和1,则可以在hm中的多源异构集成信息参数元素中拾取新的向量多源异构集成信息参数,如果随机产生的多源异构集成信息参数数字不符合hmcr可能性,则在影响多源异构集成信息
参数数据集合范围内的参数变量中随机选择新的多源异构集成信息参数向量元素,而不是从hm中选取;步骤四:hm更新:在这个阶段,主要是根据新生成的多源异构集成信息参数解向量的值计算异构数据评估目标函数;然后,将该值与hm的解向量的目标函数值进行比较;如果新生成的解向量的目标函数值优于目标函数值,则新建立的和声解向量代替了目标函数值最差的调和向量,并从hm中删除最差解向量;这样,将更好的解向量存储在hm中;步骤五:重复(3)和(4),直到终止标准:如果满足此准则,则迭代训练结束,并将在hm中找到的最佳向量作为多源异构集成信息估算的最终解;如果不满足此标准,则重复第3和第4步。4.根据权利要求3所述的一种异构数据源的数据集成方法,其特征在于:生成和声过程中引入mdp模型。5.根据权利要求1所述的一种异构数据源的数据集成方法,其特征在于:所述长短时记忆神经网络算法为基于单块lstm块实现的故障诊断方法,包括以下步骤:(1)对多源异构集成信息进行输入、删除和读取;实现多源异构集成信息处理;并不断实现信息更新,提高信息筛选能力;设置c
t
为异构数据信息存储信息;f
t
为异构数据信息去除信息,i
t
为异构数据信息流入信息,o
t
为异构数据信息流出信息;(2)调取sigmoid函数,计算单块lstm块输出函数,函数公式为:其中t表示神经网络模型中不同网络节点参数数据节点,w[i,f,c,o]表示神经网络模型中参数权重矩阵,b[i,f,c,o]表示为神经网络模型中不同节点权重矩阵的偏置向量,x表示输入的多源异构集成信息运行数据信息参数,y表示多源异构集成信息运行故障诊断数据输出参数;(3)读取单块lstm块输出存储信息,输出函数为:其中tanh为双曲正切函数,表示神经网络节点中按照元素计算的乘法。6.根据权利要求5所述的一种异构数据源的数据集成方法,其特征在于:所述长短时记忆神经网络算法加入softmax分类函数,分类方法为:待分类的多源异构数据信息通过[x
t
,y
t
]表示,其中不同多源异构数据信息可以表示为y
t
∈{1,2,

,k},softmax分类函数能够对输入的多源异构集成信息应用下数据信息进行评估,假设第j种应用下出现的概率p,可以通过以下公式表示:
在公式(6)中,θ为神经网络模型计算概率的参数矩阵,θ
j
表示为多源异构集成信息中第j类相关的数据列向量,然后再启动标准化交叉熵损失函数j求出字母θ的最佳值,则输出的表达式可以为:在公式(7)中,其中的λ与m为输入函数j的标准化模型参数,为了实现正则化计算需求,softmax分类函数对多源异构集成信息运行数据样本x
t
的分类方法通过以下公式进行:y
t
=arg max p
ꢀꢀꢀꢀ
(8)通过对多源异构集成信息不同应用下进行分类和评估,进而实现了快速分类,提高了多源异构集成信息运行和操控能力。7.一种异构数据源的数据集成系统,其特征在于:包括:数据源;作为数据结构、存取方式、形式不一样,其外部连接有异构数据库和异构数据接口,在所述异构数据库的限制下,是多种数据库系统的集合,用于实现多源异构数据信息的共享和透明访问;异构数据接口用以实现不同数据库之间信息传递或者交互;集成模块;用于将互相关联的分布式异构数据源集成到一起,使用户能够以透明的方式访问这些数据源;所述集成模块包括集成控制模块、信道通信分析模块、信息集成诊断模块、第一信道转换模块、第二信道转换模块、多源异构组网架构、路由器和集成输出接口;其中所述集成控制模块分别与信道通信分析模块、信息集成诊断模块、第一信道转换模块和集成输出接口连接,所述多源异构组网架构通过路由器与第一信道转换模块连接,所述第一信道转换模块的输出端与所述第二信道转换模块输入端连接,所述第二信道转换模块输出端与集成输出接口的输入端连接;和应用模块;用于应用集成后的多源异构数据信息,所述应用模块包括异构数据存储控制模块和与所述异构数据存储控制模块连接的故障告警模块、运维管理模块、可视化展示模块、动态监控模块、故障告警模块和异构诊断输出接口控制,其中所述故障告警模块连接有led灯;其中所述数据源的输出端与所述集成模块的输入端连接,所述集成模块的输出端与所述应用模块的输入端连接。8.根据权利要求7所述的一种异构数据源的数据集成系统,其特征在于:所述集成控制模块为dsp计算模块和arm计算模块双核处理器,其中所述dsp计算模块为基于tms321vc5501型号的数据模块,所述arm计算模块为基于s3c

44box型号的数据模块;信道通信分析模块为改进和声搜索优化算法模块,信息集成诊断模块为长短时记忆神经网络算法模块;长短时记忆神经网络算法模块中单个lstm块结构包括存储模块c
t
、信息去除门f
t
、信息流入门i
t
和信息流出门o
t
。9.根据权利要求7所述的一种异构数据源的数据集成系统,其特征在于:所述信道通信分析模块包括第一程序介质和设置在第一介质上的改进和声搜索优化算法程序;用于分析异构数据源集成信息;所述信息集成诊断模块包括第二程序介质和设置在第二介质上的长短时记忆神经网络算法程序;用于诊断异构数据源集成过程中的故障信息。10.根据权利要求7所述的一种异构数据源的数据集成系统,其特征在于:所述第一信
道转换模块设置有sdn控制器;所述第二信道转换模块设置有ason控制器。

技术总结
一种异构数据源的数据集成方法和系统,涉及网络技术领领域,所述集成方法包括以下步骤:(S1)采集数据结构、存取方式、形式不一样的多个数据源,并将不同数据库之间信息实现传递或者交互;(S2)将互相关联的分布式异构数据源集成到一起,使用户能够以透明的方式访问这些数据源;(S3)应用集成后的多源异构数据信息采集、控制、通信、应用、运维、诊断或者数据显示。一种异构数据源的数据集成系统,包括:数据源、集成模块和应用模块;其中所述数据源的输出端与所述集成模块的输入端连接,所述集成模块的输出端与所述应用模块的输入端连接。本发明能够实现异构数据集成的分析与诊断,提高了异构数据源的数据集成和应用能力。数据源的数据集成和应用能力。数据源的数据集成和应用能力。


技术研发人员:唐华 徐海鹏 张华 丁英峰
受保护的技术使用者:山东勤成健康科技股份有限公司
技术研发日:2021.08.19
技术公布日:2021/11/16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1