一种分布式数据库系统的跨节点查询优化方法及系统的制作方法_3

文档序号:9547240阅读:来源:国知局
除其余影响因素对总体计算的干扰,从而逐步降低运 算时间。
[0103] 较佳的,参照附图5,为本发明提供的分布式数据库系统的跨节点查询优化方法实 施例的步骤S310的进一步具体流程示意图。
[0104] 所述进行Bp神经网络自适应优化的步骤S310还可以进一步包括以下步骤:
[0105] 步骤S311,将全局优化代价函数定义为:
[0107] 其中,E(W)为全局优化代价函数,表示全局查询总代价误差;
[0108] w(w < W)为全局查询结果中包含分片查询路径的个数;
[0109] i为局部优化阶段求得的多因素决策的模糊评估的结果,即第i个影响因素;
[0110] f为分片查询路径w中第i个影响因素作用下的全局查询总代价理想值;
为分片查询路径w中第i个影响因素作用下的全局查询总代价实际 输出值。
[0112] 步骤S312,将BP神经网络设计为一个3层的前馈神经网络,第一层是输入单元,第 二层称为隐含层,第三层称为输出层。X表示网络的输入向量,对应N个分片查询路径, Wl、 w2、W3分别表示网络各层的连接权向量,F i、F2、F3表示3层对应的激活函数。
[0113] 则第一层神经元的输出为=O1= F丨(Xw1)
[0114] 第二层神经元的输出为:02= F2F1 (Xw1)W2
[0115] 输出层神经元的输出为:03= F3(F2F1(Xw1)W2)W 3
[0116] 其中激活函数均定义为sigmoid函数:
[0118] 步骤S313,用梯度下降法对BP神经网络的各层的连接权向量进行求解并更新。
[0119] 步骤S314,最终输出层的输出即为最优的全局查询路径,即加权后的分片查询路 径。
[0120] 通过上述处理步骤,可通过计算自适应的调整BP神经网络的各层的连接权向量, 提高了全局查询的效率和可靠性。
[0121] 需要特别指出的是,上述方法实施例中的各个步骤均可以相互交叉、替换、增加、 删减,因此,这些合理的排列组合变换之于所述方法也应当属于本发明的保护范围,并且不 应将本发明的保护范围局限在所述实施例之上。
[0122] 本发明另一方面还提出了一种分布式数据库系统的跨节点查询优化系统400,实 现了在分布式并行系统中进行查询时降低数据I/O次数和负载均衡的目的,参照附图3,为 本发明提供的分布式数据库系统的跨节点查询优化系统400实施例模块示意图。
[0123] 所述分布式数据库系统的跨节点查询优化系统400包括:
[0124] 全局查询总代价最低要求模块410,用于在全局总代价定义确定全局查询总代价 以及全局查询总代价最低要求;
[0125] 查询分解及本地化模块420,用于将查询问题落在合适的片段上;
[0126] 多因素决策的模糊评估模块430,用于通过构建多因素决策的模糊评估模型,判定 多个影响因素中对降低查询代价贡献最大的影响因素;
[0127] 连接建立模块440,用于在当前的分片查询路径中,根据对降低查询代价贡献最大 的影响因素,查找到查询代价最小的数据库节点并与之建立连接进行查询;从而得到片段 上的查询结果;
[0128] 局部优化模块450,用于在与片段上的查询结果有关的各个数据库节点进行局部 优化;
[0129] Bp神经网络自适应优化模块460,用于定义全局优化代价函数,并采用Bp神经网 络求得全局优化代价函数的最小值,使得输出满足全局查询总代价逼近全局查询总代价最 低要求,其中,Bp神经网络的输入为片段上的查询结果;
[0130] 全局优化模块470,用于进行全局优化并最终输出最优的全局查询路径。
[0131] 从上述实施例可以看出,本发明提供的分布式数据库系统的跨节点查询优化系统 400,其优点在于,通过对每个分片查询路径的优化,降低全局优化的计算负担,使得全局查 询具有更快的查询速度,并通过定义全局优化代价函数使得查询总代价可控。
[0132] 较佳的,所述全局查询总代价最低要求模块410,还可用于将全局查询总代价最低 要求定义为查询时间误差估计和查询响应时间的加权和,即C min= w i · !^+W2 · tp其中,Cmin 是指全局查询总代价最低要求,%是指查询时间误差估计,其为全部网络时延及时钟漂移 引起的查询时间误差之和的估计,t是指查询响应时间,其是从用户提交查询请求到收到 完整的返回信息的平均时间,并有 Wl+w2= 1。
[0133] 较佳的,参照附图6,为本发明提供的分布式数据库系统的跨节点查询优化系统 400实施例的模块430的进一步具体结构示意图。
[0134] 所述多因素决策的模糊评估模块430,还可以进一步包括以下模块:
[0135] 模型构建模块431,用于构建多因素决策的模糊评估模型;
[0136] 优化判决模块432,用于对每个分片查询路径进行优化判决;
[0137] 局部优化输入模块433,用于将评估结果作为局部优化的输入。
[0138] 进一步的,所述模型构建模块431,还可以进一步包括以下模块:
[0139] 影响因素定义模块4311,用于定义每个分片查询路径中共有I个影响因素能够降 低查询代价;
[0140] 查询代价函数定义模块4312,用于定义在I个影响因素共同作用下得到的查询代 价函数为F(X 1),其中X1为函数输入;
[0141] 优化目标函数定义模块4313,用于定义其优化目标函数,即min {F (X1)}其用于判 定对降低查询代价贡献最大的影响因素。
[0142] 进一步的,所述优化判决模块432,还可以进一步包括以下模块:
[0143] 求解模块4321,用于对min {F (X1)}进行求解得到一组U1,其中化为优化目标函数 解析式中的一个参数,其表示第i(i < I)个影响因素对降低查询代价的贡献;
[0144] 影响因素判定模块4322,用于选取其中最大的U1,判定对应第i个影响因素对降 低查询代价贡献最大;
[0145] 查询连接模块4323,用于查找当前的分片查询路径中,在第i个影响因素作用下 查询代价最小的数据库节点并与之建立连接进行查询。
[0146] 通过上述处理步骤,可以人为定义对降低查询代价有所贡献的I个影响因素,使 得通过经验人为避免一些不重要的影响因素对总体计算的干扰。判断出对降低查询代价贡 献最大的影响因素后,即可进一步排除其余影响因素对总体计算的干扰,从而逐步降低运 算时间。
[0147] 较佳的,Bp神经网络自适应优化模块,还可以进一步包括以下模块:
[0148] Bp神经网络设计模块,用于将Bp神经网络设计为一个3层的前馈神经网络,各层 均有连接权向量;
[0149] 各层参数求解模块,用于利用梯度下降法对BP神经网络的各层的连接权向量进 行求解并更新。
[0150] 通过上述处理步骤,可通过计算自适应的调整BP神经网络的各层的连接权向量, 提高了全局查询的效率和可靠性。
[0151] 下面参照附图2,简要介绍采用本发明提供的分布式数据库系统的跨节点查询优 化系统400进行分布式数据库系统的跨节点查询优化方法:
[0152] 所述分布式数据库系统的跨节点查询优化方法,包括:
[0153] 在第一阶段,即全局查询总代价定义阶段100中:
[0154] 步骤S110,全局查询总代价最低要求模块410确定全局查询总代价C以及全局查 询总代价最低要求C min。
[0155] 在第二阶段,即局部优化阶段200中:
[0156] 步骤S210,查询分解及本地化模块420进行查询分解,即将查询问题(例如SQL语 句),转换成一个定义在全局关系上的关系代数表达式。
[0157] 步骤S220,查询分解及本地化模块420进行数据本地化,即把定义在全局关系上 的关系代数表达式具体化,落实到合适的(使
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1