大数据平台物化视图的查询处理方法及系统与流程

文档序号:12470260阅读:来源:国知局

技术特征:

1.大数据平台物化视图的查询处理方法,其特征是,包括:

物化视图的选择步骤:针对给定的查询集合生成MVPP结构图,根据该结构图得到所有非叶节点的集合,计算该集合中每个非叶节点的价值,利用面向收益最大化的物化视图贪心选择算法获得物化视图集合;

物化视图的放置步骤:针对物化视图的选择步骤获得的物化视图集合建立物化视图关联权重矩阵,计算矩阵中每个元素的值,将所有计算节点按物化存储空间按大小降序排列,在所有计算节点中取物化存储空间最大的节点,获得放置到该节点的物化视图。

2.如权利要求1所述的大数据平台物化视图的查询处理方法,其特征是,针对给定的查询集合,利用MVPP算法利用生成MVPP结构图,通过有向无环图的形式来表述针对查询集的整体查询处理策略。

3.如权利要求2所述的大数据平台物化视图的查询处理方法,其特征是,在MVPP结构图中,用叶结点表示的是数据库中的事实表,而根节点则表示的是基于事实表的查询,所有非叶节点都可以作为物化视图的选择对象。

4.如权利要求3所述的大数据平台物化视图的查询处理方法,其特征是,设E为MVPP结构图中所有非叶节点的集合,在MVPP结构图中,一个非叶节点用ej表示,每个非叶节点ej都对应一个候选物化视图,用mj表示ej非叶节点代表的候选物化视图。

5.如权利要求1所述的大数据平台物化视图的查询处理方法,其特征是,面向收益最大化的物化视图贪心选择算法是基于价值化MVPP图的选择算法,其输入是计算了每个非叶节点的价值的MVPP图,输出为一个物化视图集合。

6.如权利要求1所述的大数据平台物化视图的查询处理方法,其特征是,面向收益最大化的物化视图贪心选择算法的具体步骤为:

1)设F为一个物化视图集合,并初始化为空;

2)计算取得E中vj/sj最大的非叶节点ej,其中sj为ej对应候选物化视图所占用的存储空间大小,非叶节点ej的价值用vj表示;

3)将ej对应的候选物化视图加入F,即对mj进行物化,形式化表达为:F←F∪mj,E←E-ej

4)更新E中其他非叶节点的价值;

5)若F的物化视图占用的存储空间之和小于系统物化视图总存储空间S,则重复执行第2)步;否则结束算法,F即为所求物化视图的集合。

7.如权利要求6所述的大数据平台物化视图的查询处理方法,其特征是,所述步骤4)中具体的更新操作步骤:

对可依赖mj执行查询集合Qj,对于Qj中每一个查询qi执行以下操作:qi返回时间ti更新为基于mj执行查询处理的返回时间;

由于物化mj后,会影响ej子孙非叶节点和祖先非叶节点的价值,根据非叶节点ej的价值用计算公式重新计算ej的子孙非叶节点与祖先非叶节点的价值。

8.如权利要求1所述的大数据平台物化视图的查询处理方法,其特征是,物化视图关联权重矩阵H中,H有|F|行与|F|列,设hi,j为H的一个元素,那么hi,j则表示mi与mj两个物化视图的关联权重,|F|要放置物化视图的数量。

9.如权利要求1所述的大数据平台物化视图的查询处理方法,其特征是,用N表示云中计算节点集合,|N|为计算节点的数量,设计算节点nk的物化视图存储空间大小为sk,在N取物化存储空间最大的nk,通过计算获得放置到该节点的物化视图,计算方法为:

a)在H中,从|F|行选择行和最大的物化视图mi作为初始聚类中心;

b)将mi放置到nk

c)在F依次取出与mi关系权重最大的mj,将mj放置到nk,直到放置到nk的物化视图占用的存储空间大于sk

10.大数据平台物化视图的查询处理系统,其特征是,包括:

物化视图的选择模块:针对给定的查询集合生成MVPP结构图,根据该结构图得到所有非叶节点的集合,计算该集合中每个非叶节点的价值,利用面向收益最大化的物化视图贪心选择算法获得物化视图集合;

物化视图的放置模块:针对物化视图的选择步骤获得的物化视图集合建立物化视图关联权重矩阵,计算矩阵中每个元素的值,将所有计算节点按物化存储空间按大小降序排列,在所有计算节点中取物化存储空间最大的节点,获得放置到该节点的物化视图。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1