一种流数据系统的负载评估以及过载判定方法
【专利摘要】本发明公开了一种流数据系统的负载评估以及过载判定方法，通过量化流数据系统处理单位数据元组消耗的时间，进而动态计算评估流数据的实时负载，判断是否过载。本发明克服了现有流数据系统因数据流具有抖动、不确定等特性，其数据特性无法预测，数据率不断变化，从而造成流数据系统负载不稳定的缺陷。本发明提出的流数据系统负载的评估及系统过载判定方法，对于流数据系统性能优化具有重要的意义。值得推广应用。
【专利说明】一种流数据系统的负载评估以及过载判定方法
【技术领域】
[0001]本发明涉及数据库领域，主要解决流数据系统过载的判定问题，发明了一种过载判定的方法。
【背景技术】
[0002]数据呈现海量、实时、多样等新特征，流数据系统在应对数据新特征与挑战中有着诸多优势:1，数据单遍扫描，不存储全部的原始数据，节省了存储资源；2，数据处理结果存储在内存中，处理与访问均在内存中进行，提高了分析与访问的时效性；3，流数据采取数据摘要表征原始数据特性，适应了数据的新特征与趋势。
[0003]数据流具有抖动、不确定等特性，其数据特性无法预测，数据率不断变化，因而造成流数据系统负载不稳定。系统负载的评估及系统过载判定对于流数据系统性能优化都有重要的意义。
【发明内容】
[0004]本发明所要解决的技术问题是提出了一种流数据系统的负载评估以及过载判定方法，以克服现有流数据系统的因数据特性无法预测，数据率不断变化，造成流数据系统负载不稳定的缺陷。
[0005]为了解决上述技术问题，本发明提出了一种流数据系统的负载评估以及过载判定方法，包括以下步骤:
[0006]计算流数据系统负载，所述流数据系统负载按以下公式计算:
【权利要求】
1.一种流数据系统的负载评估以及过载判定方法，其特征在于，包括以下步骤: 计算流数据系统负载，所述流数据系统负载按以下公式计算:
2.根据权利要求1所述的流数据系统的负载评估以及过载判定方法，其特征在于，所述第j个算子的S」参数由以下步骤获取: 系统启动，系统定时周期T1，在第一个周期内统计获取参数Sk ； 初始化算子j处理的数据数值为O，初始化算子j输出的数据元组数％值为O ; 每当输入算子j 一个数据元组，Mj自增I ; 每当算子j输出一个数据元组，Nj自增I ; 定时周期Tl到达，计算算子j的选择率SfN/Mj。
3.根据权利要求2所述的流数据系统的负载评估以及过载判定方法，其特征在于，所述第k个算子的Ck参数由以下步骤获取: 系统启动，系统定时周期T1，在第一个周期内统计获取参数Ck; 初始化算子k处理的数据元组数目Mk值为O,初始化参数Ck值为O ; 每当输入算子k 一个数据元组，Mk自增I ; 用数据元组处理结束的时间减去输入算子的时间计算处理时间tk ； 根据下式更新Ck
4.根据权利要求3所述的流数据系统的负载评估以及过载判定方法，其特征在于，系统是否过载的动态判定方法如下: 设置定时周期T1 ； 初始化每条流的数据率Vi值为O，i取值区间为[1，N]； 当数据元组到达，判断所属的数据流，并将对应的Vi自增I ; 定时周期T1到达，计算系统负载
【文档编号】G06F17/30GK103927349SQ201410133278
【公开日】2014年7月16日 申请日期:2014年4月3日 优先权日:2014年4月3日
【发明者】王菲 申请人:华中科技大学