基于误差内排查的大型数据分析方法及其终端的制作方法
【专利摘要】本发明公开了一种基于误差内排查的大型数据分析方法，包括：接收来自数据分析服务器的启动指令；根据启动指令对来自数据平台的输入数据进行误差内排查；根据排查结果选择性地将输入数据或输入数据的采样时间标签传送至数据分析服务器。与现有技术相比，本发明的方法根据数据分析服务器的启动指令对来自数据平台的输入数据进行误差内排查，并根据排查结果选择性地将输入数据传送至数据分析服务器，从而减少了数据分析服务器对大型数据的分析运算量，提高了分析结果的准确性。本发明同时公开了一种基于误差内排查的大型数据分析终端。
【专利说明】基于误差内排查的大型数据分析方法及其终端
【技术领域】
[0001]本发明涉及大型数据分析与应用【技术领域】，更具体地涉及一种基于误差内排查的大型数据分析方法及其终端。
【背景技术】
[0002]目前，大型数据的分析产品大都采用对原始数据直接采样，之后将原始数据传送至数据分析服务器进行分析处理。原始数据中会有大量重复、冗长的数据，而这些重复的数据对分析结果往往贡献不大，甚至是没有效果的操作。因此，直接将原始数据传送至数据分析服务器，由于数据庞大，将给数据分析服务器带来巨大的运算负担，且随着数据的日益增大，往往造成硬件设备无法跟上，严重时会直接影响到分析结果的准确性。另外，直接将原始数据传送至数据分析服务器，并未对原始数据进行任何的误差排查，同样会影响分析结果的准确性。
[0003]因此，急需一种改进的基于误差内排查的大型数据分析方法及其终端来克服上述缺陷。
【发明内容】
[0004]本发明的目的是提供一种基于误差内排查的大型数据分析方法，以减少数据分析服务器对大型数据的分析运算量，提高分析结果的准确性。
[0005]本发明的另一目的是提供一种基于误差内排查的大型数据分析终端，以减少数据分析服务器对大型数据的分析运算量，提高分析结果的准确性。
[0006]为实现上述目的，本发明提供了一种基于误差内排查的大型数据分析方法，包括:
[0007]接收来自数据分析服务器的启动指令；
[0008]根据所述启动指令对来自数据平台的输入数据进行误差内排查；
[0009]根据排查结果选择性地将所述输入数据或所述输入数据的采样时间标签传送至所述数据分析服务器。
[0010]与现有技术相比，本发明的方法根据数据分析服务器的启动指令对来自数据平台的输入数据进行误差内排查，并根据排查结果选择性地将输入数据传送至数据分析服务器，从而减少了数据分析服务器对大型数据的分析运算量，提高了分析结果的准确性。
[0011]较佳地，接收来自数据分析服务器的启动指令之前还包括:
[0012]接收来自所述数据平台的输入数据。
[0013]较佳地，接收来自所述数据的输入数据之后还包括:
[0014]接收来自所述数据分析服务器的误差判断值及数据模型。
[0015]具体地，根据排查结果选择性地将所述输入数据或所述输入数据的采样时间标签传送至所述数据分析服务器具体包括:
[0016]判断所述排查结果是否大于所述误差判断值；[0017]当所述排查结果大于所述误差判断值时，将所述输入数据传送至所述数据分析服务器；
[0018]当所述排查结果小于等于所述误差判断值时，将所述输入数据的采样时间标签传送至所述数据分析服务器。
[0019]较佳地，根据排查结果选择性地将所述输入数据传送至所述数据分析服务器之后还包括:
[0020]所述数据分析服务器根据所述输入数据更新所述误差判断值及数据模型，并将更新后所述误差判断值及误差模型向外传送。
[0021]相应地，本发明还提供了一种基于误差内排查的大型数据分析终端，包括:
[0022]指令模块，用于接收来自数据分析服务器的启动指令；
[0023]排查模块，用于根据所述启动指令对来自数据平台的输入数据进行误差内排查；
[0024]输出模块，用于根据排查结果选择性地将所述输入数据或所述输入数据的采样时间标签传送至所述数据分析服务器。
[0025]较佳地，该终端还包括:
[0026]输入模块，用于接收来自所述数据平台的输入数据、所述数据分析服务器的误差判断值及数据模型。
[0027]较佳地，该终端还包括: [0028]判断模块，用于判断排查结果是否大于所述误差判断值。
[0029]较佳地，该终端还包括:
[0030]采样模块，用于根据所述排查模块的排查结果提取输入所述输入模块的输入数据的采样时间标签，并将所述采样时间标签传送至所述输出模块。
[0031]通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。
【专利附图】
【附图说明】
[0032]图1为本发明基于误差内排查的大型数据分析方法一实施例的流程图。
[0033]图2为基于误差内排查的大型数据分析终端应用时的结构框图。
[0034]图3为图2的原理框图。
【具体实施方式】
[0035]现在参考附图描述本发明的实施例，附图中类似的元件标号代表类似的元件
[0036]请参考图1，本发明基于误差内排查的大型数据分析方法包括以下步骤:
[0037]S101,接收来自数据平台的输入数据Pi Cdata1, data2......datan);
[0038]S102，接收来自数据分析服务器的误差判断值及数据模型；具体地，数据分析服务器根据之前所接收的数据完成误差判断值e及数据模型[e’Pjdatapdat^……datan)]的构建；
[0039]S103,接收来自数据分析服务器的启动指令Command[start];需要注意的是,数据分析服务器会根据之前所接收的数据更新误差判断值及数据模型，当误差判断值及数据模型有所更新时，数据分析服务器将会向外发送更新指令Command [update]；[0040]S104,根据启动指令对输入数据进行误差内排查运算Delta[(Ps (Clata1, data2......datan), Pi ((Iata1, data2......datan)]；
[0041]S105，判断排查结果是否大于误差判断值，若是，则执行S106，反之，则执行S107 ；
[0042]S106，将输入数据传送至数据分析服务器；
[0043]S107，将输入数据的采样时间标签传送至数据分析服务器，或不输出任何数据。
[0044]相应地，请参考图2及图3，本发明还提供了一种基于误差内排查的大型数据分析终端，包括:
[0045]输入模块10，用于接收来自数据平台的输入数据、数据分析服务器的误差判断值及数据模型；
[0046]指令模块11，用于接收来自数据分析服务器的启动指令；需要注意的是，数据分析服务器会根据之前所接收的数据更新误差判断值及数据模型，当误差判断值及数据模型有所更新时，指令模块接收数据分析服务器的更新指令；
[0047]排查模块12，用于根据启动指令对输入数据进行误差内排查；
[0048]判断模块13，用于判断排查结果是否大于误差判断值；
[0049]采样模块14，用于提取输入数据的采样时间标签，并将采样时间标签传送；
[0050]输出模块15，用于根据排查结果选择性地将输入数据或输入数据的采样时间标签传送至数据分析服务器。
[0051]具体地，当判断模块判断出排查结果大于误差判断值时，则指示输出摸将输入数据传送至数据分析服务器，反之，则指示采样模块提取输入数据的采样时间标签，并将采样时间标签传送至输出模块，并通过输出模块将采样时间标签传送至数据分析服务器。
[0052]从以上描述可以看出，本发明基于误差内排查的大型数据分析方法及其终端，具有以下有益效果:
[0053](I)特别是针对重复性数据较高的平台系统，由于该方法及终端根据数据分析服务器的启动指令对来自数据平台的输入数据进行误差内排查，并根据排查结果选择性地将输入数据传送至数据分析服务器，从而减少了数据分析服务器对大型数据的分析运算量，提高了分析结果的准确性；
[0054](2)数据分析服务器根据输入数据更新误差判断值及数据模型，并将更新后误差判断值及误差模型向外传送，即数据分析服务器可以动态地调整误差值e与数据模型Ps，所以能动态地调整运算量，大大增强了数据分析服务器(系统)自身的灵活性与适应性能。
[0055](3)增强了历史数据的追踪能力，当应用客户端有需要时，可提供有力的数据历史给问题分析、排查操作人员。
[0056](4)针对每一个不同平台的数据，本发明能为这些平台的个性数据采用不同的误差计算算法(Delta)，有效地提高了针对整个巨型数据分析的算法灵活性与多样性。
[0057]以上结合最佳实施例对本发明进行了描述，但本发明并不局限于以上揭示的实施例，而应当涵盖各种根据本发明的本质进行的修改、等效组合。
【权利要求】
1.一种基于误差内排查的大型数据分析方法，其特征在于，包括: 接收来自数据分析服务器的启动指令； 根据所述启动指令对来自数据平台的输入数据进行误差内排查； 根据排查结果选择性地将所述输入数据或所述输入数据的采样时间标签传送至所述数据分析服务器。
2.如权利要求1所述的基于误差内排查的大型数据分析方法，其特征在于，接收来自数据分析服务器的启动指令之前还包括: 接收来自所述数据平台的输入数据。
3.如权利要求2所述的基于误差内排查的大型数据分析方法，其特征在于，接收来自所述数据的输入数据之后还包括: 接收来自所述数据分析服务器的误差判断值及数据模型。
4.如权利要求3所述的基于误差内排查的大型数据分析方法，其特征在于，根据排查结果选择性地将所述输入数据或所述输入数据的采样时间标签传送至所述数据分析服务器具体包括: 判断所述排查结果是否大于所述误差判断值； 当所述排查结果大于所述误差判断值时，将所述输入数据传送至所述数据分析服务器； 当所述排查结果小于等于所述误差判断值时，将所述输入数据的采样时间标签传送至所述数据分析服务器。
5.如权利要求3或4所述的基于误差内排查的大型数据分析方法，其特征在于，根据排查结果选择性地将所述输入数据传送至所述数据分析服务器之后还包括: 所述数据分析服务器根据所述输入数据更新所述误差判断值及数据模型，并将更新后所述误差判断值及误差模型向外传送。
6.一种基于误差内排查的大型数据分析终端，其特征在于，包括: 指令模块，用于接收来自数据分析服务器的启动指令； 排查模块，用于根据所述启动指令对来自数据平台的输入数据进行误差内排查； 输出模块，用于根据排查结果选择性地将所述输入数据或所述输入数据的采样时间标签传送至所述数据分析服务器。
7.如权利要求6所述的基于误差内排查的大型数据分析终端，其特征在于，还包括: 输入模块，用于接收来自所述数据平台的输入数据、所述数据分析服务器的误差判断值及数据模型。
8.如权利要求7所述的基于误差内排查的大型数据分析终端，其特征在于，还包括: 判断模块，用于判断排查结果是否大于所述误差判断值。
9.如权利要求8所述的基于误差内排查的大型数据分析终端，其特征在于，还包括: 采样模块，用于根据所述判断模块的排查结果提取输入所述输入模块的输入数据的采样时间标签，并将所述采样时间标签传送至所述输出模块。
【文档编号】G06F17/30GK103631953SQ201310683366
【公开日】2014年3月12日 申请日期:2013年12月13日 优先权日:2013年12月13日
【发明者】黄彤元 申请人:东莞市富卡网络技术有限公司