一种使用大数据进行递减处理的方法与流程

本发明涉及大数据技术领域，具体而言，涉及一种使用大数据进行递减处理的方法。

背景技术

互联网，移动通信，导航，在线游戏，传感技术和大规模计算基础设施每天都在产生大量数据。大数据是超出传统数据库系统处理能力的数据，并且由于其大容量，快速移动和增长速度而分析传统分析方法的容量。现在，越来越多的公司依靠大数据做出实时决策来解决各种问题。当前的方法涉及利用大量计算资源，这些计算资源非常昂贵，但仍然可能无法满足基于最新信息的实时决策的需要，尤其是在金融业中。如何高效，及时，经济地处理和分析大数据对数据分析师和计算机科学家来说是一项艰巨的挑战。

处理大数据可以包括对多个数据元素执行计算。在对大数据执行某些统计计算时，要访问的数据元素的数量可能非常大。例如，在计算自相关时，可能需要访问(可能很大)数量的数据元素。

此外，当从大数据集中移除旧数据元素时，重新计算一些统计计算。因此，可以重复访问(可能大的)数据元素。例如，可以为计算窗口计算自相关，该计算窗口的大小n保持递减以从大数据集中排除所访问或接收的数据元素。这样，每次访问或接收要删除的数据元素时，都从计算窗口中移除该元素。在从具有大小n的计算窗口中移除数据元素之后，然后访问调整后的计算窗口中的n-1个数据元素以重新计算自相关。

根据需要，计算窗口大小n可能非常大，因此计算窗口中的数据元素可以分布在包括数十万计算设备的云上。在以传统方式进行一些数据更改之后，重新执行大数据集上的自相关计算会导致响应缓慢和计算资源的大量浪费。

技术实现要素：

本发明提出了一种使用大数据进行递减处理的方法，该方法包括：

由基于计算设备的计算系统初始化滞后l(l>0)；处理移除元素，进行递减调整；由基于计算设备的计算系统直接递减地导出滞后1处的自相关的一个或多个分量，而不是基于滞后的自相关的一个或多个分量的调整后的计算窗口的和和均值，而不是计算窗口的总和以及平均值；基于从调整后的计算窗口的每一侧移除的数据元素和/或数据元素，直接递减地导出自相关的一个或多个分量，以减少基于计算设备的计算系统执行的操作的数量，从而提高计算效率。

由基于计算设备的计算系统初始化滞后l(l>0)，计算窗口大小n(n>2*l+1)，和或均值或两者，以及一个或多个其他分量用于计算窗口的滞后1的自相关的计算窗口，其中计算窗口包含存储在一个或多个存储介质中的至少一个中的数据集的n个数据元素；

基于计算设备的计算系统访问或接收要从计算窗口中移除的数据元素；

通过基于计算设备的计算系统，通过从计算窗口中移除所访问或接收的数据元素并调整计算窗口大小来调整计算窗口；

通过基于计算设备的计算系统递减地导出调整后的计算窗口的和或平均值或两者；

由基于计算设备的计算系统直接递减地导出滞后1处的自相关的一个或多个分量，而不是基于滞后的自相关的一个或多个分量的调整后的计算窗口的和和均值。而不是计算窗口的总和和平均值，包括：

分别从调整的计算窗口的每一侧访问或接收l个数据元素，从而不访问调整的计算窗口中的所有数据元素以减少数据访问等待时间，从而节省计算资源并减少基于计算设备的计算系统的功耗；

除了计算窗口的和和均值之外，在滞后1处访问自相关的一个或多个分量；

基于从调整后的计算窗口的每一侧移除的数据元素和/或数据元素，数学地从每个所访问的组件中移除所移除的数据元素的任何贡献，其中在调整的计算窗口期间不使用所有数据元素。直接递减地导出自相关的一个或多个分量，以减少基于计算设备的计算系统执行的操作的数量，从而提高计算效率；

基于计算设备的计算系统基于一个或多个递减导出的分量，为调整的计算窗口生成滞后1的自相关。

所述方法，其中，生成自相关还包括由所述基于计算设备的计算系统间接地递减地导出所述调整后的计算窗口的滞后1处的自相关的一个或多个分量，其中，间接递减地导出一个或多个组件包括基于除了相应的一个组件之外的一个或多个组件单独地计算一个或多个组件中的每个相应组件。

所述的方法，其中访问或接收要从所述计算窗口移除的数据元素包括访问或接收要从所述计算窗口移除的多个z(z>1)个数据元素，并且其中该方法还包括：对于要移除的每个相应的z数据元素，执行调整计算窗口，递减地导出和或平均值或两者，直接递减地导出用于调整后的计算的一个或多个分量窗口，并为调整后的计算窗口生成滞后l的自相关。

所述的方法，其中，对于调整后的计算窗口，在滞后1处生成自相关包括：仅当访问自相关时，针对调整后的计算窗口在滞后1处生成自相关。

所述的方法，其中，对于调整的计算窗口，在滞后1处生成自相关还包括由所述基于计算设备的计算系统间接地递减地导出所述自相关的一个或多个分量。对于调整的计算窗口，滞后1，其中间接递减地导出一个或多个组件包括基于除了相应的一个组件之外的一个或多个组件单独地计算一个或多个组件中的每个相应组件。

所述的方法，其中访问或接收要从计算窗口移除的数据元素包括访问或接收要从计算窗口移除的多个z(z>1)数据元素，并且其中该方法还包括：对于要移除的各个z数据元素中的每一个，执行调整计算窗口和计算窗口大小计数器，递减地导出和或平均值或两者，并且直接递减地导出一个或者用于调整的计算窗口的更多组件。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的使用大数据进行递减处理的方法的示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

实施例一：

如图1所示，为本发明使用大数据进行递减处理的方法的示意图，该方法包括：

由基于计算设备的计算系统初始化滞后l(l>0)；处理移除元素，进行递减调整；由基于计算设备的计算系统直接递减地导出滞后1处的自相关的一个或多个分量，而不是基于滞后的自相关的一个或多个分量的调整后的计算窗口的和和均值，而不是计算窗口的总和以及平均值；基于从调整后的计算窗口的每一侧移除的数据元素和/或数据元素，直接递减地导出自相关的一个或多个分量，以减少基于计算设备的计算系统执行的操作的数量，从而提高计算效率。

由基于计算设备的计算系统初始化滞后l(l>0)，计算窗口大小n(n>2*l+1)，和或均值或两者，以及一个或多个其他分量用于计算窗口的滞后1的自相关的计算窗口，其中计算窗口包含存储在一个或多个存储介质中的至少一个中的数据集的n个数据元素；

基于计算设备的计算系统访问或接收要从计算窗口中移除的数据元素；

通过基于计算设备的计算系统，通过从计算窗口中移除所访问或接收的数据元素并调整计算窗口大小来调整计算窗口；

通过基于计算设备的计算系统递减地导出调整后的计算窗口的和或平均值或两者；

由基于计算设备的计算系统直接递减地导出滞后1处的自相关的一个或多个分量，而不是基于滞后的自相关的一个或多个分量的调整后的计算窗口的和和均值。而不是计算窗口的总和和平均值，包括：

分别从调整的计算窗口的每一侧访问或接收l个数据元素，从而不访问调整的计算窗口中的所有数据元素以减少数据访问等待时间，从而节省计算资源并减少基于计算设备的计算系统的功耗；

除了计算窗口的和和均值之外，在滞后1处访问自相关的一个或多个分量；

基于从调整后的计算窗口的每一侧移除的数据元素和/或数据元素，数学地从每个所访问的组件中移除所移除的数据元素的任何贡献，其中在调整的计算窗口期间不使用所有数据元素。直接递减地导出自相关的一个或多个分量，以减少基于计算设备的计算系统执行的操作的数量，从而提高计算效率；

基于计算设备的计算系统基于一个或多个递减导出的分量，为调整的计算窗口生成滞后1的自相关。

所述方法，其中，生成自相关还包括由所述基于计算设备的计算系统间接地递减地导出所述调整后的计算窗口的滞后1处的自相关的一个或多个分量，其中，间接递减地导出一个或多个组件包括基于除了相应的一个组件之外的一个或多个组件单独地计算一个或多个组件中的每个相应组件。

所述的方法，其中访问或接收要从所述计算窗口移除的数据元素包括访问或接收要从所述计算窗口移除的多个z(z>1)个数据元素，并且其中该方法还包括：对于要移除的每个相应的z数据元素，执行调整计算窗口，递减地导出和或平均值或两者，直接递减地导出用于调整后的计算的一个或多个分量窗口，并为调整后的计算窗口生成滞后l的自相关。

所述的方法，其中，对于调整后的计算窗口，在滞后1处生成自相关包括：仅当访问自相关时，针对调整后的计算窗口在滞后1处生成自相关。

所述的方法，其中，对于调整的计算窗口，在滞后1处生成自相关还包括由所述基于计算设备的计算系统间接地递减地导出所述自相关的一个或多个分量。对于调整的计算窗口，滞后1，其中间接递减地导出一个或多个组件包括基于除了相应的一个组件之外的一个或多个组件单独地计算一个或多个组件中的每个相应组件。

所述的方法，其中访问或接收要从计算窗口移除的数据元素包括访问或接收要从计算窗口移除的多个z(z>1)数据元素，并且其中该方法还包括：对于要移除的各个z数据元素中的每一个，执行调整计算窗口和计算窗口大小计数器，递减地导出和或平均值或两者，并且直接递减地导出一个或者用于调整的计算窗口的更多组件。

实施例二：

一种计算系统，所述计算系统包括：

一个或多个计算设备；

包括一个或多个处理器的一个或多个计算设备中的每一个；

一个或多个存储介质；所述一个或多个存储介质中的至少一个包括数据集；和

一个或多个计算模块，当由一个或多个计算设备中的至少一个执行时，确定调整后的计算窗口的指定滞后的自相关，其中自相关的确定包括：

a.一个初始化滞后l(l>0)，计算窗口大小计数器n(n>2*l+1)，和或平均值或两者，以及计算窗口的滞后l的自相关的一个或多个其他分量包含数据集的n个数据元素；b.访问或接收要从计算窗口中删除的数据元素；

c.通过从计算窗口中移除访问或接收的数据元素来调整计算窗口，并通过将其值减1来调整计算窗口大小计数器；

d.递减计算调整后的计算窗口的和或平均值或两者；

即根据计算窗口滞后1处的自相关的一个或多个分量，直接递减地计算滞后l的自相关的一个或多个分量，而不是调整后的计算窗口的和和平均值，包括：

分别从调整的计算窗口的每一侧访问l个数据元素，从而不是访问调整的计算窗口中的所有数据元素以减少数据访问等待时间，从而节省计算资源并减少计算系统的功耗；

e.除了计算窗口的和与平均值之外，在滞后1处访问自相关的一个或多个分量；和

基于从调整后的计算窗口的每一侧移除的数据元素和/或l数据元素，数学地从每个被访问的组件中移除所移除的数据元素的任何贡献，其中在调整的计算窗口期间不使用所有数据元素。直接递减地计算自相关的一个或多个分量，以减少计算系统执行的操作次数，从而提高计算效率；和

f.基于一个或多个递减计算的分量，在调整的计算窗口处生成滞后1的自相关。

所述的计算系统，其特征在于，所述在滞后1处生成自相关还包括在所述经调整的计算窗口的滞后1处间接递减地计算所述自相关的一个或多个分量，其中所述间接递减地计算所述一个或多个分量包括单独的基于除了相应的一个组件之外的一个或多个组件来计算一个或多个组件中的每个相应组件。

所述的计算系统，其中，当由所述一个或多个计算设备中的至少一个执行时，所述一个或多个计算模块多次执行b，c，d，e和f。

所述的计算系统，所述执行f包括仅在访问所述自相关时为所述调整后的计算窗口生成滞后1的自相关。

所述的计算系统，其中，对于调整后的计算窗口，在滞后1处生成自相关包括：在滞后1处间接地递减地计算所述调整后的计算窗口的自相关的一个或多个分量，其中，间接递减地计算一个或多个。组件包括基于除了相应的一个组件之外的一个或多个组件单独地计算一个或多个组件中的每个相应组件。

所述的计算系统，其中，当由所述一个或多个计算设备中的至少一个执行时，所述一个或多个计算模块多次执行b，c，d和e。

实施例三：

一种用于配置的计算系统的计算系统程序产品，包括一个或多个计算设备和一个或多个存储介质，每个计算设备包括一个或多个处理器，所述一个或多个存储介质包括数据集，计算设备系统维持计算窗口大小，该计算窗口大小指示数据集的计算窗口中的数据元素的数量，该计算系统程序产品用于实现用于在调整的计算窗口中针对数据元素的指定滞后生成自相关的方法计算系统程序产品包括一个或多个非暂时性计算设备可读存储介质，其上存储有计算设备可执行指令，当由配置的计算系统中的一个或多个计算设备中的至少一个执行时，使配置的计算系统执行该方法，该方法包括以下步骤：

由配置的计算系统初始化滞后l(l>0)，计算窗口大小n(n>2*l+1)，和或均值或两者，以及自相关的一个或多个其他分量滞后l表示包含数据集的n个数据元素的计算窗口；

配置的计算系统访问或接收要从计算窗口中移除的数据元素；

通过配置的计算系统，通过从计算窗口中移除待移除的数据元素并将计算窗口大小减小1来调整计算窗口；

通过配置的计算系统递减地计算调整的计算窗口的和或平均值或两者；

通过配置的计算系统并基于计算窗口的滞后1处的自相关的一个或多个分量，直接递减地计算调整后的计算窗口的滞后1的自相关的一个或多个分量，包括：

分别从调整的计算窗口的每一侧访问l个数据元素，从而不访问调整的计算窗口中的所有数据元素以减少数据访问等待时间，从而节省计算资源并减少配置的计算系统的功耗；

除了计算窗口的和与平均值之外，在滞后1处访问自相关的一个或多个分量；

基于从计算窗口的每一侧移除的数据元素和/或l数据元素，数学地从每个所访问的组件中移除所移除的数据元素的任何贡献，其中在直接期间不使用调整的计算窗口中的所有数据元素。在滞后1处递减地计算自相关的一个或多个分量，以减少由配置的计算系统执行的操作的数量，从而提高计算效率；和

由配置的计算系统基于一个或多个递减计算的分量，为调整的计算窗口生成滞后1的自相关。

所述的计算系统程序产品，其中，在所述经调整的计算窗口的滞后1处生成自相关还包括由所述配置的计算系统间接地递减地计算所述经调整的计算集合的一个或多个分量，其中所述间接递减地计算一个或多个组件包括基于除了相应的一个组件之外的一个或多个组件单独地计算一个或多个组件中的每个相应组件。

所述的计算系统程序产品，其中，所述计算设备可执行指令在被执行时还使得所配置的计算系统访问或接收要被移除的数据元素，以调整所述计算窗口和所述计算窗口。大小，递减地计算调整的计算窗口的和或平均值或两者，以直接递减地计算一个或多个分量，并且对于要访问的多个数据元素中的每一个的调整的计算窗口，在滞后1处生成自相关或收到。

所述的计算系统程序产品，其中，对于所述调整的计算窗口，在滞后1处生成自相关包括：仅当访问所述自相关时，针对所述调整的计算窗口在滞后1处生成自相关。

所述的计算系统程序产品，其中，在所述经调整的计算窗口的滞后1处生成自相关包括在所述经调整的计算窗口的滞后1处间接地递减地计算所述自相关的一个或多个分量，其中所述间接地递减地计算所述一个或多个分量。或者更多组件包括基于除了相应的一个组件之外的一个或多个组件单独地计算一个或多个组件中的每个相应组件。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统或设备等均是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种阶段。而且，关于某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外，随着技术的发展许多元素仅是示例而不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，尽管每个操作可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能有其他步骤。此外，可以通过硬件、软件、固件、中间件、代码、硬件描述语言或其任何组合来实现方法的示例。当在软件、固件、中间件或代码中实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂时性计算机可读介质中，并通过处理器执行所描述的任务。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，所述权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。