基于计算机进行不放回抽样的数据统计方法及系统与流程

本发明涉及计算机数据处理，尤其涉及一种基于计算机进行不放回抽样的数据统计方法及系统。

背景技术：

1、现有技术中，一些统计数据的呈现，需要大量原始数据的处理。但当要处理的数据量非常庞大时，难以一次性在前端或后端进行处理，而且在数据库也不支持相应处理的操作的情况下，很难在保证效率的情况下同时保证统计数据的准确性。比如：当从hive数据库(仓储型数据库)对几百万条数据进行四分位数获取的时候，hive数据库自身对聚合函数的处理效率低下，而如果将处理过程转移到前后端，由于数据量庞大，也会造成计算机系统数据处理的速度很慢，效率低下。

技术实现思路

1、本发明提供一种基于计算机进行不放回抽样的数据统计方法及系统，能够提高计算机进行数据处理的效率。

2、本发明提供一种基于计算机进行不放回抽样的数据统计方法，包括：

3、指令接收：接收不放回抽样指令，令i＝1；

4、初次抽样：基于所述不放回抽样指令从数据库中获取第i抽样数据数组，并将所述第i抽样数据数组存储至第一存储模块；

5、初次处理：对所述第i抽样数据数组进行数据处理，得到第i处理数组，并将所述第i处理数组存储至第二存储模块；

6、再次抽样：从数据库中获取第i+1抽样数据数组，并在所述第一存储模块中存储整体样本数组，所述整体样本数组为第i+1次抽样及之前抽样的所有的抽样数组的集合；

7、再次处理：对所述整体样本数组进行数据处理，得到第i+1处理数组，并将所述第i+1处理数组存储至第二存储模块；

8、当满足预设的抽样停止条件时，输出第i+1处理数组，得到数据统计的结果，否则，i＝i+1，跳转至再次抽样的步骤继续执行。

9、可选地，当满足预设的抽样停止条件时，输出第二处理数组，得到数据统计的结果之后，包括：

10、删除所述第一存储模块和第二存储模块的数据。

11、可选地，所述预设的抽样停止条件包括：

12、i大于设定阈值，且第i+1处理数组与之前得到的所有处理数组之间的方差小于方差阈值。

13、可选地，初次抽样，还包括：

14、确定抽样事件序号j，令j＝1，并将所述抽样事件序号与所述第i抽样数据数组关联存储至第一存储模块。

15、可选地，再次抽样，还包括：

16、基于j＝j+1更新所述抽样事件序号，并将更新后的抽样事件序号与所述整体样本数组关联存储至第一存储模块。

17、可选地，所述预设的抽样停止条件包括：

18、所述抽样事件序号达到序号阈值。

19、可选地，还包括：

20、将所述第一存储模块和第二存储模块中所有数据按照抽样以及处理的顺序发送到显示端显示。

21、本发明还提供一种基于计算机进行不放回抽样的数据统计系统，包括：

22、指令接收模块，用于接收不放回抽样指令，令i＝1；

23、初次抽样模块，用于基于所述不放回抽样指令从数据库中获取第i抽样数据数组，并将所述第i抽样数据数组存储至第一存储模块；

24、初次处理模块，用于对所述第i抽样数据数组进行数据处理，得到第i处理数组，并将所述第i处理数组存储至第二存储模块；

25、再次抽样模块，用于从数据库中获取第i+1抽样数据数组，并在所述第一存储模块中存储整体样本数组，所述整体样本数组为第i+1次抽样及之前抽样的所有的抽样数组的集合；

26、再次处理模块，用于对所述整体样本数组进行数据处理，得到第i+1处理数组，并将所述第i+1处理数组存储至第二存储模块；

27、输出或者跳转模块，用于当满足预设的抽样停止条件时，输出第i+1处理数组，得到数据统计的结果，否则，i＝i+1，跳转至再次抽样的步骤继续执行。

28、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于计算机进行不放回抽样的数据统计方法。

29、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于计算机进行不放回抽样的数据统计方法。

30、本发明提供的一种基于计算机进行不放回抽样的数据统计方法及系统，通过指令接收：接收不放回抽样指令，令i＝1；初次抽样：基于所述不放回抽样指令从数据库中获取第i抽样数据数组，并将所述第i抽样数据数组存储至第一存储模块；初次处理：对所述第i抽样数据数组进行数据处理，得到第i处理数组，并将所述第i处理数组存储至第二存储模块；再次抽样：从数据库中获取第i+1抽样数据数组，并在所述第一存储模块中存储整体样本数组，所述整体样本数组为第i+1次抽样及之前抽样的所有的抽样数组的集合；再次处理：对所述整体样本数组进行数据处理，得到第i+1处理数组，并将所述第i+1处理数组存储至第二存储模块；当满足预设的抽样停止条件时，输出第i+1处理数组，得到数据统计的结果，否则，i＝i+1，跳转至再次抽样的步骤继续执行。即本发明基于计算机进行不放回抽样的统计方式，利用第一存储模块存储抽样数据数组，利用第二存储模块存储处理数组，将不同类型的数据分开存储，在需要调取第一存储模块和第二存储模块中数据时，仅从对应的模块中调用即可，相较于未分区存储的情况，本发明可以提高对数据的调用以及处理的效率。

技术特征：

1.一种基于计算机进行不放回抽样的数据统计方法，其特征在于，包括：

2.根据权利要求1所述的基于计算机进行不放回抽样的数据统计方法，其特征在于，当满足预设的抽样停止条件时，输出第二处理数组，得到数据统计的结果之后，包括：

3.根据权利要求1所述的基于计算机进行不放回抽样的数据统计方法，其特征在于，所述预设的抽样停止条件包括：

4.根据权利要求1所述的基于计算机进行不放回抽样的数据统计方法，其特征在于，初次抽样，还包括：

5.根据权利要求4所述的基于计算机进行不放回抽样的数据统计方法，其特征在于，再次抽样，还包括：

6.根据权利要求5所述的基于计算机进行不放回抽样的数据统计方法，其特征在于，所述预设的抽样停止条件包括：

7.根据权利要求1-6任一项所述的基于计算机进行不放回抽样的数据统计方法，其特征在于，还包括：

8.一种基于计算机进行不放回抽样的数据统计系统，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的基于计算机进行不放回抽样的数据统计方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于计算机进行不放回抽样的数据统计方法。

技术总结
本发明提供一种基于计算机进行不放回抽样的数据统计方法及系统，涉及计算机数据处理领域，包括：接收抽样指令；基于抽样指令获取第i抽样数据数组，并存储至第一存储模块；对第i抽样数据数组进行数据处理，得到第i处理数组，并存储至第二存储模块；从数据库中获取第i+1抽样数据数组，并在第一存储模块中存储整体样本数组；对整体样本数组进行数据处理，得到第i+1处理数组，并存储至第二存储模块；当满足预设的抽样停止条件时，输出第i+1处理数组，得到数据统计的结果，否则i＝i+1，跳转至再次抽样步骤。本发明能够提高计算机进行数据处理的效率。

技术研发人员：魏雨薇
受保护的技术使用者：中银金融科技有限公司
技术研发日：
技术公布日：2024/1/15