一种基于云计算的数据统计管理系统及方法与流程

本发明涉及数据统计，具体为一种基于云计算的数据统计管理系统及方法。

背景技术：

1、云计算是指通过计算机网络形成的计算能力极强的系统，可存储、集合相关资源并可按需配置，向用户提供个性化服务。

2、传统的数据统计方法需要依靠工作人员进行手动输入数据，再由计算机进行分类统计，这就导致当需要统计的数据十分庞大的时候数据处理会非常缓慢；同时，在数据统计过程中，还会出现以下情况：1、在统计过程中出现新添加的数据，可能会影响到之前已经统计好的结果；2、工作人员进行数据分类的时候需要思考数据的分类标准，有时候因为分类标准的不准确导致最后的分类结果差强人意。

技术实现思路

1、本发明的目的在于提供一种基于云计算的数据统计管理系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于云计算的数据统计管理方法，该方法包括以下步骤：

3、步骤s1：将服务器编号导入到系统中，当服务器保存了需要统计的所有数据后，服务器显示出完整的数据标识；系统根据单位时间内计算出的数据总数判断是否获取数据；在计算出的数据总数小于系统开始进行数据统计的最低数据数量时，经过系统设定好的时间t1后开始获取数据；

4、步骤s2：系统通过数据的编码范围将不属于编码范围的数据判定为乱码数据，再与导入常规词汇的数据库进行比对筛选出非常规数据；将乱码数据和非常规数据返回服务器进行更改再重新传输到系统；系统二次筛选传输回来的数据，将未更改的非常规词汇写入数据库中；

5、步骤s3：系统对服务器提供分类标准的数据根据分类标准进行分类，保存服务器提供的新的分类标准；对未提供分类标准的数据由系统学习历史的分类标准判断出所述数据对应的分类标准，根据所述分类标准对所述数据进行分类；

6、步骤s4：统计根据分类标准分类后得到的每一类数据数量，计算出每一类数据的数量占比ηk；在系统获取到新的数据时，将增加数据添加到对应的类别中，实时更改每一类的数据数量和数量占比，并将最后的结果以图表的形式发送给服务器。

7、10.进一步的，步骤s1中，系统获取服务器中保存的数据，包括以下步骤：

8、步骤s11：将服务器编号导入到系统中，当服务器中保存了需要系统进行统计的全部数据时，服务器中显示出一个完整的数据标识；

9、步骤s12：系统每隔单位时间t对各个服务器保存的数据数量进行计算，设定ni为第i个服务器中保存的数据数量，j为服务器的总数，n总为所有服务器保存的数据总数；根据公式：

10、

11、步骤s12：设定系统开始进行数据统计的最低数据数量为δ；当n总＜δ时，系统经过t1后开始获取所有服务器中保存的数据；当n总＞δ时，系统直接获取所有服务器中保存的数据；

12、步骤s13：系统生成集合bi，其中bi表示编号为i的服务器的数据集合；系统将服务器中的数据传输到集合bi中。

13、11.进一步的，步骤s2中，在获取的所有数据中筛选出错误数据，包括以下步骤：

14、步骤s21：根据服务器的编号顺序将数据转化成字符串的形式，并按照字符串排列顺序对每一个字符进行判定；根据系统的编码方式，判定任意一个字符是否属于系统的编码范围内；如果属于系统的编码范围，则判定所述数据为正常数据；如果不属于系统的编码范围，则判定所述数据为乱码数据；

15、步骤s22：导入包含常规词组的数据库，当正常数据为数字时，则直接跳过对比；当正常数据包含非数字字符，则与数据库进行逐条对比；将包含非数字字符的正常数据拆分成若干个词组，当数据库中存在所有所述词组时，则判定所述正常数据为正确数据；当数据库中不存在某一词组时，则判定所述正常数据为包含非常规词汇的数据；

16、步骤s23：根据服务器的编号建立集合pi，将判定为乱码数据和包含非常规词汇的数据放入相应的集合中，将所述集合发送回服务器；

17、步骤s24：服务器将判定为乱码数据的数据根据系统的编码方式进行修改，将包含非常规词汇的数据与服务器中的原数据进行比对，判断是否出现错误进行修改；

18、步骤s25：服务器将所有错误数据处理完成后，重新发送回系统由系统进行二次筛选。

19、步骤s26：系统重新接受修改后的数据，重复步骤s21、s22；当包含非常规词汇的数据修改后与原有数据保持一致，则将所述数据中的非常规词汇写入包含常规词汇的数据库中。

20、12.进一步的，步骤s3中对筛选完成的数据进行分类，包括以下步骤：

21、步骤s31：设定一个阈值τ，表示服务器需要上传分类标准的次数；设编号为i的服务器已经上传分类标准的次数为ti；

22、当ti＜τ时，或者ti≥τ且编号为i的服务器中存在分类标准时，系统读取编号为i的服务器的分类标准，将所述分类标准分解为k个关键词，根据关键词的个数在集合bi中生成k个子集bk；对数据进行逐一对比，当数据满足第k个关键词时，则将所述数据写入子集bk中；

23、步骤s32：系统统计编号为i的服务器的分类标准中第j种分类标准的次数tij；取tij的最大值，将所述第j种分类标准标记为编号为i的服务器的默认分类标准；对比相同分类标准的数据，检索出同时存在的关键词，计算出所述关键词的数量在集合bi中的占比θ，根据公式：

24、

25、其中，n为所述关键词的数量，ti为集合bi中的数据数量；设定一个阈值μ，当θ＞μ时，系统将所述关键词与所述分类标准进行匹配并保存在系统中；

26、步骤s33：当ti≥τ且服务器中不存在分类标准时，系统将数据与保存在系统中的关键词进行比较，

27、当存在所述关键词匹配到一个分类标准时，则将所述关键词匹配的分类标准作为数据的分类标准；

28、当数据中存在的关键词匹配到多个分类标准时，系统统计第p种分类标准所匹配的关键词在数据中的占比θ′p，设apl为第p种分类标准所匹配的第l个关键词数量，r为某一分类标准所匹配的关键词个数，根据公式：

29、

30、对比第p种分类标准所匹配的关键词在数据中的占比θ′p；选取最大值对应的分类标准作为数据的分类标准；当对比结果中第p种分类标准所匹配的关键词在数据中的占比θ′p存在q个相同的最大值时，系统则将q个相同最大值对应的分类标准同时作为数据的分类标准，即将数据分类q次；

31、步骤s34：若数据中不存在关键词，则将编号为i的服务器的默认分类标准作为对集合bi中数据的分类标准；

32、步骤s35：当存在数据不满足所有关键词时，系统在集合bi中生成一个新的子集b0，将所有不满足关键词的数据写入子集b0。

33、13.进一步的，步骤s4中对分类好的数据进行统计，包括以下步骤：

34、步骤s41：统计集合bi中k个子集bk的数据数量为mk，设s为集合bi中不包含子集b0的子集个数，计算出每个子集bk在集合bi中的数据数量占比ηk；当存在子集b0，统计子集b0的数据数量为m0；根据公式：

35、

36、其中，子集b0在集合bi中的数据数量占比

37、步骤s42：系统每隔一个单位时间t检测各个服务器中是否存在完整的数据标识，若某些服务器中不存在完整的数据标识，则获取所述服务器中的增加的数据传输到系统中；

38、步骤s43：当系统汇入了新的数据时，系统统计新的数据中分类到子集bk中的数量为mk，计算出每个子集bk在集合bi中的数据数量占比ηk，根据公式：

39、

40、其中，子集b0在集合bi中的数据数量占比

41、步骤s44：将得到的子集bk的数据数量mk和数据数量占比ηk以图表的形式进行整合，整合完成后发送给服务器。

42、与现有技术相比，本发明所达到的有益效果是：本发明在统计服务器中的数据时，先根据服务器的分类标准进行分类；再根据历史的分类标准对比出所述分类标准的数据中相同的关键词，将关键词与所述分类标准进行匹配；在以后的数据分类中根据数据中的关键词匹配对应的分类标准；系统实现根据数据自动选择需要的分类标准，降低了分类标准对统计结果的影响；并且在统计的过程中实时增加新的数据，避免了因为新数据而导致统计结果出现问题。