一种基于内存计算的流数据跟随合成方法和系统与流程

本发明涉及数据计算，尤其涉及一种基于内存计算的流数据跟随合成方法和系统。

背景技术：

1、随着现代科技的发展，数据计算技术在各个领域得到了广泛的应用，例如金融、医疗、教育、交通等，在这些领域中，流数据的处理和分析显得尤为重要。流数据是指在一定时间范围内不断产生的、连续不断的数据流。随着数据量的不断增长，对流数据的实时处理和分析能力提出了更高的要求，特别是在大数据时代，流数据的处理和分析成为各类业务系统中的关键技术。

2、经过大量的检索后发现，虽然基于内存的计算可以加快数据处理速度，但对于非常高速的流数据，仍可能无法满足实时性的要求，另外，内存中的数据在系统关闭或出现故障时可能会丢失，不仅会具有数据泄漏的安全隐患，且对于需要长期保存的数据，仅仅储存在内存中不太适用。

技术实现思路

1、为了弥补以上不足，本发明提供了一种基于内存计算的流数据跟随合成方法和系统，旨在改善了现有技术中提到的“数据丢失以及具有安全隐患”的问题。

2、为了实现上述目的，本发明采用了如下技术方案：一种基于内存计算的流数据跟随合成方法，包括以下步骤：

3、s1：数据接收

4、通过合适的设备对数据进行接收；

5、s2：数据预处理

6、对输入的流数据进行预处理；

7、s3：数据映射

8、将预处理后的流数据映射到内存中，便于快速访问和处理；

9、s4：数据聚合

10、对映射到内存中的数据进行聚合操作，计算出每个数据项的聚合值；

11、s5：数据跟随

12、根据聚合值的大小排序选择合适的数据作为跟随数据；

13、s6：数据输出

14、将跟随数据输出到指定位置；

15、s7：数据防丢

16、建立防丢机制防止数据丢失，从而保证数据的完整性。

17、作为上述技术方案的进一步描述：

18、所述s1中的设备包括传感器，用于收集环境中的各种数据，其中包括但不限于温度、湿度、光照；网络接收器，用于接收来自网络的数据，包括但不限于社交媒体信息、新闻资讯；用户输入设备，包括但不限于键盘、触摸屏等，用于接收用户输入的数据。

19、作为上述技术方案的进一步描述：

20、所述s2中包括以下步骤：

21、s201：去除噪声

22、对收集到的原始数据进行去噪处理，消除数据中的异常值和干扰信号，提高数据质量；

23、s202：数据清洗

24、对去噪后的数据进行清洗，剔除重复数据和无效数据，确保输入数据的准确性；

25、s203：数据规范化

26、将清洗后的数据进行规范化处理，将其转换为统一的数据格式和单位，便于后续处理。

27、作为上述技术方案的进一步描述：

28、所述s3包括以下步骤：

29、s301：选择图标类型

30、根据数据的特性和需求选择能够反映数据的图标类型；

31、s302：制定规则

32、将数据转化为视觉元素，确保数据的准确性和视觉元素的清晰度，采用哈希映射法，参考以下公式：

33、(x1×p^n-1+x2×p^n-2+…+xn-1×p^1+xn×p^0)modq

34、其中x1,x2,...,xn是字符串中的字符，p是素数，q是模数；

35、s303：结果评估

36、对映射的数据进行检查；

37、s304：更新映射数据

38、根据新的数据内容和需求，对映射到的内存中的数据进行更新，以保持数据的实时性和准确性。

39、作为上述技术方案的进一步描述：

40、所述s4包括以下步骤：

41、s401：聚合操作定义

42、定义适用于该应用场景的聚合函数；

43、s402：数据分组

44、将映射到内存中的数据按照一定的时间间隔或者数据特征进行分组；s403：计算聚合值

45、对每个分组的数据进行聚合操作，得到每个数据项的聚合值；

46、s404：结果存储

47、将计算出的聚合值存储到内存中，便于后续的数据排序和筛选。

48、作为上述技术方案的进一步描述：

49、所述s5包括以下步骤：

50、s501：设定阈值

51、对内存中的聚合值设定一个阈值，用于筛选出符合要求的数据项；s502：数据排序

52、根据聚合值的大小对数据进行排序，确保数据的有效性；

53、s503：选取最大值

54、在排序后的数据中选取聚合值最大的数据项作为跟随数据；

55、s504：更新阈值

56、根据选取的跟随数据，更新阈值以保持实时性。

57、作为上述技术方案的进一步描述：

58、所述s6包括以下步骤：

59、s601：设定输出格式和内容

60、输出设置设定数据输出的格式和内容；

61、s602：数据展示

62、将跟随数据按照设定的格式和内容展示给用户。

63、作为上述技术方案的进一步描述：

64、所述s7包括以下步骤：

65、s701：建立云储存空间

66、在云端建立一个存储空间，用于存储经过处理的数据和相关信息；

67、s702：数据上传

68、将经过处理后的数据上传至云端存储空间；

69、s703：设定预设值

70、设定预设值，包括数据完整值、报警阈值，用于后续数据分析和预警；

71、s704：数据同步

72、将云端存储空间中的数据与本地设备进行同步。

73、作为上述技术方案的进一步描述：

74、所述s301中图标类型包括折线图、柱状图、饼图和散点图，所述s303中检查项目包括检查数据的准确性、视觉元素的易读性和图表的可理解性，所述s401中的聚合函数包括但不限于求和、平均值、最大值，所述s601中的格式和内容包括但不限于图表和文字，所述s701中的数据完整值设定为％99，另外报警阈值设定为％98，当数据的完整值低于报警阈值时即会自动触发警报功能。

75、一种基于内存计算的流数据跟随合成方法的系统，包括数据接收模块、数据预处理模块、数据映射模块、数据聚合模块、数据跟随模块、数据输出模块、数据防丢模块，数据同步模块，所述数据接收模块负责接收来自各种设备的原始数据，所述数据预处理模块包括但不限于进行去噪、数据清洗、数据规范化工作，确保输入数据的质量和准确性，数据映射模块将预处理后的数据映射到内存中，并进行图标类型选择、制定规则、结果评估和更新映射数据操作，数据聚合模块对映射到内存中的数据进行聚合操作，包括但不限于定义聚合函数、数据分组、计算聚合值和结果存储步骤，数据跟随模块根据聚合值的大小排序选择合适的数据作为跟随数据，包括但不限于设定阈值、数据排序、选取最大值和更新阈值步骤，数据输出模块将跟随数据按照设定的格式和内容展示给用户，数据防丢模块建立防丢机制，保证数据的完整性，另外，数据同步模块用于将云端存储空间中的数据与本地设备进行同步。

76、本发明具有如下有益效果：

77、1、本发明中，通过建立云储存空间可以储存处理过的数据和相关信息，一定程度上减轻了计算机内存的压力，另外通过设定预设值使得当云储存空间内的数据完整度在低于％98时会触发警报功能，从而既能够保证数据的完整性且能够在数据丢失的第一时间得到消息进行及时的补救措施。

78、2、本发明中，通过数据预处理模块、数据映射模块、数据聚合模块等多个模块的协同工作，实现了对原始数据的快速处理和高效转换，保证了数据的实时性和准确性，并且通过数据输出模块根据用户需求设定输出格式和内容，将处理后的数据以图表、文字等形式展示给用户，这种灵活的输出方式满足了不同用户对数据展示的需求，提高了数据的可读性和易用性。

79、3、本发明中，通过数据跟随模块根据数据特性自动选择合适的图标类型，并通过设定阈值、数据排序等步骤，实时筛选出符合要求的数据项，这种方法不仅使得数据展示更加直观易懂，同时也为用户提供了更加灵活的数据分析手段。