数据处理、弹性伸缩方法、计算设备及计算机存储介质与流程

本发明实施例涉及数据处理，尤其涉及一种数据处理方法、弹性伸缩方法、计算设备及计算机存储介质。

背景技术：

1、数据指标可以包括对数据源的某个事件进行量化而形成的数据，可以用于衡量数据源的运行状态。因而，为了掌握数据源的运行状态，通常需要利用指标采集端对数据源进行指标数据的采集。

2、通常，将指标采集端直接从数据源采集获得的指标数据称为原始指标数据。随着大数据的发展，原始指标数据已无法满足对数据源运行状态检测的准确性以及实时性的需求，因而，当前通常在采集到原始指标数据后，对原始指标数据进行进一步处理得到目标指标数据来实现对数据源准确、及时的检测。

3、现有技术中，原始指标数据的处理链路通常为首先由指标采集端从数据源采集获得原始指标数据，然后指标采集端将采集到的原始指标数据汇聚到消息队列，例如kafka、rocketmq等中，然后使用计算引擎，例如spark、flink等，从消息队列中消费原始指标数据以进行处理。

4、发明人在实现本发明构思的过程中发现，相关技术中的原始指标数据的处理方式存在整体复杂性高以及稳定性低的技术问题。

技术实现思路

1、本发明实施例提供一种数据处理方法、弹性伸缩方法、装置、计算设备及计算机存储介质。

2、第一方面，本发明实施例中提供了一种数据处理方法，应用于指标采集端，包括：

3、采集数据源在第一时间窗口内产生的第一指标数据；

4、将所述第一指标数据存储至本地存储介质中；

5、检测到所述本地存储介质中存入所述第一指标数据，从所述本地存储介质中获取所述第一指标数据，以对所述第一指标数据进行实时处理；

6、对所述第一指标数据进行处理，得到第二指标数据，所述第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值。

7、第二方面，本发明实施例中提供了一种弹性伸缩方法，应用于指标采集端，包括：

8、采集云服务集群中的第一云服务器在第一时间窗口内产生的第三指标数据；

9、将所述第三指标数据存储至本地存储介质中；

10、检测到所述本地存储介质中存入所述第三指标数据，从所述本地存储介质中获取所述第三指标数据，以对所述第三指标数据进行实时处理；

11、对所述第三指标数据进行处理，得到第四指标数据，其中，所述第三指标数据和所述第四指标数据为表征所述第一云服务器运行状态的指标值；

12、在所述第四指标数据满足数据要求的情况下，生成弹性伸缩指令；

13、将所述弹性伸缩指令发送至执行端，以便所述执行端响应于所述弹性伸缩指令对所述云服务集群执行弹性伸缩处理。

14、第三方面，本发明实施例中提供了一种数据处理装置，包括：

15、第一采集模块，用于采集数据源在第一时间窗口内产生的第一指标数据；

16、第一存储模块，用于将所述第一指标数据存储至本地存储介质中；

17、第一获取模块，用于检测到所述本地存储介质中存入所述第一指标数据，从所述本地存储介质中获取所述第一指标数据，以对所述第一指标数据进行实时处理；

18、第一处理模块，用于对所述第一指标数据进行处理，得到第二指标数据，所述第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值。

19、第四方面，本发明实施例中提供了一种弹性伸缩装置，包括：

20、第二采集模块，用于采集云服务集群中的第一云服务器在第一时间窗口内产生的第三指标数据；

21、第二存储模块，用于将所述第三指标数据存储至本地存储介质中；

22、第二获取模块，用于检测到所述本地存储介质中存入所述第三指标数据，从所述本地存储介质中获取所述第三指标数据，以对所述第三指标数据进行实时处理；

23、第二处理模块，用于对所述第三指标数据进行处理，得到第四指标数据，其中，所述第三指标数据和所述第四指标数据为表征所述第一云服务器运行状态的指标值；

24、第一指令生成模块，用于在所述第四指标数据满足数据要求的情况下，生成弹性伸缩指令；

25、第一指令发送模块，用于将所述弹性伸缩指令发送至执行端，以便所述执行端响应于所述弹性伸缩指令对所述云服务器集群执行弹性伸缩处理。

26、本发明实施例通过采用采集数据源在第一时间窗口内产生的第一指标数据；将第一指标数据存储至本地存储介质中；检测到所述本地存储介质中存入所述第一指标数据，从本地存储介质中获取第一指标数据，以对所述第一指标数据进行实时处理；对指标数据进行处理，得到第二指标数据，第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值的技术方案，使得指标数据的处理可以在边缘侧的指标采集端本地进行，处理过程中不依赖其它中间件，缩短了指标数据处理的链路、降低了指标数据处理的复杂性。

27、本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

技术特征：

1.一种数据处理方法，其特征在于，应用于指标采集端，包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，确定所述第一指标数据是否满足释放条件包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述将所述指标数据存储至本地存储介质中包括：

6.根据权利要求5所述的方法，其特征在于，所述第一指标数据携带有时间戳，所述时间戳根据所述第一指标数据的采集时间确定；

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述第二内存中存储的第一指标数据携带有时间戳，所述时间戳根据所述第一指标数据的采集时间确定；

9.根据权利要求1所述的方法，其特征在于，所述采集数据源产生的第一指标数据包括：

10.根据权利要求9所述的方法，其特征在于，所述对所述第一指标数据进行处理包括：

11.一种弹性伸缩方法，其特征在于，应用于指标采集端，包括：

12.根据权利要求11所述的方法，其特征在于，所述生成扩容指令包括：

13.一种计算设备，其特征在于，包括处理组件以及存储组件；

14.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算程序被计算机执行时，实现如权利要求1至10任一项所述的数据处理方法，或者实现如权利要求11所述的弹性伸缩方法。

技术总结
本申请实施例提供一种数据处理方法、弹性伸缩方法、计算设备及计算机存储介质。其中，数据处理方法，应用于指标采集端，包括：采集数据源在第一时间窗口内产生的第一指标数据；检测到所述本地存储介质中存入所述第一指标数据，将所述第一指标数据存储至本地存储介质中，以对所述第一指标数据进行实时处理；从所述本地存储介质中获取所述第一指标数据；对所述第一指标数据进行处理，得到第二指标数据，所述第二指标数据用于触发执行端执行预设操作，其中，所述第一指标数据和所述第二指标数据为表征所述数据源运行状态的指标值。本发明实施例提供的技术方案缩短了指标数据处理的链路、降低了指标数据处理的复杂性。

技术研发人员：周弘懿
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：
技术公布日：2024/1/12