一种流数据处理吞吐量动态调整方法、系统、设备及介质与流程

技术特征：

1.一种流数据处理吞吐量动态调整方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种流数据处理吞吐量动态调整方法，其特征在于：

3.根据权利要求2所述的一种流数据处理吞吐量动态调整方法，其特征在于：

4.根据权利要求3所述的一种流数据处理吞吐量动态调整方法，其特征在于：

5.根据权利要求4所述的一种流数据处理吞吐量动态调整方法，其特征在于：

6.根据权利要求5所述的一种流数据处理吞吐量动态调整方法，其特征在于：

7.根据权利要求1所述的一种流数据处理吞吐量动态调整方法，其特征在于：

8.一种流数据处理吞吐量动态调整系统，其特征在于，包括：监听器配置模块、动态监听模块和动态调整模块；

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～7中任一项所述流数据处理吞吐量动态调整方法的步骤。

10.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；其中：

技术总结
本发明公开了一种流数据处理吞吐量动态调整方法、系统、设备及介质，所述方法包括以下步骤：定义监听器；将定义的监听器注册至spark streaming中；响应于spark streaming进行批次数据处理，调用监听器执行监听操作；配置积压批次阈值、积压情况进入策略以及非积压情况进入策略；响应于spark streaming对当前批次数据处理完成，根据积压批次阈值、积压情况进入策略、非积压情况进入策略以及监听操作的监听结果执行核心逻辑判断操作；根据核心逻辑判断操作的判断结果进行spark streaming参数调整；本发明能够在不增加服务器资源的情况下，最大化降低数据延时，提高系统吞吐量。

技术研发人员：方贡兵
受保护的技术使用者：苏州益多多信息科技有限公司
技术研发日：
技术公布日：2024/3/17