流量调度方法、装置、电子设备及可读存储介质与流程

本发明涉及流量管理，尤其涉及一种流量调度方法、装置、电子设备及可读存储介质。

背景技术：

1、对于kafka(高吞吐量的分布式发布订阅消息系统)这种服务来说，由于其架构特点决定，需要使用具有较大空间sata硬盘的服务器机型，单个集群至少需要部署3台服务器。为了提高响应时间和减少业务间的干扰，则采用kafka服务自己进行混部，即一台服务器上，同时部署多个kafka集群的节点，每个节点使用固定的几块磁盘，通过这种方式，同样的3台服务器，可以同时部署2个以上的最小kafka集群，可以实现显著的利用率提升和成本的下降。

2、由于kafka自己进行混部只是简单的在一台服务器上部署了多个kafka节点，虽然部署后的短期时间内，可以通过规划提升资源利用率。但随着集群流量的变化，可能出现利用率的下降或资源出现不足的状况，无法实现流量均衡。

技术实现思路

1、有鉴于此，本发明实施例提供了一种流量调度方法，以解决流量调度对象在一台服务器上部署了多个节点后无法实现流量均衡的问题。

2、根据本发明的第一方面，提供了一种流量调度方法，包括：

3、获取调度对象存储位置的第一存储数据和所述调度对象读写分片的第二存储数据，所述第一存储数据包括但不仅限于第一实时数据写入流量、第一数据存储时长和第一数据存储量，所述第二存储数据包括但不仅限于第二实时数据写入流量和第二数据存储时长；

4、响应于所述第一存储数据和所述第二存储数据，调整所述调度对象读写分片与所述调度对象存储位置的第一对应关系。

5、可选地，所述获取调度对象存储位置的第一存储数据和所述调度对象读写分片的第二存储数据前，还包括：

6、获取调度对象所需的第二数据存储量；

7、响应于所述第二数据存储量，部署所述调度对象读写分片与所述调度对象存储位置的第二对应关系。

8、可选地，所述响应于所述第二数据存储量，部署所述调度对象读写分片与所述调度对象存储位置的第二对应关系，包括：

9、根据所述第二数据存储量，获得与所述第二数据存储量对应的所述调度对象读写分片的第二集群数目和第二节点数目；

10、根据所述调度对象读写分片的第二集群数目和第二节点数目，选择筛选所述调度对象存储位置中的服务器和磁盘，确定所述调度对象读写分片与所述调度对象存储位置的第二对应关系。

11、可选地，所述响应于所述第一存储数据和所述第二存储数据，调整所述调度对象读写分片与所述调度对象存储位置的第一对应关系后，还包括：

12、获取调度对象所需的第三数据存储量；

13、响应于所述第三数据存储量，部署所述调度对象读写分片与所述调度对象存储位置的第三对应关系。

14、可选地，所述响应于所述第三数据存储量，部署所述调度对象读写分片与所述调度对象存储位置的第三对应关系，包括：

15、根据所述第三数据存储量，获得与所述第三数据存储量对应的所述调度对象读写分片的第三集群数目和第三节点数目；

16、根据所述调度对象读写分片的第三集群数目和第三节点数目，选择筛选所述调度对象存储位置中的服务器和磁盘，确定所述调度对象读写分片与所述调度对象存储位置的第三对应关系。

17、可选地，所述流量调度方法还包括：

18、获取所述调度对象存储位置的存储余量；

19、按照所述存储余量的大小，进行所述调度对象存储位置的迁移。

20、可选地，所述流量调度方法还包括：

21、获取所述调度对象读写分片的流量变化趋势；

22、根据所述调度对象读写分片的流量变化趋势，增加或减少所述调度对象读写分片对应的所述调度对象存储位置数目。

23、根据本发明的第二方面，提供了一种流量调度装置，包括：

24、第一获取模块，用于获取调度对象存储位置的第一存储数据和所述调度对象读写分片的第二存储数据，所述第一存储数据包括但不仅限于第一实时数据写入流量、第一数据存储时长和第一数据存储量，所述第二存储数据包括但不仅限于第二实时数据写入流量和第二数据存储时长；

25、第一调整模块，响应于所述第一存储数据和所述第二存储数据，调整所述调度对象读写分片与所述调度对象存储位置的第一对应关系。

26、根据本发明的第三方面，提供了一种电子设备，包括：

27、处理器；以及

28、存储程序的存储器，

29、其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本发明第一方面中任一项所述的方法。

30、根据本发明的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据本发明第一方面中任一项所述的方法。

31、本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

32、不固定调度对象存储位置和调度对象读写分片的配置关系，分析调度对象实时的流量状况，通过获取并分析调度对象存储位置和调度对象读写分片的存储数据，便于根据流量状况迁移调度对象读写分片的存储位置，改变调度对象读写分片与调度对象存储位置的对应关系，从而保障在存储位置资源不足时添加新的存储位置，在存储位置过剩时将读写分片存储在新的存储位置中。

33、上述简要说明仅是对本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下举例详细描述本发明的具体实施方式。

技术特征：

1.一种流量调度方法，其特征在于，包括：

2.根据权利要求1所述的流量调度方法，其特征在于，所述获取调度对象存储位置的第一存储数据和所述调度对象读写分片的第二存储数据前，还包括：

3.根据权利要求2所述的流量调度方法，其特征在于，所述响应于所述第二数据存储量，部署所述调度对象读写分片与所述调度对象存储位置的第二对应关系，包括：

4.根据权利要求1所述的流量调度方法，其特征在于，所述响应于所述第一存储数据和所述第二存储数据，调整所述调度对象读写分片与所述调度对象存储位置的第一对应关系后，还包括：

5.根据权利要求4所述的流量调度方法，其特征在于，所述响应于所述第三数据存储量，部署所述调度对象读写分片与所述调度对象存储位置的第三对应关系，包括：

6.根据权利要求1所述的流量调度方法，其特征在于，所述流量调度方法还包括：

7.根据权利要求1所述的流量调度方法，其特征在于，所述流量调度方法还包括：

8.一种流量调度装置，其特征在于，包括：

9.一种电子设备，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。

技术总结
本发明提供一种流量调度方法，包括：获取调度对象存储位置的第一存储数据和所述调度对象读写分片的第二存储数据，所述第一存储数据包括但不仅限于第一实时数据写入流量、第一数据存储时长和第一数据存储量，所述第二存储数据包括但不仅限于第二实时数据写入流量和第二数据存储时长；响应于所述第一存储数据和所述第二存储数据，调整所述调度对象读写分片与所述调度对象存储位置的第一对应关系，从而解决了流量调度对象在一台服务器上部署了多个节点后无法自行实现流量均衡的问题。

技术研发人员：赵鹏,胡东旭,朱凤元,陈存利
受保护的技术使用者：度小满科技(北京)有限公司
技术研发日：
技术公布日：2024/1/16