数据在线分发方法、装置、设备、介质及产品与流程

本申请涉及数据处理领域，尤其涉及一种数据在线分发方法、相应的装置、数据在线分发设备、计算机可读存储介质以及计算机程序产品。

背景技术：

1、在一些业务场景中，数据量庞大且对时效性的要求比较高，服务器需要在线处理庞大的数据量并保证一定的实时性，当服务器处理庞大的数据量时，常常会因服务器性能不足或网络阻塞等原因导致服务器单点故障，而服务器出现单点故障时可能导致用户无法正常地进行功能操作和影响信息交互的实时性，无论用户是通过何种渠道进入站点使用服务，这都会大大降低相应服务的用户体验。

2、目前，当服务器出现单点故障时，一般将数据依次加入延迟队列分批进行处理或对数据进行离线处理，这虽然可以减缓服务器的压力，但却损失了数据的时效性，无法保证业务的实时性，业务存在很高的延迟性。

3、综上，为了解决大型数据引起服务器单点故障而影响数据的实时性等问题，本申请人出于解决该问题的考虑做出相应的探索。

技术实现思路

1、本申请的目的在于解决上述问题而提供一种分布式数据的在线分发方法、相应的装置、数据在线分发设备、计算机可读存储介质以及计算机程序产品。

2、根据本申请的一个方面，提供一种数据在线分发方法，包括如下步骤：

3、当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；

4、获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息；

5、根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量；

6、将所述各个服务器节点的数据分发量相对应的待分发数据，对应分发至所述各个服务器节点。

7、根据本申请的另一方面，提供一种数据在线分发装置，包括：

8、数据接收模块，设置为当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；

9、负载信息获取模块，设置为获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息；

10、数据切分模块，设置为根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量；

11、数据分发模块，设置为将所述各个服务器节点的数据分发量相对应的待分发数据，对应分发至所述各个服务器节点。

12、根据本申请的另一方面，提供一种数据在线分发设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述数据在线分发方法的步骤。

13、根据本申请的另一方面，提供一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述数据在线分发方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

14、根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请所述数据在线分发方法的步骤。

15、相对于现有技术，本申请避免大型数据引起服务器单点故障而影响数据的实时性等问题，实时获取服务器集群内各个服务器节点的负载信息，当大型数据需要被处理时，根据各个服务器节点的负载信息动态合理地切分需要处理的大型数据，将适应各个服务器节点的负载信息相应的数据分发至各个服务器节点，当服务器集群内的服务器节点越多，服务器单点处理的数据量就越小，避免大型数据引起服务器单点故障，根据服务器集群内各个服务器节点合理分配相应的数据量，无需增加服务器成本，在避免大型数据引起服务器单点故障和无需增加服务器成本的基础上，保证了业务的实时性和低延迟性，根据各个服务器节点实时的负载信息动态分发大型数据至各个服务器节点，充分利用各个服务器节点的空闲负载空间，提高各个服务器节点的负载资源利用率，使服务器集群内各个服务器节点负载均衡，保证服务器集群的健康度。

技术特征：

1.一种数据在线分发方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种数据在线分发方法，其特征在于，获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息的步骤，包括如下步骤：

3.根据权利要求2所述的一种数据在线分发方法，其特征在于，根据所述cpu使用率和所述网络指标确定所述各个服务器节点的权重的步骤，包括如下步骤：

4.根据权利要求2所述的一种数据在线分发方法，其特征在于，根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量的步骤，包括如下步骤：

5.根据权利要求1所述的一种数据在线分发方法，其特征在于，当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据的步骤，包括如下步骤：

6.根据权利要求5所述的一种数据在线分发方法，其特征在于，接收所述数据处理请求，并获取所述数据处理请求携带的用户标识的步骤之前，包括如下步骤：

7.一种数据在线分发装置，其特征在于，包括:

8.一种数据在线分发设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至6中任意一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至6中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

10.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如权利要求1至6中任意一项所述的方法的步骤。

技术总结
本申请涉及一种数据在线分发方法、装置、设备、介质及产品，所述方法包括：当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息；根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量；将所述各个服务器节点的数据分发量相对应的待分发数据，对应分发至所述各个服务器节点。本申请根据各个服务器节点的负载信息动态合理地切分需要处理的大型数据，充分利用各个服务器节点的空闲负载空间，避免大型数据引起服务器单点故障，使服务器集群内各个服务器节点负载均衡。

技术研发人员：刘钰龙,陈培虎,胡啸飞
受保护的技术使用者：百果园技术（新加坡）有限公司
技术研发日：
技术公布日：2024/1/12