1.一种基于私有协议的数据处理集群组建方法,其特征在于,包括:
发送端集群向接收端集群发送http请求,根据检索的集群信息建立与远程集群的连接;
连接完成后,根据流量控制机制进行数据传输;
发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理。
2.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于所述检索的集群信息包括:接收端集群的连接地址、端口号、支持的数据传输协议和加密方式。
3.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,所述建立与远程集群的连接时,根据接收端集群支持的数据传输协议确定采用的数据传输协议。
4.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,若发送端集群无法与接收端集群建立连接,发送端集群先向接收端集群所述网络的代理服务器发送http请求,并建立连接;然后通过代理服务器向接收端集群进行数据传输。
5.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,所述流量控制机制包括:
在接收端集群设置消息中间件,数据传输时,发送端集群先将数据发送至消息中间件,消息中间件根据当前接收端集群的数据负载确定数据传输速度,并根据确定的传输速度将数据传输至接收端集群的数据处理服务器。
6.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,所述发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理包括:
若当前的数据处理需求为数据读取,发送端集群选择具有固态硬盘的集群作为接收端集群并进行连接;
若当前的数据处理需求为机器学习、深度学习模型的训练,发送端集群选择具有gpu的集群作为接收端集群并进行连接;
若当前的数据处理需求为数据入库操作,发送端集群选择任意集群作为接收端集群并进行连接。
7.根据权利要求3所述的基于私有协议的数据处理集群组建方法,其特征在于,所述接收端集群支持的数据传输协议包括:socket协议、http协议、https协议、udp协议。
8.一种基于私有协议的数据处理集群组建系统,其特征在于,包括:
选择单元,用于根据数据处理需求选择接收端集群进行多集群的数据分布处理;
连接单元,用于发送端集群向接收端集群发送http请求,根据检索的集群信息建立与远程集群的连接;
流量控制单元,用于执行流量控制机制进行数据传输。