一种基于私有协议的数据处理集群组件方法及系统与流程

文档序号:24887351发布日期:2021-04-30 13:10阅读:来源:国知局

技术特征:

1.一种基于私有协议的数据处理集群组建方法,其特征在于,包括:

发送端集群向接收端集群发送http请求,根据检索的集群信息建立与远程集群的连接;

连接完成后,根据流量控制机制进行数据传输;

发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理。

2.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于所述检索的集群信息包括:接收端集群的连接地址、端口号、支持的数据传输协议和加密方式。

3.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,所述建立与远程集群的连接时,根据接收端集群支持的数据传输协议确定采用的数据传输协议。

4.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,若发送端集群无法与接收端集群建立连接,发送端集群先向接收端集群所述网络的代理服务器发送http请求,并建立连接;然后通过代理服务器向接收端集群进行数据传输。

5.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,所述流量控制机制包括:

在接收端集群设置消息中间件,数据传输时,发送端集群先将数据发送至消息中间件,消息中间件根据当前接收端集群的数据负载确定数据传输速度,并根据确定的传输速度将数据传输至接收端集群的数据处理服务器。

6.根据权利要求1所述的基于私有协议的数据处理集群组建方法,其特征在于,所述发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理包括:

若当前的数据处理需求为数据读取,发送端集群选择具有固态硬盘的集群作为接收端集群并进行连接;

若当前的数据处理需求为机器学习、深度学习模型的训练,发送端集群选择具有gpu的集群作为接收端集群并进行连接;

若当前的数据处理需求为数据入库操作,发送端集群选择任意集群作为接收端集群并进行连接。

7.根据权利要求3所述的基于私有协议的数据处理集群组建方法,其特征在于,所述接收端集群支持的数据传输协议包括:socket协议、http协议、https协议、udp协议。

8.一种基于私有协议的数据处理集群组建系统,其特征在于,包括:

选择单元,用于根据数据处理需求选择接收端集群进行多集群的数据分布处理;

连接单元,用于发送端集群向接收端集群发送http请求,根据检索的集群信息建立与远程集群的连接;

流量控制单元,用于执行流量控制机制进行数据传输。


技术总结
本发明提出的一种基于私有协议的数据处理集群组建方法及系统,包括:发送端集群向接收端集群发送HTTP请求,根据检索的集群信息建立与远程集群的连接;连接完成后,根据流量控制机制进行数据传输;发送端集群根据数据处理需求选择接收端集群进行多集群的数据分布处理。本发明实现了数据的分步处理,充分发挥每个节点、集群的硬件优势,并能够适应复杂的网络环境,实现了负载削峰和流量控制。

技术研发人员:苗功勋;李兴国;刘洋洋;王祖德
受保护的技术使用者:中孚安全技术有限公司;中孚信息股份有限公司;北京中孚泰和科技发展股份有限公司;南京中孚信息技术有限公司
技术研发日:2020.12.25
技术公布日:2021.04.30
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1