基于队列中间件的通讯系统及方法与流程

本申请涉及通讯，特别涉及一种基于队列中间件的通讯系统及方法。

背景技术：

1、目前多家单位若合作利用人工智能算法在某一业务场景中进行落地，会遇到一些问题，例如，由于数据安全与数据隐私要求，各家单位的数据不能在各单位之间进行有效流通和使用，数据就像一个个孤岛一样无法(或者极其困难)和企业内部的其他数据进行连接互动，从而造成“数据孤岛”问题。

2、相关技术在联合学习中，利用单服务端和多客户端形成的树形拓扑通讯结构，克服“数据孤岛”问题是极为常见的。

3、然而，在实际应用中往往有多个联邦学习任务在同一系统中进行，如何保证任务之间的隔离性，系统的可扩展性，亟待解决。

技术实现思路

1、本申请提供一种基于队列中间件的通讯系统及方法，以解决在联邦学习中，多任务条件下，多客户端和单服务端通讯复杂的问题，从而提升通讯扩展性。

2、本申请第一方面实施例提供一种基于队列中间件的通讯系统，包括：

3、联合学习客户端，用于根据接收到的联邦学习任务进行模型训练，并将训练得到的模型序列化得到第一目标格式信息；

4、网络代理集群，用于接收所述联合学习客户端投递的所述第一目标格式信息；

5、消息中间件集群，用于通过第一目标订阅队列接收所述网络代理集群传输的所述第一目标格式信息；以及

6、联邦学习服务端，用于从所述第一目标订阅队列获取所述第一目标格式信息，并将所述第一目标格式信息反序列化得到所述训练得到的模型，并将训练得到的模型进行聚合得到新模型。

7、进一步地，在一些实施例中，所述联邦学习服务端，还包括：

8、投递单元，用于将所述新模型序列化得到第二目标格式信息，并将所述第二目标格式信息投递至所述消息中间件集群的第二目标订阅队列，以通过所述消息中间件集群利用所述网络代理集群将所述第二目标格式信息发送至所述联合学习客户端。

9、进一步地，在一些实施例中，所述联邦学习服务端，还包括：

10、第一订阅单元，用于对所述消息中间件集群中的消息队列进行订阅，得到所述第一目标订阅队列。

11、进一步地，在一些实施例中，所述联合学习客户端，还包括：

12、第二订阅单元，用于以预设的广播形式对所述消息中间件集群中的消息队列进行订阅，得到所述第二目标订阅队列。

13、进一步地，在一些实施例中，上述的基于队列中间件的通讯系统，还包括：

14、异步上传组件，用于将所述联合学习客户端的所述第一目标格式信息异步上传至所述联邦学习服务端。

15、根据本申请实施例提出的基于队列中间件的通讯系统，通过联合学习客户端根据接收到的联邦学习任务进行模型训练，并将训练得到的模型序列化得到第一目标格式信息；通过网络代理集群接收联合学习客户端投递的第一目标格式信息；通过消息中间件集群基于第一目标订阅队列接收网络代理集群传输的第一目标格式信息；通过联邦学习服务端从第一目标订阅队列获取第一目标格式信息，并将第一目标格式信息反序列化得到训练得到的模型，并将训练得到的模型进行聚合得到新模型。由此，通过一个任务对应一个客户端，解决了在联邦学习中，多任务条件下，多客户端和单服务端通讯复杂的问题，从而提升通讯扩展性。

16、本申请第二方面实施例提供一种基于队列中间件的通讯方法，采用第一方面实施例的基于队列中间件的通讯系统，其中，方法包括以下步骤：

17、通过所述联合学习客户端根据接收到的联邦学习任务进行模型训练，并将训练得到的模型序列化得到第一目标格式信息；

18、利用所述网络代理集群接收所述联合学习客户端投递的所述第一目标格式信息；

19、利用所述消息中间件集群通过第一目标订阅队列接收所述网络代理集群传输的所述第一目标格式信息；以及

20、通过所述联邦学习服务端从所述第一目标订阅队列获取所述第一目标格式信息，并将所述第一目标格式信息反序列化得到所述训练得到的模型，并将训练得到的模型进行聚合得到新模型。

21、进一步地，在一些实施例中，上述的基于队列中间件的通讯方法，还包括：

22、通过投递单元将所述新模型序列化得到第二目标格式信息，并将所述第二目标格式信息投递至所述消息中间件集群的第二目标订阅队列，以通过所述消息中间件集群利用所述网络代理集群将所述第二目标格式信息发送至所述联合学习客户端。

23、进一步地，在一些实施例中，上述的基于队列中间件的通讯方法，还包括：

24、通过第一订阅单元对所述消息中间件集群中的消息队列进行订阅，得到所述第一目标订阅队列。

25、进一步地，在一些实施例中，上述的基于队列中间件的通讯方法，还包括：

26、通过第二订阅单元以预设的广播形式对所述消息中间件集群中的消息队列进行订阅，得到所述第二目标订阅队列。

27、进一步地，在一些实施例中，上述的基于队列中间件的通讯方法，还包括：

28、通过异步上传组件将所述联合学习客户端的所述第一目标格式信息异步上传至所述联邦学习服务端。

29、根据本申请实施例提出的基于队列中间件的通讯方法，通过联合学习客户端根据接收到的联邦学习任务进行模型训练，并将训练得到的模型序列化得到第一目标格式信息；利用网络代理集群接收联合学习客户端投递的第一目标格式信息；利用消息中间件集群通过第一目标订阅队列接收网络代理集群传输的第一目标格式信息；以及通过联邦学习服务端从第一目标订阅队列获取第一目标格式信息，并将第一目标格式信息反序列化得到训练得到的模型，并将训练得到的模型进行聚合得到新模型。由此，通过一个任务对应一个客户端，解决了在联邦学习中，多任务条件下，多客户端和单服务端通讯复杂的问题，从而提升通讯扩展性。

30、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种基于队列中间件的通讯系统，其特征在于，包括：

2.根据权利要求1所述的基于队列中间件的通讯系统，其特征在于，所述联邦学习服务端，还包括：

3.根据权利要求1或2所述的基于队列中间件的通讯系统，其特征在于，所述联邦学习服务端，还包括：

4.根据权利要求2所述的基于队列中间件的通讯系统，其特征在于，所述联合学习客户端，还包括：

5.根据权利要求1所述的基于队列中间件的通讯系统，其特征在于，还包括：

6.一种基于队列中间件的通讯方法，其特征在于，采用如权利要求1-5中任一项所述的基于队列中间件的通讯系统，其中，所述方法包括以下步骤：

7.根据权利要求6所述的基于队列中间件的通讯方法，其特征在于，还包括：

8.根据权利要求7所述的基于队列中间件的通讯方法，其特征在于，还包括：

9.根据权利要求7所述的基于队列中间件的通讯方法，其特征在于，还包括：

10.根据权利要求6所述的基于队列中间件的通讯方法，其特征在于，还包括：

技术总结
本申请涉及一种基于队列中间件的通讯系统及方法，系统包括：联合学习客户端，用于根据接收到的联邦学习任务进行模型训练，并将训练得到的模型序列化得到第一目标格式信息；网络代理集群，用于接收联合学习客户端投递的第一目标格式信息；消息中间件集群，用于通过第一目标订阅队列接收网络代理集群传输的第一目标格式信息；联邦学习服务端，用于从第一目标订阅队列获取第一目标格式信息，并将第一目标格式信息反序列化得到训练得到的模型，并将训练得到的模型进行聚合得到新模型。由此，通过一个任务对应一个客户端，解决了在联邦学习中，多任务条件下，多客户端和单服务端通讯复杂的问题，从而提升通讯扩展性。

技术研发人员：陆增翔
受保护的技术使用者：新奥新智科技有限公司
技术研发日：
技术公布日：2024/1/15