支持分布式计算环境下的高性能微服务通信方法及系统与流程

本发明涉及信息技术的，具体地，涉及支持分布式计算环境下的高性能微服务通信方法。

背景技术：

1、智慧城市和数字孪生应用的快速发展，推进了人工智能计算和分布式并行技术的应用落地。在软件工程角度，为实现智能业务的部署和运维以适配复杂的云-边协同计算环境，通常以微服务的形式进行应用开发和部署，因此人工智能算法、业务逻辑、数据处理等功能通常会以多个微服务协同的方式进行部署，以故障解耦被便于维护。可参考的方式包括流水线方式或图方式。

2、微服务协同需要进行大量的服务间通信，以微服务本身的实现方式，服务间通信通过调用微服务接口进行。从软件工程角度，该方式提供了清晰的关联关系，整体管理非常方便。但从性能角度评估，则对于数据密集和通信密集场景，采用通用的数据传输方式容易造成性能损失。

3、因此，需要提出一种新的技术方案以改善上述技术问题。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种支持分布式计算环境下的高性能微服务通信方法及系统。

2、根据本发明提供的一种支持分布式计算环境下的高性能微服务通信方法，所述方法包括如下步骤：

3、步骤s1：构建自适应通信的总体架构方式，微服务的自适应通信通过在每个微服务上安装客户端，通过客户端进行通信模式的选择与切换，同时客户端对通信进行采样，协助自适应服务代理对通信模式进行评估；

4、步骤s2：进行自适应服务客户端的工作机制，客户端的部署方式为替换微服务中的用于微服务间协同的数据通信模块，由此拦截数据通信方式，并进行策略调整，以利用通过自适应服务代理反馈的通信资源；

5、步骤s3：进行自适应服务代理的工作机制；自适应服务代理以独立的微服务方式运行，通过多副本方式运行；

6、步骤s4：完成通信通道选择的评估模型算法设计，自适应通信代理在评估通信采样后，为每个微服务的通信通道确定通信策略，通信策略的选择以通映射表的方式进行。

7、优选地，所述步骤s1包括如下步骤：

8、步骤s1.1：自适应通信客户端向自适应服务代理发出通信方式请求；

9、步骤s1.2：自适应服务代理跟据分析采样信息得到的推荐通信方式和通信资源，反馈给客户端；

10、步骤s1.3：自适应通信客户端向自适应范围代理发送采样数据包；

11、步骤s1.4：自适应服务代理更新采样数据表，并按照定时方式分析数据，生成新的通信方式推荐；

12、步骤s1.5：通信完成向自适应服务代理释放通信资源。

13、优选地，所述步骤s2中：

14、微服务通过以下基于http实现的api发送字符串：

15、send(data，size)；//data为字符串

16、在自适应通信客户端的底层，该api的实现可能被替换为rpc api或rdma api来应用具体的数据传输通道。

17、客户端负责两方面工作：

18、通信过程采样，采集内容包括：通信方式、通信频率、数据容量、是否节点内通信，采样时间；

19、向自适应通信代理发送通信方式选择的请求，并从通信代理获得反馈。

20、优选地，所述步骤s3中：

21、服务代理包括采样数据表、数据分析组件、通信方式反馈组件，通信通道管理组件；

22、自适应服务代理内建了一个数据表，为每个进行协同的微服务，以及每个微服务的通信通道建立了一个采样分析数据段；每个数据段维护k条如下记录：

23、通信方式：rpc、http、对象存储，通过编号表示；

24、数据容量：以通信的比特数表示；

25、是否节点内通信：根据通信目标位置确定；

26、采样时间：通信发起时间；

27、采样数据分析组件，根据上述信息确定在k条记录所界定的时间范围内，通信的类型和频率；数据段的更新方式为先进先出，因此数据段总维持最新的采样信息；数据分析组件以定期分析方式进行；

28、自适应服务代理同时管理一系列通信通道，包括http、https、rpc、rdma、对象存储，每中类型的通信通道均有若干资源可供分配给自适应通信客户端使用，资源分配方式为先到先得，如果客户端未能及时释放资源，则自适应服务代理需要将资源强行杀死。

29、优选地，所述步骤s4中：

30、采样数据分析系统需要确定通信场景、通信频次和数据容量，计算方式如下：

31、通信场景：通信分为节点内和节点间两种场景，根据采样信息，以采样信息表中占比超过2/3场景作为通信场景，如果没有比例大于2/3的通信场景，则以节点内作为缺省场景；

32、通信频次：根据采样数据段所界定的时间范围和通信数量计算通信频次；

33、通信容量：通过采样数据段内的记录确定每种通信方式的数据平均容量，包括发送和接收；

34、根据通信频次，以用户设定的阈值ft为基础，超过ft为高频次；数据容量同样以用户设定的阈值vt为基础，超过vt的为大容量。

35、根据上述计算得到的通信场景、通信频次、通信容量信息，代入到映射表中获得推荐的通信方式；在通信方式的基础上，通过通信资源管理模块进一步获取对应的通信资源，如果资源无法分配，则返回推荐失败，有自适应通信客户端与对端协商切换回标准的微服务通信模式，通信不被阻塞。

36、本发明还提供一种支持分布式计算环境下的高性能微服务通信系统，所述系统包括如下模块：

37、模块m1：构建自适应通信的总体架构方式，微服务的自适应通信通过在每个微服务上安装客户端，通过客户端进行通信模式的选择与切换，同时客户端对通信进行采样，协助自适应服务代理对通信模式进行评估；

38、模块m2：进行自适应服务客户端的工作机制，客户端的部署方式为替换微服务中的用于微服务间协同的数据通信模块，由此拦截数据通信方式，并进行策略调整，以利用通过自适应服务代理反馈的通信资源；

39、模块m3：进行自适应服务代理的工作机制；自适应服务代理以独立的微服务方式运行，通过多副本方式运行；

40、模块m4：完成通信通道选择的评估模型算法设计，自适应通信代理在评估通信采样后，为每个微服务的通信通道确定通信策略，通信策略的选择以通映射表的方式进行。

41、优选地，所述模块m1包括如下模块：

42、模块m1.1：自适应通信客户端向自适应服务代理发出通信方式请求；

43、模块m1.2：自适应服务代理跟据分析采样信息得到的推荐通信方式和通信资源，反馈给客户端；

44、模块m1.3：自适应通信客户端向自适应范围代理发送采样数据包；

45、模块m1.4：自适应服务代理更新采样数据表，并按照定时方式分析数据，生成新的通信方式推荐；

46、模块m1.5：通信完成向自适应服务代理释放通信资源。

47、优选地，所述模块m2中：

48、微服务通过以下基于http实现的api发送字符串：

49、send(data，size)；//data为字符串

50、在自适应通信客户端的底层，该api的实现可能被替换为rpc api或rdma api来应用具体的数据传输通道。

51、客户端负责两方面工作：

52、通信过程采样，采集内容包括：通信方式、通信频率、数据容量、是否节点内通信，采样时间；

53、向自适应通信代理发送通信方式选择的请求，并从通信代理获得反馈。

54、优选地，所述模块m3中：

55、服务代理包括采样数据表、数据分析组件、通信方式反馈组件，通信通道管理组件；

56、自适应服务代理内建了一个数据表，为每个进行协同的微服务，以及每个微服务的通信通道建立了一个采样分析数据段；每个数据段维护k条如下记录：

57、通信方式：rpc、http、对象存储，通过编号表示；

58、数据容量：以通信的比特数表示；

59、是否节点内通信：根据通信目标位置确定；

60、采样时间：通信发起时间；

61、采样数据分析组件，根据上述信息确定在k条记录所界定的时间范围内，通信的类型和频率；数据段的更新方式为先进先出，因此数据段总维持最新的采样信息；数据分析组件以定期分析方式进行；

62、自适应服务代理同时管理一系列通信通道，包括http、https、rpc、rdma、对象存储，每中类型的通信通道均有若干资源可供分配给自适应通信客户端使用，资源分配方式为先到先得，如果客户端未能及时释放资源，则自适应服务代理需要将资源强行杀死。

63、优选地，所述模块m4中：

64、采样数据分析系统需要确定通信场景、通信频次和数据容量，计算方式如下：

65、通信场景：通信分为节点内和节点间两种场景，根据采样信息，以采样信息表中占比超过2/3场景作为通信场景，如果没有比例大于2/3的通信场景，则以节点内作为缺省场景；

66、通信频次：根据采样数据段所界定的时间范围和通信数量计算通信频次；

67、通信容量：通过采样数据段内的记录确定每种通信方式的数据平均容量，包括发送和接收；

68、根据通信频次，以用户设定的阈值ft为基础，超过ft为高频次；数据容量同样以用户设定的阈值vt为基础，超过vt的为大容量。

69、根据上述计算得到的通信场景、通信频次、通信容量信息，代入到映射表中获得推荐的通信方式；在通信方式的基础上，通过通信资源管理模块进一步获取对应的通信资源，如果资源无法分配，则返回推荐失败，有自适应通信客户端与对端协商切换回标准的微服务通信模式，通信不被阻塞。

70、与现有技术相比，本发明具有如下的有益效果：

71、1、本发明用于提升分布式计算环境下的微服务间数据协同的效率，通过引入一个专门服务于微服务间数据协同的通信层，在不同数据容量和通信频次和场景下自动适配优化的通信策略，同时微服务协同的效率；

72、2、本发明提出了一种自适应通信模式适配方式，为微服务间协同提供了性能提示的方式，特别时面向基于人工智能算法和数据分析的应用微服务，需要同时兼顾少量数据和大容量数据块传输效率的情况，采用自适应方式可有效的进行不同传输模式的切换，以适应不同的通信场景，达到效率的平衡。