一种微服务网关优化方法、装置及存储介质与流程

本发明涉及微服务领域，尤其涉及一种微服务网关优化方法、装置及存储介质。

背景技术：

微服务网关是一种将底层服务的复杂细节屏蔽，对外提供简单统一调用方式的软件装置。一般在客户端发送服务请求后，首先会进而网关，再由网关路由转发将请求分配到具体的服务端，这在实现ajax跨域访问上有着广泛的应用。

在路由转发过程中会使用到具体的路由算法，如轮询、哈希、权重分配等多种方式，这些算法基于固定的规则，进行服务分配。由于服务端资源是动态变化的，在高并发情况下，容易将大量请求分配到资源不充足的服务器上，难以实现资源的最大化利用。

技术实现要素：

有鉴于此，本发明实施例提供了一种微服务网关优化方法、装置及存储介质，以基于服务端资源的动态变化，解决服务器资源难以实现最大化利用的问题，保证负载均衡。

结合本发明实施例的第一方面，提供了一种微服务网关优化方法，包括：

为每个服务器部署资源嗅探器后，定时通过资源嗅探器收集各服务器资源占用信息；

根据服务注册信息和各服务器资源占用信息，为用户的服务请求分配服务器；

预先判断各服务器已分配的服务请求是否超过预设的负载限度，为超过负载限度的服务器扩充已注册的服务器；

通过类树形数据结构存储用户的服务请求与分配的服务器地址对应关系，根据所述对应关系，将用户的服务请求发送到对应的服务器。

结合本发明实施例的第二方面，提供了一种微服务网关优化装置，包括：

收集模块，用于为每个服务器部署资源嗅探器后，定时通过资源嗅探器收集各服务器资源占用信息；

分配模块，用于根据服务注册信息和各服务器资源占用信息，为用户的服务请求分配服务器；

扩充模块，用于预先判断各服务器已分配的服务请求是否超过预设的负载限度，为超过负载限度的服务器扩充已注册的服务器；

存储模块，用于通过类树形数据结构存储用户的服务请求与分配的服务器地址对应关系，根据所述对应关系，将用户的服务请求发送到对应的服务器。

结合本发明实施例的第三方面，提供了一种装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例通过在各服务器上部分资源嗅探器采集服务器资源，再进行资源分配，为负载过大的服务器扩充服务器，并通过类树形结构存储服务对应关系，最后将用户请求发送到对应的服务器。使得网关的服务配置可以根据嗅探器采集的动态资源占用信息进行合理分配，实现服务资源的最大化利用。同时，在服务器负担过大时，实时动态根据其他服务器的资源变化为负担过大的服务器扩充服务器，分担负载，并且结合服务与请求对应关系的类树形的存储，既能方便动态调整服务分配，而且逻辑结构清晰，保障请求的快速分发。

附图说明

图1是本发明实施例一提供的一种微服务网关优化方法的原理示意图；

图2是本发明实施例二提供的一种微服务网关优化方法的流程图；

图3是本发明实施例三提供的一种微服务网关优化方法的另一原理示意图；

图4是本发明实施例四提供的一种微服务网关优化方法的另一流程图；

图5是本发明实施例五提供的一种类树形结构示意图；

图6是本发明实施例六提供的一种微服务网关优化装置的结构示意图

图7是本发明实施例七提供的一种微服务网关优化装置的另一结构示意图；

图8是本发明实施例八提供的一种终端装置的结构示意图。

具体实施方式

本发明实施例提供了一种微服务网关优化方法、装置及存储介质，用于在微服务中实现服务资源的最大化利用，保证负载均衡。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1，本发明实施例提供的微服务网关优化方法的原理示意图，包括：

本实施应用于微服务网关中，用于接收客户端的服务请求，并转发到后端服务器，还包括权限校验、api监控、限流及日志收集等功能。

通过网络连接，在客户端发起用户请求后，用户请求110会传输到微服务网关120，微服务网关120对用户的服务请求进行一系列验证、协议处理、标记、过滤等操作后，登记或记录用户的请求。优选的，微服务网关120对各线路的用户请求110进行安全监控及限流，保证网关安全正常运行。

所述服务器130是由多台服务器组成或是服务器集群，服务器130可以为用户提供一种或多种服务，多台服务器拥有相同或不同的硬件资源，在服务器具有不同资源分布时，服务器可提供的服务资源也不相同。在本发明实施中，可用服务器130，在分配服务请求前，需要注册服务器的组建名称、ip地址、端口及可用数量等。在网关提供服务前，需要在微服务网关120的注册中心，记录可用服务的地址、端口及资源等信息，所述注册中心的服务注册信息会实时的发生变更。

在微服务网关120中，根据已注册的服务器信息以及接收的用户请求，通过算法进行服务分配，存储用户请求与服务器服务地址的对应信息，一般的，可通过k-v键值关联方式进行存储。

根据分配后用户服务与服务器地址间的对应关系，将微服务网关120中的用户请求发送的对应的服务器130上，以执行处理用户的服务请求。服务器130相应用户的服务请求后，将响应数据或反馈信息发送给对应的客户端。

实施例二

在图1的基础上，下面结合图2详述一种微服务网关优化方法的实现流程，包括：

s201、为每个服务器部署资源嗅探器后，定时通过资源嗅探器收集各服务器资源占用信息；

所述服务器是一种提供计算服务的设备，包含有处理器、硬盘、内存等，可以是web服务器、流媒体服务器或数据库服务器等一种或多种类型的服务器，能够针对客户端的用户请求进行数据处理以响应请求。所述资源嗅探器是一种可部署到硬件设备上用于监听硬件资源使用状况的工具软件，在本发明实施例中所述资源嗅探器可实时采集服务器资源占用信息，传送到微服务网关，其中，所述服务器资源占用信息可包括内存占用、网络流量占用、磁盘io使用、端口占用等百分百信息。

可选的，创建一个心跳广播，资源嗅探器通过所述心跳广播向每个微服务网关发送心跳消息；若存在微服务网关间隔预设时长未接收到心跳消息，则将未接收到心跳消息的微服务网关从可用列表中删除，并不再向所述微服务网关发送服务请求。

可选的，微服务网关定时发送资源汇报命令到资源嗅探器，资源嗅探器接收到命令后，采集当前服务器的资源占用信息，并将所述资源占用信息发送给微服务网关。

进一步的，根据所述资源占用信息，评估各服务器使用状态，并动态调整服务请求的落地服务地址。所述落地服务地址为已部署有服务请求的服务器地址，基于实时的服务器资源占用信息及其评估，对已部署服务的服务器调整服务分配，分配原则为：服务器资源越充足，分配的服务请求比重越高。

s202、根据服务注册信息和各服务器资源占用信息，为用户的服务请求分配服务器；

所述服务注册信息指的是在微服务网关的注册中心完成可用服务注册的服务器信息或服务组件信息，所述注册中心包含有服务注册表用于登记可用的服务实例或服务器。一般的，所述服务注册信息可包括服务组件名、ip地址、可用数量等。

所述为用户请求分配服务器是根据服务器的服务注册信息及资源占用信息，以及根据用户请求数量及类别，通过服务调度算法分配用户请求，如权重轮询算法等。需要注意的是，此时为用户分配服务器，用户请求并未分配到对应的服务器，可以是确定服务请求与服务器的对应关系以便存储。

s203、预先判断各服务器已分配的服务请求是否超过预设的负载限度，为超过负载限度的服务器扩充已注册的服务器；

在将用户请求发送至对应的服务器之前，优先判断服务器负载是否达到预设的负载限度，具体的，根据已发布的服务信息，获取并计算各服务器的负载状况，当服务器超过负载限度，则调整服务器分配策略，为超过负载限度的服务器扩充额外的服务器。

一般的，由于服务器的资源使用状况是动态变化的，常用的服务分配算法在服务资源充足时，有时可能为某台服务器分配任务过大。在本发明实施例中，当某台服务器超过负载限度，可以充分利用资源充足的服务器资源，将用户请求分配一部分至临时资源充足的服务器中。

s204、通过类树形数据结构存储用户的服务请求与分配的服务器地址对应关系，根据所述对应关系，将用户的服务请求发送到对应的服务器。

所述类树形数据结构用于短时存储用户请求与服务器地址的对应关系，优选的，在所述类树形结构中，叶子节点间存在先后关系，根节点与叶子节点间的连线存在权重分配。

所述对应关系可通过类树形数据结构中根节点与叶子节点的形式存储，根据所述对应关系，及权重分配，将用户请求分别发送到对应的服务器。

可选的，所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(1)进行固定权重分配：

其中，n表示根节点对应的叶子节点数量，w1表示第i个叶子节点的权重。

可选的，所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(2)进行动态权重分配：

其中，wm表示第m个叶子节点的权重，n表示根节点对应的叶子节点数量，i表示第i个叶子节点。

通过所述类树形结构的数据存储，不仅可以保存用户服务与服务器地址的对应关系以及任务分配权重，逻辑清晰且简单，而且方便为负载过大的服务器扩充另外的服务器，重新调整权重。

用户请求发送到对应服务器后，服务器端执行处理任务，响应客户端请求。此时，分配任务后的服务器可用资源占用信息会产生变化，通过资源嗅探器的上报，注册中心记录的服务器资源占用信息也会发生改变，实时方便后续服务分配策略参考调整。

服务器端的响应数据会直接通过网络传送到对应的客户端，完成对客户端请求的反馈。

在实施例的技术方案中，通过资源嗅探器实时采集服务器的资源占用信息，为后续资源分配提供参考，再根据服务器资源占用信息和注册信息，分配用户请求。在服务器达到负载限度时，扩充额外的服务器，防止服务器负载过大，影响服务端的响应速度。同时，基于服务资源的动态调控分配，可以实现负载均衡，保证资源的最大化利用。

实施例三

图3为本发明实施例三提供的微服务网关优化方法的另一原理示意图，在实施例二的基础上，对步骤s201中服务器资源占用信息收集原理进行描述，其原理如下：

所述网关310为微服务网关，是一种网间连接器，介于客户端与服务器的中间层。外部请求都会通过微服务网关与服务器交互。所述网关310功能的实现可通过程序编码实现路由和过滤。如，利用zuul编写的微服务网关。

所述心跳广播320用于接收资源嗅探器的心跳消息，并将其转发给网关，网关如果在预设的时长之内(如30s)未接收到心跳消息，可将该网关视为宕机。心跳广播320可用于确定网关的可用性，对于每一个微服务网关通过广播的心跳消息，预先确认其能否接收到资源嗅探器的资源收集信息。当确认网关310中任一微服务网关不可用时，将该网关从可用列表中删除，并不再接收用户请求。

进一步的，确认网关310中的服务网关可用后，定时向各资源嗅探器发送资源汇报命令，各资源嗅探器接收到资源汇报命令后，根据实时采集的服务器当前资源占用情况，上传当前资源占用信息，资源嗅探器的汇报消息中即包含有各服务器最新资源占用信息。

在本发明实施例中，通过心跳广播验证服务网关的可用性，确保服务网关的正常运作，以便接收用户请求，为服务器分配处理任务。

实施例四

结合图3中网关与资源嗅探器的消息交互，下面将对微服务网关优化方法的另一流程图进行叙述，在本实施例中，对步骤s201进行详细流程说明。

请参见图4，图4示出了微服务网关优化方法另一流程，包括以下步骤：

s401、微服务网关定时发送资源汇报命令到资源嗅探器，资源嗅探器接收到命令后，采集当前服务器的资源占用信息，并将所述资源占用信息发送给微服务网关；

所述微服务的网关即服务网关，该服务网关通过程序编码实现特定的网关功能。所述服务网关可与资源嗅探器建立通信，进行数据交互。所述资源汇报命令可以是约定的数据传送信号，也可以是远程的函数调用方法等形式完成命令的传送。

所述资源占用信息一般为内存、网络流量、磁盘io及端口等占用情况，需要注意的是，服务器的资源占用信息是实时采集的，接收到服务网关的汇报命令，即可上传各服务器的资源占用信息。

s402、根据所述资源占用信息，评估各服务器使用状态，并调整服务请求的落地服务地址。

所述服务器使用状态即根据各服务器资源占用情况，综合分析各服务器可负载能力。服务器的状态评估可根据预设的评估标准，评价服务器当前数据处理能力，进而方便服务请求合理分配，实现负载均衡。

所述落地服务地址即为已部署服务的服务器地址，由于服务器已分配有用户请求，后续接收的用户请求需要根据各服务器的资源占用信息或负载能力，实时调整服务分配，调整原则是：资源占用率越低的服务器，分配的用户请求越多。

通过对落地服务地址的调整，可基于实时的服务器器动态资源占用信息，实现负载均衡及合理，进一步保证资源的合理利用。

实施例五

图5为本发明实施例提供的一种类树形结构示意图，该图示出了服务请求与服务器地址数据存储形式，参考图2的步骤s204，详述如下：

以用户的一个服务请求为例，存储用户服务请求与服务器地址信息的对应关系，如用户服务请求50需要获取特定的用户名510及所有用户520，在获取用户名510中，由于可能进行查询或获取多个用户名，可通过多台服务器协同完成，地址为192.168.1.1端口号8080的服务器5101可优先执行，依次执行地址为192.168.1.2端口号8080的服务器5102和地址为192.168.1.3端口号8080的服务器5103。

其中，服务器5101、5102及5103具有服务先后分配顺序，优选的，服务器资源占用率越低，叶子节点中的顺位越高。根节点510与叶子节点5101、5102及5103的连线间存在权重，权重分别为w1、w2、w3。

可选的，所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(1)进行固定权重分配：

其中，n表示根节点对应的叶子节点数量，w1表示第i个叶子节点的权重。

如图所示，用户请求中的510的3个权重，可分别为w1＝50％w2＝30％w3＝20％,，而请求520只有一个服务实例，因此w1＝100％。

可选的，所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(2)进行动态权重分配：

其中，wm表示第m个叶子节点的权重，n表示根节点对应的叶子节点数量，i表示第i个叶子节点。

基于两种不同的权重分配可以适用不同的服务场景，如提供特定服务的服务器为保证不被过多占用，可通过固定资源分配，针对通用服务的服务器可采用动态权重分配，实现负载均衡，具体使用场景在此不做限定，可根据实际情况选择权重分配策略。

本发明实施例所提供的类树形数据结构不仅可以方便服务请求分配后的存储，而且有利于基于资源动态的服务调整，便于根据实时服务器资源，调整资源的分配。。

实施例六

图6是本发明实施例提供的一种微服务网关优化装置的结构示意图，该装置包括：

收集模块610，用于为每个服务器部署资源嗅探器后，定时通过资源嗅探器收集各服务器资源占用信息；

可选的，所述收集模块610包括:

验证模块，用于创建一个心跳广播，资源嗅探器通过所述心跳广播向每个微服务网关发送心跳消息；

若存在服务网关间隔预设时长未接收到心跳消息，则将未接收到心跳消息的服务网关从可用列表中删除，并不再向所述服务网关发送服务请求。

分配模块620，用于根据服务注册信息和各服务器资源占用信息，为用户的服务请求分配服务器；

扩充模块630，用于预先判断各服务器已分配的服务请求是否超过预设的负载限度，为超过负载限度的服务器扩充已注册的服务器；

存储模块640，用于通过类树形数据结构存储用户的服务请求与分配的服务器地址对应关系，根据所述对应关系，将用户的服务请求发送到对应的服务器。

可选的，所述类树形数据结构具体为：在类树形结构中，叶子节点间存在先后关系，根节点与叶子节点间的连线存在权重分配。

进一步的，所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(1)进行固定权重分配：

其中，n表示根节点对应的叶子节点数量，w1表示第i个叶子节点的权重。

进一步的，所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(2)进行动态权重分配：

其中，wm表示第m个叶子节点的权重，n表示根节点对应的叶子节点数量，i表示第i个叶子节点。

在上述装置中，通过收集模块采集实时的服务器资源占用信息，进行服务器分配，再结合扩充模型确保负载合理，实现装置的负载均衡。而且存储模块可以方便请求分配后服务地址的调整，保障服务资源的有效利用。

实施例七

图7是本发明实施例提供的一种微服务网关优化装置的另一结构示意图，在图6的基础上，图7示出了收集模块610的结构，包括：

采集单元6101，用于微服务网关定时发送资源汇报命令到资源嗅探器，资源嗅探器接收到命令后，采集当前服务器的资源占用信息，并将所述资源占用信息发送给微服务网关；

所述微服务网关可与资源嗅探器建立通信，可进行数据交互。所述资源汇报命令可以是约定的数据传送信号，也可以是远程的函数调用方法等形式完成命令的传送，在此不做限定。

所述资源占用信息一般可包括内存、网络流量、磁盘io及端口的占用情况等，需要注意的是，服务器的资源占用信息是实时采集的，接收到服务网关的汇报命令，即可上传各服务器的资源占用信息。

调整单元6102，用于根据所述资源占用信息，评估各服务器使用状态，并调整服务请求的落地服务地址。

所述服务器使用状态即根据各服务器资源占用情况，综合分析各服务器可负载能力。服务器的状态评估可根据预设的评估标准，评价服务器当前数据处理能力，进而方便服务请求合理分配，实现负载均衡。

所述落地服务地址即为已部署服务的服务器地址，由于服务器已分配有用户请求，后续接收的用户请求需要根据各服务器的资源占用信息或负载能力，实时调整服务分配，调整原则是：资源占用率越低的服务器，分配的用户请求越多。

在所述收集模块610中，基于采集单元收集6101收集实时的各服务器资源占用信息，可以为分配模块620和扩充模块630提供实现基础，调整单元6102可以为分配模块620的服务分配以及对分配后服务的动态调整提供依据。基于动态资源特征保障服务端的负载均衡与资源合理利用。

以上所述单元及模块，是基于软件功能上的划分，各单元及模块并不必然具有先后或从属关系。

实施例八

图8是本发明一实施例提供的微服务网关优化的终端装置的结构示意图。所述终端装置，为具备触摸屏的计算机设备，包括但不限于智能手机、智能手表、笔记本、平板电脑、pos机甚至包括车载电脑。如图8所示，该实施例的终端装置8包括：存储器810、处理器820以及系统总线830，所述存储器810包括存储其上的可运行的程序8101，本领域技术人员可以理解，图8中示出的终端装置结构并不构成对终端装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图8对终端装置的各个构成部件进行具体的介绍：

存储器810可用于存储软件程序以及模块，处理器820通过运行存储在存储器810的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器810可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器810可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在存储器810上包含网络请求方法的可运行程序8101，所述可运行程序8101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器810中，并由处理器820执行，以优化微服务网关，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序8101在所述服务器4中的执行过程。例如，所述计算机程序8101可以被分割为收集模块、分配模块、扩充模块及存储模块。

处理器820是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器810内的软件程序和/或模块，以及调用存储在存储器810内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器820可包括一个或多个处理单元；优选的，处理器820可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器820中。

系统总线830是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器820的指令通过总线传递至存储器810，存储器810反馈数据给处理器820，系统总线830负责处理器820与存储器810之间的数据、指令交互。当然系统总830还可以接入其他设备，例如网络接口、显示设备等。

所述终端装置应至少包括网卡、输出设备等，其他构成部件在此不再赘述。

在本发明实施例中，该终端装置所包括的处理器420执行的可运行程序具体为：

一种微服务网关优化方法，其特征在于，包括：

为服务器部署资源嗅探器后，定时通过资源嗅探器收集各服务器资源占用信息；

根据服务注册信息和各服务器资源占用信息，为用户的服务请求分配服务器；

预先判断各服务器已分配的服务请求是否超过预设的负载限度，为超过负载限度的服务器扩充已注册的服务器；

通过类树形数据结构存储用户的服务请求与分配的服务器地址对应关系，根据所述对应关系，将用户的服务请求发送到对应的服务器。

进一步的，所述为服务器部署资源嗅探器后，定时通过资源嗅探器收集各服务器资源占用信息还包括：

创建一个心跳广播，资源嗅探器通过所述心跳广播向每个微服务网关发送心跳消息；

若存在微服务网关间隔预设时长未接收到心跳消息，则将未接收到心跳消息的微服务网关从可用列表中删除，并不再向所述微服务网关发送服务请求。

进一步的，所述为服务器部署资源嗅探器后，定时通过资源嗅探器收集各服务器资源占用信息具体为：

微服务网关定时发送资源汇报命令到资源嗅探器，资源嗅探器接收到命令后，采集当前服务器的资源占用信息，并将所述资源占用信息发送给微服务网关。

进一步的，所述并将所述资源占用信息发送给微服务网关还包括：

根据所述资源占用信息，评估各服务器使用状态，并调整服务请求的落地服务地址。

进一步的，所述类树形数据结构具体为：

在类树形结构中，叶子节点间存在先后关系，根节点与叶子节点间的连线存在权重分配。

进一步的，所述在树形结构中，叶子节点间存在先后关系，根节点与叶子节点间的连线存在权重还包括：

所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(1)进行固定权重分配：

其中，n表示根节点对应的叶子节点数量，w1表示第i个叶子节点的权重。

进一步的，所述在树形结构中，叶子节点间存在先后关系，根节点与叶子节点间的连线存在权重还包括：

所述根节点与叶子节点的连线权重表示服务请求的分发权重，根据公式(2)进行动态权重分配：

其中，wm表示第m个叶子节点的权重，n表示根节点对应的叶子节点数量，i表示第i个叶子节点。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。