一种面向连接型业务的网关资源调度方法与流程

1.本技术实施例涉及网络通信领域，特别涉及一种面向连接型业务的网关资源调度方法。


背景技术：

2.在许多业务系统上，所有业务共享一个网关服务器的系统资源。各类业务按先来先服务，尽力服务的方式进行响应并分配资源，这样可以达到很高的吞吐率。然而当多种有大量数据传输的业务并发的时候，容易发生资源争夺抢占，有些业务占用大量系统资源，而有些业务发生申请不到资源的情况而导致业务受到影响。
3.相关技术中，若不采用任何资源调度方案则严格按照先来先服务原则处理，这样就会出现各类业务的资源分配不均衡的问题；还有一些采用资源调度或是资源预留方案，基本上是通过网络上的多个参与方运行某种协议的方式来实现。比如前一节点发送资源申请到后一节点，后一节点准备好资源来服务对应的业务。该方式需要各参与方都要实现相应的功能，而很多业务请求方并没有类似的功能，有的甚至无法添加这样的功能，所以要求业务网关必须有某种方式来独自完成，普适性和应用场景都有局限性。


技术实现要素：

4.本技术提供了一种面向连接型业务的网关资源调度方法，解决各类业务的资源分配不均衡和保证系统吞吐率的问题。所述技术方案包括如下：响应于接收到业务请求，确定所述业务请求的目标业务类型、所述目标业务类型对应的第一资源统计信息和网关服务器的第二资源统计信息；所述第一资源统计信息包含所述网关服务器针对同一业务类型的所有业务请求分配和记录的资源使用信息；所述第二资源统计信息包含所述网关服务器针对所有类型的所有业务请求分配和记录的资源使用信息；基于所述第一资源统计信息记录的已占用资源配额和所述第二资源统计信息记录的业务平均配额，确定所述目标业务类型的资源临时上限配额，从所述网关服务器的剩余共享资源配额中分配相应的共享资源，并更新所述第一资源统计信息和所述第二资源统计信息；响应于对所述业务请求处理完毕，释放并退还所述共享资源，以及基于所述目标业务类型的所述已占用资源配额大小更新所述资源临时上限配额，并更新所述第二资源统计信息。
5.上述技术方案带来的有益效果至少包括：对于网关接收到的面向连接型的业务请求，按照业务类型进行分类统计第一资源统计信息和系统的第二资源统计信息，根据各业务类型确定各自的资源临时上限配额。在出现业务请求的时候，根据已占用资源配额和业务平均配额来动态调整资源临时上限配额，从而实现对网关保留的共享资源进行合理调度使用，并且实时记录和更新对应业务类型和网关的资源统计信息。在确保整个网络吞吐率
不受影响的情况下，打破业务先进先出的原则，动态调节各种业务的资源配额，使得各类业务都能相对公平的得到处理，整体提高系统响应速度和流畅度。
附图说明
6.图1是本技术实施例提供的面向连接型业务的网关资源调度方法的流程图。
7.图2是网关服务器响应业务请求进行资源调度和资源统计信息更新的算法流程图。
8.图3是网关服务器回收资源和资源统计信息更新的算法流程图。
9.图4是本技术另一实施例提供的面向连接型业务的网关资源调度方法的流程图。
10.图5是网关服务器响应业务请求时更新资源统计信息的算法流程图。
11.图6是网关服务器回收资源时更新资源统计信息的算法流程图。
12.图7是本技术另一实施例提供的面向连接型业务的网关资源调度方法的流程图。
具体实施方式
13.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
14.在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。为了便于书写和记忆，本技术对一些术语和名词中文含义使用英文缩写进行代替，具体如表1中描述。
15.表1系统资源和业务资源术语缩写列表 缩写含义系统资源全局统计项
ꢀꢀꢀ
sys_total系统资源总配额 sys_used总占用资源配额 sys_e_commitment每类业务最小保证资源配额 sys_e_count已占用业务类型数额 sys_e_avr业务平均配额 sys_share_max最大可共享资源配额 sys_share_used已消耗共享资源配额 sys_rsv剩余共享资源配额每类业务对应统计项
ꢀꢀꢀ
e_used已占用资源配额 e_budget资源临时上限配额图1是本技术实施例提供的面向连接型业务的网关资源调度方法的流程图。具体包括如下步骤：步骤101，响应于接收到业务请求，确定业务请求的目标业务类型、目标业务类型对应的第一资源统计信息和网关服务器的第二资源统计信息。
16.本方案适用于面向连接型业务的网关服务器，在网关资源一定的情况下，对于接
收到的业务请求，通常是按照先进先服务的原则，但在网关资源充裕的情况下，为了发挥网关资源最大利用率，就需要进行合理资源调度。本方案中的网关服务器在接收到业务请求时，首选需要确定该业务对应的目标业务类型，基于目标业务类型来确定网关资源使用信息，也就是针对目标业务类型的第一资源统计信息和整个网关系统的第二资源统计信息。第一资源统计信息包含网关服务器针对同一业务类型的所有业务请求分配和记录的资源使用信息；第二资源统计信息包含网关服务器针对所有类型的所有业务请求分配和记录的资源使用信息。例如，接收到的是针对音频数据的请求信息，则第一资源统计信息是网关系统内所有关于音频数据的资源使用情况，第二资源统计信息是网关系统的所有类型（如音频、视频、图像和文件等）的资源使用情况。
17.步骤102，基于第一资源统计信息记录的已占用资源配额和第二资源统计信息记录的业务平均配额，确定目标业务类型的资源临时上限配额，从网关服务器的剩余共享资源配额中分配相应的共享资源，并更新第一资源统计信息和第二资源统计信息。
18.已占用资源配额即为执行目标业务类型时在网关系统中所使用的资源大小；业务平均配额是网关服务器根据自身系统资源总配额大小为各个业务类型分配的业务平均配额，也就是网关服务器为音频数据分配的额定资源大小。而资源临时上限配额则是网关服务器为目标业务类型临时设定的资源配额。例如，用户a对音频数据的处理请求较少，而对图像数据的处理请求较多，所以网关对用户a针对音频处理请求的资源临时上限配额设置的就相对较低，对图像处理请求的资源临时上限配额设置的就相对更高。
19.在系统资源总配额一定的情况下，除去所有业务类型的资源临时上限配额后，剩下的资源配额即为共享资源配额，作为共享资源配额进行临时资源调配，这样可以更好地利用网关资源和调度分配，避免出现资源分配不均的问题。且本方案针对资源调度着重体现在业务量超过临时上限配额时的资源调度方法。因为在该类型业务请求未超出临时资源调配时，不需要调度共享资源，因此本方案对此不作赘述。
20.对于响应某一目标业务请求时的所需的资源超过当前状态下的临时资源调配时，则根据该目标业务类型的已占用资源配额和业务平均配额的大小关系来调整资源临时上限配额，同时从网关服务器的剩余共享资源配额sys_rsv中分配相应的共享资源，以便网关对该业务请求处理对应业务，并更新第一资源统计信息和第二资源统计信息。
21.如图2所示，是网关服务器响应业务请求进行资源调度和资源统计信息更新的算法流程图。对于网关接收到的业务请求，会获取已占用资源配额e_used，并与sys_e_avr进行比较，且因为系统资源配额有限，e_used不能超过系统允许的最大可共享资源配额sys_share_max，否则无法确保网关系统的正常运行。在确保满足条件的情况下执行业务处理请求，并且在消耗资源的情况下对第一资源统计信息和第二资源统计信息进行更新。
22.步骤103，响应于对业务请求处理完毕，释放并退还共享资源，以及基于目标业务类型的已占用资源配额大小更新资源临时上限配额，并更新第二资源统计信息。
23.在业务处理完毕后，网关需要释放出之前分配出的共享资源，同时基于目标业务类型的已占用资源配额大小更新资源临时上限配额，以便于对资源的合理调度。如图3所示，是网关服务器回收资源和资源统计信息更新的算法流程图，在业务处理完成，且确定释放资源后，更新释放后的第一和第二资源统计信息。
24.综上，对于网关接收到的面向连接型的业务请求，按照业务类型进行分类统计第
一资源统计信息和系统的第二资源统计信息，根据各业务类型确定各自的资源临时上限配额。在出现业务请求的时候，根据已占用资源配额和业务平均配额来动态调整资源临时上限配额，从而实现对网关保留的共享资源进行合理调度使用，并且实时记录和更新对应业务类型和网关的资源统计信息。在确保整个网络吞吐率不受影响的情况下，打破业务先进先出的原则，动态调节各种业务的资源配额，使得各类业务都能相对公平的得到处理，整体提高系统响应速度和流畅度。
25.在一些实施例中，为了在不影响吞吐率，甚至是优化吞吐率的前提下，将业务平均配额和已占用业务类型数额关联，将其设定为动态值。第一资源统计信息包括已占用资源配额和资源临时上限配额，且不同业务类型的资源临时上限配额不相同。而第二资源统计信息至少包括系统资源总配额、总占用资源配额、已占用业务类型数额、业务平均配额、共享资源配额、剩余共享资源配额和已消耗共享资源配额等等；这些都是网关服务器在响应处理和资源回收时需要更新的内容。
26.业务平均配额基于系统资源总配额和系统当前业务类型数额的比值决定，在一种可能的实施方式中，将按照系统资源总配额的一定比例和已占用业务类型数额的比值作为业务平均配额。当网关系统处理的业务类型越多，则业务平均配额数额就越低，对应共享资源配额也就越少。剩余共享资源配额和已消耗共享资源配额之和为服务器的共享资源配额。
27.图4是本技术另一实施例提供的面向连接型业务的网关资源调度方法的流程图。包括如下步骤：步骤401，当业务请求指示的目标业务类型是当前网关服务器已有的业务类型时，读取目标业务类型的已占用资源配额、资源临时上限配额和第二资源统计信息。
28.此种情况针对网关系统处理当前处理任务中包含本次业务请求对应的目标业务类型，则响应和执行该业务请求不需要更新sys_e_coun，直接获取已有的目标业务类型的第一资源统计信息和第二资源统计信息。
29.步骤402，当业务请求指示的目标业务类型是新业务时，基于新业务类型建立资源统计表，并生成对应的第一资源统计信息。
30.步骤403，基于业务请求更新确定加入新业务后的第二资源统计信息的已占用业务类型数额和业务平均配额。
31.对于新加入的业务类型，sys_e_coun自动加1，同时sys_e_avr也随之降低。且对于初始化加入的新业务，其资源临时上限配额默认为初始化值，也就是对应业务资源最低配额，初始状态和新增任务类型都为业务资源最低配额。
32.本方案中的资源临时上限配额基于业务请求而增加，基于业务结束而减小，且资源临时上限配额位于对应业务资源最低配额和业务资源最高配额之间。需要说明的是，不同业务类型的业务资源最低配额可以根据实际情况设置不相同，且业务资源最高配额不超过业务平均配额。
33.步骤404，根据处理业务请求所需的资源计算总占用资源配额、已占用资源配额和已消耗共享资源配额。
34.在进行资源调度前，网关系统先根据此次业务请求所需的资源初步计算总占用资源配额sys_total和已消耗共享资源配额sys_share_used，目的为确定能够进行资源调度。
35.步骤405，当已占用资源配额小于目标业务平均配额，且大于资源临时上限配额时，响应业务请求，根据预设递增函数增大资源临时上限配额，并从网关服务器的剩余共享资源配额中分配相应的共享资源。
36.如图5所示，是网关服务器响应业务请求时更新资源统计信息的算法流程图，在已占用资源配额e_used小于目标业务平均配额sys_e_avr，且大于资源临时上限配额e_budget时，将资源临时上限配额e_budget按照预设的增函数进行增大调整，具体可以是一次函数、步进函数、指数函数等其他形式的递增函数。增大e_budget的目的是为了对该目标业务类型进行扩容。响应业务请求时，该网关服务器将从剩余共享资源配额中分配相应的共享资源来处理对应业务。e_budget的变化量与剩余共享资源配额和sys_share_used的变化量一致。
37.步骤406，当已占用资源配额大于目标业务平均配额，且已消耗共享资源配额未超过设定阈值时，响应业务请求，将资源临时上限配额更新为业务平均配额，并从网关服务器的剩余共享资源配额中分配相应的共享资源。
38.当e_used大于sys_e_avr时，表明已经超过该类业务的正常配额，且sys_share_used未超过设定阈值（最大可共享资源配额sys_share_max）时，对e_budget进一步直接增加到sys_e_avr的数值。同时响应业务请求，从网关服务器的剩余共享资源配额中分配相应的共享资源进行处理。
39.步骤407，当目标业务类型的已占用资源配额超过对应业务平均配额，且已消耗共享资源配额达到设定阈值时，挂载业务请求，撤销对第一资源统计信息和第二资源统计信息的更新。
40.当目标业务类型的e_used超过sys_e_avr，且sys_share_used达到sys_share_max时，表明已经达到最大配额调度，系统不再响应请求，将其挂载，等待系统资源空闲时继续处理。所以也撤销初次对第一资源统计信息（sys_total）和第二资源统计信息（sys_share_used）的更新。
41.步骤408，确定释放并退还共享资源前的已占用资源配额。
42.步骤409，当已占用资源配额超过业务平均配额时，释放并退还共享资源。
43.在释放并退还共享资源前，检测e_used是否大于sys_e_avr，在未超过sys_e_avr时，释放并退还调度的共享资源。
44.步骤410，根据释放的共享资源大小更新已占用资源配额、总占用资源配额、已占用业务类型数额、剩余共享资源配额和已消耗共享资源配额。
45.释放后更新的包括e_used、总占用资源配额sys_used、sys_rsv和sys_share_used。已占用业务类型数额sys_e_count在该类型业务全部处理完毕时更新。
46.步骤411，当已占用资源配额未超过业务平均配额，且低于业务资源最低配额时，释放并退还共享资源。
47.当e_used低于sys_e_avr和最小保证资源配额sys_e_commitment时，表明网关系统中存在的该业务类型的资源大幅减少，此时可以直接释放并退还共享资源。
48.步骤412，根据预设递减函数减小资源临时上限配额，以及根据释放的共享资源大小更新已占用资源配额、已占用业务类型数额、剩余共享资源配额和已消耗共享资源配额。
49.因为网关系统不需要调配更多的资源，因而选择预设递减函数减小e_budget，递
减函数采用一次函数、指数函数或步进函数等形式递减。此外，更新的还包括e_used、sys_used 、sys_rsv和sys_share_used，sys_e_count在该类型业务全部处理完毕时更新。
50.综上，本技术通过在网关设置第一资源统计信息和第二资源统计信息，将资源信息调度和业务类型结合，实时根据业务类型的数量更新业务平均配额。对于业务请求，则按照业务平均配额、资源临时上限配额和当前调节资源临时上限配额的大小关系，采用预设递增函数对当前资源临时上限配额进行调节，同时更新第一资源统计信息和第二资源统计信息；在已占用资源配额超过业务平均配额，且已消耗共享资源配额达到设定阈值时，挂载业务请求。对于资源回收，网关则实时根据已占用资源配额和业务平均配额及业务资源最低配额的大小关系，采用递减函数对当前资源临时上限配额进行调节，同时更新第一资源统计信息和第二资源统计信息。通过本方案可以在保证网关吞吐率的前提下，避免有些业务占用大量资源而有些业务因为资源不足而得不到服务的问题，有效平衡各类业务请求，整体提高系统响应速度和流畅度。
51.在另一些实施例中，对于某类特殊业务全部完成后，网关记录的已占用业务类型数额sys_e_count随之也会改变，所以后续的sys_e_avr也会随之改变，但为了避免系统业务类型和业务请求较多的情况下频繁更新sys_e_avr的情况。可选的，可以为网关设置一定等待时间来进行选择更新。
52.如图7所示，是本技术另一实施例提供的面向连接型业务的网关资源调度方法的流程图，具体包括如下步骤：步骤701，响应于接收到业务请求，确定业务请求的目标业务类型、目标业务类型对应的第一资源统计信息和网关服务器的第二资源统计信息。
53.步骤702，基于第一资源统计信息记录的已占用资源配额和第二资源统计信息记录的业务平均配额，确定目标业务类型的资源临时上限配额，从网关服务器的剩余共享资源配额中分配相应的共享资源，并更新第一资源统计信息和第二资源统计信息。
54.步骤703，响应于对业务请求处理完毕，释放并退还共享资源，以及基于目标业务类型的已占用资源配额大小更新资源临时上限配额，并更新第二资源统计信息。
55.步骤704，响应于相同业务类型的最后一个业务请求处理完毕，且在系统保留时长时间内，保留该业务类型对应的第一资源统计表。
56.示意性的，关于音频数据业务最后一个数据处理任务完成后，网关系统中则不存在该类型业务，sys_e_count自动减去1。但网关无法保证在短时间内又重新接收到关于音频数据处理的业务请求，此时可以开启计时。在系统保留时长时间内，保留该业务类型对应的第一资源统计表（表中的e_used为0，e_budget等于sys_e_commitment）。在此期间内的sys_e_avr也暂不更新。
57.步骤705，响应于在系统保留时长时间内未接收到对应业务类型的业务请求，删除第一资源统计表，以及更新已占用业务类型数额和业务平均配额。
58.在系统保留时长倒计时结束后依然没有该音频数据处理业务时，则删除该音频数据业务的第一资源统计表，同时对sys_e_avr进行更新，但需要说明的是，对于其他业务类型的业务请求，网关需要根据其业务类型建立其他业务的第一资源统计表，同时对sys_e_avr进行更新。
59.以上对本发明的较佳实施例进行了描述；需要理解的是，本发明并不局限于上述
特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容；因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。