一种基于多属性为视频云服务分配计算节点的方法和系统

本发明涉及视频云服务领域，尤其是涉及一种基于多属性为视频云服务分配计算节点的方法和系统。

背景技术：

随着互联网的高速发展，人们对视频的访问需求大大增加，以云计算技术和音视频技术为基础，融合了视频会议、视频指挥、视频监控、视频直播、视频点播等多种服务的视频云平台已被广泛应用。不同的视频服务具备计算、存储、融合、编解码、专用处理等多属性特点，部署在计算节点上如果不考虑特性，导致视频云服务访问的指数性增长而不能满足用户的视频请求，导致用户等待时间长、服务质量下降、用户满意度降低。因此，如何将具有不同物理资源需求的视频服务合理分配到计算节点上，提升计算节点物理资源使用效率，是亟待解决的问题。

传统方法服务部署在计算节点上，主要考虑服务器的cpu与内存的使用情况，如服务编排管理工具（例如kubernetes）,没有考虑音视频服务属性多样性。例如，视频会议场景，核心服务器需要强大编解码以及合屏能力，这需要专用编解码硬件和专用图形处理硬件的支持；为保证会议实时性，视频会议对网络带宽要求极高，在为视频会议服务分配资源时考虑带宽资源；如视频监控场景，核心服务器需要大量空间存储监控视频，在为视频监控服务分配资源时磁盘速度就要考虑在内。不同服务的物理资源特性不同造成计算节点可用物理资源不均衡，导致资源浪费。因此传统服务编排管理工具并不能为音视频服务合理分配资源，需要一种与音视频服务特征深度结合的服务编排方案。

技术实现要素：

本发明的目的在于提供一种基于多属性为视频云服务分配计算节点的方案，以解决现有技术中存在的上述技术问题。

本发明第一方面提供了一种基于多属性为视频云服务分配计算节点的方法。所述方法基于调度层架构来实施，所述调度层架构包括控制平台、控制节点和多个计算节点。所述方法包括：步骤s1、经由所述控制平台向所述控制节点提交用户请求，所述用户请求包括服务请求和配置需求；步骤s2、所述控制节点从所述多个计算节点处获取各个节点的状态信息；步骤s3、基于所述用户请求和所述状态信息，所述控制节点从所述多个计算节点中确定最优计算节点；以及步骤s4、所述最优计算节点提供与所述用户请求对应的视频云服务。

根据本发明第一方面提供的方法，所述步骤s3具体包括：步骤s31、基于所述状态信息获取所述各个节点的可用空闲资源；步骤s32、根据所述配置需求和所述可用空闲资源，确定所述各个节点在部署所述视频云服务后的空闲资源比重；步骤s33、确定所述空闲资源比重的比重方差，选择具有最小比重方差的计算节点为所述最优计算节点。

根据本发明第一方面提供的方法，所述配置需求包括计算资源需求、存储资源需求、网络资源需求、编解码资源需求和图像处理资源需求。

根据本发明第一方面提供的方法，所述状态信息包括计算资源状态、存储资源状态、网络资源状态、编解码资源状态和图像处理资源状态。

根据本发明第一方面提供的方法，用ni（i=1,2，3，…m）表示第i个计算节点，ni_cpu表示所述第i个计算节点的计算资源，ni_storage表示所述第i个计算节点的存储资源，ni_net表示所述第i个计算节点的网络资源，ni_codec表示所述第i个计算节点的专用编码资源，ni_graph表示所述第i个计算节点的图形处理资源，所述第i个计算节点的可用空闲资源表示为：qi=[ni_cpu，ni_storage，ni_net，ni_codec，ni_graph]；用sj（j=1,2，3，…n）表示第j个视频云服务，sj_cpu表示所述第j个视频云服务sj的计算资源需求，sj_storage表示所述第j个视频云服务sj的存储资源需求，sj_net表示所述第j个视频云服务sj的网络资源需求，sj_codec表示所述第j个视频云服务sj的编解码资源需求，sj_graph表示所述第j个视频云服务sj的图像处理资源需求，所述第j个视频云服务sj的配置需求表示为sj=[sj_cpu，sj_storage，sj_net，sj_codec，sj_graph]；用vij_cpu、vij_storage、vij_net、vij_codec、vij_graph分别表示所述第i个计算节点在部署所述第j个视频云服务sj后的计算空闲资源比重、存储空闲资源比重、网络空闲资源比重、编解码空闲资源比重、图像处理空闲资源比重；用ni_cpu_max、ni_storage_max、ni_net_max、ni_codec_max、ni_graph_max表示所述第i个计算节点的计算资源总量、存储资源总量、网络资源总量、编解码资源总量、图像处理资源总量；

利用如下方式计算所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重：

利用如下方式确定所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重的比重方差：

其中，μ表示空闲比重均值，其计算方式为：

。

根据本发明第一方面提供的方法，所述方法还包括：步骤s5、更新所述各个节点的可用空闲资源，以遍历待分配所述计算节点的视频云服务。

本发明第二方面提供了一种基于多属性为视频云服务分配计算节点的系统。所述系统基于调度层架构，所述调度层架构包括控制平台、控制节点和多个计算节点。所述系统包括：请求单元，被配置为，经由所述控制平台向所述控制节点提交用户请求，所述用户请求包括服务请求和配置需求；获取单元，被配置为，调用所述控制节点从所述多个计算节点处获取各个节点的状态信息；确定单元，被配置为，基于所述用户请求和所述状态信息，调用所述控制节点从所述多个计算节点中确定最优计算节点；以及提供单元，被配置为，调用所述最优计算节点提供与所述用户请求对应的视频云服务。

根据本发明第二方面提供的系统，所述确定单元被配置为调用所述控制节点确定所述最优计算节点具体包括：基于所述状态信息获取所述各个节点的可用空闲资源；根据所述配置需求和所述可用空闲资源，确定所述各个节点在部署所述视频云服务后的空闲资源比重；确定所述空闲资源比重的比重方差，选择具有最小比重方差的计算节点为所述最优计算节点。

根据本发明第二方面提供的系统，所述配置需求包括计算资源需求、存储资源需求、网络资源需求、编解码资源需求和图像处理资源需求。

根据本发明第二方面提供的系统，所述状态信息包括计算资源状态、存储资源状态、网络资源状态、编解码资源状态和图像处理资源状态。

根据本发明第二方面提供的系统，用ni（i=1,2，3，…m）表示第i个计算节点，ni_cpu表示所述第i个计算节点的计算资源，ni_storage表示所述第i个计算节点的存储资源，ni_net表示所述第i个计算节点的网络资源，ni_codec表示所述第i个计算节点的专用编码资源，ni_graph表示所述第i个计算节点的图形处理资源，所述第i个计算节点的可用空闲资源表示为：qi=[ni_cpu，ni_storage，ni_net，ni_codec，ni_graph]；用sj（j=1,2，3，…n）表示第j个视频云服务，sj_cpu表示所述第j个视频云服务sj的计算资源需求，sj_storage表示所述第j个视频云服务sj的存储资源需求，sj_net表示所述第j个视频云服务sj的网络资源需求，sj_codec表示所述第j个视频云服务sj的编解码资源需求，sj_graph表示所述第j个视频云服务sj的图像处理资源需求，所述第j个视频云服务sj的配置需求表示为sj=[sj_cpu，sj_storage，sj_net，sj_codec，sj_graph]；用vij_cpu、vij_storage、vij_net、vij_codec、vij_graph分别表示所述第i个计算节点在部署所述第j个视频云服务sj后的计算空闲资源比重、存储空闲资源比重、网络空闲资源比重、编解码空闲资源比重、图像处理空闲资源比重；用ni_cpu_max、ni_storage_max、ni_net_max、ni_codec_max、ni_graph_max表示所述第i个计算节点的计算资源总量、存储资源总量、网络资源总量、编解码资源总量、图像处理资源总量；

利用如下方式计算所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重：

利用如下方式确定所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重的比重方差：

其中，μ表示空闲比重均值，其计算方式为：

。

根据本发明第二方面提供的系统，所述系统还包括：更新单元，被配置为，更新所述各个节点的可用空闲资源，使得所述系统基于更新的可用空闲资源来遍历待分配所述计算节点的视频云服务。

本发明第三方面提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本发明第一方面的一种基于多属性为视频云服务分配计算节点的方法中的步骤。

综上，本发明提供的上述方案将音视频服务特征深度融合进视频云的服务编排管理工具中，编排工具可以为视频会议、视频指挥、视频监控、视频直播、视频点播等多种视频服务合理分配资源，充分利用集群资源，切实解决了大量用户的并发请求问题。该方案根据音视频服务对资源消耗的特点，定义视频服务和计算节点的属性，提出了属性匹配的服务编排算法，将大量音视频服务合理的分配到云计算节点上，充分利用云节点资源的同时尽可能满足服务间的相关度需求，提高视频云应对大量用户并发请求的能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的调度层架构的示意图；

图2为根据本发明实施例的一种基于多属性为视频云服务分配计算节点的方法的流程图；

图3为根据本发明实施例的控制节点和计算节点的示意图；

图4为根据本发明实施例的调度层架构的各个接口的示意图；

图5为根据本发明实施例的编排算法的示意图；

图6为根据本发明实施例的具体示例的流程图；

图7为根据本发明实施例的一种基于多属性为视频云服务分配计算节点的系统的结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面提供了一种基于多属性为视频云服务分配计算节点的方法，其针对视频服务和计算节点的对cpu、网络、专用编解码硬件、专用图形处理硬件、存储i/0等资源需求，采取属性匹配的服务编排算法，将服务部署到合适的计算节点上，来提高整个集群资源利用率和负载均衡效率。

所述方法基于调度层架构来实施；图1为根据本发明实施例的调度层架构的示意图，如图1所示，所述调度层架构包括控制平台、控制节点和多个计算节点。

图2为根据本发明实施例的一种基于多属性为视频云服务分配计算节点的方法的流程图，如图2所示，所述方法包括：步骤s1、经由所述控制平台向所述控制节点提交用户请求，所述用户请求包括服务请求和配置需求；步骤s2、所述控制节点从所述多个计算节点处获取各个节点的状态信息；步骤s3、基于所述用户请求和所述状态信息，所述控制节点从所述多个计算节点中确定最优计算节点；以及步骤s4、所述最优计算节点提供与所述用户请求对应的视频云服务。

具体地，用户通过控制平台提交服务与配置给控制节点，控制节点通过服务编排算法为用户提交的服务选择计算节点，计算节点为用户提交的服务分配资源并运行服务。编排算法通过比较用户提交的服务器属性与计算节点服务器属性的一致性，筛选出符合属性的计算节点并进行排序，优选排序高的计算节点部署视频云服务。当没有与用户提交的服务器属性一致的计算节点可以使用时，则可对属性不一致的计算节点进行排序，优选排序高的计算节点部署服务。

图3为根据本发明实施例的控制节点和计算节点的示意图，如图3所示，控制节点负责对计算节点集群进行调度管理，主要由用户交互平台、核心服务组件、调度组件、数据存储组件和控制组件构成；计算节点提供服务，主要由监管组件、网络代理组件、硬件资源以及服务组成。

具体地，用户交互平台：其提供用户与管理平台交互的接口，并提供用户管理、服务查询、服务提交和服务配置功能。用户管理：对登陆的用户进行管理。服务查询：对当前服务状态进行查询。服务提交：对想要增加的服务程序进行提交。服务配置：对想要增加的服务进行资源配置。

具体地，核心服务组件：控制节点起到承接作用，用于接收客户端提交的服务与配置，并将此存储到数据存储组件中，将扩容请求发送至调度组件中；接收调度组件的计算结果，将调度编排结果发送至控制组件中；接收监管组件发送来的计算节点的状态信息，并存储到数据存储组件中。

具体地，调度组件：内置服务编排算法，根据用户配置以及计算节点状态信息筛选计算节点，对服务进行编排，确定服务部署的计算节点。

具体地，控制组件：对调度组件的编排结果进行执行，控制各计算节点的监管组件。

具体地，数据存储组件：数据存储组件用于存储用户请求的服务以及服务配置，也存储计算节点的状态信息。

具体地，监管组件：用于定时获取计算节点的状态信息，并将信息发送至核心服务组件。也用于给计算节点新增服务。

具体地，服务：部署一个服务的虚拟运行环境，每个计算节点可同时提供多种服务。

具体地，网络代理组件：运行在集群各个服务器上，管理网络通信，如服务发现、负载均衡。例如当有数据发送到主机时，将其路由到正确的服务。

具体地，硬件资源：为服务提供基础计算、网络和存储i/0能力，也可以提供编解码和图形处理能力。

图4为根据本发明实施例的调度层架构的各个接口的示意图，如图4所示：

接口a：业务控制客户端与用户交互平台进行交互

接口b：服务查询模块与核心服务组件进行交互，将集群状态返回用户交互平台。

接口c：服务提交模块与核心服务组件进行交互，将用户想要布置的服务传至核心服务组件。

接口d：服务配置模块与核心服务组件进行交互，将用户的配置信息传至核心服务组件。

接口e：调度组件与核心服务组件进行交互。核心服务组件将各计算节点上传的状态信息传入调度组件，调度组件依据用户请求服务的类型、服务请求的配置信息约束条件和各计算节点信息，为用户请求的服务自动选择运行节点。

接口f：核心服务组件将用户的服务请求内容存储到数据存储组件。

接口g：控制组件通过核心服务组件进行逻辑控制，例如提供扩容、应用生命周期管理等。

接口h：核心服务组件通知监管组件进行计算节点上服务的删除或增加。监管组件定时向核心服务组件上传计算节点和运行单元的状态信息。

接口k：服务通过网络代理组件接入网络，提供各类服务。

在一些实施例中，所述步骤s3具体包括：步骤s31、基于所述状态信息获取所述各个节点的可用空闲资源；步骤s32、根据所述配置需求和所述可用空闲资源，确定所述各个节点在部署所述视频云服务后的空闲资源比重；步骤s33、确定所述空闲资源比重的比重方差，选择具有最小比重方差的计算节点为所述最优计算节点。

在一些实施例中，所述配置需求包括计算资源需求、存储资源需求、网络资源需求、编解码资源需求和图像处理资源需求；

在一些实施例中，所述状态信息包括计算资源状态、存储资源状态、网络资源状态、编解码资源状态和图像处理资源状态。

具体地，编排算法主要采用最佳均衡策略，即计算出每个计算节点的空闲资源比重，然后由空闲资源比重计算出方差，最后选择方差最小的计算节点进行视频服务sj的部署，将视频服务的计算、存储、网络、编解码、图像处理资源需求与计算节点的五类资源进行匹配，使得视频服务部署后计算节点的五类可用资源达到最佳均衡。图5为根据本发明实施例的编排算法的示意图。

具体地，用ni（i=1,2，3，…m）表示第i个计算节点，ni_cpu表示所述第i个计算节点的计算资源，ni_storage表示所述第i个计算节点的存储资源，ni_net表示所述第i个计算节点的网络资源，ni_codec表示所述第i个计算节点的专用编码资源，ni_graph表示所述第i个计算节点的图形处理资源，所述第i个计算节点的可用空闲资源表示为：qi=[ni_cpu，ni_storage，ni_net，ni_codec，ni_graph]。

用sj（j=1,2，3，…n）表示第j个视频云服务，sj_cpu表示所述第j个视频云服务sj的计算资源需求，sj_storage表示所述第j个视频云服务sj的存储资源需求，sj_net表示所述第j个视频云服务sj的网络资源需求，sj_codec表示所述第j个视频云服务sj的编解码资源需求，sj_graph表示所述第j个视频云服务sj的图像处理资源需求，所述第j个视频云服务sj的配置需求表示为sj=[sj_cpu，sj_storage，sj_net，sj_codec，sj_graph]。

用vij_cpu、vij_storage、vij_net、vij_codec、vij_graph分别表示所述第i个计算节点在部署所述第j个视频云服务sj后的计算空闲资源比重、存储空闲资源比重、网络空闲资源比重、编解码空闲资源比重、图像处理空闲资源比重。

用ni_cpu_max、ni_storage_max、ni_net_max、ni_codec_max、ni_graph_max表示所述第i个计算节点的计算资源总量、存储资源总量、网络资源总量、编解码资源总量、图像处理资源总量。

利用如下方式计算所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重：

利用如下方式确定所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重的比重方差：

其中，μ表示空闲比重均值，其计算方式为：

。

当视频服务sj（j=1,2，3，…n）选择计算节点ni（i=1,2，3，…m）部署服务时，首先计算出每个计算节点的空闲资源比重，然后由空闲资源比重计算出方差，最后选择最优计算节点（方差最小的计算节点nmin）进行视频服务sj的部署，nmin表示方差最小的计算节点。

具体示例

图6为根据本发明实施例的具体示例的流程图，如图6所示，该流程包括：

1-1：用户交互平台将用户请求的服务以及服务配置发送至核心服务组件。

1-2：核心服务组件将用户请求的服务以及服务配置发送至数据存储组件进行保存。

1-3：数据存储组件回复核心服务组件，服务数据保存成功。

1-4：核心服务组件回复，服务数据保存成功。

1-5：监管组件定时对计算节点状态信息进行统计。

1-6：监管组件接收计算节点的状态信息。

1-7：监管组件将计算节点的状态信息发送至核心服务组件。

1-8：核心服务组件将计算节点的状态信息发送至数据存储组件。

1-9：核心服务组件收到用户扩容服务请求后，通知到调度组件。

1-10：调度组件向数据存储组件申请，要求查看用户请求的服务配置以及计算节点的状态信息。

1-11：调度组件接收到以上信息。

1-12：调度组件根据用户提交配置、计算节点的状态信息选出最合适的计算节点。

1-13：调度组件将选出的目标计算节点发送至核心服务组件。

1-14：核心服务组件将目标服务节发送至控制组件。

1-15：控制组件向目标计算节点的监管组件发出扩容指令。

1-16：目标计算节点的监管组件收到扩容指令后，向数据存储组件发送请求，要求得到用户请求的服务以及服务配置。

1-17：数据存储组件发送以上请求的信息。

1-18：监管组件并将用户请求的服务部署到单元。

1-19：新增服务向监管组件发送创建成功。

1-20：监管组件通知核心服务组件新增服务，并发送计算节点的运行信息。

1-21：核心服务组件将计算节点的状态信息保存至数据存储单元中。

1-22：核心服务组件通知用户交互平台，服务创建成功。

综上，本发明第一方面提供的方法将音视频服务特征深度融合进视频云的服务编排管理工具中，编排工具可以为视频会议、视频指挥、视频监控、视频直播、视频点播等多种视频服务合理分配资源，充分利用集群资源，切实解决了大量用户的并发请求问题。该方案根据音视频服务对资源消耗的特点，定义视频服务和计算节点的属性，提出了属性匹配的服务编排算法，将大量音视频服务合理的分配到云计算节点上，充分利用云节点资源的同时尽可能满足服务间的相关度需求，提高视频云应对大量用户并发请求的能力。

本发明第二方面提供了一种基于多属性为视频云服务分配计算节点的系统。所述系统基于调度层架构，所述调度层架构包括控制平台、控制节点和多个计算节点。

图7为根据本发明实施例的一种基于多属性为视频云服务分配计算节点的系统的结构图，如图7所示，所述系统700包括：请求单元701，被配置为，经由所述控制平台向所述控制节点提交用户请求，所述用户请求包括服务请求和配置需求；获取单元702，被配置为，调用所述控制节点从所述多个计算节点处获取各个节点的状态信息；确定单元703，被配置为，基于所述用户请求和所述状态信息，调用所述控制节点从所述多个计算节点中确定最优计算节点；以及提供单元704，被配置为，调用所述最优计算节点提供与所述用户请求对应的视频云服务。

根据本发明第二方面提供的系统，所述确定单元703被配置为调用所述控制节点确定所述最优计算节点具体包括：基于所述状态信息获取所述各个节点的可用空闲资源；根据所述配置需求和所述可用空闲资源，确定所述各个节点在部署所述视频云服务后的空闲资源比重；确定所述空闲资源比重的比重方差，选择具有最小比重方差的计算节点为所述最优计算节点。

根据本发明第二方面提供的系统，所述配置需求包括计算资源需求、存储资源需求、网络资源需求、编解码资源需求和图像处理资源需求。

根据本发明第二方面提供的系统，所述状态信息包括计算资源状态、存储资源状态、网络资源状态、编解码资源状态和图像处理资源状态。

根据本发明第二方面提供的系统，用ni（i=1,2，3，…m）表示第i个计算节点，ni_cpu表示所述第i个计算节点的计算资源，ni_storage表示所述第i个计算节点的存储资源，ni_net表示所述第i个计算节点的网络资源，ni_codec表示所述第i个计算节点的专用编码资源，ni_graph表示所述第i个计算节点的图形处理资源，所述第i个计算节点的可用空闲资源表示为：qi=[ni_cpu，ni_storage，ni_net，ni_codec，ni_graph]；用sj（j=1,2，3，…n）表示第j个视频云服务，sj_cpu表示所述第j个视频云服务sj的计算资源需求，sj_storage表示所述第j个视频云服务sj的存储资源需求，sj_net表示所述第j个视频云服务sj的网络资源需求，sj_codec表示所述第j个视频云服务sj的编解码资源需求，sj_graph表示所述第j个视频云服务sj的图像处理资源需求，所述第j个视频云服务sj的配置需求表示为sj=[sj_cpu，sj_storage，sj_net，sj_codec，sj_graph]；用vij_cpu、vij_storage、vij_net、vij_codec、vij_graph分别表示所述第i个计算节点在部署所述第j个视频云服务sj后的计算空闲资源比重、存储空闲资源比重、网络空闲资源比重、编解码空闲资源比重、图像处理空闲资源比重；用ni_cpu_max、ni_storage_max、ni_net_max、ni_codec_max、ni_graph_max表示所述第i个计算节点的计算资源总量、存储资源总量、网络资源总量、编解码资源总量、图像处理资源总量；

利用如下方式计算所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重：

利用如下方式确定所述第i个计算节点在部署所述第j个视频云服务sj后的空闲资源比重的比重方差：

其中，μ表示空闲比重均值，其计算方式为：

。

根据本发明第二方面提供的系统，所述系统还包括：更新单元705，被配置为，更新所述各个节点的可用空闲资源，使得所述系统基于更新的可用空闲资源来遍历待分配所述计算节点的视频云服务。

本发明第三方面提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据本发明第一方面的一种基于多属性为视频云服务分配计算节点的方法中的步骤。

综上，本发明提供的上述方案将音视频服务特征深度融合进视频云的服务编排管理工具中，编排工具可以为视频会议、视频指挥、视频监控、视频直播、视频点播等多种视频服务合理分配资源，充分利用集群资源，切实解决了大量用户的并发请求问题。该方案根据音视频服务对资源消耗的特点，定义视频服务和计算节点的属性，提出了属性匹配的服务编排算法，将大量音视频服务合理的分配到云计算节点上，充分利用云节点资源的同时尽可能满足服务间的相关度需求，提高视频云应对大量用户并发请求的能力。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。