专利名称：一种视频网格自适应负载均衡调度方法
技术领域：
本发明属于计算机多媒体技术领域，特别涉及分布应用集成技术中的视频网格自适应负载均衡调度方。
背景技术：
网格技术是近年来兴起的一种解决分布资源协调工作问题的技术。它最初用于先进科学和工程的分布计算基础架构。“网格问题”定义为在动态的个体、机构和资源的集合中柔性地、安全地协调资源共享，集中反映为虚拟组织的概念。2002年2月，在加拿大多伦多市召开的全球网格论坛GGF会议上，Globus项目组和IBM共同倡议了一个全新的网格标准OGSA。OGSA称为开放网格服务体系结构(Open Grid Services Architecture)，它把Globus标准与以商用为主的Web Services标准结合起来，网格服务统一以Services的方式对外界提供。2004年1月，Globus联盟、IBM和HP等联合发布了新的网格标准草案WSRF(Web Services Resource Framework)，把OGSI转换成了6个用于扩展WebServices的规范，使网格服务已经与Web服务彻底融为一体，这标志着网格将信息集成作为第一目标，网格商用化的时代已经来临。
随着宽带网络通信技术的飞速发展，当前迅猛发展的视频会议系统、视频点播系统等分布式多媒体应用引起了产业界、学术界及标准化组织的极大的兴趣。如何高效利用视频服务系统中的层次化分布的服务器资源和网络资源对提供可扩展、高质量的视频服务有着重大影响。而支持资源动态共享和协同工作的网格技术是优化视频服务的一种有效解决方案。
视频网格的架构如图1所示，视频网格一般由若干个流媒体集群组成，集群之间通过高速网络互联，每个流媒体集群作为一个网格服务节点。流媒体集群由两个部分组成1、调度服务器，位于流媒体集群的最前端，根据提供流媒体服务的真实服务器的负载情况将服务请求转发到后台真实服务器上；2、服务器池，位于调度服务器的后端，为用户提供流媒体服务的真实服务器，对客户端不可见，客户端通过调度服务器与真实服务器建立客户/服务器关系。流媒体集群的管理工作由调度服务器负责，调度服务器不仅负责流媒体集群的内部调度、管理，而且也是流媒体集群间负载信息交互和协同工作的调度中心。这些流媒体集群可以在网络拓扑、软硬件体系结构以至于所属组织、安全和认证策略等方面都不尽相同。
虽然视频网格是由多个分布的网格服务节点组成，但都是通过一个统一的虚拟IP地址(VIP)为客户端提供接入服务。客户端通过同一网格门户登录，然后被分配到所属的网格服务节点，在客户端看来，视频网格和原来单机服务器的使用没有任何区别。
视频网格整合地域上分布的多个孤立流媒体集群，实现跨区域的流媒体服务系统资源协调共享。一个重要应用场景是协调分布在广域范围的流媒体服务器资源解决大量的点播请求问题，为客户提供高质量的服务。视频网格的不平衡性和动态性很突出，不平衡性指特定区域的客户与服务器资源配备不平衡、不同区域的服务器资源存在差别；动态性指客户提交点播请求的过程是一个随机过程。流媒体服务器在确定的时段内能够容纳的用户是有限的。即使点播系统的负载能力按照点播到达率λ最大值设计，由于点播请求具有随机不确定性，也有可能出现短时间内到达大量用户点播请求，超过系统承受能力。因此，采用大容量点播服务器协同工作是提高服务质量的关键。研究基于网格的流媒体负载均衡调度方法有着非常重要的理论意义和实际应用价值。
网格技术具有极强的工程背景，且在诸多领域均有应用，但是在视频技术领域是一个非常新的研究领域，只进行了初步的研究。目前只有HP实验室提出一种多媒体网格mmGrid(Multimedia Grid)的可扩展的中间件结构(mmGriddistributed resource managementinfrastructure for multimedia applications.Parallel and Distributed Processing Symposium，2003.Proceedings.International April 2003 p 22-26)，该中间件结构如图2所示。该中间件结构组成包括认证、注册、资源发现、调度、日志等关键服务，和所实现这些服务所采用的认证服务器、目录服务器和数据库服务器。通过mmGrid服务器和mmGrid代理来管理组成资源池的工作站，没有涉及具体的调度方法。而网格事实上的标准Globus所采用的是集中式的资源管理方法MDS(Grid information services for distributed resource sharing.IEEE International Symposium onHigh Performance Distributed Computing，Proceedings，2001，p 181-194)，实现了基于LDAP的树状元数据目录服务。该方法如图3所示，图中有两个组织目录O1和O2，在O1和O2底层是多个信息提供者(主机)R1、R2、R3等。O1、O2和同一层的主机汇聚成为一个虚拟组织目录，形成了层级结构。信息提供者通过信息注册协议向上层注册自身的状态信息，包括CPU、内存、网络带宽等信息，逐级注册形成集中式的虚拟组织目录。
在采用集中式的资源管理方法中，要求调度服务器能获得当前网格环境中所有与调度任务有关的信息，调度信息的精确程度和有可能成为瓶颈的单一调度服务器都极大地影响整体运行效率。而且没有考虑变化的网络状况对服务质量带来的负面影响。因此不适合提供流媒体服务的视频网格。
发明内容
发明目的是提出一种视频网格自适应负载均衡调度方法，本方法以动态区域联盟为基础，根据负载情况动态调整调度范围，充分利用有限的资源，以较小的调度信息交互开销获得区域内的负载均衡，有效地解决服务负载峰值问题，最大化吞吐量，提供更多服务。
本发明提出的一种视频网格自适应负载均衡调度方法，其特征在于，该方法生成三张表动态区域联盟的成员列表、归属服务节点的虚拟组织节点列表和归属服务节点的服务提供者列表；具体包括以下步骤(1)客户端先登陆网格门户进行身份验证，通过授权后发出服务请求；(2)网格门户自动将其定向到归属服务节点；(3)归属服务节点根据服务请求内容将归属服务节点内流媒体集群拥有所请求内容的真实服务器IP地址插入到虚拟组织节点列表中；(4)归属服务节点的调度服务器发出状态查询指令，从虚拟组织节点列表中获取真实服务器当前的状态参量，对真实服务器的负载情况进行量化，确定各个真实服务器的负载值，根据真实服务器的负载值判断能否满足服务质量要求；同时再根据各真实服务器的负载值对归属服务节点的负载情况进行量化得到归属服务节点的负载值，更新该归属服务节点的动态区域联盟的成员列表的负载状态信息，并发送该归属服务节点的负载值到动态区域联盟中其它服务节点的调度服务器；(5)如果该归属服务节点内有满足服务要求的真实服务器，则将这些真实服务器的IP地址和负载值插入到服务提供者列表，否则到步骤(7)；(6)根据负载值对服务提供者列表中真实服务器排序，取出负载最轻的真实服务器R，将本次服务请求分配给真实服务器R，结束本次调度；(7)如果该归属服务节点内没有满足服务要求的真实服务器，则查询动态区域联盟成员列表，根据动态区域联盟成员中服务节点的负载值判断动态区域联盟成员中服务节点能否满足服务要求；(8)如果该动态区域联盟成员内有满足服务质量要求的服务节点，根据负载值对动态区域联盟成员列表排序，将服务请求转发到动态区域联盟中的一个服务节点的调度服务器中，并将该服务节点作为新的归属服务节点，转回到步骤(3)；(9)如果该动态区域联盟成员内没有满足服务要求的服务节点，则增加动态区域联盟成员的方法扩大动态区域联盟规模，到步骤(8)。
本发明的方法特点本发明的技术关键是充分考虑流媒体服务特性，并根据不同的服务峰值通常不会正好同时出现确定视频网格负载均衡策略。通过两步分级调度降低了系统的复杂程度，避免了单纯使用集中式调度带来的扩展性不好问题，同时兼顾了分布式调度潜在的系统瓶颈，具有较好的扩展性；同时本发明采用了动态区域联盟的组织形式减少了调度信息交互开销，解决服务负载峰值问题，实现最大化吞吐量，能够提供更多服务并提高服务质量。
图1为视频网格架构示意图；图2为多媒体网格mmGrid框图；
图3为集中式的资源管理方法MDS示意图；图4本发明的调度方法流程图。
具体实施例方式
本发明的内容结合附图及实施例进一步说明如下本发明提出的一种视频网格自适应负载均衡调度方法，其特征在于，该方法生成三张表动态区域联盟的成员列表、归属服务节点的虚拟组织节点列表和归属服务节点的服务提供者列表；具体包括以下步骤，如图4所示(1)客户端先登陆网格门户进行身份验证，通过授权后发出服务请求；(2)网格门户自动将其定向到归属服务节点(一般是离客户端最近的流媒体集群作为归属服务节点)；(3)归属服务节点根据服务请求内容将归属服务节点内流媒体集群拥有所请求内容的真实服务器IP地址插入到虚拟组织节点列表中；(4)归属服务节点的调度服务器发出状态查询指令从虚拟组织节点列表中获取真实服务器当前的状态参量(CPU、内存、网络使用率等)，对真实服务器的负载情况进行量化，确定各个真实服务器的负载值，根据真实服务器的负载值判断能否满足服务质量要求；同时再根据各真实服务器的负载值对归属服务节点的负载情况进行量化得到归属服务节点的负载值，更新该归属服务节点的动态区域联盟的成员列表的负载状态信息，并发送该归属服务节点的负载值到动态区域联盟中其它服务节点的调度服务器；(5)如果该归属服务节点内有满足服务要求的真实服务器，则将这些真实服务器的IP地址和负载值插入到服务提供者列表，否则到步骤(7)；(6)然后根据负载值对服务提供者列表中真实服务器排序，取出负载最轻的真实服务器R，将本次服务请求分配给真实服务器R，结束本次调度；(7)如果该归属服务节点内没有满足服务要求的真实服务器，查询动态区域联盟成员列表，根据动态区域联盟成员中服务节点的负载值判断动态区域联盟成员中服务节点能否满足服务要求；(8)如果该动态区域联盟成员内有满足服务质量要求的服务节点，根据负载值对动态区域联盟成员列表排序(轻负载服务节点分配服务请求的概率较高，而负载较重的服务节点分配服务请求的概率相对较低)，将服务请求转发到动态区域联盟中的一个服务节点的调度服务器中，并将该服务节点作为新的归属服务节点，到步骤(3)；(9)如果该动态区域联盟成员内没有满足服务要求的服务节点，则通过增加动态区域联盟成员的方法扩大动态区域联盟规模(具体方法为通过该动态区域联盟中的成员查找满足服务要求的服务节点，并将该服务节点添加到动态区域联盟的成员列表中)，到步骤(8)。
本发明采用二级调度方法。即第一级调度策略为服务请求首先需要选择提供服务的归属服务节点，然后才被分配到归属服务节点内流媒体集群的真实服务器。调度信息分两个层面，底层是服务节点内部各个真实服务器的负载情况，上层是服务节点的负载情况。第二级的调度策略为由动态区域联盟内服务节点的负载情况选择新的归属服务节点，新的归属服务节点是动态区域联盟内服务节点的调度服务器通过与邻近调度服务器互换负载信息了解其它服务节点的负载情况，还要考虑网络因素对服务质量的影响而产生的。
本发明采用动态区域联盟的组织形式。动态区域联盟的形成是基于一定条件触发的，由归属服务节点根据负载情况和邻近服务节点协商组成。视频网格的动态区域联盟的形成是在归属服务节点的服务请求超出归属服务节点服务能力的情况下发生，由归属服务节点的调度服务器发起，与邻近的调度服务器交换负载信息，根据服务质量要求形成一定规模的动态区域联盟。将归属服务节点不能满足的服务请求转发到动态区域联盟中能够提供服务的调度服务器。动态区域联盟由归属服务节点管理，其规模随着负载变化而改变。而且动态区域联盟的生命期在完成服务请求分派之后就结束，任务的管理由各自的调度服务器管理。这样考虑是因为不同的服务峰值通常不会正好同时出现。
本实施例为一个由四个流媒体集群组成的视频网格，分别为服务节点A、B、C、D。节点A与节点B、C相邻，与节点D不相邻；节点B与节点A、D相邻，与节点C不相邻；节点C与节点A、D相邻，与节点B不相邻；节点D与节点B、C相邻，与节点A不相邻。相邻服务节点的调度服务器相互交换负载信息。每个流媒体集群有两台真实服务器分别为a1、a2、b1、b2、c1、c2、d1、d2。在具体实现时，本发明需要生成并更新三张表动态区域联盟的成员列表、归属服务节点的虚拟组织节点列表和归属服务节点的服务提供者列表。动态区域联盟的成员列表是由视频网格中的归属服务节点生成，初始化是与归属服务节点相邻的服务节点的列表，在本实施例中服务节点A上的动态区域联盟的成员列表包括节点A、B、C的IP地址、负载信息和负载信息更新时间；归属服务节点的虚拟组织节点列表是归属服务节点内所有可用活动节点的IP地址列表，例如服务节点A的虚拟组织节点列表包括a1、a2；归属服务节点的服务提供者列表是从虚拟组织节点列表中选择出来提供服务的真实服务器的IP地址和负载信息列表。
具体步骤如下(1)客户端登陆网格门户进行身份验证，通过授权后发出服务请求；(2)其被网格门户自动定向到归属服务节点A；(3)归属服务节点A根据请求内容生成虚拟组织节点列表，a1、a2的IP地址；(4)归属服务节点A的调度服务器并发查询a1、a2的负载状态信息(CPU、内存、网络使用率等)，对真实服务器a1、a2的负载情况进行量化，确定各真实服务器的负载值(在实施例中采用拥有专利成果的模糊逻辑性能评估方法)，根据真实服务器的负载值判断能否满足服务质量要求。然后再根据真实服务器a1、a2的负载值对归属服务节点A的负载情况进行量化得到归属服务节点A的负载值(在实施例中采用加权求和的方式)，更新归属服务节点A的动态区域联盟的成员列表的负载状态信息，同时发送服务节点A的负载值到动态区域联盟中服务节点B和C的调度服务器；(5)如果a1、a2满足服务要求，则将a1、a2的IP地址和负载值插入到服务提供者列表，否则到步骤(7)；(6)然后根据负载值对a1、a2排序，取出负载最轻的真实服务器a1，将本次服务请求分配给a1，结束本次调度；(7)如果归属服务节点A内没有满足服务要求的真实服务器，查询动态区域联盟成员列表，根据动态区域联盟成员中服务节点B和C的负载值判断动态区域联盟成员能否满足服务要求；(8)如果该动态区域联盟成员内有满足服务要求的服务节点，根据负载值对动态区域联盟成员列表排序，轻载服务节点B分配服务请求的概率较高，而负载较重的服务节点C分配服务请求的概率相对较低，将服务请求转发到动态区域联盟中的一个服务节点B或C的调度服务器中，并将该服务节点作为新的归属服务节点，到步骤(3)。
(9)如果该动态区域联盟成员内没有满足服务要求的服务节点，即服务节点A、B、C都已满载，就通过增加动态区域联盟成员的方法扩大动态区域联盟规模，具体方法为通过该动态区域联盟中的成员B或C查找满足服务要求的服务节点D，并将服务节点D添加到动态区域联盟的成员列表中，到步骤(8)。
增加网格服务节点数量及流媒体集群内的真实服务器数量，调度方法还是一样适用。
权利要求
1.一种视频网格自适应负载均衡调度方法，其特征在于，该方法生成三张表动态区域联盟的成员列表、归属服务节点的虚拟组织节点列表和归属服务节点的服务提供者列表；具体包括以下步骤(1)客户端先登陆网格门户进行身份验证，通过授权后发出服务请求；(2)网格门户自动将其定向到归属服务节点；(3)归属服务节点根据服务请求内容将归属服务节点内流媒体集群拥有所请求内容的真实服务器IP地址插入到虚拟组织节点列表中；(4)归属服务节点的调度服务器发出状态查询指令，从虚拟组织节点列表中获取真实服务器当前的状态参量，对真实服务器的负载情况进行量化，确定各个真实服务器的负载值，根据真实服务器的负载值判断能否满足服务质量要求；同时再根据各真实服务器的负载值对归属服务节点的负载情况进行量化得到归属服务节点的负载值，更新该归属服务节点的动态区域联盟的成员列表的负载状态信息，并发送该归属服务节点的负载值到动态区域联盟中其它服务节点的调度服务器；(5)如果该归属服务节点内有满足服务要求的真实服务器，则将这些真实服务器的IP地址和负载值插入到服务提供者列表，否则到步骤(7)；(6)根据负载值对服务提供者列表中真实服务器排序，取出负载最轻的真实服务器R，将本次服务请求分配给真实服务器R，结束本次调度；(7)如果该归属服务节点内没有满足服务要求的真实服务器，则查询动态区域联盟成员列表，根据动态区域联盟成员中服务节点的负载值判断动态区域联盟成员中服务节点能否满足服务要求；(8)如果该动态区域联盟成员内有满足服务质量要求的服务节点，根据负载值对动态区域联盟成员列表排序，将服务请求转发到动态区域联盟中的一个服务节点的调度服务器中，并将该服务节点作为新的归属服务节点，转回到步骤(3)；(9)如果该动态区域联盟成员内没有满足服务要求的服务节点，则增加动态区域联盟成员的方法扩大动态区域联盟规模，到步骤(8)。
全文摘要
本发明涉及一种视频网格自适应负载均衡调度方法，属于计算机多媒体领域。该方法生成动态区域联盟的成员列表、归属服务节点的虚拟组织节点列表和归属服务节点的服务提供者列表；客户发出服务请求后，网格门户自动将其定向到归属服务节点；并根据其真实服务器的负载值判断能否满足服务质量要求；若满足则将本次服务请求分配给真实服务器R，结束本次调度；否则根据动态区域联盟成员中服务节点的负载值判断动态区域联盟成员中服务节点能否满足服务要求；若满足将动态区域联盟中的一个服务节点作为新的归属服务节点，否则扩大动态区域联盟规模。本方法充分利用有限的资源，以较小的调度信息交互开销获得区域内的负载均衡，有效地解决服务负载峰值问题。
文档编号H04N7/24GK1997031SQ20061014427
公开日2007年7月11日 申请日期2006年12月1日 优先权日2006年12月1日
发明者戴琼海, 尹承辉 申请人:清华大学