面向视频应用的虚拟化资源管理方法及装置的制造方法
【技术领域】
[0001]本发明涉及互联网技术领域，特别涉及一种面向视频应用的虚拟化资源管理方法及装置。
【背景技术】
[0002]在不久的将来，视频将成为信息的主流载体，更加代表了互联网的未来。预计到2020年全球互联网流量的80%以上都将是视频。视频应用本身对于计算资源、存储资源和网络带宽的需求要远高于一般的互联网应用。大规模视频应用的部署必然会带来远超出传统互联网业务的硬件服务器、交换机和其他基础设施的投资。同时运营维护的成本也将大幅增加。因此，解决大规模视频应用的高效资源管理问题是十分重要的。
[0003]所谓高效的资源管理指的是正确地估计资源需求量，充分地使用资源，对于资源的初始投资和运营成本进行实时和量化的监控。要实现这一目标，就需要在技术上能够弹性地调度各种资源，以最优化的方式满足业务在种类和容量上的各种需求，满足对用户的服务质量承诺。
[0004]一般的应用都采用建立虚拟机集群的方式来实现资源的动态调度。目前主流的资源虚拟化方法都是针对通用服务器的虚拟化技术(例如KVM、VMWare、Ctrix等)，这类虚拟化技术可以进行对CPU、内存、磁盘、网络的虚拟化。基于上述虚拟机技术构建的虚拟化平台可以很好地应对非视频类的应用质量需求，包括吞吐量、延迟等。但是，上述虚拟机技术不可避免地都会有10%到40%的性能损失。而视频类应用往往具有高计算密度、低延迟和高吞吐量的特征，并且需要更大的存储空间。在硬件上超过20%的性能损失对于视频类应用来说都意味着很大的成本。更为关键的是，这些性能损失会让视频的处理结果根本无法满足基本的服务质量要求。比如对于4K视频的压缩，任何不必要的性能损失都会让处理过程丧失实时性。
[0005]因此，基于上述虚拟化技术的资源调度方法对于视频应用来讲存在以下缺点:
[0006]I)上述虚拟化技术管理资源的粒度都比较大，比如只能以虚拟机为单位进行任务调度；而且是相对静态的。根据具体业务形态的不同，视频应用针对单个用户提供服务的成本要比普通互联网应用高一到两个数量级，需要更加精细的资源控制和调度能力，而现有的资源调度方式会阻碍对视频应用的资源优化。
[0007]2)上述虚拟化技术无法对所有资源进行抽象化管理，比如GPU、ARM处理器、PC1-E采集卡、视频压缩芯片等等视频应用的基础设施。
【发明内容】
[0008]本发明实施例提供了一种面向视频应用的虚拟化资源管理方法，以提出一种可以进行更细粒度的资源调度并可以抽象化管理视频应用的物理基础设施的资源管理方案。该方法包括:对服务器进行注册后，对每个运行视频应用所需的资源块，根据资源配置信息，从多个服务器中选择符合建立资源块条件的服务器，并在该资源块与选择出的服务器之间建立关联关系，其中，服务器承载运行视频应用所需的各物理基础设施；从所有资源块中选择与视频应用运行所需求物理基础设施对应的资源块；将视频应用部署到与选择出的资源块关联的服务器上，并在该服务器上采用选择出的资源块对应的物理基础设施运行视频应用。
[0009]在一个实施例中，所述资源配置信息包括:名称、操作系统类型、资源类型和各项资源的需求量，服务器的类型包括物理服务器和虚拟服务器，根据资源块的资源配置信息，从多个服务器中选择符合建立资源块条件的服务器，包括:从多个服务器中选择操作系统类型与资源配置信息中的操作系统类型相同、服务器的类型与资源类型相同且各项资源的需求量小于服务器承载的各物理基础设施的资源可用容量的服务器，组成服务器候选集合；从服务器候选集合中选择当前物理基础设施的资源剩余可用容量最大的服务器，建立资源块。
[0010]在一个实施例中，从服务器候选集合中选择当前物理基础设施的资源剩余可用容量最大的服务器，包括:从服务器候选集合中选择各项物理基础设施的资源剩余可用容量均是最大的服务器；或者，确定各项物理基础设施中需求量占比最大的物理基础设施；从服务器候选集合中选择确定出的物理基础设施的资源剩余可用容量最大的服务器。
[0011]在一个实施例中，从所有资源块中选择与视频应用运行所需求物理基础设施对应的资源块，包括:从所有资源块中选择资源占用量小于阈值、资源实时剩余容量大于视频应用运行对物理基础设施的需求量且资源估计剩余容量大于视频应用运行对物理基础设施的需求量的资源块，组成候选资源块集合；从所述候选资源块集合中选择与当前物理基础设施的资源剩余可用容量最小的服务器关联的资源块。
[0012]在一个实施例中，还包括:将所述视频应用部署到与选择出的资源块关联的服务器上之后，在所述视频应用运行对物理基础设施增需求量增大后，从所述服务器上除了所述选择出的资源块之外的其他资源块中，重新选择与所述视频应用当前运行所需求物理基础设施对应的资源块，并在所述服务器上采用新选择出的资源块对应的物理基础设施运行所述视频应用。
[0013]在一个实施例中，如果未选择出与所述视频应用当前运行所需求物理基础设施对应的资源块，所述方法还包括:在所述多个服务器除了所述服务器之外的其他服务器关联的资源块中，再次选择与所述视频应用当前运行所需求物理基础设施对应的资源块；将所述视频应用的进程迀移到与再次选择出的资源块关联的服务器上，并在该服务器上采用与再次选择出的资源块对应的物理基础设施运行所述视频应用。
[0014]在一个实施例中，对服务器进行注册之后，还包括:与服务器通信获取服务器的基本信息，对所述基本信息进行MD5签名并存储；与服务器通信获取服务器的服务器标识和基本信息的MD5签名；在存储的基本信息MD5签名中，查找与获取的服务器标识对应的基本信息MD5签名；将获取的基本信息MD5签名与查找到的基本信息MD5签名进行比对，如果不一致，则重新获取与服务器标识对应的服务器的基本信息，根据该基本信息修改存储的基本信息MD5签名。
[0015]本发明实施例还提供了一种面向视频应用的虚拟化资源管理装置，以提出一种可以进行更细粒度的资源调度并可以抽象化管理视频应用的物理基础设施的资源管理方案。该装置包括:资源管理模块，用于对服务器进行注册后，对每个运行视频应用所需的资源块，根据资源配置信息，从多个服务器中选择符合建立资源块条件的服务器，并在该资源块与选择出的服务器之间建立关联关系，其中，服务器承载运行视频应用所需的各物理基础设施；资源调度模块，用于从所有资源块中选择与视频应用运行所需求物理基础设施对应的资源块；视频应用管理模块，用于将视频应用部署到与选择出的资源块关联的服务器上，并在该服务器上采用选择出的资源块对应的物理基础设施运行视频应用。
[0016]在一个实施例中，所述资源配置信息包括:名称、操作系统类型、资源类型和各项资源的需求量，服务器的类型包括物理服务器和虚拟服务器，所述资源管理模块，包括:月艮务器选择单元，用于从多个服务器中选择操作系统类型与资源配置信息中的操作系统类型相同、服务器的类型与资源类型相同且各项资源的需求量小于服务器承载的各物理基础设施的资源可用容量的服务器，组成服务器候选集合；资源管理单元，用于从服务器候选集合中选择当前物理基础设施的资源剩余可用容量最大的服务器，建立资源块。
[0017]在一个实施例中，资源管理单元，包括:第一资源管理单元，用于从服务器候选集合中选择各项物理基础设施的资源剩余可用容量均是最大的服务器；或者确定单元，用于确定各项物理基础设施中需求量占比最大的物理基础设施；第二资源管理单元，用于从服务器候选集合中选择确定出的物理基础设施的资源剩余可用容量最大的服务器。
[0018]在一个实施例中，资源调度模块，包括:资源块预选单元，用于从所有资源块中选择资源占用量小于阈值、资源实时剩余容量大于视频应用运行对物理基础设施的需求量且资源估计剩余容量大于视频应用运行对物理基础设施的需求量的资源块，组成候选资源块集合；资源调度单元，用于从所述候选资源块集合中选择与当前物理基础设施的资源剩余可用容量最小的服务器关联的资源块。
[0019]在一个实施例中，还包括:第一资源优化模块，用于将所述视频应用部署到与选择出的资源块关联的服务器上之后，在所述视频应用运行对物理基础设施增需求量增大后，从所述服务器上除了所述选择出的资源块之外的其他资源块中，重新选择与所述视频应用当前运行所需求物理基础设施对应的资源块；所述视频应用管理模块，还用于在所述服务器上采用新选择出的资源块对应的物理基础设施运行所述视频应用。
[0020]在一个实施例中，还包括:第二资源优化模块，用于如果未选择出与所述视频应用当前运行所需求物理基础设施对应的资源块，在所述多个服务器除了所述服务器之外的其他服务器关联的资源块中，再次选择与所述视频应用当前运行所需求物理基础设施对应的资源块；所述视频应用管理模块，还用于将所述视频应用的进程迀移到与再次选择出的资源块关联的服务器上，并在该服务器上采用与再次选择出的资源块对应的物理基础设施运行所述视频应用。
[0021]在一个实施例中，还包括:基本信息获取模块，用于对服务器进行注册之后，与服务器通信获取服务器的基本信息，对基本信息进行MD5签名并存储；MD5签名获取模块，用于与服务器通信获取服务器的服务器标识和基本信息MD5签名；查找模块，用于在存储的基本信息MD5签名中，查找与获取的服务器标识对应的基本信息MD5签名；基本信息修改模块，用于将获取的基