专利名称：基于应用效果即时反馈的显卡虚拟化下的资源调度系统的制作方法
技术领域：
本发明涉及的是一种应用于计算机应用技术领域的系统及方法，尤其是一种基于应用程序即时效果反馈的在虚拟机间的物理显卡资源(Graphics Processing Unit, GPU)调度系统方法，具体涉及基于应用效果即时反馈的显卡虚拟化下的资源调度系统。
背景技术：
显卡虚拟化技术(GPU Virtualization)正在被广泛应用于执行显卡计算(GPUComputing)的数据中心当中，这些计算包括但不限于云游戏(Cloud Gaming),视频渲染(VideoRendering)和通用显卡计算(General Purpose GPU Computing)。但是目前缺少一种有效的虚拟机间调度物理显卡资源的系统和方法，从而能够使 并行运行于多个虚拟机内部的各个应用程序获得较好的显卡加速效果同时有高资源使用率。现有的显卡穿透方法(Video Graphics Array Passthrough, VGA Passthrough)将每块可用物理显卡赋予到运行的每个虚拟机当中。然而这种方法的缺点是第一，一般商用主板仅支持两到三块显卡，因此需要特制的主板来同时运行多个需要显卡支持的虚拟机；第二，对每个虚拟机内部，在其运行期间通常不能用尽其拥有的物理显卡资源，而在这种技术中，剩余的显卡资源不能赋予给其它虚拟机，因此造成物理显卡资源的浪费。另外一种办法是利用显卡半虚拟化技术(GPU Paravirtualization)使得多个虚拟机可以共享一块或多块物理显卡。在2009年SIGOPS Operating Systems Review的 Volume43Issue3 中发表了一篇名为 GPU Virtualization on VMware' s Hosted 1/0Architecture的论文提出了这种方法和系统。之后，在2008年Multimedia Computingand Networking 上 Bautin M.等人在 Graphic Engine Resource Management 提出了物理显卡资源在多个应用间均分的调度策略。随后在2011年Usenix ATC上，Kato等人在Timegraph:GPU scheduling for real-timemulti-tasking environments论文中提出了通过引入显卡资源使用优先级并修改操作系统显卡驱动的方法来提升物理显卡加速关键用户程序的能力。上述两个方法能够最大化利用可用的物理显卡资源，同时为多个虚拟机提供显卡加速的能力。然而，这些方法的缺点是一方面，需要修改操作系统或者显卡驱动，当应用于虚拟机时甚至需要修改虚拟机监控器(Hypervisor)或虚拟机内的应用程序(GuestApplication),因此存在开发难度大的问题；另一方面，由于已有方法不能获得被加速的Guest Application运行效果反馈数据，因此已有物理GPU资源的调度系统和方法存在盲目性，获得的资源调度效果一般。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于应用程序即时效果反馈的在虚拟机间的物理显卡资源调度系统和方法。传统GPU虚拟化技术将虚拟机内的显卡命令和数据通过宿主机物理显卡指令发送器(GPU HostOps Dispatch)发送到宿主机物理显卡应用程序接口(HostGPUAPI)。在此基础上，本发明提供的方法通过函数钩子的方法在GPU HostOps Dispatch 和 Host GPUAPI 之间插入调度执行器(Agent),延迟 GPU HostOpsDispatch中指令和数据的发送，同时监控GuestApplication相关的显示性能情况和物理显卡资源使用情况，进而提供反馈给任何基于时间或时序的显卡资源调度算法。基于时间或时序的显卡资源调度算法是指显卡资源的开始使用、结束使用和使用持续均部分或完全基于绝对或相对时间。此外,本发明描述的系统通过调度控制器(Scheduling Controller)即时接受用户启用或停止各Agent的决定，并对所采用调度方法的选择和参数改变，并据此即时改变各Agent的相应参数设置。同时Scheduling Controller显示或记录当前物理显卡资源调度和使用情况，各虚拟机内应用程序显卡资源使用情况等一项或多项内容。本发明描述的系统和方法无需修改宿主机操作系统、宿主机显卡驱动、Hypervisor、虚拟机操作系统、虚拟机显卡驱动或虚拟机内的应用程序。此外，本发明描述的系统和方法在运行时带来的性能开销低于5%，启用或停止不致招致显著的虚拟机暂停时 间(仅需毫秒级暂停时间)。本发明是通过以下技术方案实现的根据本发明的一个方面，提供一种基于应用效果即时反馈的显卡虚拟化下的资源调度系统，包括宿主机物理显卡指令发送器、宿主机物理显卡应用程序接口，还包括如下模块调度执行器，其连接在宿主机物理显卡指令发送器与宿主机物理显卡应用程序接口之间；调度控制器，其连接所述调度执行器，其中，调度控制器接收用户命令，并将用户命令传递给调度执行器；调度执行器接收来自于调度控制器的用户命令，监控应用程序运行状态，并将应用程序显卡状态结果传输到调度控制器，同时根据调度控制器指定使用的调度算法，周期性/事件性计算要满足最低应用程序显卡状态所需的延迟时间，延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口 ；调度控制器接收并处理显示来自于调度执行器的调度结果和调度状态。优选地，调度控制器接收用户命令，解析其中对各调度执行器的操作、调度算法的配置和相应参数，并将用户命令传递给调度执行器模块、接收来自于调度执行器模块的状态结果并显示给用户。优选地，所述的调度控制器包括如下模块控制台，其用于接收用户命令，这些用户命令输入关于调度算法的配置和相应参数，并从调度通信器中获取调度结果并显示给用户；调度通信器，其用于负责调度控制器与一个或多个调度执行器的通信，负责安装/卸载调度执行器、将用户命令传递给调度执行器、接收来自于调度执行器的应用程序显卡状态结果。优选地，所述的调度执行器包括如下模块调度器，其用于接收用户命令中关于调度算法及其参数配置的指定，并负责查找相应调度算法的位置，配置调度算法并运行相应的调度算法，按需延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口；应用程序显卡状态监控器，其用于采集来自宿主机物理显卡应用程序接口的显卡状态，并由此生成应用程序显卡状态结果，同时将应用程序显卡状态结果反馈给调度器，并传递给调度控制器中的调度通信器。优选地，所述的应用程序显卡状态包括与应用程序种类相关的显卡物理状态和/或逻辑状态测度。物理状态测度如显卡的负载率(GPU Load)、温度、电压等。逻辑状态测度如对于计算机三维游戏则相应显卡状态测度为每秒巾贞数(Frames per second, FPS),对于计算机通用GPU运算则相应 显卡状态测度为计算数每秒(Operations per second, Ops)、本应用程序的显卡负载率(Application GPU Usage)等等。根据本发明的一个方面，提供一种根据本发明所述的资源调度系统的显卡虚拟化下的显卡资源调度方法，通过函数钩子的方法在宿主机物理显卡指令发送器和宿主机物理显卡应用程序接口之间插入调度执行器(Agent)，延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口，同时监控应用程序相关的显示性能情况和物理显卡资源使用情况，进而提供反馈给任何基于时间或时序的显卡资源调度算法，无需对虚拟机应用程序、宿主机操作系统、虚拟机操作系统、显卡驱动、虚拟机管理器进行任何修改且性能损耗低。优选地，所述方法具体过程为一个或多个虚拟机启动完成后，在客户需要安装所述资源调度系统时，通过应用程序运行的方法由调度控制器查找或按用户指定进程将调度执行器绑定到相应虚拟机；然后调度控制器中的调度通信器与各个被绑定的调度执行器建立通信；在对显卡资源进行调度的时候，客户发出指令选择调度算法(可以是第三方开发的调度算法)并提供相应参数，控制台在收到客户指令后由调度通信器将用户命令分发给各个调度执行器；调度执行器根据用户命令配置运行所选显卡资源调度算法，延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口 ；与此同时，应用程序显卡状态监控器采集来自宿主机物理显卡应用程序接口的显卡状态，并由此生成应用程序显卡状态，随后周期性/事件性将应用程序显卡状态结果反馈给调度器，并传递给调度控制器中的调度通信器；在客户需要卸载所述资源调度系统时，客户通过调度控制器发出卸载指令，控制台在收到客户指令后由调度通信器将用户命令分发给各个调度执行器，调度执行器收到卸载指令后停止自身运行。优选地，所述的将调度执行器绑定到相应虚拟机的步骤，具体为步骤1. 1，根据用户指定信息查找指定虚拟机图像渲染进程(根据虚拟机管理器设计不同，这些进程也可以是虚拟机进程)，或选取全部相关虚拟机图像渲染进程，对这些中的每一个虚拟机进程执行步骤I. 2到步骤I. 6 ；步骤1. 2，在该进程中创建新的线程(Thread)，并在其中加载调度执行器；步骤1. 3，访问调度执行器入口，初始化调度执行器；步骤1. 4，查找该进程加载的宿主机物理显卡应用程序接口地址集合，修改其中每一个宿主机物理显卡应用程序接口地址处的代码，使其指向调度执行器中相应处理函数的入口并保存各寄存器内容，使得进程以后在每次使用宿主机物理显卡应用程序接口时会运行处理函数(Handlers)；步骤1. 5，设定处理函数返回地址为旧的宿主机物理显卡应用程序接口地址之后运行指令，恢复各寄存器内容，使得处理函数运行结束后能正确执行原有宿主机物理显卡应用程序接口；步骤I. 6，该线程不得结束。优选地，所述的延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口的步骤，具体为-若使用猜测技术，则包含如下子步骤步骤2. la，在资源调度算法指定的处理函数中，停止计时本次中央处理器(CentralProcessing Unit, CPU)消耗时间，开始计时物理显卡资源本次消耗时间；步骤2. 2a，根据物理显卡资源消耗时间历史记录猜测物理显卡资源本次消耗时间；
步骤2. 3a，暂停中央处理器执行一段时间，这段时间的长度为调度算法根据中央处理器本次消耗时间和物理显卡资源本次消耗时间计算而成；步骤2. 4a，调用原有宿主机物理显卡应用程序接口 ；步骤2. 5a，停止计时物理显卡资源本次消耗时间，更新到物理显卡资源消耗时间历史记录；-若不使用猜测技术，则包含如下子步骤步骤2. lb，在资源调度算法指定的处理函数中，停止计时本次中央处理器消耗时间，开始计时物理显卡资源本次消耗时间；步骤2. 2b，调用原有宿主机物理显卡应用程序接口 ；步骤2. 3b，停止计时物理显卡资源本次消耗时间；步骤2. 4b，暂停中央处理器执行一段时间，这段时间的长度为调度算法根据中央处理器本次消耗时间和物理显卡资源本次消耗时间计算而成。优选地，所述的应用程序显卡状态监控器采集来自宿主机物理显卡应用程序接口的显卡状态的步骤，具体为步骤3. 1，在资源调度算法指定的处理函数中，调用宿主机物理显卡应用程序接口、操作系统内核或显卡驱动提供的接口按照资源调度算法需求和用户命令采集显卡状态，如显卡的负载率(GPU Load)、温度、电压、FPS、Ops、本应用程序的显卡负载率等；步骤3. 2，在资源调度算法指定的处理函数中，调用原有宿主机物理显卡应用程序接口 ；优选地，所述的生成应用程序显卡状态的步骤，具体为步骤4. 1，用户指定状态汇报频率，在调度执行器中，获取该状态汇报频率；步骤4. 2，当状态汇报时间点到来时，调度执行器中的应用程序显卡状态监控器将累计的状态结果传送到调度控制器中的调度通信器中；步骤4. 3，调度执行器清空自身的状态结果缓冲区；优选地，所述的调度执行器收到卸载指令后停止自身运行的步骤，具体为步骤5. 1，每一个调度执行器收到卸载指令后，开始从步骤5. 2到步骤5. 3卸载过程;步骤5. 2，恢复该进程加载的宿主机物理显卡应用程序接口地址集合，修改其中每一个宿主机物理显卡应用程序接口地址处的代码为原应用程序接口地址处内容，使得进程以后在每次使用宿主机物理显卡应用程序接口时会运行原应用程序接口逻辑；步骤5. 3，将调度执行器绑定到相应虚拟机过程中插入的线程结束，从而卸载调度执行器；优选地，所述的资源调度算法具体包括如下步骤步骤6. 1，对于虚拟机群VMl, VM2···到VMn，每个虚拟机的调度执行器中的调度器解析用户方法配置，得到需要满足的最小显卡的负载率、最小每秒帧数(本专利适用范围不限于计算机游戏，对于其它显卡应用，可以针对不同的状态测量)、用户指定的检测周期T ;步骤6. 2，在运行期间，处理函数会被多次调用，对于每次处理函数调用，使用猜测技术执行步骤2. Ia到步骤2. 5a ;或不使用猜测技术执行步骤2. Ib到步骤2. 4b ；步骤6. 3，对于每一个T周期，如果某个虚拟机VMm不满足状态测量，则寻找并降低 拥有最大最小每秒帧数的虚拟机的最小每秒帧数设定；降低每秒帧数的数量取决于最近若干中贞的应用程序的显卡负载率(Application GPU Load),每秒巾贞数和最近若干巾贞的应用显卡的负载率为线性关系；步骤6. 4，对于每一个T周期，如果物理显卡使用率不满足最小显卡负载率，则提高所有虚拟机的最小每秒帧数设定；提高每秒帧数的数量取决于最近若干帧的应用程序的显卡负载率，每秒帧数和最近若干帧的应用程序的显卡负载率为线性关系；步骤6. 5，步骤6. 2到步骤6. 4保持有效，直到用户指定方法结束或更换方法或卸载调度执行器。在本发明的一个优选的具体实施方式
中，每台虚拟机对应的GPU HostOpsDispatch在本发明中会被安装一个独自拥有的调度执行器。全局唯一的调度控制器与一个或多个调度执行器相连。本发明相对于现有技术具有以下优点首先，无需对虚拟机应用程序、宿主机操作系统、虚拟机操作系统、显卡驱动、虚拟机管理器进行任何修改。已有系统通常需要大量改动以上部分中的一个来实现相近的调度能力，这种修改会导致已有系统必须不断进化来兼容最新的应用程序、操作系统或显卡驱动等。其次，本发明在安装或卸载时无需暂停机器的运行，这种特性使得本系统易于部署在商业系统中，尤其适用于需要达到7X24小时可用性的商业服务器上。最后，本发明在重大提升虚拟机间显卡资源调度能力时运行时性能极高，整体性能损耗低于5%。
图I为本发明模块示意图。图2为本发明架构示意图。
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。实施例如图2所示，根据本发明提供的基于应用效果即时反馈的显卡虚拟化下的资源调度系统，包括调度执行器模块和调度控制器模块，其中调度控制器模块与调度执行器模块相连接，传送用户命令到调度执行器当中并接收其返回的显卡状态结果。调度执行器被插入到宿主机物理显卡指令发送器GPU HostOps Dispatch和宿主机物理显卡应用程序接口 Host GPU API之间，延迟相应调用和数据的向下传输。调度执行器模块同时负责利用宿主机物理显卡应用程序接口 Host GPU API采集显卡物理状态和/或逻辑状态测度。本实施例针对运行于虚拟机中的计算机游戏，因此采集的物理状态、逻辑状态包括ApplicationGPU Load和 FPS。如图I所示，所述的调度控制器模块包括控制台子模块、调度通信器子模块，其中控制台子模块用于接收用户命令，这些命令输入关于调度算法的配置和相应参数。此夕卜，控制台子模块周期性/事件性从调度通信器子模块中获取调度结果并显示给用户。调度通信器子模块负责调度控制器模块与一个或多个调度执行器模块的通信，负责安装/卸载调度执行器、将用户命令传递给调度执行器子模块等操作。所述的事件性指目标事件一
次或多次发生，但发生的时间间隔并不恒定，事件在时间上的分布在数学上可表达为非周期性质的时间序列。如图I所示，所述的调度执行器模块包括调度器子模块、应用程序显卡状态监控器子模块，其中调度器子模块接收用户命令中关于调度算法及其参数配置的指定，并负责按照配置运行相应的调度算法，按需延迟GPU HostOps Dispatch中指令和数据发送到HostGPU API。应用程序显卡状态监控器子模块负责采集来自Host GPU API的显卡状态，并由此生成应用程序显卡状态，随后周期性/事件性将应用程序显卡状态结果反馈给调度器子模块，并传递给调度控制器模块中的调度通信器子模块。所述的应用程序显卡状态指与应用程序种类相关的显卡物理状态和/或逻辑状态测度。在本实施例中，采集的物理状态、逻辑状态包括Application GPU Load和FPS。本实施例针对VMWare Player4. O虚拟机管理器系统，因此指定虚拟机图像渲染进程即虚拟机进程。在本实施例中，仅考虑用户选取全部相关虚拟机图像渲染进程情况。本实施例应用的基于应用效果即时反馈的显卡虚拟化下的资源调度方法被配置为最小GPU Load=80%、最小FPS=30、用户指定的检测周期T=I秒。本实施例通过以下方式进行工作步骤一，用户选取全部相关虚拟机进程，对这些中的每一个虚拟机进程执行步骤二到步骤六步骤二，在该进程中创建新的线程(Thread)，并在其中加载调度执行器模块。步骤三，访问调度执行器模块入口，初始化调度执行器模块。步骤四，查找该进程加载的宿主机物理显卡应用程序接口地址集合，修改其中每一个宿主机物理显卡应用程序接口地址处的代码，使其指向调度执行器模块中相应处理函数的入口并保存各寄存器内容。使得进程以后在每次使用宿主机物理显卡应用程序接口时会运行处理函数(Handlers )。步骤五，设定处理函数返回地址为旧的宿主机物理显卡应用程序接口地址之后运行指令，恢复各寄存器内容，使得处理函数运行结束后能正确执行原有宿主机物理显卡应用程序接口。步骤六，该线程不得结束。通过以上步骤将调度执行器模块绑定到相应虚拟机，再经过调度控制器模块中的调度通信器子模块与各个被绑定的调度执行器模块建立通信后，调度执行器模块可传送状态结果到调度控制器模块，并对调度控制器模块发出的用户命令进行相应。当之后某一时刻需要对显卡资源进行调度时，具体过程如下步骤1，对于虚拟机群VMl, VM2···到VMn,每个虚拟机的调度执行器模块中的调度器模块解析用户算法配置，得到需要满足的最小GPU Load=80%、最小FPS=30、用户指定的检测周期T=I秒。步骤2，在运行期间，Handlers会被多次调用，用于显卡状态采集和延迟GPUHostOpsDispatch中指令和数据发送到Host GPU API,对于每次Handlers调用，执行步骤2. I到步骤2. 6。步骤2. I，在资源调度算法指定的Handlers中，停止计时本次CPU消耗时间，步骤2. 2利用Host GPU API和显卡驱动接口，测量本次Application GPU Load 和当前T时间内的FPS，开始计时GPU本次消耗时间。步骤2. 3，根据GPU消耗时间历史记录猜测GPU本次消耗时间。步骤2. 4，暂停CPU执行一段时间，这段时间的长度为调度算法根据CPU本次消耗时间和GPU本次消耗时间计算而成。步骤2. 5，调用原有宿主机物理显卡应用程序接口。步骤2. 6，停止计时GPU本次消耗时间，更新到GPU消耗时间历史记录。步骤3，对于每一个T周期，如果某个虚拟机VMm不满足最小FPS，则寻找并降低拥有最大最小FPS的虚拟机的最小FPS设定。降低FPS的数量取决于最近若干帧的ApplicationGPU Load, FPS 和最近若干巾贞的 Application GPU Load 为线性关系。步骤4，对于每一个T周期，如果物理显卡使用率不满足最小GPU Load,则提高所有虚拟机的最小FPS设定。提高FPS的数量取决于最近若干帧的Application GPU Load,FPS和最近若干巾贞的Application GPU Load为线性关系。步骤5，步骤2到步骤4保持有效，直到用户指定算法结束或更换算法或卸载调度执行器模块。调度执行器模块卸载实施例如下步骤a，每一个调度执行器模块收到卸载指令后，开始从步骤b到步骤c卸载过程。步骤b，恢复该进程加载的宿主机物理显卡应用程序接口地址集合，修改其中每一个宿主机物理显卡应用程序接口地址处的代码为原应用程序接口地址处内容。使得进程以后在每次使用宿主机物理显卡应用程序接口时会运行原应用程序接口逻辑。步骤C，将调度执行器模块绑定到相应虚拟机过程中插入的线程结束，从而卸载调度执行器模块。
权利要求
1.一种基于应用效果即时反馈的显卡虚拟化下的资源调度系统，包括宿主机物理显卡指令发送器、宿主机物理显卡应用程序接口，其特征在于，还包括如下模块 调度执行器，其连接在宿主机物理显卡指令发送器与宿主机物理显卡应用程序接口之间； 调度控制器，其连接所述调度执行器， 其中，调度控制器接收用户命令，并将用户命令传递给调度执行器；调度执行器接收来自于调度控制器的用户命令，监控应用程序运行状态，并将应用程序显卡状态结果传输到调度控制器，同时根据调度控制器指定使用的调度算法，周期性/事件性计算要满足最低应用程序显卡状态所需的延迟时间，延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口 ；调度控制器接收并处理显示来自于调度执行器的调度结果和调度状态。
2.根据权利要求I所述的基于应用效果即时反馈的显卡虚拟化下的资源调度系统，其特征在于，调度控制器接收用户命令，解析其中对各调度执行器的操作、调度算法的配置和相应参数，并将用户命令传递给调度执行器、接收来自于调度执行器的状态结果并显示给用户。
3.根据权利要求I所述的基于应用效果即时反馈的显卡虚拟化下的资源调度系统，其特征是，所述的调度控制器包括如下模块 控制台，其用于接收用户命令，这些用户命令输入关于调度算法的配置和相应参数，并从调度通信器中获取调度结果并显示给用户； 调度通信器，其用于负责调度控制器与一个或多个调度执行器的通信，负责安装/卸载调度执行器、将用户命令传递给调度执行器、接收来自于调度执行器的应用程序显卡状态结果。
4.根据权利要求I所述的基于应用效果即时反馈的显卡虚拟化下的资源调度系统，其特征是，所述的调度执行器包括如下模块 调度器，其用于接收用户命令中关于调度算法及其参数配置的指定，并负责查找相应调度算法的位置，配置调度算法并运行相应的调度算法，按需延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口； 应用程序显卡状态监控器，其用于采集来自宿主机物理显卡应用程序接口的显卡状态，并由此生成应用程序显卡状态结果，同时将应用程序显卡状态结果反馈给调度器，并传递给调度控制器中的调度通信器。
5.根据权利要求I所述的基于应用效果即时反馈的显卡虚拟化下的资源调度系统，其特征是，所述的应用程序显卡状态包括与应用程序种类相关的显卡物理状态和/或逻辑状态测度。
6.一种根据上述任一权利要求所述的资源调度系统的显卡虚拟化下的显卡资源调度方法，其特征在于，通过函数钩子的方法在宿主机物理显卡指令发送器和宿主机物理显卡应用程序接口之间插入调度执行器，延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口，同时监控应用程序相关的显示性能情况和物理显卡资源使用情况，进而提供反馈给任何基于时间或时序的显卡资源调度算法，无需对虚拟机应用程序、宿主机操作系统、虚拟机操作系统、显卡驱动、虚拟机管理器进行任何修改且性能损耗低。
7.根据权利要求6所述的显卡虚拟化下的显卡资源调度方法，其特征是，所述方法具体过程为一个或多个虚拟机启动完成后，在客户需要安装所述资源调度系统时，通过应用程序运行的方法由调度控制器查找或按用户指定进程将调度执行器绑定到相应虚拟机；然后调度控制器中的调度通信器与各个被绑定的调度执行器建立通信；在对显卡资源进行调度的时候，客户发出指令选择调度算法并提供相应参数，控制台在收到客户指令后由调度通信器将用户命令分发给各个调度执行器；调度执行器根据用户命令配置运行所选显卡资源调度算法，延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口；与此同时，应用程序显卡状态监控器采集来自宿主机物理显卡应用程序接口的显卡状态，并由此生成应用程序显卡状态，随后周期性/事件性将应用程序显卡状态结果反馈给调度器，并传递给调度控制器中的调度通信器；在客户需要卸载所述资源调度系统时，客户通过调度控制器发出卸载指令，控制台在收到客户指令后由调度通信器将用户命令分发给各个调度执行器，调度执行器收到卸载指令后停止自身运行。
8.根据权利要求7所述的显卡虚拟化下的显卡资源调度方法，其特征是，所述的将调度执行器绑定到相应虚拟机的步骤，具体为 步骤I. 1，根据用户指定信息查找指定虚拟机图像渲染进程，或选取全部相关虚拟机图像渲染进程，对这些中的每一个虚拟机进程执行步骤I. 2到步骤I. 6 ； 步骤I. 2，在该进程中创建新的线程，并在其中加载调度执行器； 步骤I. 3，访问调度执行器入口，初始化调度执行器； 步骤I. 4，查找该进程加载的宿主机物理显卡应用程序接口地址集合，修改其中每一个宿主机物理显卡应用程序接口地址处的代码，使其指向调度执行器中相应处理函数的入口并保存各寄存器内容，使得进程以后在每次使用宿主机物理显卡应用程序接口时会运行处理函数； 步骤I. 5，设定处理函数返回地址为旧的宿主机物理显卡应用程序接口地址之后运行指令，恢复各寄存器内容，使得处理函数运行结束后能正确执行原有宿主机物理显卡应用程序接口 ； 步骤I. 6，该线程不得结束。
9.根据权利要求6所述的显卡虚拟化下的显卡资源调度方法，其特征是，所述的延迟宿主机物理显卡指令发送器中指令和数据发送到宿主机物理显卡应用程序接口的步骤，具体为 -若使用猜测技术，则包含如下子步骤 步骤2. la，在资源调度算法指定的处理函数中，停止计时本次中央处理器消耗时间，开始计时物理显卡资源本次消耗时间； 步骤2. 2a，根据物理显卡资源消耗时间历史记录猜测物理显卡资源本次消耗时间； 步骤2. 3a，暂停中央处理器执行一段时间，这段时间的长度为调度算法根据中央处理器本次消耗时间和物理显卡资源本次消耗时间计算而成； 步骤2. 4a，调用原有宿主机物理显卡应用程序接口 ； 步骤2. 5a，停止计时物理显卡资源本次消耗时间，更新到物理显卡资源消耗时间历史记录;-若不使用猜测技术，则包含如下子步骤 步骤2. lb，在资源调度算法指定的处理函数中，停止计时本次中央处理器消耗时间，开始计时物理显卡资源本次消耗时间； 步骤2. 2b，调用原有宿主机物理显卡应用程序接口 ； 步骤2. 3b，停止计时物理显卡资源本次消耗时间； 步骤2. 4b，暂停中央处理器执行一段时间，这段时间的长度为调度算法根据中央处理器本次消耗时间和物理显卡资源本次消耗时间计算而成。
10.根据权利要求7所述的显卡虚拟化下的显卡资源调度方法，其特征是，所述的应用程序显卡状态监控器采集来自宿主机物理显卡应用程序接口的显卡状态的步骤，具体为 步骤3. 1，在资源调度算法指定的处理函数中，调用宿主机物理显卡应用程序接口、操作系统内核或显卡驱动提供的接口按照资源调度算法需求和用户命令采集显卡状态； 步骤3. 2，在资源调度算法指定的处理函数中，调用原有宿主机物理显卡应用程序接□。
11.根据权利要求7所述的显卡虚拟化下的显卡资源调度方法，其特征是，所述的生成应用程序显卡状态的步骤，具体为 步骤4. 1，用户指定状态汇报频率，在调度执行器中，获取该状态汇报频率； 步骤4. 2，当状态汇报时间点到来时，调度执行器中的应用程序显卡状态监控器将累计的状态结果传送到调度控制器中的调度通信器中； 步骤4. 3，调度执行器清空自身的状态结果缓冲区。
12.根据权利要求7所述的显卡虚拟化下的显卡资源调度方法，其特征是，所述的调度执行器收到卸载指令后停止自身运行的步骤，具体为 步骤5. 1，每一个调度执行器收到卸载指令后，开始从步骤5. 2到步骤5. 3卸载过程；步骤5. 2，恢复该进程加载的宿主机物理显卡应用程序接口地址集合，修改其中每一个宿主机物理显卡应用程序接口地址处的代码为原应用程序接口地址处内容，使得进程以后在每次使用宿主机物理显卡应用程序接口时会运行原应用程序接口逻辑； 步骤5. 3，将调度执行器绑定到相应虚拟机过程中插入的线程结束，从而卸载调度执行器。
13.根据权利要求7所述的显卡虚拟化下的显卡资源调度方法，其特征是，所述的资源调度算法具体包括如下步骤 步骤6. 1，对于虚拟机群VM1，VM2…到VMn，每个虚拟机的调度执行器中的调度器解析用户方法配置，得到需要满足的最小显卡的负载率、最小每秒帧数、用户指定的检测周期T ； 步骤6. 2，在运行期间，处理函数会被多次调用，对于每次处理函数调用，使用猜测技术执行步骤2. Ia到步骤2. 5a ;或不使用猜测技术执行步骤2. Ib到步骤2. 4b ； 步骤6. 3，对于每一个T周期，如果某个虚拟机VMm不满足状态测量，则寻找并降低拥有最大最小每秒帧数的虚拟机的最小每秒帧数设定；降低每秒帧数的数量取决于最近若干帧的应用程序的显卡负载率，每秒帧数和最近若干帧的应用显卡的负载率为线性关系； 步骤6. 4，对于每一个T周期，如果物理显卡使用率不满足最小显卡的负载率，则提高所有虚拟机的最小每秒帧数设定；提高每秒帧数的数量取决于最近若干帧的应用程序的显卡负载率，每秒帧数和最近若干帧的应用程序的显卡负载率为线性关系； 步骤6. 5，步骤6. 2到步骤6. 4保持有效，直到用户指定方法结束或更换方法或卸载调度执行器。
全文摘要
本发明提供一种基于应用程序即时效果反馈的在虚拟机间的物理显卡资源调度系统和方法。本发明描述的系统通过函数钩子的方法在宿主机物理显卡指令发送器和宿主机物理显卡应用程序接口之间插入调度执行器，延迟宿主机物理显卡指令发送器中指令和数据的发送，同时监控虚拟机内显卡应用程序相关的显示性能情况和物理显卡资源使用情况，进而提供反馈给任何基于时间或时序的显卡资源调度算法。本发明无需对虚拟机应用程序、宿主机操作系统、虚拟机操作系统、显卡驱动、虚拟机管理器进行任何修改。本发明无需暂停机器的运行，在重大提升虚拟机间显卡资源调度能力时运行时整体性能损耗低于5%。
文档编号G06F9/50GK102890643SQ20121026186
公开日2013年1月23日 申请日期2012年7月26日 优先权日2012年7月26日
发明者于淼, 王胤, 戚正伟, 管海兵 申请人:上海交通大学