热点均衡控制方法及相关装置制造方法

热点均衡控制方法及相关装置制造方法
【专利摘要】本发明实施例公开了热点均衡控制方法及相关装置。上述方法包括：建立当前最热节点集；预测所述当前最热节点集中各物理NUMA节点的待访问热点内存页；确定最热虚拟机；将所述最热虚拟机对应的待访问热点内存页迁移至空闲物理NUMA节点。可见，在本发明实施例中，预测了物理机上的待访问热点内存页，并对最热虚拟机拥有的待访问热点内存页进行迁移。预测出的待访问热点内存页是未来可能被频繁访问的内存页，对其进行迁移后，可在一定程度上降低未来某NUMA节点过热出现的概率，实现热点均衡控制。
【专利说明】热点均衡控制方法及相关装置

【技术领域】
[0001] 本发明涉及通信【技术领域】，具体涉及热点均衡控制方法及相关装置。

【背景技术】
[0002] 随着虚拟化、云计算的发展，非一致性内存架构（Non-uniform Memory Architecture，NUMA)的物理机（物理服务器）上广泛部署了虚拟机。
[0003] 在基于NUMA架构的物理机中，包含多个物理处理器和多个内存。上述多个物理处 理器和多个内存可被划分为多个组（也可称为物理NUMA节点）。物理NUMA节点上会运行 一台或多台虚拟机。
[0004] 在实施本发明创造中，发明人发现，由于虚拟机运行的业务需要频繁访问（主要 是写操作）等原因，物理NUMA节点内存中的某些内存页会被频繁访问、使用，造成该NUMA 节点过热。可将被频繁访问的内存页，尤其是被频繁写操作的内存页称为热点内存页。
[0005] 现有技术中是将虚拟机迁移到其他物理NUMA节点，并在迁移过程中，首先迁移使 用率最高的内存页。但这种迁移方案未考虑热点内存页的未来不确定性：当前被频繁访问 的内存页，有可能不久之后将不再被频繁访问。这样，即使从NUMA节点上迁移出了当前被 频繁访问的内存页，但未来该NUMA节点可能依然过热。


【发明内容】

[0006] 本发明实施例的目的在于提供热点均衡控制方法及相关装置，以解决即使从物理 NUMA节点上迁移出了当前被频繁访问的内存页，但未来该NUMA节点可能依然过热的问题。
[0007] 本发明实施例提供如下技术方案：
[0008] 根据本发明实施例的第一方面，提供一种热点均衡控制方法，包括：
[0009] 建立当前最热节点集；所述当前最热节点集中的物理非一致性内存架构NUMA节 点的内存负载不小于负载阈值；
[0010] 预测所述当前最热节点集中各物理NUMA节点的待访问热点内存页；所述待访问 热点内存页为未来访问频率将超过访问频率阈值的内存页；
[0011] 确定最热虚拟机，所述最热虚拟机为拥有所述待访问热点内存页最多的虚拟机， 或者，所述最热虚拟机为拥有所述待访问热点内存页的各虚拟机中负载最高的虚拟机；
[0012] 将所述最热虚拟机拥有的所述待访问热点内存页迁移至空闲物理NUMA节点。
[0013] 结合第一方面，在第一种可能的实现方式中，所述预测所述当前最热节点集中所 有物理NUMA节点的待访问热点内存页包括：建立所述当前最热节点集中每一物理NUMA节 点的待访问内存页集合，所述待访问内存页集合包含待访问热点内存页；对所有待访问内 存页集合中的待访问热点内存页进行合并，得到待访问内存页总集合。
[0014] 结合第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述建立所 述当前最热节点集中每一物理NUMA节点的待访问内存页集合包括：针对所述每一物理 NUMA节点建立已访问内存页集合；从每一所述已访问内存页集合中，剔除共享内存页以及 访问频率权重小于权重阈值的已访问内存页，得到内存页高权集合；使用每一所述内存页 高权集合从多种预测模型中选择出相应的最佳预测模型；其中，任一所述预测模型表征一 种或多种内存页之间的关联关系；所述最佳预测模型表征的各种关联关系能够将所述内存 页高权集合中访问频率权重最高的已访问内存页，与其他不少于B的已访问内存页关联起 来；所述B为预设页数；使用每一所述最佳预测模型从指定集合中筛选出内存页，筛选出 的内存页构成相应物理NUMA节点的待访问内存页集合；所述指定集合至少包含相应物理 NUMA节点所对应的已访问内存页集合中的已访问内存页。
[0015] 结合第一方面第一种可能的实现方式或第二种可能的实现方式，在第三种可能的 实现方式中，所述对所有待访问内存页集合中的待访问热点内存页进行合并，得到待访问 内存页总集合包括：对所述当前最热节点集中每一物理NUMA节点的待访问内存页集合进 行扩展，得到扩展后的待访问内存页集合；合并所有扩展后的待访问内存页集合，得到所述 待访问内存页总集合。
[0016] 结合第一方面至第一方面第三种可能的实现方式，在第四种可能的实现方式中， 在确定最热虚拟机之后，将所述最热虚拟机对应的待访问热点内存页迁移至空闲物理NUMA 节点之前，还包括：制定多种迁移方式；任一所述迁移方式指示所述最热虚拟机，所述最热 虚拟机的待访问热点内存页欲迁移至的空闲物理NMUA节点，以及，当前存储有所述最热虚 拟机的待访问热点内存页的各物理NUMA节点，向所述空闲物理NUMA节点所迁移的内存页； 计算按不同的迁移方式迁移所述最热虚拟机的待访问热点内存页的迁移开销；所述将所述 最热虚拟机对应的待访问热点内存页迁移至空闲物理NUMA节点包括：按迁移开销最低的 迁移方式进行迁移。
[0017] 根据本发明实施例的第二方面，提供一种宿主机，包括：
[0018] 最热节点集建立单元，用于建立当前最热节点集；所述当前最热节点集中的物理 非一致性内存架构NUMA节点的内存负载不小于负载阈值；
[0019] 内存分布预测单元，用于预测所述当前最热节点集中各物理NUMA节点的待访问 热点内存页；所述待访问热点内存页为未来访问频率将超过访问频率阈值的内存页；
[0020] 最热虚拟机确定单元，用于确定最热虚拟机，所述最热虚拟机为拥有所述待访问 热点内存页最多的虚拟机，或者，所述最热虚拟机为拥有所述待访问热点内存页的各虚拟 机中负载最高的虚拟机；
[0021] 迁移单元，用于将所述最热虚拟机拥有的所述待访问热点内存页迁移至空闲物理 NUMA节点。
[0022] 结合第二方面，在第一种可能的实现方式中，在所述预测所述当前最热节点集中 所有物理NUMA节点待访问热点内存页的方面，所述内存分布预测单元用于：建立所述当前 最热节点集中每一物理NUMA节点的待访问内存页集合，所述待访问内存页集合包含待访 问热点内存页；对所有待访问内存页集合中的待访问热点内存页进行合并，得到待访问内 存页总集合。
[0023] 结合第二方面第一种可能的实现方式，在第二种可能的实现方式中，在所述建立 所述当前最热节点集中每一物理NUMA节点的待访问内存页集合的方面，所述内存分布预 测单元用于：针对所述每一物理NUMA节点建立已访问内存页集合；从每一所述已访问内存 页集合中，剔除共享内存页以及访问频率权重小于权重阈值的已访问内存页，得到内存页 高权集合；使用每一所述内存页高权集合从多种预测模型中选择出相应的最佳预测模型； 其中，任一所述预测模型表征一种或多种内存页之间的关联关系；所述最佳预测模型表征 的各种关联关系能够将所述内存页高权集合中访问频率权重最高的已访问内存页，与其他 不少于B的已访问内存页关联起来；所述B为预设页数；使用每一所述最佳预测模型从指 定集合中筛选出内存页，筛选出的内存页构成相应物理NUMA节点的待访问内存页集合；所 述指定集合至少包含相应物理NUMA节点所对应的已访问内存页集合中的已访问内存页。
[0024] 结合第二方面第一种或第二种可能的实现方式，在第三种可能的实现方式中，在 所述对所有待访问内存页集合中的待访问热点内存页进行合并，得到待访问内存页总集合 的方面，所述内存分布预测单元用于：对所述当前最热节点集中每一物理NUMA节点的待访 问内存页集合进行扩展，得到扩展后的待访问内存页集合；合并所有扩展后的待访问内存 页集合，得到所述待访问内存页总集合。
[0025] 结合第二方面至第二方面第三种可能的实现方式，在第四种可能的实现方式中， 还包括：迁移方式制定单元，用于制定多种迁移方式；任一所述迁移方式指示所述最热虚 拟机，所述最热虚拟机的待访问热点内存页欲迁移至的空闲物理NMUA节点，以及，当前存 储有所述最热虚拟机的待访问热点内存页的各物理NUMA节点，向所述空闲物理NUMA节点 所迁移的内存页；迁移开销计算单元，用于计算按不同的迁移方式迁移所述最热虚拟机的 待访问热点内存页的迁移开销；在所述将所述最热虚拟机对应的待访问热点内存页迁移至 空闲物理NUMA节点的方面，所述迁移单元用于：按迁移开销最低的迁移方式进行迁移。
[0026] 根据本发明实施例的第三方面，提供一种物理主机，包括：硬件层、运行在所述硬 件层之上的宿主机Host、以及运行在所述Host之上的至少一个虚拟机VM;所述硬件层包括 至少一个物理非一致性内存架构NUMA节点；所述物理NUMA节点包含存储器和至少一个处 理器；其中，所述Host用于：
[0027] 建立当前最热节点集；所述当前最热节点集中的物理非一致性内存架构NUMA节 点的内存负载不小于负载阈值；
[0028] 预测所述当前最热节点集中各物理NUMA节点的待访问热点内存页；所述待访问 热点内存页为未来访问频率将超过访问频率阈值的内存页；
[0029] 确定最热虚拟机，所述最热虚拟机为拥有所述待访问热点内存页最多的虚拟机， 或者，所述最热虚拟机为拥有所述待访问热点内存页的各虚拟机中负载最高的虚拟机；
[0030] 将所述最热虚拟机拥有的所述待访问热点内存页迁移至空闲物理NUMA节点。
[0031] 可见，在本发明实施例中，预测了物理机上的待访问热点内存页，并对最热虚拟机 对应的待访问热点内存页进行迁移。预测出的待访问热点内存页是未来可能被频繁访问的 内存页，对其进行迁移后，可在一定程度上降低未来某NUMA节点过热出现的概率，实现热 点均衡控制。

【专利附图】

【附图说明】
[0032] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用 的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的 附图。
[0033] 图1为本发明实施例提供的NUMA结构的物理机示例图；
[0034] 图2为本发明实施例提供的NUMA结构的物理机应用场景示例图；
[0035] 图3-6为本发明实施例提供的热点均衡控制方法各流程图；
[0036] 图7为本发明实施例提供的建立待访问内存页集合的流程图；
[0037] 图8-9为本发明实施例提供的热点均衡控制方法各流程图；
[0038] 图10-11为本发明实施例提供的迁移示例图；
[0039] 图12为本发明实施例提供的宿主机结构示例图；
[0040] 图13为本发明实施例提供的物理主机结构示例图；
[0041] 图14为本发明实施例提供的物理主机另一结构示例图。

【具体实施方式】
[0042] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅 仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术 人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。 [0043] 为了方便理解本发明实施例，首先在此介绍本发明实施例描述中会引入的几个术 语：
[0044] 虚拟机VM :通过虚拟机软件可以在一台物理主机上模拟出一台或者多台虚拟的 计算机，而这些虚拟机就像真正的计算机那样进行工作，虚拟机上可以安装操作系统和应 用程序，虚拟机还可访问网络资源。对于在虚拟机中运行的应用程序而言，虚拟机就像是在 真正的计算机中进行工作。
[0045] 硬件层：虚拟化环境运行的硬件平台。其中，硬件层可包括多种硬件，例如某物理 主机的硬件层可包括处理器（例如CPU)和内存，还可以包括网卡、存储器等等高速/低速 输入/输出（1/0, Input/Output)设备，及具有特定处理功能的其它设备，如输入输出内存 管理单兀（IOMMU，Input/Output Memory Management Unit)，其中 I0MMU 可用于虚拟机物 理地址和Host物理地址的转换。
[0046] 宿主机（Host):作为管理层，用以完成硬件资源的管理、分配；为虚拟机呈现虚拟 硬件平台；实现虚拟机的调度和隔离。其中，Host可能是虚拟机监控器（VMM);此外，有时 VMM和1个特权虚拟机配合，两者结合组成Host。其中，虚拟硬件平台对其上运行的各个 虚拟机提供各种硬件资源，如提供虚拟处理器（如VCPU)、虚拟内存、虚拟磁盘、虚拟网卡等 等。虚拟磁盘可对应Host的一个文件或者一个逻辑块设备。虚拟机运行在Host为其准备 的虚拟硬件平台上，Host上运行一个或多个虚拟机。
[0047] 本发明实施例的热点均衡控制方法可以应用于非一致性内存架构（Non-uniform Memory Architecture, NUMA)的物理机（物理服务器）。
[0048] 上述物理机（物理服务器）可包含硬件层、运行在该硬件层之上的宿主机（Host)、 以及运行在该Host之上的至少一个虚拟机VM。
[0049] 上述硬件层可包括单板，在单板上包含多个物理处理器和多个内存。
[0050] 上述单板上的几个物理处理器通过内存总线与一块内存相连构成一个组（也可 称为物理NUMA节点），这样，单板上的多个物理处理器和多个内存就可以被划分为若干个 物理NUMA节点。
[0051] 对于某一物理NUMA节点（例如物理NUMA节点1)而言，处于该物理NUMA节点中 的内存被称为本地内存（local memory)，而处于其他物理NUMA节点中的内存，相对于物理 NUMA节点1而言，被称为外部内存（foreign memory)。每个物理NUMA节点中的处理器访 问本地内存和访问外部内存的延迟是不同的。
[0052] 此外，物理NUMA节点又可以分为三类，即本地节点（local node)，邻居节点 (neighbor node)和远端节点（remote node)。对于某个物理NUMA节点中的所有CPU而言， 该节点为本地节点，与本地节点相邻的物理NUMA节点可称为邻居节点，而非本地节点或邻 居节点的节点，则可称为远端节点。
[0053] CPU访问本地节点上的内存时，访问延迟非常低，而访问邻居节点就会比访问本地 节点的访问延迟高，访问远端节点的访问延迟则更高。
[0054] 请参见图1，为本发明实施例设定的一种NUMA结构的物理机100(也可称为计算机 系统）。上述物理机（物理服务器）的硬件层包括物理NUMA节点101-103。
[0055] 每个物理NUMA节点可包括一个或多个处理器和本地内存。示例性的，在本实施例 中，每个物理NUMA节点包括4个处理器（处理器104-107)和存储器108。
[0056] 当然，在每个物理NUMA节点内的处理器的数目可以是可变的，以及每个物理NUMA 节点可以具有自己的RAM(随机存储器）。
[0057] 物理机100的硬件层上运行有Hostl09,更具体的，Hostl09可由VMM和VMM上运 行的特权虚拟机结合组成。
[0058] Hostl09上还可运行有多个虚拟机（VM110-112)。
[0059] 需要说明的是，虽然物理机100在本实施例中被描绘为包括虚拟机110-112,但在 其他实施例中，物理机100可执行更多或更少的虚拟机。
[0060] Hostl09为虚拟机指定主物理NUMA节点（可简称为主节点），在分配硬件资源时， 优先将主节点上的硬件资源（物理处理器和物理内存）分配给虚拟机。
[0061] 请参见图2,与物理主机相类似，虚拟机上可运行客户操作系统（guest 0S)。并且， 每个虚拟机中可包含一个或多个虚拟NUMA节点。以VM110为例，其包含虚拟NUMA节点113 和 114。
[0062] 进一步的，一个虚拟NUMA节点中可包含一个或多个虚拟处理器以及一个虚拟存 储器。
[0063] 示例性的，图2中，虚拟NUMA节点中包含两个虚拟处理器一VCPU115和116,以及， 虚拟存储器117。
[0064] 需要说明的是，虽然在本实施例中虚拟机被描绘为包括两个虚拟NUMA节点，但在 其他实施例中，其可包括更多或更少的虚拟NUMA节点。另外，虽然在本实施例中，虚拟UNMA 节点被描绘为具有两个虚拟处理器，但在其他实施例中，虚拟NMUA节点可以具有更多或更 少的虚拟处理器。此外，每个虚拟NUMA节点可以具有与其他虚拟NUMA节点不同的虚拟NUMA 拓扑结构。例如，一个虚拟NUMA节点可以具有4个虚拟处理器和16G字节的RAM，而另一个 虚拟NUMA节点可以具有2个虚拟处理器和8G字节的RAM。
[0065] 上述热点均衡控制方法的执行主体可为热点均衡控制装置。而热点均衡控制装置 则可作为Hostl09的一个组件。
[0066] 请参见图3,由热点均衡控制装置执行的热点均衡控制方法至少可包括如下步 骤：
[0067] S1、建立当前最热节点集；
[0068] 其中，当前最热节点集中的物理NUMA节点的内存负载不小于负载阈值（H)。
[0069] 而内存负载则是根据上述物理NUMA节点的内存利用率计算得到。
[0070] 本文后续将对如何计算内存负载进行详细介绍。
[0071] S2、预测上述当前最热节点集中各物理NUMA节点的待访问热点内存页。
[0072] 所谓的热点内存页，指的是，未来将被频繁访问（尤其是被频繁写操作）的内存 页。
[0073] 可设计在时间段T内，访问频率（特别是写操作频率）超过访问频率阈值的内存 页为热点内存页。该阈值可为10、20等等，可由本领域技术人员根据实际需要进行灵活设 定，在此不作赘述。相类似，T也可由本领域技术人员根据实际需要进行灵活设定，在此亦 不作赘述。
[0074] 本步骤目的是预测未来将有哪些内存页会被频繁访问（写操作）。
[0075] S3、确定最热虚拟机。
[0076] 上述最热虚拟机可为拥有待访问热点内存页最多的虚拟机。
[0077] 举例来讲，在步骤S2中，共预测出1000页待访问热点内存页，其中，虚拟机1对应 其中的400页，虚拟机2对应其中的200页，虚拟机3对应其中的300页，虚拟机4对应其 中的100页。则可将虚拟机1确定为最热虚拟机；或者，将虚拟机1和虚拟机3确定为最热 虚拟机。
[0078] 或者，上述最热虚拟机可为拥有热点内存页的各虚拟机中负载最高的虚拟机。
[0079] 仍沿用前例，共预测出1000页待访问热点内存页，其中，虚拟机1对应其中的400 页，虚拟机2对应其中的200页，虚拟机3对应其中的300页，虚拟机4对应其中的100页。
[0080] 假定，虚拟机1的负载为5,虚拟机2的负载为20,虚拟机3的负载为25,虚拟机4 的负载为30。则可将虚拟机4确定为最热虚拟机；或者，将虚拟机3和虚拟机4确定为最 热虚拟机。本文后续将对如何计算各虚拟机负载进行详细介绍。
[0081] 最热虚拟机的个数可不限于一个。
[0082] S4、将最热虚拟机拥有的待访问热点内存页迁移至空闲物理NUMA节点。
[0083] 需要说明的是，在迁移时，可将最热虚拟机拥有的部分或全部待访问热点内存页 迁移至空闲物理NUMA节点。
[0084] 而空闲物理NUMA节点可以是，所有物理NUMA节点中负载最小的节点，或者，也可 以是节点负载小于某一阈值的物理NUMA节点。
[0085] 可见在本实施例中，预测了物理机上的待访问热点内存页，并对最热虚拟机拥有 的待访问热点内存页进行迁移。预测出的待访问热点内存页是未来可能被频繁访问的内存 页，对其进行迁移后，可在一定程度上降低未来某NUMA节点过热出现的概率，实现热点均 衡控制。
[0086] 下面，将介绍如何建立当前最热节点集。
[0087] 请参见图4,建立当前最热节点集可包含如下步骤：
[0088] SI 1、根据上述各物理NUMA节点的负载计算物理机负载分布均衡度；
[0089] 物理机负载分布均衡度是基于各物理NUMA节点的节点负载计算出来的。
[0090] 如何计算物理NUMA节点的节点负载可有多种方式。例如，可利用节点的内存利用 率和热页比进行计算。
[0091] 假定一共有η个物理NUMA节点，其中的第i个物理NUMA节点的负载表示为MDp 该物理NUMA节点的内存利用率表示为MRi，热页比表示为HPi，则MDi可通过如下公式计算：
[0092] MDj = MR^HPi (公式一）
[0093] 内存利用率指节点内非空内存的比例。
[0094] 节点的热页比，指的是第i个物理NUMA节点上的当前热点内存页（也即当前已被 频繁访问的内存页）与所有内存页之间的比例。
[0095] 需要说明的是，宿主机上记录有各虚拟机在物理NUMA节点上的内存分布。因此， 可利用宿主机记录的内存分布来计算物理NUMA节点的内存利用率。
[0096] 所有物理NUMA节点的负载平均值为

【权利要求】
1. 一种热点均衡控制方法，其特征在于，包括： 建立当前最热节点集；所述当前最热节点集中的物理非一致性内存架构NUMA节点的 内存负载不小于负载阈值； 预测所述当前最热节点集中各物理NUMA节点的待访问热点内存页；所述待访问热点 内存页为未来访问频率将超过访问频率阈值的内存页； 确定最热虚拟机，所述最热虚拟机为拥有所述待访问热点内存页最多的虚拟机，或者， 所述最热虚拟机为拥有所述待访问热点内存页的各虚拟机中负载最高的虚拟机； 将所述最热虚拟机拥有的所述待访问热点内存页迁移至空闲物理NUMA节点。
2. 如权利要求1所述的方法，其特征在于， 所述预测所述当前最热节点集中所有物理NUMA节点的待访问热点内存页包括： 建立所述当前最热节点集中每一物理NUMA节点的待访问内存页集合，所述待访问内 存页集合包含待访问热点内存页； 对所有待访问内存页集合中的待访问热点内存页进行合并，得到待访问内存页总集 合。
3. 如权利要求2所述的方法，其特征在于，所述建立所述当前最热节点集中每一物理 NUMA节点的待访问内存页集合包括： 针对所述每一物理NUMA节点建立已访问内存页集合； 从每一所述已访问内存页集合中，剔除共享内存页以及访问频率权重小于权重阈值的 已访问内存页，得到内存页高权集合； 使用每一所述内存页高权集合从多种预测模型中选择出相应的最佳预测模型；其中， 任一所述预测模型表征一种或多种内存页之间的关联关系；所述最佳预测模型表征的各种 关联关系能够将所述内存页高权集合中访问频率权重最高的已访问内存页，与其他不少于 B的已访问内存页关联起来；所述B为预设页数； 使用每一所述最佳预测模型从指定集合中筛选出内存页，筛选出的内存页构成相应物 理NUMA节点的待访问内存页集合；所述指定集合至少包含相应物理NUMA节点所对应的已 访问内存页集合中的已访问内存页。
4. 如权利要求2或3所述的方法，其特征在于，所述对所有待访问内存页集合中的待访 问热点内存页进行合并，得到待访问内存页总集合包括： 对所述当前最热节点集中每一物理NUMA节点的待访问内存页集合进行扩展，得到扩 展后的待访问内存页集合； 合并所有扩展后的待访问内存页集合，得到所述待访问内存页总集合。
5. 如权利要求1-4任一项所述的方法，其特征在于， 在确定最热虚拟机之后，将所述最热虚拟机对应的待访问热点内存页迁移至空闲物理 NUMA节点之前，还包括： 制定多种迁移方式；任一所述迁移方式指示所述最热虚拟机，所述最热虚拟机的待访 问热点内存页欲迁移至的空闲物理NMUA节点，以及，当前存储有所述最热虚拟机的待访问 热点内存页的各物理NUMA节点，向所述空闲物理NUMA节点所迁移的内存页； 计算按不同的迁移方式迁移所述最热虚拟机的待访问热点内存页的迁移开销； 所述将所述最热虚拟机对应的待访问热点内存页迁移至空闲物理NUMA节点包括： 按迁移开销最低的迁移方式进行迁移。
6. -种宿主机，其特征在于，包括： 最热节点集建立单元，用于建立当前最热节点集；所述当前最热节点集中的物理非一 致性内存架构NUMA节点的内存负载不小于负载阈值； 内存分布预测单元，用于预测所述当前最热节点集中各物理NUMA节点的待访问热点 内存页；所述待访问热点内存页为未来访问频率将超过访问频率阈值的内存页； 最热虚拟机确定单元，用于确定最热虚拟机，所述最热虚拟机为拥有所述待访问热点 内存页最多的虚拟机，或者，所述最热虚拟机为拥有所述待访问热点内存页的各虚拟机中 负载最高的虚拟机； 迁移单元，用于将所述最热虚拟机拥有的所述待访问热点内存页迁移至空闲物理NUMA 节点。
7. 如权利要求6所述的宿主机，其特征在于， 在所述预测所述当前最热节点集中所有物理NUMA节点的待访问热点内存页的方面， 所述内存分布预测单元用于： 建立所述当前最热节点集中每一物理NUMA节点的待访问内存页集合，所述待访问内 存页集合包含待访问热点内存页； 对所有待访问内存页集合中的待访问热点内存页进行合并，得到待访问内存页总集 合。
8. 如权利要求7所述的宿主机，其特征在于， 在所述建立所述当前最热节点集中每一物理NUMA节点的待访问内存页集合的方面， 所述内存分布预测单元用于： 针对所述每一物理NUMA节点建立已访问内存页集合； 从每一所述已访问内存页集合中，剔除共享内存页以及访问频率权重小于权重阈值的 已访问内存页，得到内存页高权集合； 使用每一所述内存页高权集合从多种预测模型中选择出相应的最佳预测模型；其中， 任一所述预测模型表征一种或多种内存页之间的关联关系；所述最佳预测模型表征的各种 关联关系能够将所述内存页高权集合中访问频率权重最高的已访问内存页，与其他不少于 B的已访问内存页关联起来；所述B为预设页数； 使用每一所述最佳预测模型从指定集合中筛选出内存页，筛选出的内存页构成相应物 理NUMA节点的待访问内存页集合；所述指定集合至少包含相应物理NUMA节点所对应的已 访问内存页集合中的已访问内存页。
9. 如权利要求7或8所述的宿主机，其特征在于， 在所述对所有待访问内存页集合中的待访问热点内存页进行合并，得到待访问内存页 总集合的方面，所述内存分布预测单元用于： 对所述当前最热节点集中每一物理NUMA节点的待访问内存页集合进行扩展，得到扩 展后的待访问内存页集合； 合并所有扩展后的待访问内存页集合，得到所述待访问内存页总集合。
10. 如权利要求6至9任一项所述的宿主机，其特征在于， 还包括：迁移方式制定单元，用于制定多种迁移方式；任一所述迁移方式指示所述最 热虚拟机，所述最热虚拟机的待访问热点内存页欲迁移至的空闲物理NMUA节点，以及，当 前存储有所述最热虚拟机的待访问热点内存页的各物理NUMA节点，向所述空闲物理NUMA 节点所迁移的内存页； 迁移开销计算单元，用于计算按不同的迁移方式迁移所述最热虚拟机的待访问热点内 存页的迁移开销； 在所述将所述最热虚拟机对应的待访问热点内存页迁移至空闲物理NUMA节点的方 面，所述迁移单元用于：按迁移开销最低的迁移方式进行迁移。
11. 一种物理主机，其特征在于，包括：硬件层、运行在所述硬件层之上的宿主机Host、 以及运行在所述Host之上的至少一个虚拟机VM ;所述硬件层包括至少一个物理非一致性 内存架构NUMA节点；所述物理NUMA节点包含存储器和至少一个处理器；其中，所述Host用 于： 建立当前最热节点集；所述当前最热节点集中的物理非一致性内存架构NUMA节点的 内存负载不小于负载阈值； 预测所述当前最热节点集中各物理NUMA节点的待访问热点内存页；所述待访问热点 内存页为未来访问频率将超过访问频率阈值的内存页； 确定最热虚拟机，所述最热虚拟机为拥有所述待访问热点内存页最多的虚拟机，或者， 所述最热虚拟机为拥有所述待访问热点内存页的各虚拟机中负载最高的虚拟机； 将所述最热虚拟机拥有的所述待访问热点内存页迁移至空闲物理NUMA节点。
【文档编号】G06F9/455GK104216784SQ201410421153
【公开日】2014年12月17日 申请日期:2014年8月25日 优先权日:2014年8月25日
【发明者】顾嘉辉 申请人:杭州华为数字技术有限公司