一种服务器中内存模块的数据迁移方法及服务器的制造方法
【专利摘要】本发明实施例公开了一种服务器中内存模块的数据迁移方法及服务器。本发明的处理器通过在两个内存模块的代理装置之间建立镜像关系，指示代理装置在两个内存模块间进行数据迁移，从而完成一个内存模块到另一个内存模块的数据迁移，整个数据迁移过程无需操作系统参与，数据迁移过程耗时短，方便地实现了服务器中内存模块的数据迁移。
【专利说明】一种服务器中内存模块的数据迁移方法及服务器
【技术领域】
[0001]本发明涉及存储【技术领域】，尤其涉及一种服务器中内存模块的数据迁移方法及服务器。
【背景技术】
[0002]内存热插拔主要应用在服务器领域，为服务器带来了更高的可用性和可维护性。在内存热插拔时，一个服务器涉及硬件层、基本输入输出服务器(Basic Input OutputSystem, BIOS)层、操作系统(Operating System, OS)(也可还包含虚拟机监控器(VirtualMachine Monitor,VMM))层,硬件层包含至少两个内存模块,其各层关系图如图1所示。在所示的逻辑结构中，硬件层提供物理上实际可用的资源；B10S层对这些物理资源进行配置并上报可用资源以及提供操作接口 ；0S可以直接使用BIOS上报的资源，也可以由VMM先对资源进行虚拟化，再分配到OS使用，也就是OS是这些资源的最终使用者。在内存热插拔技术中，硬件层提供了实体的内存模块以及访问通道，BIOS层对内存进行初始化、分配地址、上报可用地址给OS或者VMM，最终OS在内存中运行程序或存放数据。内存热插拔包括内存热添加和内存热移除两个过程。
[0003]现有技术在进行内存热移除时，需要OS先将准备热移除的内存地址上的数据迁移到其他内存地址上，然而，因为OS每次搬移一个内存页都要先取得这个页的控制权，暂停其他程序的访问后才能开始搬移，所以如果要迁移的用户态数据被其他程序频繁访问，那么OS每次都要花费一定时间才能获得内存页的控制权，结果需要花费很长时间才能完成整个内存模块的数据迁移。
[0004]综上，由于内存数据迁移时对OS的依赖性很强，OS的数据布局以及内存数据迁移的能力都会对内存数据迁移的成败造成影响，所以如何方便地实现内存模块的数据迁移成为目前迫切需要解决的问题。
【发明内容】
[0005]有鉴于此，本发明实施例提供一种服务器中内存模块的数据迁移方法及服务器，以期方便地实现服务器中内存模块的数据迁移。
[0006]第一方面，提供了一种服务器中内存模块的数据迁移方法，包括:
[0007]当处理器接收到用户对第一内存模块的数据迁移请求时，所述处理器查找第二内存模块，并向第一代理装置发送镜像关系建立指令，所述第一内存模块处于运行状态，所述第二内存模块处于空闲状态；
[0008]所述第一代理装置接收所述镜像关系建立指令，与第二代理装置建立镜像关系；
[0009]所述处理器向所述第一代理装置发送数据迁移指令；
[0010]所述第一代理装置接收所述数据迁移指令，将所述第一内存模块中的数据发送至所述第二代理装置；
[0011]所述第二代理装置将所述第一内存模块中的数据写入所述第二内存模块中；[0012]所述处理器向所述第一代理装置发送镜像关系解除指令，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态；
[0013]所述第一代理装置接收所述镜像关系解除指令，解除与所述第二代理装置的所述镜像关系。
[0014]在第一种可能的实现方式中，所述第一代理装置接收所述数据迁移指令，将所述第一内存模块中的数据发送至所述第二代理装置，包括:
[0015]所述第一代理装置接收所述处理器发送的数据读取指令，读取所述第一内存模块中的数据并将所述第一内存模块中的数据返回给所述处理器；
[0016]所述第一代理装置接收所述处理器写入的所述第一内存模块中的数据，将所述第一内存模块中的数据发送至所述第二代理装置。
[0017]结合第一方面或第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器向所述第一代理装置发送镜像关系解除指令之前，所述方法还包括:
[0018]所述处理器向所述第一代理装置的第一物理地址写入第一数据；
[0019]所述第一代理装置接收所述第一数据，并将所述第一数据转发给所述第二代理装置；
[0020]所述第二代理装置将所述第一数据写入所述第二内存模块中的所述第一物理地址。
[0021]结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述第一代理装置接收所述镜像关系解除指令，解除与所述第二代理装置的所述镜像关系之后，所述方法还包括:
[0022]所述处理器断开所述第一内存模块的电源，以移除所述第一内存模块。
[0023]结合第一方面或第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式或第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括:
[0024]当所述处理器接收到用户的内存模块添加请求时，所述处理器给添加的内存模块供电，并对所述添加的内存模块进行初始化，所述添加的内存模块进入空闲状态。
[0025]第二方面，提供了一种服务器，包括:
[0026]处理器、连接所述处理器的第一代理装置和第二代理装置、与所述第一代理装置连接的第一内存模块、以及与所述第二代理装置连接的第二内存模块；
[0027]所述处理器，用于当接收到用户对第一内存模块的数据迁移请求后，并且所述第一内存模块为运行状态，所述第二内存模块为空闲状态时，查找第二内存模块，并向第一代理装置发送镜像关系建立指令；
[0028]所述第一代理装置，用于接收所述镜像关系建立指令，在接收到所述镜像关系建立指令后，与第二代理装置建立镜像关系；
[0029]所述处理器，还用于在所述镜像关系建立完成后，向所述第一代理装置发送数据迁移指令；
[0030]所述第一代理装置，还用于接收所述数据迁移指令，在接收到所述数据迁移指令后，将所述第一内存模块中的数据发送至所述第二代理装置；
[0031]所述第二代理装置，用于接收所述第一代理装置发出的所述数据，将所述数据写入所述第二内存模块中；
[0032]所述处理器，还用于在所述数据迁移完后，向所述第一代理装置发送镜像关系解除指令，以及在发出所述镜像关系解除指令后，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态；
[0033]所述第一代理装置，还用于接收到所述镜像关系解除指令后，解除与所述第二代理装置的所述镜像关系。
[0034]在第一种可能的实现方式中，所述第一代理装置还用于接收所述数据迁移指令，在接收到所述数据迁移指令后，将所述第一内存模块中的数据发送至所述第二代理装置，包括:
[0035]所述第一代理装置，还用于接收所述处理器发送的数据读取指令，在接收到所述数据读取指令后，读取所述第一内存模块中的数据并将所述第一内存模块中的数据返回给所述处理器；
[0036]所述第一代理装置，还用于接收所述处理器写入的所述第一内存模块中的数据，将所述第一内存模块中的数据发送至所述第二代理装置。
[0037]结合第二方面或第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器，还用于向所述第一代理装置的第一物理地址写入第一数据；
[0038]所述第一代理装置，还用于接收到所述第一数据后，将所述第一数据转发给所述第二代理装置；
[0039]所述第二代理装置，还用于在接收到所述第二代理装置转发的所述第一数据后，将所述第一数据写入所述第二内存模块中的所述第一物理地址。
[0040]结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述处理器，还用于在所述数据迁移完以及向所述第一代理装置发送镜像关系解除指令后，断开所述第一内存模块的电源，以移除所述第一内存模块。
[0041]结合第二方面或第二方面的第一种可能的实现方式或第二方面的第二种可能的实现方式或第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述处理器，还用于当接收到用户的内存模块添加请求时，给添加的内存模块供电，并对所述添加的内存模块进行初始化，所述添加的内存模块成为空闲内存模块。
[0042]采用本发明提供的一种服务器中内存模块的数据迁移方法及服务器的技术方案，处理器通过在两个内存模块的代理装置之间建立镜像关系，指示代理装置在两个内存模块间进行数据迁移，从而完成一个内存模块到另一个内存模块的数据迁移，整个数据迁移过程无需操作系统参与，数据迁移过程耗时短，方便地实现了服务器中内存模块的数据迁移。
【专利附图】
【附图说明】
[0043]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]图1为现有技术中内存热插拔时涉及的服务器各层的关系示意图；[0045]图2为本发明提供的一种服务器中内存模块的数据迁移方法的一个实施例的流程图；
[0046]图3为本发明提供的一种服务器中内存模块的数据迁移方法的另一个实施例的流程图；
[0047]图4为现有技术中的内存模块热移除流程图；
[0048]图5为现有技术中的内存模块热添加流程图；
[0049]图6a为服务器包含的内存模块结构示意图；
[0050]图6b为对服务器中的内存模块的数据迁移示意图；
[0051]图6c为服务器中的内存模块完成数据迁移后内存模块的角色转换示意图；
[0052]图6d为对服务器中的空闲内存模块进行替换的示意图；
[0053]图6e为服务器中的空闲内存模块替换后的示意图；
[0054]图7a为代理装置HA和内存模块的结构示意图；
[0055]图7b为节点控制器NC和内存模块的结构示意图；
[0056]图8a为进行内存模块数据迁移过程的服务器示意图；
[0057]图Sb为完成内存模块数据迁移过程后的服务器示意图；
[0058]图9为本发明的一种服务器的结构示意图。
【具体实施方式】
[0059]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]图2为本发明提供的一种服务器中内存模块的数据迁移方法的一个实施例的流程图。如图2所示，该方法包括以下步骤:
[0061]步骤S101，当处理器接收到用户对第一内存模块的数据迁移请求时，所述处理器查找第二内存模块，并向第一代理装置发送镜像关系建立指令，所述第一内存模块处于运行状态，所述第二内存模块处于空闲状态。
[0062]步骤S102，所述第一代理装置接收所述镜像关系建立指令，与第二代理装置建立镜像关系。
[0063]在本发明实施例中，服务器包含至少两个内存模块，例如第一内存模块和第二内存模块，其中第一内存模块处于运行状态，第二内存模块处于空闲状态，该内存模块可以是内存卡，即将双列直插式存储模块(Dual In-line Memory Module, DIMM,又称内存条)安装在内存卡上，再将内存卡插到主板上。其中，第一内存模块中存储有数据，由处理器分配了物理地址并上报给了 OS，OS可以在该第一内存模块中运行程序或存放数据；而处理器仅对第二内存模块进行内存初始化，不为其分配物理地址，也不通知OS该第二内存模块的存在，因而OS也不会用到该第二内存模块。
[0064]在本发明实施例中，参与数据迁移过程的每个内存模块都与一个代理装置相连，该代理装置负责接收处理器的内存地址访问请求，这些内存地址是其所代理的本地(Home/Local)的内存模块的地址，并将从内存模块返回的结果通过处理器送回原内存访问的请求者。
[0065]当用户希望将服务器中第一内存模块的数据全部迁移，以将该第一内存模块移除时，用户向处理器发出数据迁移请求。处理器接收到用户对第一内存模块的数据迁移请求时，查找一个处于空闲状态的内存模块即第二内存模块，向与第一内存模块连接的代理装置A发送镜像关系建立指令，代理装置A接收到该镜像关系建立指令后，与连接于该第二内存模块的代理装置B建立镜像关系。所谓镜像关系是指，第二内存模块在初始化时不具有物理地址，当代理装置A和代理装置B建立镜像关系后，第二内存模块就具有与第一内存模块相同的物理地址，代理装置A在从处理器接收到写入第一内存模块的某物理地址的数据后，除了将该数据写入第一内存模块的该物理地址，还将该数据写入代理装置B，再由代理装置B将数据写入第二内存模块中的相同的物理地址。
[0066]可以理解的是，本发明中处理器所执行的操作实际上可以是由处理器上的BIOS程序来完成的。
[0067]步骤S103，所述处理器向所述第一代理装置发送数据迁移指令。
[0068]步骤S104，所述第一代理装置接收所述数据迁移指令，将所述第一内存模块中的数据发送至所述第二代理装置。
[0069]步骤S105，所述第二代理装置将所述第一内存模块中的数据写入所述第二内存模块中。
[0070]代理装置A和代理装置B建立了镜像关系后，处理器向代理装置A发送数据迁移指令，要将第一内存模块的数据逐步迁移至第二内存模块。代理装置A接收到该数据迁移指令后，从第一内存模块获取要迁移的数据，将该数据发送至代理装置B，由代理装置B将数据写入第二内存模块中，写入第二内存模块的数据的物理地址与该数据在第一内存模块中的物理地址是完全一致的。
[0071]步骤S106，所述处理器向所述第一代理装置发送镜像关系解除指令，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态。
[0072]步骤S107，所述第一代理装置接收所述镜像关系解除指令，解除与所述第二代理装置的所述镜像关系。
[0073]全部迁移完第一内存模块中的数据后，处理器向代理装置A发送镜像关系解除指令，指示代理装置A和代理装置B解除镜像关系，代理装置A接收到该镜像关系解除指令后，解除与代理装置B的镜像关系，并且将接收该段物理地址的读写指令的代理装置由代理装置A修改为代理装置B，这样第一内存模块转为空闲状态，而第二内存模块转为运行状态，处理器对该段物理地址进行数据的读写时，通过代理装置B从第二内存模块读取数据或将数据写入第二内存模块。因为进行数据迁移的前后，第一内存模块的物理地址不变，所以该数据迁移过程对于OS及OS上运行的应用程序来说是不可见的。
[0074]可以理解的是，服务器中不止一个处于运行状态的内存模块和处于空闲状态的内存模块，处理器可以为处于运行状态的内存模块选择合适的处于空闲状态的内存模块进行数据迁移，处理器可以同时或依次完成多个处于运行状态的内存模块的数据迁移。
[0075]根据本发明实施例提供的一种服务器中内存模块的数据迁移方法，处理器通过在两个内存模块的代理装置之间建立镜像关系，指示代理装置在两个内存模块间进行数据迁移，从而完成一个内存模块到另一个内存模块的数据迁移，整个数据迁移过程无需操作系统参与，数据迁移过程耗时短，方便地实现了服务器中内存模块的数据迁移。
[0076]图3为本发明提供的一种服务器中内存模块的数据迁移方法的另一个实施例的流程图。如图3所示，该方法包括以下步骤:
[0077]步骤S201，当处理器接收到用户对第一内存模块的数据迁移请求时，所述处理器查找第二内存模块，并向第一代理装置发送镜像关系建立指令，所述第一内存模块处于运行状态，所述第二内存模块处于空闲状态。
[0078]步骤S202，所述第一代理装置接收所述镜像关系建立指令，与第二代理装置建立镜像关系。
[0079]如图6a所示，服务器中包括多个内存模块，其中内存模块1、2和3为处于运行状态的内存模块，其中存储有数据，由处理器分配了物理地址并上报给了 OS，OS可以在该内存模块中运行程序或存放数据；内存模块4为处于空闲状态的内存模块，处理器仅对内存模块4进行了内存初始化，不为其分配物理地址，也不通知OS该空闲内存模块的存在，因而OS也不会用到该内存模块4。在该具有多个内存模块的服务器中，可以选取其中容量最大的一个内存模块作为空闲状态的内存模块，同时，不论设置为运行状态的内存模块和空闲状态的内存模块，可以选择插有相同容量的内存条，这样任何一个内存模块都可以成为空闲状态的内存模块以方便进行数据迁移。
[0080]当用户希望将服务器中某个处于运行状态的内存模块的数据全部迁移，以将该内存模块移除时，用户向处理器发出数据迁移请求。对服务器的内存模块进行结构设计时一般会有一个用户的操作接口来接收用户的热插拔命令，并且能够向用户提示热插拔的进度。如图4的内存模块热移除流程图和图5的内存模块热添加流程图中，该用户操作接口为一个按钮。用户按下该按钮，即向处理器发出数据迁移和内存模块移除命令。
[0081]在本发明实施例中，与内存模块连接的代理装置为如图7a所示的本地代理(HomeAgent, HA), HA 是英特尔(Intel)的快速通道互联(Quick-Path Interconnect, QPI)协议中的一个组件，现代的Intel处理器之间使用QPI总线进行互联。HA负责接收来自QPI的对内存模块的访问请求，并将从内存模块返回的结果送回原内存访问的请求者。
[0082]图7a展示了两个Intel处理器的互联方法，每个处理器内部可以划分为许多单元，这里仅画出计算单元和互联单元，计算单元发出对地址的访问请求，互联单元将地址请求分配到对应的子模块，比如HA，或者通过QPI转发到其他处理器的互联单元。HA是互联单元的一个子模块，它接收来自互联单元的对它所挂内存的访问请求，这个请求可以来自它自身所在处理器的计算单元，也可以来自的其他处理器的计算单元。
[0083]与内存模块连接的代理装置还可以是图7b所示的扩展节点控制器(ExtendedNode Controller,XNC)/节点控制器(Node Controller,NC)。如图7b所示，处理器之间的互联除了使用QPI以外，还可以使用XNC/NC，每个处理器的QPI先连接到XNC上，再由XNC的互联网络将所有处理器组合成一个大服务器。每个XNC下面的所有处理器、内存、1/0等统称一个节点(node)，所以XNC的众多功能中有一个是类似于HA的，那就是接收从互联组织发来的对自身node内的内存的访问请求。
[0084]概括来说，HA和XNC/NC在本发明实施例中都有相同的功能，即:接收这样内存地址访问请求，这些内存地址是其所代理的本地的内存模块的地址。
[0085]如图8a所示，处理器接收到用户对一个处于运行状态的内存模块的数据迁移请求时，查找一个处于空闲状态的内存模块，向与处于运行状态的内存模块连接的代理装置HAO发送镜像关系建立指令，代理装置HAO接收该镜像关系建立指令，与连接于该处于空闲状态的内存模块的代理装置HAl建立镜像关系。所谓镜像关系是指，处于空闲状态的内存模块在初始化时不具有物理地址，当代理装置HAO和代理装置HAl建立了镜像关系后，处于空闲状态的内存模块就具有了与处于运行状态的内存模块相同的物理地址PA0-PA1，代理装置HAO在从处理器接收到写入处于运行状态的内存模块的某物理地址的数据后，除了将该数据写入该处于运行状态的内存模块的该物理地址，还将该数据写入代理装置HA1，再由HAl将数据写入处于空闲状态的内存模块中的相同的物理地址中。
[0086]步骤S203，所述处理器向所述第一代理装置发送数据迁移指令。
[0087]步骤S204，所述第一代理装置接收所述处理器发送的数据读取指令，读取所述第一内存模块中的数据并将所述第一内存模块中的数据返回给所述处理器。
[0088]步骤S205，所述第一代理装置接收所述处理器写入的所述第一内存模块中的数据，将所述第一内存模块中的数据发送至所述第二代理装置。
[0089]步骤S206，所述第二代理装置将所述第一内存模块中的数据写入所述第二内存模块中。
[0090]如图6b所示，将处于运行状态的内存模块3中的数据逐步迁移至处于空闲状态的内存模块4，该数据迁移的过程包括数据读取和数据写入的过程。处理器向HAO发送数据读取指令，HAO接收该数据读取指令，读取处于运行状态的内存模块中的数据并将该处于运行状态的内存模块中的数据返回给处理器。处理器将该处于运行状态的内存模块中的数据写入ΗΑ0,然后HAO将该处于运行状态的内存模块中的数据转发给HA1，由HAl将该处于运行状态的内存模块中的数据写入处于空闲状态的内存模块4中。
[0091]具体地，HAO和HAl的工作原理为:ΗΑ0和HAl建立镜像关系后，服务器中的两个HA组成镜像对,如图7a所示。这两个HA组成镜像对后,会有一个HA是主镜像端(MirroredMaster side),另一个是从镜像端(Mirrored Slave side)。在内存模块数据迁移这个应用实例中，主镜像端就是一直在服务器中使用的HA，而从镜像端是用来备份等待迁移的HA。在建立起临时镜像对的一开始，从HA便具有与主HA相同的物理地址，但是它们当中的数据并不一致，所以就要进行数据迁移。
[0092]具体的数据迁移过程是处理器从低地址到高地址把HA的所有地址进行遍历，每次执行一部分地址:
[0093]1.从内存模块中将某个地址PAO的数据读到处理器；
[0094]2.将数据原样写回原地址PAO ;
[0095]3.主HA收到这个地址写请求，会做两件事，一件是把数据写到自己内存的PAO地址上；
[0096]4.主HA知道此时服务器有一个它的镜像HA存在，所以另一件事是它将这个数据包转发给从HA ；
[0097]5.从HA收到数据包，将数据写到自己内存的PAO地址上。
[0098]到此，地址PAO在两个HA里都有了相同的副本，相当于完成了将主HA的PAO上的数据迁移到了从HA的PAO地址上。
[0099]当处理器完成对整个主HA的地址遍历，也就完成了 HA内存数据迁移。[0100]步骤S207，所述处理器向所述第一代理装置的第一物理地址写入第一数据。
[0101]步骤S208，所述第一代理装置接收所述第一数据，并将所述第一数据转发给所述
第二代理装置。
[0102]步骤S209，所述第二代理装置将所述第一数据写入所述第二内存模块中的所述第一物理地址。
[0103]内存模块的数据迁移不是一个瞬间就能完成的任务，需要消耗一段时间，这个时间长度与待迁移的内存模块的容量成正比。在迁移的一段时间里有两个主设备可能会对处于运行状态的内存模块3进行读写操作:一个是处于运行状态的内存模块3上的ΗΑ0，它在逐渐遍历处于运行状态的内存模块3的地址，将数据拷贝到处于空闲状态的内存模块4 ;另一个是服务器总线(比如QPI)上发来的读写请求，这是服务器正常运行时对处于运行状态的内存模块3的读写请求。如果没有镜像关系存在，那么当HAO迁移了一部分地址的数据，而QPI上又发来对这些地址的写操作修改了这里内存的值，这样当迁移完成时，两个内存模块的数据不一致，就不可能倒换。镜像使得所有写操作会将数据同时写到两个内存模块上，因此保证了一致性。
[0104]在迁移过程中，如果OS需要对主HA的地址PAl进行写操作，实际上就是以上步骤的2?5步，因此依然可以保证两个HA的数据一致性。
[0105]步骤S210，所述处理器向所述第一代理装置发送镜像关系解除指令，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态。
[0106]步骤S211，所述第一代理装置接收所述镜像关系解除指令，解除与所述第二代理装置的所述镜像关系处于空闲状态的内存模块处于运行状态的内存模块。
[0107]如图6c所示，全部迁移完处于运行状态的内存模块中的数据后，向HAO发送镜像关系解除指令，HAO和HAl解除镜像关系，并且将接收该段物理地址的读写指令的代理装置由HAO修改为HA1，这样原来的处于运行状态的内存模块转为空闲状态，其物理地址失效，处理器不能往该物理地址中写入或从该物理地址中读取数据，原来的处于空闲状态的内存模块转为运行状态，该原来的处于空闲状态的内存模块具有与原来处于运行状态的内存模块相同的物理地址PA0-PA1，接收处理器对该段物理地址的读写操作，也即如图Sb所示，处于空闲状态的内存模块和处于运行状态的内存模块的角色发生了转换。但因为进行数据迁移及角色倒换的前后，物理地址不变，所以对于OS及OS上运行的应用程序来说是不可见的。也因为其不可见性，对于HAO对应的内存模块，无论上面是否有OS的内核态数据，以及无论上面的数据是否被应用程序(比如数据库)频繁占用，迁移都是可以完成的，因此大大提高了内存热移除的可行性。
[0108]步骤S212，所述处理器断开所述第一内存模块的电源，以移除所述第一内存模块。
[0109]由于原来的处于运行状态的内存模块完成了数据迁移以及角色倒换后，实际上转为空闲状态，可以断开该内存模块的电源，以移除该内存模块。
[0110]现有的内存模块热移除的流程如图4所示，其包括以下步骤:
[0111]a)按下按钮，表示发起命令；
[0112]b)按钮LED开始闪烁，表示命令已经收到；
[0113]c) BIOS转发命令到OS，通知OS对要移除的内存进行迁移；
[0114]d)与上一步同时，电源LED开始闪烁，表示热移除的流程开始进行；[0115]e)0S进行内存迁移，将这部分内存地址上运行的业务迁移到其他内存地址上；
[0116]f)与上一步同时，BIOS开始不断查询OS是否已完成数据迁移；
[0117]g)如果OS迁移数据成功，则通知BIOS迁移成功的结果；
[0118]h)如果OS迁移数据失败，则将电源LED恢复到常亮状态，表示热移除过程停止，并将按钮LED设为常亮，通知用户热添加失败(LED的操作实际是BIOS的行为，BIOS因为收不到OS的通知而出现超时，从而判断OS数据迁移失败)；
[0119]i)如果BIOS收到了 OS的通知，则删除物理地址，实际是禁用到被移除内存模块的地址请求；
[0120]j)如果BIOS操作成功，则对内存板停止供电，并将电源LED设为常灭，表示热移除完成;
[0121]k)如果BIOS操作失败，则对将电源LED恢复到常亮状态，表示热移除过程停止，并将按钮LED设为常亮，通知用户热添加失败。
[0122]与图4所示的内存模块热移除流程不同的是，采用本发明实施例提供的数据迁移方法进行内存模块热移除，不需要OS的参与，全部由处理器也即其上的BIOS程序控制主HA完成，也即将上述步骤c)-步骤i)替换为本发明实施例的步骤S201-步骤S211。
[0123]步骤S213，当所述处理器接收到用户的内存模块添加请求时，所述处理器给添加的内存模块供电，并对所述添加的内存模块进行初始化，所述添加的内存模块进入空闲状态处于空闲状态的内存模块。
[0124]如图6d所示，将图6c中的处于空闲状态的内存模块3移除后，可以热添加新内存模块5，用户通过操作接口比如按键来发起对新内存模块的热添加操作，该热添加操作的流程与现有技术相同。
[0125]如图5为现有技术的内存模块热添加流程，其包括以下步骤:
[0126]A.按下按钮，表示发起命令；
[0127]B.按钮LED开始闪烁，表示命令已经收到；
[0128]C.给内存卡(内存板)供电；
[0129]D.电源LED开始闪烁，在热添加完成之前会一直闪烁；
[0130]E.BIOS进行内存初始化；
[0131]F.为初始化好的内存分配地址；
[0132]G.通知OS新添加的内存可用，并同时上报新添加内存的地址和容量；
[0133]H.0S完成其内存上线(online)操作；
[0134]1.整个过程如果成功完成，则将电源LED变为常亮，表示热添加结束；
[0135]J.如果出现添加失败，则将电源LED设为常灭，并给内存板断电，同时将
[0136]按钮LED设为常亮，通知用户热添加失败。
[0137]然而，在本发明实施例中，将新内存模块添加为处于空闲状态的内存模块时，不需要执行上述流程中的步骤F)至步骤H)，即对图6d中的内存模块5供电并进行初始化，但是不为其分配物理地址，使之成为这个服务器中的处于空闲状态的内存模块(如图6e所示)，为其他处于运行状态的内存模块(1，2，4)的热移除提供了 HA到HA地址迁移的条件。
[0138]根据本发明实施例提供的一种服务器中内存模块的数据迁移方法，处理器通过在两个内存模块的代理装置之间建立镜像关系，指示代理装置在两个内存模块间进行数据迁移，从而完成一个内存模块到另一个内存模块的数据迁移，整个数据迁移过程无需操作系统参与，数据迁移过程耗时短，方便地实现了服务器中内存模块的数据迁移，能方便地对处于运行状态的内存模块进行热移除，且在数据迁移过程中，仍然可以接收处理器对运行的内存模块的读写操作，不会造成数据错误。
[0139]图9为本发明一种服务器的一个实施例的结构示意图。如图9所示，该服务器1000包括:
[0140]处理器11、连接处理器11的第一代理装置12和第二代理装置13、与第一代理装置12连接的第一内存模块14、以及与第二代理装置13连接的第二内存模块15 ；
[0141]处理器11，用于当接收到用户对第一内存模块14的数据迁移请求后，并且第一内存模块14为运行状态，第二内存模块15为空闲状态时，查找第二内存模块15，并向第一代理装置12发送镜像关系建立指令；
[0142]第一代理装置12，用于接收所述镜像关系建立指令，在接收到所述镜像关系建立指令后，与第二代理装置13建立镜像关系；
[0143]处理器11，还用于在所述镜像关系建立完成后，向第一代理装置12发送数据迁移指令；
[0144]第一代理装置12，还用于接收所述数据迁移指令，在接收到所述数据迁移指令后，将第一内存模块14中的数据发送至第二代理装置13 ；
[0145]第二代理装置13，用于接收第一代理装置12发出的所述数据，将所述数据写入第二内存模块15中；
[0146]处理器11，还用于在所述数据迁移完后，向第一代理装置12发送镜像关系解除指令，以及在发出所述镜像关系解除指令后，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态；
[0147]第一代理装置12，还用于接收到所述镜像关系解除指令后，解除与第二代理装置13的所述镜像关系。
[0148]根据本发明实施例提供的一种服务器，其中的处理器通过在两个内存模块的代理装置之间建立镜像关系，指示代理装置在两个内存模块间进行数据迁移，从而完成一个内存模块到另一个内存模块的数据迁移，整个数据迁移过程无需操作系统参与，数据迁移过程耗时短，方便地实现了服务器中内存模块的数据迁移。
[0149]本发明还提供了一种服务器的另一个实施例。该服务器包括:
[0150]处理器、连接所述处理器的第一代理装置和第二代理装置、与所述第一代理装置连接的第一内存模块、以及与所述第二代理装置连接的第二内存模块；
[0151]所述处理器，用于当接收到用户对第一内存模块的数据迁移请求后，并且所述第一内存模块为运行状态，所述第二内存模块为空闲状态时，查找第二内存模块，并向第一代理装置发送镜像关系建立指令；
[0152]所述第一代理装置，用于接收所述镜像关系建立指令，在接收到所述镜像关系建立指令后，与第二代理装置建立镜像关系；
[0153]所述处理器，还用于在所述镜像关系建立完成后，向所述第一代理装置发送数据迁移指令；
[0154]所述第一代理装置，还用于接收所述处理器发送的数据读取指令，，在接收到所述数据读取指令后，读取所述第一内存模块中的数据并将所述第一内存模块中的数据返回给所述处理器；
[0155]所述第一代理装置，还用于接收所述处理器写入的所述第一内存模块中的数据，将所述第一内存模块中的数据发送至所述第二代理装置；
[0156]所述第二代理装置，用于接收所述第一代理装置发出的所述数据，将所述数据写入所述第二内存模块中；
[0157]所述处理器，还用于向所述第一代理装置的第一物理地址写入第一数据；
[0158]所述第一代理装置，还用于接收到所述第一数据后，将所述第一数据转发给所述第二代理装置；
[0159]所述第二代理装置，还用于在接收到所述第二代理装置转发的所述第一数据后，将所述第一数据写入所述第二内存模块中的所述第一物理地址；
[0160]所述处理器，还用于在所述数据迁移完后，向所述第一代理装置发送镜像关系解除指令，以及在发出所述镜像关系解除指令后，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态；
[0161]所述第一代理装置，还用于接收到所述镜像关系解除指令后，解除与所述第二代理装置的所述镜像关系。
[0162]所述处理器，还用于在所述数据迁移完以及向所述第一代理装置发送镜像关系解除指令后，断开所述第一内存模块的电源，以移除所述第一内存模块；
[0163]所述处理器，还用于当接收到用户的内存模块添加请求时，给添加的内存模块供电，并对所述添加的内存模块进行初始化，所述添加的内存模块成为空闲内存模块。
[0164]根据本发明实施例提供的一种服务器，其中的处理器通过在两个内存模块的代理装置之间建立镜像关系，指示代理装置在两个内存模块间进行数据迁移，从而完成一个内存模块到另一个内存模块的数据迁移，整个数据迁移过程无需操作系统参与，数据迁移过程耗时短，方便地实现了服务器中内存模块的数据迁移，能方便地对处于运行状态的内存模块进行热移除，且在数据迁移过程中，仍然可以接收处理器对运行的内存模块的读写操作，不会造成数据错误。
[0165]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
[0166]在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个设备中，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0167]所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部，模块来实现本实施例方案的目的。
[0168]另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0169]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件设备的形式体现出来，该计算机软件设备可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0170]以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。
【权利要求】
1.一种服务器中内存模块的数据迁移方法，其特征在于，包括: 当处理器接收到用户对第一内存模块的数据迁移请求时，所述处理器查找第二内存模块，并向第一代理装置发送镜像关系建立指令，所述第一内存模块处于运行状态，所述第二内存模块处于空闲状态； 所述第一代理装置接收所述镜像关系建立指令，与第二代理装置建立镜像关系； 所述处理器向所述第一代理装置发送数据迁移指令； 所述第一代理装置接收所述数据迁移指令，将所述第一内存模块中的数据发送至所述第二代理装置； 所述第二代理装置将所述第一内存模块中的数据写入所述第二内存模块中； 所述处理器向所述第一代理装置发送镜像关系解除指令，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态；所述第一代理装置接收所述镜像关系解除指令，解除与所述第二代理装置的所述镜像关系。
2.如权利要求1所述的方法，其特征在于，所述第一代理装置接收所述数据迁移指令，将所述第一内存模 块中的数据发送至所述第二代理装置，包括: 所述第一代理装置接收所述处理器发送的数据读取指令，读取所述第一内存模块中的数据并将所述第一内存模块中的数据返回给所述处理器； 所述第一代理装置接收所述处理器写入的所述第一内存模块中的数据，将所述第一内存模块中的数据发送至所述第二代理装置。
3.如权利要求1或2所述的方法，其特征在于，所述处理器向所述第一代理装置发送镜像关系解除指令之前，还包括: 所述处理器向所述第一代理装置的第一物理地址写入第一数据； 所述第一代理装置接收所述第一数据，并将所述第一数据转发给所述第二代理装置； 所述第二代理装置将所述第一数据写入所述第二内存模块中的所述第一物理地址。
4.如权利要求1-3任意一项所述的方法，其特征在于，所述第一代理装置接收所述镜像关系解除指令，解除与所述第二代理装置的所述镜像关系之后，还包括: 所述处理器断开所述第一内存模块的电源，以移除所述第一内存模块。
5.如权利要求1-4任意一项所述的方法，其特征在于，还包括: 当所述处理器接收到用户的内存模块添加请求时，所述处理器给添加的内存模块供电，并对所述添加的内存模块进行初始化，所述添加的内存模块进入空闲状态。
6.一种服务器，其特征在于，包括: 处理器、连接所述处理器的第一代理装置和第二代理装置、与所述第一代理装置连接的第一内存模块、以及与所述第二代理装置连接的第二内存模块； 所述处理器，用于当接收到用户对第一内存模块的数据迁移请求后，并且所述第一内存模块为运行状态，所述第二内存模块为空闲状态时，查找第二内存模块，并向第一代理装置发送镜像关系建立指令； 所述第一代理装置，用于接收所述镜像关系建立指令，在接收到所述镜像关系建立指令后，与第二代理装置建立镜像关系； 所述处理器，还用于在所述镜像关系建立完成后，向所述第一代理装置发送数据迁移指令；所述第一代理装置，还用于接收所述数据迁移指令，在接收到所述数据迁移指令后，将所述第一内存模块中的数据发送至所述第二代理装置； 所述第二代理装置，用于接收所述第一代理装置发出的所述数据，将所述数据写入所述第二内存模块中； 所述处理器，还用于在所述数据迁移完后，向所述第一代理装置发送镜像关系解除指令，以及在发出所述镜像关系解除指令后，将所述第一内存模块和所述第二内存模块分别设置为空闲状态和运行状态； 所述第一代理装置，还用于接收到所述镜像关系解除指令后，解除与所述第二代理装置的所述镜像关系。
7.如权利要求6所述的服务器，其特征在于，所述第一代理装置还用于接收所述数据迁移指令，在接收到所述数据迁移指令后，将所述第一内存模块中的数据发送至所述第二代理装置，包括: 所述第一代理装置，还用于接收所述处理器发送的数据读取指令，在接收到所述数据读取指令后，读取所述第一内存模块中的数据并将所述第一内存模块中的数据返回给所述处理器； 所述第一代理装置，还用于接收所述处理器写入的所述第一内存模块中的数据，将所述第一内存模块中的数据发送至所述第二代理装置。
8.如权利要求6或7所述的服务器，其特征在于， 所述处理器，还用于向所述第一代理装置的第一物理地址写入第一数据； 所述第一代理装置，还用于接收到所述第一数据后，将所述第一数据转发给所述第二代理装置； 所述第二代理装置，还用于在接收到所述第二代理装置转发的所述第一数据后，将所述第一数据写入所述第二内存模块中的所述第一物理地址。
9.如权利要求6-8任意一项所述的服务器，其特征在于， 所述处理器，还用于在所述数据迁移完以及向所述第一代理装置发送镜像关系解除指令后，断开所述第一内存模块的电源，以移除所述第一内存模块。
10.如权利要求6-9任意一项所述的服务器，其特征在于， 所述处理器，还用于当接收到用户的内存模块添加请求时，给添加的内存模块供电，并对所述添加的内存模块进行初始化,所述添加的内存模块成为空闲内存模块。
【文档编号】G06F12/02GK103455372SQ201310390761
【公开日】2013年12月18日 申请日期:2013年8月31日 优先权日:2013年8月31日
【发明者】陈奔, 刘钢 申请人:华为技术有限公司