一种内存管理方法及装置与流程

本发明涉及计算机技术领域，尤其涉及一种内存管理方法及装置。

背景技术：

相对于传统的4k页面内存，linux操作系统支持2m以上的大页面的内存，称为大页内存(hugepage)。通过大页内存可以提高内存管理以及访问效率。在使用大页内存的过程中，用户进程需要通过虚拟文件系统(hugetlbfs)将文件映射(mmap，一种内存映射文件方法，可将一个文件或者对象映射到进程的地址空间中)到进程虚拟内存地址空间来使用，而为了提高虚拟内存地址到物理内存地址的转换效率，用户进程需要维护一个虚拟内存地址到物理内存地址的映射表。

当进程访问的虚拟内存对应的物理内存出现mce(machinecheckexception，cpu发现硬件错误时触发的异常)错误并达到一定阈值的时候，操作系统会将对应的有问题的物理内存页进行迁移，同时将进程虚拟内存映射到新的物理内存，以确保内存访问的可用性。但是，该内存迁移的流程对于用户进程来说是无感知的，也就是说，操作系统在执行内存页迁移时不会告知用户进程，如此，对于大页内存使用方式来说，用户进程自己维护的虚拟内存地址到物理内存地址的映射表依然还基于操作系统迁移内存页之前的映射关系，导致用户进程访问虚拟地址对应的物理地址时出现错误。

技术实现要素：

鉴于上述问题，本发明实施例提出了一种内存管理方法及装置，以降低因内存页迁移导致的内存访问错误。

为达到上述目的，本发明实施例主要提供如下技术方案：

一方面，本发明实施例提供一种内存管理方法，具体包括：

利用监测进程监听访问内存页的异常信息，所述异常信息包括处理器发现错误时触发的异常信息；

当同一内存页的异常信息达到阈值时，通过所述监测进程触发运行第一管理脚本；

对异常信息达到阈值的所述内存页进行迁移。

另一方面，本发明实施例提供一种内存管理装置，具体包括：

监听单元，用于利用监测进程监听访问内存页的异常信息，所述异常信息包括处理器发现错误时触发的异常信息；

触发单元，用于当监听单元监听到同一内存页的异常信息达到阈值时，通过所述监测进程触发运行第一管理脚本；

迁移单元，用于对所述监听单元监听到的异常信息达到阈值的所述内存页进行迁移。

另一方面，本发明实施例提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的内存管理方法。

另一方面，本发明实施例提供一种内存管理装置，所述内存管理装置中包括处理器和存储器，所述存储器用于存储程序，所述处理器耦合至所述存储器，用于运行所述程序，以执行上述的内存管理方法。

借由上述技术方案，本发明实施例提供的一种内存管理方法及装置，对内存管理进行的优化改进，通过监测进程监听到的某一内存页的错误达到一定阈值时，先触发第一管理脚本执行指令，再执行内存页的迁移操作，而该第一管理脚本的执行使得用户进程可以实时地感知到操作系统对内存页的迁移操作情况，从而减少了由于内存页的迁移而导致的访问错误，提高了操作系统的可用性与稳定性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种内存管理方法的流程图；

图2示出了本发明实施例中初始化监测进程的流程图；

图3示出了本发明实施例提出的另一种内存管理方法的流程图；

图4示出了本发明实施例提出的一种内存管理装置的组成框图；

图5示出了本发明实施例提出的另一种内存管理装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供的一种内存管理方法，主要是针对内存地址迁移过程所改进的管理方案，其具体步骤如图1所示，该方法包括：

步骤101、利用监测进程监听访问内存页的异常信息。

其中，异常信息包括处理器发现错误时触发的异常信息，比如mce错误信息。其中，处理器不限定为应用于计算机中的中央处理器，也可以为应用于手机、显卡或者其他智能家电中的微处理器，还可以为现场可编程门阵列(field-programmablegatearray，fpga)等可编程逻辑器件。在本发明的示例性实施例中以cpu为例，mce错误是指由cpu发现的错误，因此，导致mce错误并不全是由于存储访问引发的。所以，本步骤是在操作系统中创建一个监测进程，该监测进程专用与监听cpu所发现关于访问内存页导致的mce错误。其中，所创建的监测进程为用户态进程(mcedaemon)，启用该监测进程时需要对其进行初始化，具体流程如图2所示，mcedaemon在初始化时会加载配置文件，而该配置文件中包括有由用户根据需求注册的迁移大页内存的管理脚本，而该管理脚本又分为迁移大页前运行的管理脚本(第一管理脚本)与迁移大页后运行的管理脚本(第二管理脚本)。

需要说明的是，该步骤中所监听到的异常信息为内存所含有的所有内存页的异常信息，也就是说，每一条异常信息中会记录有其所访问的内存页。

步骤102、当同一内存页的异常信息达到阈值时，通过监测进程触发运行第一管理脚本。

本步骤在执行时，是基于每一内存页单独统计所发生的异常信息数量，即根据异常信息中记录的内存页数据累加各个内存页发生的异常信息数量，当某一内存页中的异常信息数量达到阈值时，就会由监测进程触发第一管理脚本的执行。同时，也会执行步骤103。

其中，第一管理脚本为上述的迁移大页前的管理脚本，通过执行第一管理脚本，监测进程能够将需要迁移的内存页的相关信息通知用户进程，防止用户进程在迁移内存页的过程中对其访问而导致的访问错误。该第一管理脚本一般是由用户根据对内存管理的需求进行定义编写的，通过执行该第一管理脚本，实现向用户进程发送通知，以提示该内存页由于mce错误需要进行迁移，实现用户进程对操作系统迁移内存页的实时感知。

步骤103、对异常信息达到阈值的内存页进行迁移。

本步骤在执行时，其与步骤102中监测进程触发第一管理脚本的执行顺序并不具体限定，当考虑到触发第一管理脚本的执行时间，为了避免出现先迁移内存页而导致用户进程不能及时感知，导致用户进程依然使用错误的内存地址对照表访问内存页而出现访问错误的情况，本实施例在实际应用中会先执行触发第一管理脚本的操作，之后再执行迁移内存页的操作。

通过上述实例可见，本发明实施例所提供的一种内存管理方法，是通过监测进程监听到的某一内存页的mce错误达到一定阈值时，先触发一个脚本执行指令，再执行内存页的迁移操作，而该脚本的执行使得用户进程就可以实时地感知到操作系统对内存页的迁移操作情况，从而减少了由于内存页的迁移而导致的访问错误，提高了操作系统的可用性与稳定性。

上述图1所示的实施例中，通过触发运行第一管理脚本可以让用户进程有效地感知操作系统对内存页的迁移操作，而为了确保用户进程在访问内存时不会出现由于迁移内存页出现的错误，本发明通过一个优选实施例进一步实现对用户进程维护的内存地址对照表进行更新，其具体步骤如图3所示，包括：

步骤201、利用监测进程监听访问内存页的异常信息。

步骤202、判断同一内存页的异常信息的数量是否达到阈值。

若是，则执行步骤203；若未达到阈值，则执行步骤201。

步骤203、通过监测进程触发运行第一管理脚本。

步骤204、将异常信息达到阈值的内存页进行迁移。

步骤205、在完成内存页迁移后，监测进程触发运行第二管理脚本。

其中，用户进程根据该第二管理脚本的执行结果更新内存地址映射表，该内存地址映射表中记录有虚拟内存地址到物理内存地址的映射关系。

上述实施例中，步骤201至步骤204的内容与图1所示实施例的内容相同，而步骤205是在操作系统完成内存页迁移后，由监测进程再次触发运行一个迁移大页后的管理脚本，即第二管理脚本。需要说明的是，该第二管理脚本是与第一管理脚本相对应的，在本发明实施例中，第一管理脚本的主要作用除了提示用户进程存在迁移内存页的操作外，其另一作用主要是让用户进程中断访问被迁移的内存页，如此，就可以避免出现迁移内存页的过程中，用户进程出现内存访问错误的问题。由于用户进程是根据第一管理脚本的执行结果而中断内存访问的，为了确保用户进程的正常执行，就需要在完成内存页迁移后，通过执行第二管理脚本来恢复用户进程对内存的访问。对应于该第二管理脚本，用户进程则可以根据第二管理脚本运行得到的中断恢复指令对映射表进行更新操作，从而确保自身维护的内存地址映射表与操作系统中内存地址映射关系相一致，如此，用户进程在恢复内存访问后就避免出现因迁移内存页而导致的内存访问错误。

进一步的，为了实现监测进程在监听到内存页的mce错误数量达到阈值时，在执行迁移内存页的操作前后，能够触发运行第一管理脚本以及第二管理脚本，本发明的一个优选实施例中，还需要在监测进程进行初始化时，为监测进程加载具有管理脚本注册项的配置文件。即在监测进程初始化的配置文件中，增加管理脚本注册项，通过管理脚本注册项可以指定监测进程在监听到内存页的mce错误数量达到阈值时，所触发的执行脚本，即第一管理脚本，并且，还可以同时指定在完成内存页迁移后，所触发的执行脚本，即第二管理脚本。其中，该管理脚本注册项至少包括有：第一管理脚本注册项与第二管理脚本注册项两项，当不需要执行第二管理脚本时，可以缺省设置第二管理脚本注册项两项。

此外，根据实际需求，对于管理脚本注册项所注册的脚本数量不做具体限定，即对于第一管理脚本注册项或第二管理脚本注册项都可以同时注册多个脚本。

进一步的，对于在配置文件中所注册的管理脚本，则是可以根据实际应用场景的需求，由用户自定义编写的，因此，在初始化监测进程之前，还需要接收用户编写的第一管理脚本与第二管理脚本，以便在监测进程触发管理脚本时，能够准确地调用并执行对应的管理脚本。其中，本发明实施例中提出的预设场景如：对于第一管理脚本可以应用的场景为通知用户进程、日志记录、中断用户进程中的一个或多个；对于第二管理脚本可以应用的场景为重启用户进程和/或恢复被中断的用户进程等。也就是说，在本发明实施例中，第一管理脚本与第二管理脚本可以是一个应用于多场景的通用性管理脚本，也可以是一个专用于某一场景的管理脚本。

对于通知、日志记录等应用场景，其主要目的是告知用户进程，使其能实时感知操作系统迁移内存页，对此，由于不需要对用户进程内的内存地址映射关系进行更新，可以仅在配置文件中设置第一管理脚本，执行图1所示实施例的具体步骤来实现内存管理。而对于中断、重新用户进程，或更新用户进程的内存地址映射关系等应用场景，其主要目的是为了确保用户进程内的内存地址映射关系的准确性，为此，就需要在配置文件中同时设置第一管理脚本与第二管理脚本，执行图3所示实施例的具体步骤来实现内存管理。

进一步的，为了确保准确地执行监测进程，避免由于配置文件中管理脚本注册项的设置错误问题导致用户进程执行的错误，本发明的一个优选实施例中，还对配置文件的内容进行检测分析，以确保配置文件在具体应用场景中注册管理脚本的准确，具体实现包括：

在加载配置文件时，判断第一管理脚本所应用的预设场景，该判断可通过分析第一管理脚本的内容或标签信息实现，其中，标签信息用于标记该第一管理脚本的应用场景。

若确定第一管理脚本所应用的预设场景为中断用户进程时，说明在该配置文件中不仅需要注册第一管理脚本注册项，还需要注册第二管理脚本注册项，此时，将进一步检测该配置文件是否存在第二管理脚本的注册项。

若存在，则说明该配置文件是正确的，反之，若不存在，则说明该配置文件错误，需要进行更改，此时，将触发报警信息，同时中断加载配置文件的操作。

进一步的，在执行上述图1或图3中的利用监测进程监听访问内存页的异常信息的步骤时，所述异常信息包括处理器发现硬件错误时触发的异常信息。本发明实施例的具体实现包括：由中央处理器根据异常信息的硬件类型进行分类，之后，由监测进程根据分类结果获取由访问内存页导致的异常信息。

其中，硬件类型的分类包括有cpu、主板、硬盘、内存、网卡等硬件设备，而这些硬件在运行过程中都有可能触发mce错误，此时，cpu会根据mce错误所对应的硬件进行分类，而监测进程在本发明实施例中则主要用于监听涉及内存的mce错误，并且会根据该mce错误中所访问的具体内存页进行单独统计，以确定一个内存页中所发生的mce错误是否达到阈值。

进一步的，作为对上述图1、图3所示方法的实现，本发明实施例提供了一种内存管理装置，该装置主要用于提示用户进程操作系统对内存页进行迁移操作，降低因内存页迁移导致的内存访问错误。为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置如图4所示，具体包括：

监听单元31，用于利用监测进程监听访问内存页的异常信息，所述异常信息包括处理器发现硬件错误时触发的异常信息；

触发单元32，用于当监听单元31监听到同一内存页的异常信息达到阈值时，所述监测进程触发运行第一管理脚本；

迁移单元33，用于对所述监听单元31监听到的异常信息达到阈值的内存页进行迁移。

进一步的，如图5所示，所述装所述触发单元32还用于，在迁移单元33完成内存页迁移后，通过所述监测进程触发运行第二管理脚本，所述用户进程根据第二管理脚本的执行结果更新内存地址映射关系。

进一步的，如图5所示，所述装置还包括：

初始化单元34，用于在初始化所述监测进程时，加载具有管理脚本注册项的配置文件，通过所述管理脚本注册项注册所述第一管理脚本与第二管理脚本。

进一步的，如图5所示，所述装置还包括：

接收单元35，用于接收根据预设场景编写的所述第一管理脚本，所述预设场景至少包括通知用户进程、日志记录、中断用户进程；

所述接收单元35还用于，接收根据预设场景编写的所述第二管理脚本，所述预设场景至少包括重启用户进程、恢复被中断的用户进程。

进一步的，如图5所示，所述初始化单元34包括：

判断模块341，用于在加载配置文件时，判断所述第一管理脚本所应用的预设场景；

检测模块342，用于若所述判断模块341确定预设场景为中断用户进程时，检测所述配置文件是否存在第二管理脚本的注册项；

报警模块343，用于若检测模块342确定不存在第二管理脚本的注册项，则触发报警信息。

进一步的，如图5所示，所述异常信息包括处理器发现硬件错误时触发的异常信息，所述监听单元31包括：

分类模块311，用于由处理器根据所述异常信息的硬件类型进行分类；

获取模块312，用于监测进程根据所述分类模块311的分类获取由访问内存页导致的异常信息。

综上所述，本发明实施例所提供的一种内存管理方法及装置，是对监测进程进行初始化时，通过修改配置文件，在其中添加管理脚本注册项，以使得监测进程在监听到的某一内存页的mce错误达到一定阈值时，先触发一个脚本执行指令，再执行内存页的迁移操作，通过执行该脚本实现用户进程具有对操作系统迁移内存页实时感知的能力，并且，还可以在执行内存页的迁移操作之后，再次出发一个脚本执行指令，通过后执行的脚本实现对用户进程自身维护的内存地址映射关系进行更新，确保该映射关系与操作系统迁移内存页后虚拟内存地址与物理内存地址的对应关系相一致，从而减少了由于映射关系的误差而导致的访问错误情况，提高了操作系统的可用性。

进一步的，本发明实施例还提供了处理器，该处理器用于运行程序，其中，所述程序运行时执行如图1或图3所述的内存管理方法。

另外，本发明实施例还提供了一种内存管理装置，该内存管理装置中包括处理器和存储器，存储器用于存储程序，处理器耦合至所述存储器，用于运行所述程序，以执行如图1或图3所述的内存管理方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。