在并行分布式计算框架上使用用于短期JVM的轻量级JIT编译的制作方法

本发明总体上涉及信息处理，具体涉及在并行分布式计算框架上使用用于短期JVM(Java虚拟机)的轻量级(即时)JIT编译。

背景技术：

当使用诸如或MapReduce的并行分布式计算框架时，一些Java虚拟机(JVM)在非常短的时段(几秒)中完成。

Open Java Development Kit(OpenJDK)中的即时(JIT)编译具有四个编译级别。更高级别的JIT编译生成更快的代码，但花费更多的时间。四个编译级别如下：

级别1：不具有性能分析(profiling)的轻量级编译。

级别2：具有轻量级性能分析的轻量级编译。

级别3：具有重量级(heavyweight)性能分析的轻量级编译。

级别4：通过使用在级别2或级别3取得的性能分析结果而进行的重量级编译。

具有(I)解释器(II)级别3、以及(III)级别4的执行路径是OpenJDK中的默认设置。

当Java虚拟机是短期的时，由于方法被编译但是在编译之后未被频繁调用的状况，导致用于编译所花费的时间变得徒劳。

通常，很难提前决定是否是短期的。

现有的本领域技术涉及重用用于执行作业的JVM。但是，由于减少缓冲区高速缓存，导致连续重用JVM可能会使性能降级。因此，需要在并行分布式计算框架上使用用于短期JVM轻量级JIT编译的方法。

技术实现要素：

根据本发明的方面，用于重启虚拟机的计算机实现的方法被提供，虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。该方法包括通过使用从元数据可获得的多个标准来估计虚拟机是否是短期的。多个标准包括与虚拟机对应的工作负载列的数目、工作负载分割的数目、以及数据类型的大小。该方法还包括：响应于虚拟机被估计为是短期的，通过指定虚拟机的虚拟机参数、利用仅使用轻量级即时编译的配置来重启虚拟机。

根据本发明的另一方面，用于重启虚拟机的计算机程序产品被提供，虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。该计算机程序产品包括计算机可读存储介质，计算机可读存储介质具有随其而体现的程序指令。程序指令由计算机可执行来使计算机执行方法。方法包括通过使用从元数据可获得的多个标准来估计虚拟机是否是短期的。多个标准包括与虚拟机对应的工作负载列的数目、工作负载分割的数目、以及数据类型的大小。方法还包括：响应于虚拟机被估计为短期的，通过指定虚拟机的虚拟机参数、利用仅使用轻量级即时编译的配置来重启虚拟机。

根据以下结合附图来阅读的其说明性实施例的具体实施方式，这些和其他特征以及优点将变得明显。

附图说明

以下描述将参考以下附图来提供优选实施例的细节，其中：

图1示出了根据本发明实施例的可以应用本发明的示例性处理系统；

图2是示出了根据本发明实施例的可以应用本发明的示例性环境的框图；以及

图3示出了根据本发明实施例的用于重启Java虚拟机(JVM)的示例性方法，该Java虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。

具体实施方式

本发明涉及在并行分布式计算框架上使用用于短期JVM的轻量级JIT编译。

在实施例中，本发明基于JVM寿命来选择轻量级JIT编译的策略。例如，在实施例中，在每次重启用于处理每个作业的JVM的并行分布式计算框架中，仅针对短期JVM进行轻量级JIT编译(级别1)。

应当理解，如在给出本文提供的本发明的教导的情况下本领域普通技术人员容易理解的，尽管本发明的一个或多个实施例关于Java虚拟机(JVM)而被描述，但是本发明可以被应用于使用多个编译级别的其他虚拟机，同时保持本发明的精神。

图1示出了根据本发明实施例的可以应用本发明原理的示例性处理系统100。处理系统100包括至少一个处理器(CPU)104，其处理器(CPU)104经由系统总线102被可操作地耦合到其他组件。高速缓存106、只读存储器(ROM)108、随机存取存储器(RAM)110、输入/输出(I/O)适配器120、声音适配器130、网络适配器140、用户接口适配器150以及显示适配器160被可操作地耦合到系统总线102。至少一个图形处理单元(GPU)191被可操作地耦合到系统总线102。

第一存储设备122和第二存储设备124通过I/O适配器120而被可操作地耦合到系统总线102。存储设备122和124可以是磁盘存储设备(例如，磁盘或光盘存储设备)、固态磁设备等中的任何一个。存储设备122和124可以是相同类型的存储设备或不同类型的存储设备。

扬声器132通过声音适配器130而被可操作地耦合到系统总线102。收发器142通过网络适配器140而被可操作地耦合到系统总线102。显示器设备162通过显示适配器160而被可操作地耦合到系统总线102。

第一用户输入设备152、第二用户输入设备154以及第三用户输入设备156通过用户接口适配器150而被可操作地耦合到系统总线102。用户输入设备152、154和156可以是键盘、鼠标、小键盘、图像捕获设备、运动感测设备、麦克风、并入前述设备中的至少两个设备的功能的设备等中的任何一个。当然，其他类型的输入设备也可以被使用，同时保持本发明的精神。用户输入设备152、154和156可以是相同类型的用户输入设备或不同类型的用户输入设备。用户输入设备152、154和156被用于向系统100输入信息和从系统100输出信息。

当然，如本领域技术人员容易考虑到的，处理系统100还可以包括其他元件(未示出)，也可以省略某些元件。例如，如本领域普通技术人员容易理解的，各种其他输入设备和/或输出设备可以被包括在处理系统100中，这取决于其具体实现。例如，各种类型的无线和/或有线输入和/或输出设备可以被使用。此外，如本领域普通技术人员容易想到的，附加的处理器、控制器、存储器等也可以在各种配置中被利用。处理系统100的这些变型和其他变型，是在给出本文提供的本发明的教导的情况下本领域普通技术人员容易想到的。

此外，应当理解，下面关于图2描述的环境200是用于实现本发明的相应实施例的环境。处理系统100的一部分或全部可以在环境200的元件中的一个或多个元件中被实现。

此外，应当理解，处理系统100可以执行本文所描述的方法的至少一部分，包括例如图3的方法300的至少一部分。类似地，环境200的一部分或全部可以被用于执行图3的方法300的至少一部分。

图2是示出了根据本发明实施例的可以应用本发明的示例性环境200的框图。环境200表示可以应用本发明的并行分布式计算框架。并行分布式计算框架可以是但不限于MapReduce等。出于说明的目的，阐述了相对于图2示出的元件。然而，应当理解，本发明可以应用于如在给出本文提供的本发明的教导的情况下本领域普通技术人员容易想到的其他配置和其他操作环境，同时保持本发明的精神。

环境200至少包括在并行分布式计算框架中连接的多个计算节点210。多个计算节点210形成机器的集群299。在实施例中，在集群299中，计算节点210中的一个可以充当主端(master)210M，而其他计算节点可以充当从端(slave)210S。在实施例中，计算节点210中的每个计算节点可以包括一个或多个服务器或其他计算机器。

计算节点210中的每个计算节点可以至少包括处理元件231、存储器232、以及通信设备233。通信设备233可以是但不限于例如无线收发器、以太网适配器、网络接口卡(NIC)等。

计算节点210中的每个计算节点被配置为实现本发明，即在并行分布式计算框架上使用用于短期JVM的轻量级JIT编译。

在图2中示出的实施例中，其元件通过(多个)网络201而被互连。然而在其他实施例中，其他类型的连接也可以被使用。另外，图2中的一个或多个元件可以由各种设备实现，这些设备包括但不限于数字信号处理(DSP)电路、可编程处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)等。在给出本文提供的本发明的教导的情况下，环境200的元件的这些和其他变型可以被本领域普通技术人员容易地确定，同时保持本发明的精神。

图3示出了根据本发明实施例的用于重启Java虚拟机的方法300，Java虚拟机用于处理并行分布式计算框架中的多个作业中的每个作业。

在步骤310处，通过使用从元数据可获得的多个标准来估计是否是短期的。

多个标准可以包括但不限于，例如：列的数目；分割的数目；数据类型的大小；上的查询的运算符；上的执行线程的数目；虚拟机上的垃圾回收的频率；并行分布式计算框架的一个或多个设置；硬件配置(例如，硬件线程的数目、系统RAM的大小等)。并行分布式计算框架的一个或多个设置可以包括但不限于，例如：thrift服务器是否被使用；具有代码生成的查询优化(例如，中的整个阶段代码生成)是否被启用；集群资源管理器(例如，YARN知)是否限制寿命和/或并行分布式计算框架的计算资源；运行时的版本和类型(例如，OpenJDK或)；并行分布式计算是否在虚拟化环境之上运行；输入存储类型(例如，分布式/本地文件系统、数据库系统、以及云对象存储)等。列的数目可以对应于例如来自的输出表格或由处理的表格。输出表格可以包括例如监测的统计数据等。分割的数目可以对应于例如由处理的工作负载或输入的分割的数量。数据类型的大小可以对应于将由处理的各种不同数据类型(例如布尔型、字节型、字符型、短整型、整型、长整型、浮点型、双精度型)。

在步骤320处，响应于虚拟机被估计为短期的，通过指定虚拟机的虚拟机参数、利用仅使用轻量级即时(JIT)编译的配置来重启在实施例中，轻量级JIT编译可以对应于OpenJDK中的(四个级别中的)级别1。因此，在实施例中，轻量级JIT编译可以不具有性能分析。再次注意，OpenJDK中的默认设置是具有(I)解释器(II)级别3和(III)级别4的执行路径。

在步骤330处，在执行虚拟机之后，检查曾经被估计为是短期的实际上是短期的还是实际上不是短期的。如果实际上是短期的，则终止该方法。否则(如果实际上不是短期的)，则进行到步骤340。

在步骤340处，响应于JVM实际上不是短期的，调整多个标准中的至少一个标准。

本发明可以是任何可能的技术细节集成级别的系统、方法和/或计算机程序产品。该计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或媒介)，计算机可读存储介质用于使得处理器执行本发明的方面。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中指定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中指定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中指定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现指定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行指定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。说明书中对本发明的“一个实施例”或“实施例”的引用以及其他变型意味着结合该实施例描述的特定特征、结构、特性等被包括在本发明的至少一个实施例中。因此，在整个说明书中各个位置出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型不一定都指代相同的实施例。

应当理解，使用以下中的至少一项：“/”、“和/或”、以及“...中的至少一个”(例如，在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下)，意在涵盖仅选择第一个列出的选项(A)、或仅选择第二个列出的选项(B)、或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”以及“A、B和C中的至少一个”的情况下，这种措辞意在涵盖仅选择第一个列出的选项(A)、或仅选择第二个列出的选项(B)、或仅选择第三个列出的选项(C)、或仅选择第一个和第二个列出的选项(A和B)、或仅选择第一个和第三个列出的选项(A和C)、或仅选择第二个和第三个列出的选项(B和C)、或选择所有三个选项(A和B和C)。如本领域和相关领域的普通技术人员显见的，针对所列出的多个项目，这是可以扩展的。

已经描述了系统和方法的优选实施例(其意在是说明性的而非限制性的)，应当注意，鉴于上文的教导，本领域技术人员可以进行修改和变化。因此，应当理解，可以在所公开的特定实施例中进行改变，这些改变在所附权利要求概述的本发明的范围内。已经如此描述了本发明的各方面与专利法要求的细节和特殊性，由专利证书所要求和期望保护的内容在所附权利要求中被阐述。