虚拟对称多处理虚拟机创建方法、数据处理方法及系统与流程

本发明涉及计算机虚拟机领域，尤其涉及虚拟对称多处理虚拟机创建方法、数据处理方法。

背景技术：

人们对于大数据数据库的应用追求从未停止，现代大数据数据库的应用基本上更多是指在原有计算器或服务器硬盘上建立数据库并运行索引程序，其数据量一般均大于十万笔以上，所以，我们一般不把运行低于十万笔数据量或未应用大数据索引程序的系统称呼为大数据数据库，而只将数据量大于十万笔及运行索引程序的数据库称作为大数据数据库系统。大数据数据库系统的构件主要为运算处理器、硬盘、内存、操作系统与数据库软件所组成，在许多的数据库应用，尤其是在大规模数据搜索的情况下，其最终性能皆由I/O(硬盘、内存吞吐量)所决定，而往往不是被运算处理器的计算能力所限制，而这一现象也使大数据数据库系统针对I/O的设计有更苛刻的要求。很显然，要满足超大规模的数据运算、搜寻及索引的I/O要求，如果用传统的硬盘作为载体，单靠硬盘的堆栈传输，是很难达成高扩展、高速度、低延迟的大数据数据库系统设计目的。且在现今虚拟化技术的发展方向上，均朝着分布式的应用程序虚拟化方向研究，如传统的VMware、Zen-desktop、Hyper-V或KVM及现今container与Docker技术，主要着眼点均为将应用程序所需的资源打包，进而实现在单一计算机上同时进行多重应用程序计算、最大化单机计算量应用，加重了I/O负担的同时，在进行需要巨量内存计算的情况下，单机也无法提供足够的内存进行计算交换，从而影响数据处理的速度。

技术实现要素：

针对上述现有技术中的不足，本发明提供一种虚拟对称多处理虚拟机创建方法、数据处理方法及系统，将多个计算机虚拟成一个大型计算机，所有计算机的硬件资源视为同一系统资源统一调派，从而可实现需要大量内存与运算资源的数据处理，并具有运算速度快、结构简单、成本低、便于管理、灵活性强、资源利用率高和可扩展性强的优点。

为了实现上述目的，提供本发明的一种虚拟对称多处理虚拟机创建方法，包括步骤：

S11：通过一无限带宽网络连接多个计算机节点，各所述计算机节点之间相互通信连接，所述计算机节点包括一主机和多个子机；

S12：将各所述计算机节点的作业系统整合为由所述主机控制的一虚拟作业系统；

S13：将各所述计算机节点的硬件整合为一硬件资源池，并将各所述计算机节点的数据库整合为一数据库池；

S14：所述主机通过所述虚拟作业系统对所述硬件资源池和所述数据库池直接管理和调用。

优选地，所述硬件资源池包括一内存池和一CPU池，所述内存池包括各所述计算机节点的内存，所述CPU池包括各所述计算机节点的CPU。

优选地，所述无限带宽网络和所述多个计算机节点形成虚拟对称多处理结构。

本发明的一种虚拟对称多处理虚拟机系统，包括：

一数据传输模块，数据传输模块设置于一主机，用于接收客户端的任务请求和向所述客户端发送所述任务请求的处理结果；

一硬件资源池，所述硬件资源池包括多个计算机节点的硬件，所述计算机节点包括所述主机和多个子机，所述多个计算机节点通过一无限带宽网络相互通信连接；

一数据库池，所述数据库池包括各所述计算机节点的数据库；以及

一虚拟作业系统，设置于所述主机，用于直接管理和调用所述硬件资源池与所述数据库池完成所述任务请求获得所述处理结果，并控制数据传输模块发送所述处理结果。

优选地，所述硬件资源池包括一内存池和一CPU池，所述内存池包括各所述计算机节点的内存，所述CPU池包括各所述计算机节点的CPU。

优选地，所述无限带宽网络和所述多个计算机节点形成虚拟对称多处理结构。

优选地，所述虚拟作业系统采用OpenMP应用编程接口和MPI编程接口标准。

本发明的一种基于本发明所述的虚拟对称多处理虚拟机系统的数据处理方法，包括步骤：

S21：所述主机接收所述客户端发送的任务请求；

S22：所述虚拟作业系统根据所述任务请求的内容对所述硬件资源池和/或所述数据库池进行调用并获得所述任务请求的处理结果；

S23：所述主机将所述任务请求的处理结果发送给所述客户端。

优选地，所述步骤S22进一步包括：

S221：所述虚拟作业系统根据所述任务请求的内容和当前硬件资源池的使用状态，形成一任务处理策略；

S222：根据所述任务处理策略将所述任务请求分割为多个子任务并派送给对应的所述计算机节点；

S223：所述计算机节点根据所述子任务调用所需的所述硬件和/或所述数据库，并向所述虚拟作业系统发送调用结果；

S224：所述虚拟作业系统根据所述调用结果获得所述任务请求的处理结果。

本发明由于采用了以上技术方案，使其具有以下有益效果：

无限带宽网络的采用加强了本发明虚拟对称多处理虚拟机的可扩展性。虚拟作业系统统一管理调用各计算机节点的资源，实现集群系统的统一管理和统一调控，使得用户对整个虚拟对称多处理虚拟机系统的管理调控更为便捷、灵活，并能有效提高虚拟对称多处理虚拟机系统的整体资源利用率。由于内存池的采用，且内存池接受虚拟作业系统统一管理调用，使得在需要大规模或巨量的运算时，虚拟作业系统可将数据直接在内存池中进行交换，减少运用硬盘的I/O，从而达到加速数据处理的目的。同时，当本发明数据库池中的任一数据库需大量的运算及内存资源时，虚拟作业系统可做实时且动态的调配，可调用内存池中其他计算机节点的内存供当前计算机节点的数据处理使用，从而防止单一计算机节点受限于硬件资源而无法进行工作或降低工作效率的情况，同时提高了系统资源的整体利用率。

附图说明

图1为本发明实施例的虚拟对称多处理虚拟机创建方法的流程图；

图2为本发明实施例的虚拟对称多处理虚拟机的结构示意图；

图3为本发明实施例的虚拟对称多处理虚拟机的原理图；

图4为本发明实施例的数据处理方法的流程图。

具体实施方式

下面根据附图1-4，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。

请参阅图1～图3，本发明的一种虚拟对称多处理虚拟机创建方法，包括步骤：

S11：通过一无限带宽网络1(Infinite Band)连接多个计算机节点，各计算机节点之间相互通信连接，计算机节点包括一主机21和多个子机22；计算机节点的个数不限，可根据需要进行任意扩充和调整，可高达百台甚至超过数千台。

S12：将各计算机节点的作业系统整合为由主机21控制的一虚拟作业系统212。例如，现有四台计算机，先于硬件上先建立无限带宽网路通讯架构(透过交换机互连或透过直连路由方式互连)，而后将各计算机设定其IP地址与作业系统的网络、通讯与函式库等设定(包含TCP/IP,Infini-band,SNMP与MPI及OpenMP等函数库及通讯协议)，将此四台计算机集成为一计算机集群，选择其中任一台成为主控计算机(主机21)，其余三台成为附属计算机(子机22)，在主机21上布置主控软件，在布置的同时，主机21会将附属软件同时派送至子机22上，布置后主控软件即会生成一虚拟作业系统212，透过无限带宽网络1及SNMP、MPI、OpenMP等协议进行一系列的跨机工作交付，资源统整应用与监控等服务。

S13：将各计算机节点的硬件整合为一硬件资源池23，并将各计算机节点的数据库整合为一数据库池24。

其中，硬件资源池23包括一内存池和一CPU池，内存池包括各计算机节点的内存，CPU池包括各计算机节点的CPU。

S14：主机21通过虚拟作业系统212对硬件资源池23和数据库池24直接管理和调用。

其中，无限带宽网络1和多个计算机节点形成虚拟对称多处理(vSMP,virtual symmetric multiprocessing)结构,其是对称多处理(SMP,symmetric multiprocessing)的一种方法，它可以将两个或两个以上的虚拟处理器分配到一个单一的虚拟机或分区。这样就可以在至少有两个逻辑处理器的主机21上给虚拟机分配多个虚拟处理器。虚拟对称多处理(vSMP)可用于连接多线程，这是一个项目同时管理多个用户请求的能力。

本发明通过一无限带宽网络1连接多个计算机节点，并通过虚拟技术将多个计算机节点虚拟成一大型计算机；其中虚拟技术包含:通过操作系统层的虚拟化，将多个计算节点的硬件资源集成为虚拟的大型计算机的硬件资源池23，通过虚拟作业系统212统一管控，所有硬件资源视为同一系统的资源均一调派，透过此架构，可实现跨节点的通讯沟通与任务派送排程、计算资源的统筹与应用，可将需要大量内存与运算资源的数据库运行于此虚拟作业系统212，实现加速数据库运算的目标。

与传统虚拟化概念化整为零(即：将一台实体计算机对多虚拟作业系统212)相反，本发明的虚拟化概念为化零为整，将多台计算机实体虚拟为一大型的对称多处理器计算机，并整合每个系统的计算器、内存以及输入/输出能力，同时生成一个操作系统和应用软件均统一的虚拟作业系统212。

本发明的S12和S13中将各计算机节点的作业系统整合为由主机21控制的一虚拟作业系统212，并将各计算机节点的硬件整合为一硬件资源池23，其中硬件包括运算处理单元(如：CPU)、内存、硬盘等，全视为单一虚拟机的硬件资源。

请参阅图2、图3，本发明的一种虚拟对称多处理虚拟机系统，包括：一数据传输模块211、一硬件资源池23，一数据库池24和一虚拟作业系统212；其中虚拟作业系统212连接硬件资源池23、数据库池24和数据传输模块211，数据传输模块211连接外部客户端3。

本实施例中，数据传输模块211设置于一主机21，用于接收客户端3的任务请求和向客户端3发送任务请求的处理结果。

硬件资源池23包括多个计算机节点的硬件，计算机节点包括主机21和多个子机22，多个计算机节点通过一无限带宽网络1相互通信连接。本实施例中，无限带宽网络1和多个计算机节点形成虚拟对称多处理(vSMP)结构。

与传统对称多处理(SMP)构架的计算机相比，本发明的一种虚拟对称多处理虚拟机系统可提供更为卓越的性价比，可与x86集群相媲美。具有易于安装和管理，并且具有大容量内存，同时可使用广泛的基于x86的应用程序产品组合。对于群集客户，本发明可以继续运行相同性能级别的并行应用程序，而避免了多个操作系统管理、应用程序配置、群集文件系统和群集互连管理的复杂性。

此外，本发明还显着简化了I/O(输入/输出)体系结构，降低了成本(特别针对快速暂时存储)。集群客户还获得了多功能计算平台，除并行工作负载之外，它还可以运行大内存、多核作业。编程模型同样更具灵活性。

由于每个计算机节点的CPU、内存以及I/O，同时生成一个操作系统和应用软件均统一的虚拟作业系统212，使用者可运行平时需使用传统硬盘(swapfile)作为计算交换的程序，并将此类应用程序搬移至内存池中，通过内存的快速的I/O速度，大幅减少计算所需时间。如大数据资料库检索、资料库盘点均可按此架构达成加速的功效。

其中，硬件资源池23包括一内存池和一CPU池，内存池包括各计算机节点的内存，CPU池包括各计算机节点的CPU。

数据库池24包括各计算机节点的数据库。实现各计算机节点的数据库的统一管理。

虚拟作业系统212设置于主机21，用于直接管理和调用硬件资源池23与数据库池24完成任务请求获得处理结果，并控制数据传输模块211发送处理结果。本实施例中，虚拟作业系统212采用OpenMP应用编程接口和MPI编程接口标准。

虚拟作业系统212统一管理调用各计算机节点的资源，实现集群系统的统一管理和统一调控，使得用户对整个虚拟对称多处理虚拟机系统的管理调控更为便捷、灵活，并能有效提高虚拟对称多处理虚拟机系统的整体资源利用率。

由此架构可克服计算机节点的数据库应用受限于单一物理计算机系统资源问题。本发明通过vSMP架构将多个计算机的内存集成为一内存池，需大量内存计算的数据库应用或其他需大量内存运算的应用等可通过此架构取得所需内存，以在内存中运算取代传统因内存不足而使用于硬盘中暂存档运算，以此加速计算速度。

本发明的一种虚拟对称多处理虚拟机系统，在需要将大数据数据库直接建立于虚拟作业系统212中时，需要大规模或巨量的运算，虚拟作业系统212将数据直接在内存池中进行交换，从而减少运用硬盘的I/O，从而达到加速数据处理的目的。

另外，当本发明的一种虚拟对称多处理虚拟机系统中的数据库池24中的任一数据库需大量的运算及内存资源时，虚拟作业系统212可做实时且动态的调配，可调用内存池中其他计算机节点的内存供当前计算机节点的数据处理使用，从而防止单一计算机节点受限于硬件资源而无法进行工作的情况。

例如，当一数据库在进行大数据检索时，该数据库运算内存的空间需求为500GB，而原始分配给该数据库的内存资源为4GB，此时虚拟作业系统212会透过API接口收得此讯息，并计算内存池的冗馀资源，若此时内存池的资源仍有800GB，虚拟作业系统212会将此资源调配给该数据库使用，满足其内存需求。此时若有其他应用程序需使用计算内存资源，虚拟作业系统212会再次计算内存池资源并将资源排程给对应应用程序使用，届此满足应用程序的内存需求并将系统资源利用最大化。

本发明中，多个计算器节点通过单一虚拟作业系统212调配运算资源，使所有计算器节点的资源整合成一高耦合、自适应、高扩展并能智能调配资源的大型计算机；又可视为是一个高性能高耦合的超级计算器，透过无限带宽网络1，可以组建成为一个整合的规模更大的大数据数据库系统，可满足需大量内存计算量的数据处理需求，从架构上说，这样一种架构特别适合密集运算的应用，如：空间运算、语义解析、搜索引擎、人工智能等。

请参阅图2～图4，本发明的一种基于本发明的虚拟对称多处理虚拟机系统的数据处理方法，包括步骤：

S21：主机21接收客户端3发送的任务请求；

S22：虚拟作业系统212根据任务请求的内容对硬件资源池23和/或数据库池24进行调用并获得任务请求的处理结果；

S23：主机21将任务请求的处理结果发送给客户端3。

其中，步骤S22进一步包括步骤：

S221：虚拟作业系统212根据任务请求的内容和当前硬件资源池23的使用状态，形成一任务处理策略；

S222：根据任务处理策略将任务请求分割为多个子任务并派送给对应的计算机节点；

S223：计算机节点根据子任务调用所需的硬件和/或数据库，并向虚拟作业系统212发送调用结果；

S224：虚拟作业系统212根据调用结果获得任务请求的处理结果。

当本发明数据库池24中的任一数据库需大量的运算及内存资源时，虚拟作业系统212可做实时且动态的调配，可调用内存池中其他计算机节点的内存供当前计算机节点的数据处理使用，从而防止单一计算机节点受限于硬件资源而无法进行工作的情况。

以上记载的，仅为本发明的较佳实施例，并非用以限定本发明的范围，本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。