数据处理的制作方法
【技术领域】
[0001] 本发明涉及数据处理网络、集群控制器、数据处理节点、方法和计算机程序产品。
【背景技术】
[0002] 高性能计算（HPC)是集群计算内的专业领域，其中数据处理节点的集群的基础设 施可能对其运行的软件的性能有很大影响。这意味着HPC应用常常非常专用于其配置中 以实现多数的底层计算硬件。HPC集群的建立通常由三个整体装载阶段构成：操作系统装 载，这对于集群中的所有节点来说通常是公共的；软件应用层，这是特定于应用领域（例如 Hadoop、实时流传送框架、Matlab、科学专用代码）；和节点必须计算的数据的特定配置和 集合。
[0003] 虽然提供HPC集群可以在适当配置时提供显著的性能数据处理优势，但是也可能 发生不期望的后果。因此，期望提供一种改进的布置。
【发明内容】
[0004] 根据第一方面，提供了一种数据处理网络，包括：集群控制器，可操作为存储多个 配置；以及数据处理节点的集群，集群控制器和数据处理节点的集群可操作为进行合作以 使多个配置中的一个可用作对集群中的每个数据处理节点分配的只读配置，每个数据处理 节点可操作为使用该配置来引导集群控制器，并且数据处理节点的集群进一步可操作为进 行合作以对集群中的每个数据处理节点分配读/写存储区域，以用于访问在该数据处理节 点在引导之后的操作期间要利用的数据。
[0005] 第一方面认识到，诸如例如HPC应用的应用通常在其配置中专用于实现多数底层 计算硬件，并且这进而使其不适合布置在可重新配置的云状环境中。这压低了成本效益以 及传统HPC布置的实现容易度。具体地，在操作系统、应用软件以及特定配置和数据集之间 的分离使得实现动态可重新配置的HPC系统，即按需HPC作为服务HPCaaS、硬性和挑战性技 术任务。实际上，具有许多不同的目的意味着集群应当具有运行许多不同种类的软件的能 力，并且科学/网格计算软件通常需要对所讨论的软件唯一的非常特定的设置以便以最高 性能运行。为了促进该在配置中的灵活性，使对集群的维护保持为最小并且提供一种用于 在多模式集群在一步操作中需要一系列的技术不便时从一个配置切换为另一个的简便方 式，该技术不便应当被解决以保持系统一致和可操作。此外，目前没有有效的方式来在没有 虚拟化或专用软件装载的情况下提供专用机器。然而，第一方面还认识到，虚拟化在硬件和 软件之间引入了重新定向层，对性能产生了不期望和不可预测的影响。对该方法的替代是 非虚拟化专用软件装载，这避免了这些缺陷。然而，该方法引入了集群的更静态的配置，其 中该软件必须通过多引导解决方案被装载在每个单个机器上，这消耗盘资源或者不允许特 定配置。换言之，当前存在两个主要方式来进行HPC平台的布置，第一个是布置专用于一个 HPC任务的平台（例如Hadoop、风暴等）。其优点是，可以充分利用（通常是非常昂贵的） 运转平台的基础设施，但是其缺点是，如果没有该具体类型的工作可用于执行，则硬件将保 持不被利用。第二个是在顶部布置具有虚拟化层的通用基础设施。这允许系统完全用于任 何数目的任务。然而，这还意味着，HPC软件在虚拟化环境内运行一一就如同该类型的应用 通常遭受高性能损失。这些解决方案在如下布置情形下都没有多大的意义，在该布置情形 中，HPC任务在不同的软件系统之间变化，诸如例如研究环境或者在基础设施作为服务市场 中。不期望在完全硬件利用和最优灵活度之间进行选择。
[0006] 因此，可以提供数据处理网络。数据处理网络可以包括集群控制器。集群控制器 可以存储多于一个的配置。数据处理网络还可以包括数据处理节点的集群。集群控制器和 集群可以进行协作或一起起作用，以使得配置中的一个可用于每个数据处理节点或可由每 个数据处理节点访问。所分配的配置可以被提供为只读配置。然后，每个数据处理节点可 以使用所分配的配置来引导。集群控制器和数据处理节点的集群还可以一起起作用，以提 供用于每个数据处理节点的读和/或写存储区域。所分配的读/写存储区域可以用于访问 在数据处理节点在引导之后的操作期间使用的数据。该方法提供了集群的灵活建立，其可 以动态地加载特定配置并且自动地在不确定的数目的活动节点上操作。同时，该方法允许 可用机器的分离，以便于能够同时运行不同的HPC服务。这通过提供具有正确的顺序和精 心策划的特征的组合而成为可能，允许对具有提供对每个节点的特定访问的能力的相同物 理硬件驱动的共享。这将可重新配置的云布置框架的很多优点代入HPC情形，而不影响性 能和可配置性。
[0007] 在一个实施例中，集群控制器和数据处理节点的集群可操作为进行合作，以使得 多个配置中的同一个可用作对集群中的每个数据处理节点分配的只读配置。因此，集群控 制器可以对集群中的每个数据处理节点提供相同的配置。这确保了集群内的每个节点通过 相同的配置进行引导。
[0008] 在一个实施例中，集群控制器和数据处理节点的集群可操作为进行合作，以通过 将配置的至少一部分从集群控制器传输到集群中的每个数据处理节点来使得所分配的只 读配置可用。因此，可以将配置中的至少一些从集群控制器传输到集群中的每个数据处理 节点。这使得单个集群控制器能够配置许多数据处理节点。
[0009] 在一个实施例中，每个配置包括盘映像（diskimage)。提供盘映像是用于确保每 个数据处理节点以相同方式被配置的方便方式。
[0010] 在一个实施例中，每个配置包括组合的操作系统和至少一个应用的盘映像。因此， 操作系统和应用二者可以通过盘映像来提供。这使得每个数据处理节点能够按需要容易地 通过不同的操作系统和应用来重新配置。
[0011] 在一个实施例中，集群中的每个数据处理节点可操作为将盘映像安装（mount)在 集群控制器上作为本地盘。因此，由集群控制器提供的盘映像可以被安装在每个数据处理 节点上作为本地盘。
[0012] 在一个实施例中，集群中的每个数据处理节点可操作为将盘映像安装在集群控制 器上作为引导盘。再次，这是特别方便的，因为数据处理节点可以被配置为使用该盘来进行 引导。
[0013] 在一个实施例中，读/写存储区域位于集群控制器、数据处理节点和集中式存储 中的至少一个处。因此，读/写存储区域可以位于网络内的可访问位置处。
[0014] 在一个实施例中，读/写存储区域被安装为文件系统覆盖（overlay)和联合安装。
[0015] 在一个实施例中，读/写存储区域被安装为盘映像的根目录上的文件系统覆盖。 因此，读/写存储区域可以与盘映像组合。这使得盘映像的内容能够针对每个数据处理节 点以受控的方式被有效地修改（而盘映像本身实际上不被修改-仅覆盖），以适应该数据处 理节点的具体需要。
[0016] 在一个实施例中，文件系统覆盖被分配比盘映像更高的优先级，以使得文件系统 覆盖修改文件能够优先于对应的盘映像文件被访问。因此，覆盖可以被配置为具有比映像 更大的优先级，以便于覆盖内的文件优先于盘映像内的那些被呈现。
[0017] 在一个实施例中，读/写存储区域位于每个数据处理节点处，并且每个数据处理 节点可操作为当被指令执行去激活和重新配置中的一个时，将读/写存储区域的内容转移 到集中式存储装置。因此，存储区域可以由每个数据处理节点来提供。每个数据处理节点 可以将该存储区域的内容转移到集中式存储装置，以便于在数据处理节点被去激活或重新 配置时保持覆盖的内容。
[0018] 在一个实施例中，集群控制器可操作为指令数据处理节点的集群利用该配置进行 重新引导。
[0019] 在一个实施例中，集群控制器可操作为指令数据处理节点的集群中的不同组来利 用不同的配置进行重新引导。因此，完整的集群可以被分成不同的组或子组，这些中的每一 个可以由集群控制器指令以利用不同的配置进行引导。这使得数据处理网络能够被配置为 多于一个的HPC布置，以便于适应不同用户的需要。应当理解，上述和下述特征中的每一个 可以由这样的组来使用。
[0020] 在一个实施例中，集群控制器可操作为响应于对这样的改变的请求来改变集群中 的数据处理节点的数目。因此，当需要更多或更少的资源时，那么集群控制器可以请求集群 内