基于调度策略的智能数据分级移动的制作方法
【专利说明】
【背景技术】
[0001]计算机和计算系统已经影响了现代生活的几乎每个方面。在工作、休闲、保健、运输、娱乐、家政管理等中通常涉及计算机。
[0002]此外，计算系统功能还可以通过计算系统经由网络连接互连到其他计算系统的能力来增强。网络连接可包括，但不仅限于，经由有线或无线以太网的连接、蜂窝连接、或者甚至是通过串行、并行、USB或其它连接的计算机到计算机的连接。这些连接允许计算系统访问其他计算系统处的服务，并快速且高效地从其他计算系统接收应用数据。这些连接还允许云计算的扩散。
[0003]从本地化计算移动到云计算已经给最终用户形成了若干挑战，包括如何、何处以及何时作为对数据执行操作的工作流的一部分将数据分级移动进云和分级移动出云。例如，可能难以确定何时以及如何将数据从本地存储移动到云、在云处何时对数据操作、以及何时将数据从云移动回本地存储。
[0004]在此要求保护的主题不限于解决任何缺点或仅在诸如上述环境之类的环境中操作的各个实施例。准确地说，提供该背景仅用以例示出在其中可实践在此描述的某些实施例的一个示例性技术领域。
【发明内容】
[0005]本文所例示的一个实施例包括可以在云计算环境中实施的方法。该方法包括用于将数据从第一系统移动到远离所述第一系统的第二系统以及对数据执行计算的动作。该方法包括从一个或多个用户接收多个作业。该一个或多个作业指定要被操作的数据以及在所述第二系统所述第一系统处要对所述数据执行的操作两者。在数据服务处，选择所述多个作业中比所述多个作业中的其他作业优先上传到所述第二系统的一个作业。所述方法还包括开始上传优先化的作业。在第二系统处，一旦已经接收到所述数据的一部分，所述第二系统中的一服务就开始为所述优先化的作业对所述数据执行指定的操作。开始执行所述指定的操作是在来自所述优先化的作业的全部数据都被上传到所述第二系统之前执行的。
[0006]可以在分布式计算环境中实施另一种方法。该方法包括用于将数据从第一系统移动到远离所述第一系统的第二系统以及对所述数据执行计算的动作。该方法包括，在第二系统从远离所述第二系统的第一系统接收要对存储在所述第一系统处的一组数据执行的作业的完整描述。所述作业的描述标识要对该组数据执行的计算。所述作业的描述是优先于所述第二系统从所述第一系统接收的其他作业而被接收的。在所述第二系统处，从所述第一系统接收该组数据的一部分。该方法还包括在所述第二系统处，一旦该组数据的所述一部分已被接收但在接收到整组数据之前，开始执行所标识的计算。该方法还包括在所述第二系统处在从第一系统接收到该组数据的额外部分之后对该组数据的所述额外部分执行所标识的计算。
[0007]提供本
【发明内容】
以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本
【发明内容】
并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
[0008]额外的特征和优点将在以下的描述中阐述，并且部分可从该描述中显而易见，或者可以通过对本文的教示的实践中习得。本发明的特征和优点可以通过在所附权利要求中特别指出的手段和组合来实现和获得。本发明的特征将从以下描述和所附权利要求中变得完全显而易见，或者可通过如下所述对本发明的实践而获知。
【附图说明】
[0009]为了描述可获得上述和其它优点和特征的方式，将通过参考附图中所例示出的具体实施例来呈现以上简要描述的本主题的更具体的描述。应该理解，这些附图仅描绘了各典型实施例，因此不应被认为是对范围的限制，各实施例将通过使用附图用附加特征和细节来被描述并解释，在附图中:
[0010]图1例示出第一和第二系统，在该示例中第一和第二系统包括本地系统和远离本地系统的“云”系统，以及用于将作业从本地场所系统发送到云系统的系统。
[0011]图2从第一系统的角度例示出用于将数据从第一系统移动到第二系统的方法。
[0012]图3从第二系统的角度例示出用于将数据从第一系统移动到第二系统的方法。
【具体实施方式】
[0013]以前，系统已被配置成将数据分级移动(data staging)(借此将数据从第一系统移动到第二系统(如数据中心系统))以及第二系统内的计算(借此在数据上执行操作)作为两个分开的活动来处理，并相应地对它们进行管理。例如，数据可从本地系统被移动到远程系统(如所谓的基于“云”的系统)，其中计算将在远程系统处对数据执行。如本文所使用的，本地和远程被用于区分两个系统以及在彼此的逻辑或物理上的接近程度方面指示出某一距离。在某些示例中，本地系统可对于最终用户来说是本地的，但是这并非是绝对要求。例如，本地可仅仅指代系统是某一企业本地的且由该企业所拥有的，而远程系统可以是仅由该企业与其他企业共享的系统。
[0014]忽略对数据的计算与数据输入和输出相关这一事实引起远程系统资源的低效。本文所描述的某些实施例通过将远程系统处的计算与从本地系统到远程系统的数据分级移动相组合来解决这些低效，其中远程系统远离本地系统。例如，一旦来自本地存储的数据已开始被分级移动到远程系统，就可对数据开始计算。具体来说，一旦数据的一小部分已被移动到远程系统，即使整个数据集还未被分级移动到远程系统，计算工作流也可开始。此外，各实施例可被配置成使得如果有多个计算被用户置于作业队列中，数据服务可选择作业被移动到远程系统的优先级，以便高效地使用各种资源，包括本地系统资源、远程系统资源、网络带宽资源等，同时仍然确保作业被执行以满足优先级约束、时间约束、使用限制等。此夕卜，在某一给定作业内，计算是对一给定数据集执行的。可使该数据集的不同部分优先于该数据集的其他部分来分级移动，以便在远程系统处高效地执行操作。
[0015]由于每次计算迭代仅要求其部分输入数据来开始，且其输出不依赖于其他迭代来完成，就可能在对其他迭代的输入数据被传送的同时开始各迭代。同样，输出数据可被传送回本地系统，同时其他迭代仍然在进行。
[0016]如所注意到的，本文所述的某些实施例将把数据分级移动到远程系统的活动实现为对远程系统工作流的群集突发(cluster burst)的一部分。通过使数据成为头等公民，在实现调度算法时，群集将把数据作为作业资源。这是有好处的，因为调度器知晓作业的数据依赖性，以及可连同运行作业来改编数据分级移动。从而，数据的一部分可被分级移动到远程系统。可在数据的用于该作业的其他部分仍然在本地系统处的同时，对数据开始操作。只要调度器知晓数据依赖性且能够在合适的时间按需将数据分级移动到远程系统，数据的剩余部分就可被按需分级移动到远程系统。此外，基于作业运行时间、优先级、队列中的位置以及数据大小，作业和数据可被分级移动到远程系统。这可产生对远程系统和网络资源的有效得多的使用，并减少作业周转周期。此外，这可能是有好处的，因为调度器中的数据服务可为用户处理数据移动，确保在作业执行之前和之后数据在正确的位置，以及清理未使用的远程系统存储。这可明显使用户免于管理数据生命周期的许多任务。
[0017]现在例示出附加细节，且参考图1，例示出一示例。图1例示出本地系统102和远程系统104，后者在某些实施例中可以是所谓的基于“云计算”的系统。在本说明书中，“云计算”可以是用于允许对可配置的计算资源(如网络、服务器、存储、应用、以及服务)的共享池进行无处不在的、方便的、按需的网络访问的系统或资源，这些计算资源可用减少的管理努力或服务提供者交互来被供应和释放。云模型可由各种特性(如按需自服务、广泛网络访问、资源池、快速灵活性、可计量的服务等)、服务模型(如软件即服务(SaaS)、平台即服务(PaaS)、基础结构即服务(IaaS))以及部署模型(如私有云、社区云、公共云、混合云等)组成。
[0018]如步骤I所例示，客户机100在本地系统102处的本地存储106中准备数据。在所例示的该示例中，本地存储可包括例如数据库108、文件共享110、分布式高速缓存112等。在本地系统102的本地存储106中准备数据可包括例如生成和存