虚拟磁带库系统的制作方法

虚拟磁带库系统的制作方法
【专利说明】虚拟磁带库系统
[0001] 相关申请的交叉引用
[0002] 本申请要求来自2012年12月20日提交的标题为"VIRTUAL TAPE LIBRARY SYSTEM"的美国专利申请第13/722, 743号（代理人案号0097749-152US0(P6273))以及 2012年12月22日提交的标题为"VIRTUAL TAPE USING A LOGICAL DATA CONTAINER"的美 国专利申请第13/722, 814号的权益的优先权。
[0003] 背景
[0004] 若干组织机制备份数据以防数据丢失或破坏。举例来说，客户端数据可能受到许 多不同的威胁，包括环境威胁、安全威胁、事故和/或故障。环境危险包括可能扰乱或损害 客户端系统的风暴或其它自然灾害。安全威胁包括可能恶意地进入生产系统并破坏或毁坏 数据和/或软件的黑客。事故威胁包括如破坏或产生不一致数据的软件错误的问题。故障 威胁包括硬件系统的故障，例如含有关键数据的多个存储设备的相关故障。如果存在备份， 那么可以及时将至少数据和/或软件重置回已知的良好点。
[0005] 备份数据的一个方法是通过磁带备份系统。磁带备份系统使用磁带盒来存储数 据。在一些公司中，磁带备份系统可以部分或完全自动，使得磁带可以通过机器人手臂而从 存储位置移动到磁带驱动器且接着返回到存储位置。举例来说，客户端存档系统发送命令 到机器人系统以将磁带从一个位置移动到另一位置，且跟踪磁带的移动。客户端存档系统 还可以跟踪写入到磁带的信息，以便在恢复操作需要时召回文件或其它信息。这些机器人 系统可能需要所述机械系统的较大空间和维护以有效地进行操作。
[0006] 附图简述
[0007] 将参照附图描述根据本公开的各个实施方案，在附图中：
[0008] 图1示出根据至少一个实施方案的虚拟磁带库的说明性实例；
[0009] 图2示出根据至少一个实施方案的虚拟磁带库系统的说明性实例；
[0010] 图3示出根据至少一个实施方案的虚拟磁带库系统的说明性实例；
[0011] 图4示出根据至少一个实施方案的虚拟磁带库系统的说明性实例；
[0012] 图5示出根据至少一个实施方案的可用以操作虚拟磁带库系统的流程的说明性 实例；
[0013] 图6示出根据至少一个实施方案的可用以备份到虚拟磁带库系统的流程的说明 性实例；
[0014] 图7示出根据至少一个实施方案的可用以从虚拟磁带库系统进行恢复的流程的 说明性实例；
[0015] 图8示出根据至少一个实施方案的可用以操作虚拟磁带库系统的流程的说明性 实例；
[0016] 图9示出根据至少一个实施方案的虚拟磁带的说明性实例；
[0017] 图10示出根据至少一个实施方案的虚拟磁带标头的说明性实例；
[0018] 图11示出根据至少一个实施方案的虚拟磁带数据块组的说明性实例；
[0019] 图12示出根据至少一个实施方案的可用以产生虚拟磁带的流程的说明性实例；
[0020] 图13示出可用以将经修改数据持续到逻辑数据容器的流程的说明性实例；
[0021] 图14示出根据至少一个实施方案的可用以写入到虚拟磁带的流程的说明性实 例；
[0022] 图15示出根据至少一个实施方案的可用以使用虚拟磁带来寻找记录的流程的说 明性实例；
[0023] 图16示出根据至少一个实施方案的可用以使用虚拟磁带来寻找文件标志的流程 的说明性实例；
[0024] 图17示出根据至少一个实施方案的可用以使用虚拟磁带来进行读取的流程的说 明性实例；
[0025] 图18示出根据至少一个实施方案的可用以从虚拟磁带中的事件来进行恢复的流 程的说明性实例；以及
[0026] 图19图示其中可能实施各种实施方案的环境。
[0027] 详述
[0028] 在以下描述中，将描述各种实施方案。出于解释的目的，将阐述具体的配置和细 节，以便提供实施方案的透彻理解。然而，对本领域的技术人员将是显而易见的是，在没有 具体细节的情况下也可以实行实施方案。此外，为了不使所描述的实施方案变得模糊，可能 会省略或简化众所周知的特征。
[0029] 本文所描述和建议的技术包括实施虚拟磁带库系统，以通过仿真物理磁带操作将 来自客户端存档系统的预期所述物理磁带操作的数据备份到存储服务的逻辑数据容器和/ 或元数据存储器上。举例来说，虚拟磁带库装置安装在顾客所在地位置以与客户端存档系 统对接。虚拟磁带库仿真物理磁带库，使得客户端存档系统可以对虚拟磁带进行操作从而 对客户端数据进行存档。虚拟磁带库装置提供虚拟接口以呈现为物理磁带库子系统，例如 磁带驱动器和介质转换器接口。然而，这些虚拟接口在存储服务和元数据存储器中通过逻 辑数据容器来支持。虚拟磁带库系统允许客户端存档系统产生请求，从而导入新的虚拟磁 带，导出虚拟磁带用于存档，在虚拟位置处存储虚拟磁带，将虚拟磁带载入和驱逐到虚拟磁 带驱动器中，以及对虚拟磁带驱动器中虚拟磁带进行操作。
[0030] 对虚拟磁带驱动器中的虚拟磁带进行的操作可包括寻找、读取、写入、初始化、标 记和通过虚拟磁带库系统仿真的其它物理磁带操作。用于通过客户端存档系统进行的磁带 盒的操纵的这些请求由虚拟磁带库系统转换，从而对存储服务的元数据存储器和/或逻辑 数据容器进行操作。移动操作，例如移动虚拟磁带从一个虚拟位置到另一虚拟位置，可以通 过改变元数据存储器中虚拟磁带与虚拟位置之间的关联来实现。数据操作，例如读取或写 入到虚拟磁带，可以通过结合存储服务对逻辑数据容器进行操作的接口来实现。存储服务 可以是按需存储服务，其中在按需基础上提供逻辑数据容器。在一些实施方案中，存储服务 和虚拟磁带库装置可以通过公用网络（例如因特网）而分开。通过提供虚拟磁带库系统， 客户端可能够主动地管理资源用于按需备份，同时降低磁带硬件维护所需的成本。举例来 说，虚拟磁带可以按需构建或删除以匹配存储需要和成本。
[0031] 在一个实施方案中，客户端将数据备份到虚拟磁带且将虚拟磁带存储到档案存储 器中。客户端通过主动存储供应接口来请求新的虚拟磁带。虚拟磁带通过在存储服务中供 应新的逻辑数据容器以及使逻辑数据容器与虚拟磁带识别符（ID)相关联（例如元数据存 储器中的关联）而产生。接着将新的虚拟磁带实际上放置在虚拟磁带库中的虚拟导入/导 出槽中。虚拟磁带的移动通过在元数据存储器中使虚拟磁带ID与虚拟导入/导出槽相关 联来实现。一旦虚拟磁带处于虚拟导入/导出槽中，客户端存档系统即可承担虚拟磁带的 控制。客户端存档系统接着可请求虚拟磁带通过虚拟磁带库系统的虚拟介质转换器而移动 到虚拟磁带驱动器。此移动可以通过去除虚拟磁带ID与虚拟导入/导出槽的关联以及使 虚拟磁带ID与虚拟磁带驱动器相关联而实现。可以将与选定的具体虚拟磁带驱动器相关 联的虚拟磁带驱动器接口（例如因特网小型计算机系统接口（iSCSI))指派到与虚拟磁带 ID相关联的逻辑数据容器。接着可以初始化新的虚拟磁带，其可包括将基础虚拟磁带结构 (例如全局标头）写入到逻辑数据容器。在初始化之后，客户端系统可通过客户端存档系 统将数据备份到虚拟磁带。数据的备份可以通过虚拟磁带库装置接收磁带命令且将所述磁 带命令转换为操作而实现，所述操作对指派到存储服务中的虚拟磁带驱动器的逻辑数据容 器上的虚拟磁带结构进行操作。这些操作可包括写入数据、进行记录和产生文件标志。在 完成备份之后，客户端存档系统可请求虚拟磁带从虚拟磁带驱动器移动到虚拟导入/导出 槽以用于档案存储。作为响应，虚拟磁带库装置可促使虚拟磁带驱动器与虚拟磁带ID的关 联，以及虚拟磁带驱动器接口到逻辑数据容器的指派被去除。接着可使逻辑数据容器分级， 用于从主动存储的存储服务传送到档案服务。
[0032] 在另一实施方案中，客户端从档案存储中的虚拟磁带恢复数据。客户端可请求虚 拟磁带通过供应商存储系统而从档案存储传送到虚拟导入/导出槽。作为响应，供应商可 将与虚拟磁带相关联的逻辑数据容器从档案存储传送到主动存储。在完成所述传送后，虚 拟磁带库系统可以使虚拟磁带ID与虚拟导入/导出槽相关联。一旦虚拟磁带处于虚拟导入 /导出槽中，客户端存档系统即可承担虚拟磁带的控制。客户端存档系统接着可请求虚拟磁 带通过虚拟磁带库系统的虚拟介质转换器而移动到虚拟磁带驱动器。此移动可以通过去除 虚拟磁带ID与虚拟导入/导出槽的关联以及使虚拟磁带ID与虚拟磁带驱动器相关联而实 现。可以将与选定的具体虚拟磁带驱动器相关联的虚拟磁带驱动器接口指派到与虚拟磁带 ID相关联的逻辑数据容器。客户端存档系统接着可以对虚拟磁带执行操作，例如定位、间 隔、读取或其它磁带操作。这些操作接着可以用于确定从逻辑数据容器检索哪些数据。在 完成恢复之后，客户端存档系统可请求虚拟磁带从虚拟磁带驱动器移动到虚拟导入/导出 槽以用于档案存储或移动到虚拟磁带槽位置来等待进一步动作。作为响应，虚拟磁带库装 置可促使虚拟磁带驱动器与虚拟磁带ID的关联，以及虚拟磁带驱动器接口到逻辑数据容 器的指派被去除。在重新存档的情况下，接着可使逻辑数据容器分级，用于从主动存储的存 储服务传送到档案服务。在虚拟磁带槽位置的情况下，可以存储虚拟磁带ID与虚拟磁带槽 位置之间的关联。
[0033] 在其它实施方案中，虚拟磁带可被重新初始化或销毁。在重新初始化中，虚拟磁带 被擦除其当前数据。客户端存档系统可请求虚拟磁带通过虚拟介质转换器而载入虚拟磁带 驱动器中。如上文论述，作为请求载入虚拟磁带的结果，与虚拟磁带相关联的逻辑数据容器 可变得与虚拟磁带驱动器的接口相关联。客户端存档系统接着可请求虚拟磁带驱动器重新 初始化所述虚拟磁带。在一些实施方案中，此重新初始化可以通过改变逻辑数据容器的全 局标头中的产生识别符以使逻辑数据容器内的所有数据无效而实现。在重新初始化之后， 客户端存档系统可使用虚拟磁带或请求所述磁带移动回到虚拟磁带槽位置以等待使用。客 户端存档系统还可以请求磁带被销毁。客户端存档系统可请求虚拟磁带从虚拟磁带驱动器 移动到虚拟导入/导出槽以用于销毁。作为响应，虚拟磁带库装置可促使虚拟磁带驱动器 与虚拟磁带ID的关联，以及虚拟磁带驱动器接口到逻辑数据容器的指派被去除。接着可取 消供应逻辑数据容器。
[0034]当前系统的优点在于使用成本可按比例调整到所述系统的实际使用。举例来说， 客户端可使用每小时、每天、每周、每月、每年和备份到虚拟磁带之间的其它时间跨度。在一 周之后，客户端可希望销毁除了午夜备份之外的所有的每小时备份以表示每天备份。剩余 的每小时备份的销毁并未产生用于所销毁虚拟磁带的进一步成本。
[0035] 存储服务可提供可以用以存储虚拟磁带的多个存储层级。存储服务可使用包括对 象存储或块存储的不同的存储系统。在一个实施方案中，可使用主动存储和档案存储。主 动存储可提供足够用于读取和写入数据的响应。档案服务可提供具有太高延时而使得不足 以读取或写入的服务，但足以用于长期存储。举例来说，主动存储逻辑数据容器可提供同步 的读取和写入响应，例如来自读取或写入的确认或数据。档案存储逻辑数据容器可提供异 步的响应，例如用于每一请求的作业识别符。接着可查询作业识别符以确定作业是否已完 成。逻辑数据容器两者还可以包括不同大小的数据对象，其包括一个或多个逻辑数据容器。 在使用中，当虚拟磁带放置在虚拟导入/导出槽中时，在虚拟磁带后方的逻辑数据容器可 以分级以用于在主动存储和档案存储之间传送。
[0036] 在另一实施方案中，可使用三层级存储。可按与虚拟磁带相关联的逻辑数据容器 准备数据传送需要多长的时间来查看三层级存储。举例来说，可以将三逻辑数据容器存储 在虚拟库的位置中。第一逻辑数据容器可以存储在准备好访问的第一层级中。当客户存端 档系统请求与第一逻辑数据容器相关联的虚拟磁带被载入到虚拟磁带驱动器中时，一旦虚 拟磁带驱动器接口变得与逻辑数据容器相关联，逻辑数据容器即可准备好。第二逻辑数据 容器可以存储在准备好在几分钟后访问的第二层级中。当客户端存档系统请求与第二逻辑 数据容器相关联的虚拟磁带被载入到虚拟磁带驱动器中时，第二逻辑数据容器可以在虚拟 磁带准备好接收数据之前传送到较高存储层级。归因于存储层级的中等性能，可使得第二 逻辑数据容器在几分钟后可用。第三逻辑数据容器可以存储在可以准备好在几小时或更长 时间后访问的第三层级中。当客户端存档系统请求与第三逻辑数据容器相关联的虚拟磁带 被载入到虚拟磁带驱动器中时，第三逻辑数据容器可以在虚拟磁带准备好接收数据之前传 送到较高存储层级。归因于存储层级的较低性能，可使得第三逻辑数据容器在几小时或更 长时间后可用。在一些实施方案中，可以通过虚拟导入/导出槽而非虚拟库存储位置来路 由第二或第三逻辑数据容器。多个层级结构的优点在于客户端可决定其针对备份数据的可 用性的需要。长期存储可以是具有较长响应时间的较廉价存储，而主动数据可以较昂贵的 成本而容易可用。
[0037] 术语供应（provisioning)意图被广泛地理解以包括指派计算资源来使用。在一 些实施方案中，此包括准备计算资源用于使用。在一个实施方案中，资源的供应将包括服务 器的指派、操作系统的安装、待放置到资源上的软件的安装和配置以及实现构建资源用于 使用。举例来说，供应系统可选择服务器以用作用于元数据存储器的数据库。供应系统接 着可产生准备服务器用于用作数据库的工作流程。作为工作流程的部分，可将机器图像载 入到服务器上。机器图像可包括操作系统、数据库软件和/或设置。在载入机器图像后，可 使服务器启动到操作系统中且接收任何进一步的软件和/或设置。此类设置可包括域名和 /或初始元数据和安全配置。在完成供应后，可使服务器移交到管理系统用于用作元数据存 储器且包括在虚拟磁带库系统中。
[0038] 在以下描述中，将描述各种实施方案。出于解释的目的，将阐述具体的配置和细 节，以便提供实施方案的透彻理解。然而，对本领域的技术人员将是显而易见的是，在没有 具体细节的情况下也可以实行实施方案。此外，为了不使所描述的实施方案变得模糊，可能 会省略或简化众所周知的特征。
[0039] 本文所描述和建议的技术包括在逻辑数据容器上构建虚拟磁带，以帮助提供磁带 功能性、快速寻找性能和在故障情况下的改进的恢复时间。举例来说，逻辑数据容器可包括 全局标头，其后接着一个或多个数据块组。逻辑数据容器可为可寻址数据容器，例如块存储 容量、文件存储逻辑数据容器或对象存储逻辑数据容器。全局标头可提供元数据以跟踪记 录位置、文件标志位置、存储器中的虚拟磁带数据、数据确认信息和虚拟磁带标头位置。全 局磁带标头中的此元数据可使得能够较快的寻找逻辑数据容器中的记录和文件标志，使得 能够使用存储器中的最新已知数据位置来较快的恢复，使得能够通过使数据无效来快速地 擦除虚拟磁带以及能够提供磁带标头位置信息。为了仿真物理磁带，还可以仿真线性访问。 物理磁带通过在磁带头上移动磁性介质来访问。磁带头位置表示存储在磁性介质上的数据 内的磁带标头的位置。在虚拟磁带中，虚拟磁带标头位置可表示为数据块组中的数据块的 参考。数据块组可包括信息，所述信息使数据有效、提供误差校正、提供关于记录和文件标 志的信息以及提供数据块中的客户端数据的存储。数据块组可进一步一起组合在宏块中， 所述宏块可作为组而载入到存储器中。
[0040] 在一些实施方案中，全局标头可还包括全局产生识别符（全局产生ID)、日志、全 局记录旗标和全局文件标志旗标。全局标头提供允许数据在虚拟磁带中的迅速定位的信 息。物理磁带使用线性访问，其可使用磁带的线性扫描以确定与数据内联标记的记录或文 件标志。通过使用全局元数据，例如全局记录旗标，可以更快速地确定位置，这是因为可以 扫描元数据而非扫描整个逻辑数据容器。举例来说，寻找操作可请求来自磁带开始（B0T) 的第十记录。虽然物理磁带可倒带到磁带的开始且接着向前扫描直到找到第十记录标志为 止，但虚拟磁带可扫描全局记录旗标中的较小的元数据量。从全局记录旗标的开始计数，可 以指出设置为真的第十旗标。可以确定位置且可以更新日志中的虚拟磁带标头位置以匹配 确定的位置。由于元数据的量与整个虚拟磁带大小相比较小且可以随机访问，所以逻辑数 据容器的寻找时间可以小于等效物理磁带的寻找时间。类似流程可以用于使用全局文件标 志旗标的文件标志。
[0041] 虚拟磁带恢复可以通过使用全局标头中的日志来改进。日志可用以识别来自虚拟 磁带的哪些元数据载入到存储器中用于操作。在一个实施方案中，所述日志识别载入到存 储器中的宏块元数据。宏块对应于数据块组的连续组。写入到宏块的数据可持续与逻辑数 据容器同步，但宏块元数据的改变可持续与全局标头异步，例如在从存储器释放宏块后。全 局标头的此异步更新可促使全局标头变得与同步持续宏块数据不同步。不时地，托管与虚 拟磁带相关联的逻辑数据容器的服务器可遭遇故障。可以检查日志，且可以目标日志中参 考的宏块以用于恢复。关于存储器中的宏块的元数据可以与来自全局标头的元数据进行比 较。可以通过更新全局元数据以匹配数据组元数据来解决差异。在一些实施方案中，可以 通过经由对每一数据块组中的元数据进行误差校正而重建破坏数据来解决数据破坏问题。
[0042]在一些实施方案中，数据块组可以形成为标准大小。标准大小可允许计算偏移，使 得可以在数学上计算数据块组的位置且将其请求为逻辑数据容器中的某一位置处的数据 的读取。元数据和数据块组中的数据块还可以形成为用于相同偏移计算的标准大小。在实 施方案中，数据可被硬件对准，使得数