一种基于蓝光存储设备的VTL系统和方法与流程

本发明属于数据存储、容灾以及备份技术领域，特别涉及一种用于虚拟磁带库(virtualtapelibrary，vtl)服务器在蓝光光盘存储/备份系统的管理系统及方法。

背景技术：

近年来，计算机技术尤其是互联网和大数据有关应用迅猛发展，计算机数据信息量不断增长。由此而来的数据备份与恢复的需求也越来越大，数据备份与恢复的技术也在不断发展。随着磁盘容量的不断提升、成本不断下降，由原来的磁带备份，衍生出基于磁盘的虚拟磁带库技术。而随着蓝光光盘技术的不断提升，在现有的虚拟磁带库(virtualtapelibrary)备份的基础上，湖北第二师范学院与赛凡公司研制出基于蓝光光盘库的蓝光虚拟磁带库(bd-vtl)。

蓝光虚拟磁带库(bd-vtl)使用蓝光光盘(bluraydisc)作为存储介质，通过i提供磁带库(tl)备份服务。该系统包括两部分：蓝光光盘库和bd-vtl管理软件。蓝光光盘库提供：数据存取接口、光盘移动操作(加载到光驱或从光驱卸载)、数据写入(刻录)和读取接口，以及光盘库状态查询和管理接口。

技术实现要素：

为了解决如何使用蓝光光盘这种worm存储介质高效地通过tl协议提供备份服务，本发明提供了一种基于蓝光存储设备的vtl系统和方法。

本发明的系统所采用的技术方案是：一种基于蓝光存储设备的vtl系统，其特征在于：包括vtl服务器、蓝光网关服务器、蓝光光盘库管理系统；

所述vtl服务器，通过iscsi/fc对外提供基于tl协议的备份服务，然后根据不同的请求调用不同的功能模块，并将执行结果和数据返给备份服务器；

所述蓝光网关服务器，以插件的形式支持多种接口，网关使用并管理蓝光光盘库，同时提供缓存管理和数据读写接口；所述缓存管理，根据tl语义和网关配合来完成，vtl服务器通过缓存管理接口请求读缓存，同步/删除写缓存；

所述蓝光光盘库管理系统提供数据存取以及管理接口。

本发明的方法所采用的技术方案是：一种基于蓝光存储设备的vtl方法，其特征在于：元数据和用户数据对应不同的存储方式，分别保存在不同的光盘中，分别使用不同的缓存管理策略；

针对元数据，所述方法的具体实现包括以下原则：

原则a1：bd-vtl启动时，将对应的元数据加载到缓存中，bd-vtl下线之前常驻缓存；

原则a2：元数据读写操作都在缓存中完成；

原则a3：元数据数据量在下线之前达到一个光盘匣的容量时，回刷写缓存，以保证元数据的可靠性；

针对用户数据，所述方法的具体实现包括以下原则：

原则b1：加载磁带到磁带驱动器时，加载磁带的元数据到缓存；

原则b2：对于前进/后退操作，根据磁带位置，舍弃该位置之前的缓存，并缓存该位置之后的缓存；

原则b3：对于用户有效数据之后到磁带末尾的缓存数据，使用trim操作将其从缓存中删除；

原则b4：从磁带驱动器中卸载磁带时，回刷磁带的元数据以及用户数据。

本发明不仅解决了通过tl协议使用蓝光光盘这种特殊的存储介质的问题，并且结合tl协议和蓝光光盘的worm特性，加入了少量的磁盘缓存，高效地解决光盘驱动器的竞争问题，以及降低蓝光光盘的耗费。

附图说明

图1为本发明实施例的系统原理图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明要解决的技术问题是：如何使用蓝光光盘这种worm存储介质高效地通过tl协议提供备份服务。

本发明提供的一种基于蓝光存储设备的vtl系统，包括vtl服务器、蓝光网关服务器、蓝光光盘库管理系统；

tl虚拟化组件，通过iscsi/fc对外提供基于tl协议的备份服务，然后根据不同的请求调用不同的功能模块，并将执行结果和数据返给备份服务器。

蓝光网关服务器，以插件的形式支持多种接口，如文件系统接口，块接口以及对对象接口。网关使用并管理光盘库，同时提供缓存管理和数据读写接口。由于光盘匣是worm设备，网关使用写缓存减少写入光盘中的无效数据；另外光盘库中的光驱组数有限，客户端请求数据时，网关会将一大块数据从光盘中读出，缓存到读缓存。对缓存的管理，根据tl语义和网关配合来完成。tl虚拟化组件通过缓存管理接口请求读缓存，同步/删除写缓存。缓存保存在本地raid，以提高可靠性。

蓝光光盘库管理系统提供最基本的数据存取以及管理接口，如光盘移动、数据读取和刻录等。

bd-vtl存储后端可以使用不同的接口，例如块，文件系统，对象存储等。bd-vtl考虑了性能、vtl语义以及存储介质特性，使用缓存以及数据分离的方式降低用户使用这种特殊的大容量设备。

数据分离是指用户数据(userdata)和元数据(metadata)分离，其中changer、drive以及iscsi配置都是元数据；tape包括这两部分数据，元数据包括tape自身的描述以及用户数据的组织，另外一部分就是备份软件写入的用户数据。

元数据的特性：数据量小，更新频率高，访问频率高。需要常驻缓存，并减少缓存回刷操作。用户数据的特性：数据量大，更新和访问频度不易控制。使用时常驻内存，加载tape到drive时，同时进行读缓存请求操作，所有写入操作都在缓存中完成。从drive中卸载tape时，将缓存回刷至光盘。

bd-vtl管理软件包括网关和tl虚拟化组件(vtl服务器)。网关使用并管理光盘库，同时提供缓存管理和数据读写接口。由于光盘匣是worm设备，网关使用写缓存减少写入光盘中的无效数据；另外光盘库中的光驱组数有限，客户端请求数据时，网关会将一大块数据从光盘中读出到读缓存。对缓存的管理，需要根据tl语义和网关配合来完成。tl虚拟化组件通过缓存管理接口请求读缓存，同步/删除写缓存。

tl虚拟化组件对外提供tl服务。它使用蓝光光盘作为存储后端，通过上述三种接口(文件系统接口、块接口以及对对象接口)来完成数据存储和tl管理操作。元数据和用户数据分离存放，便于缓存请求和同步。不同类型的数据有不同的缓存策略。元数据包括tl中changer/drive/tape的配置信息，以及tape数据分布格式。前者会在tl加载时，保存到读缓存，并在tl提供服务期间驻留在缓存中。后者则是在tape被加载到drive后，加载并驻留缓存的，卸载时数据同步到光盘匣。tl的用户数据部分，tape加载到drive后，根据tape位置，缓存该位置之后的数据，以降低缓存占用量，并保证备份软据读写数据过程中的不会由于数据不在缓存导致超时。对tape的后退(rewind)操作，需要在数据到达缓存后完成。对tape的前进(fastforward)操作，触发回刷或舍弃不需要的缓存数据。

为了支持提供超大容量的tape，tl虚拟化组件将一个tape被分割成一个或多个小的存储单元。对tape的读写操作可以转换成多个小单元的读写操作，这些操作可以并行提交异步完成。另外支持对象的trim操作，可以降低实际占用空间，也减少光盘的使用量。

请见图1，本发明提供的一种基于蓝光存储设备的vtl方法，元数据和用户数据对应不同的存储方式，分别保存在不同的光盘中，分别使用不同的缓存管理策略；

a)元数据:

i.bd-vtl启动时，将对应的元数据加载到缓存中，bd-vtl下线之前常驻缓存

ii.元数据读写操作都在缓存中完成

iii.元数据数据量在下线之前达到一个光盘匣的容量时，回刷写缓存，以保证元数据的可靠性

b)用户数据：

i.加载磁带到磁带驱动器时，加载磁带的元数据到缓存

ii.对于前进/后退操作，根据磁带位置，舍弃该位置之前的缓存，并缓存该位置之后的缓存

iii.对于用户有效数据之后到磁带末尾的缓存数据，使用trim操作将其从缓存中删除

iv.从磁带驱动器中卸载磁带时，回刷磁带的元数据以及用户数据

c)缓存使用raid或其他方式提供大容量和可靠性

d)数据分片层：无论是元数据还是用户数据，都会被分片保存，通过并行的方式上传到蓝光存储系统，以及下载到缓存中，以提高性能，同时支持trim操作

本发明的存储介质采用了大量的蓝光介质和少量的磁盘缓存，加上合理的设计，可以充分的利用蓝光介质的worm特性，提供一种高吞吐量、高可靠性、数据一致性、低成本的备份系统。

本发明采用了结合tl协议的实现和蓝光设备特性，动态地定制化地进行缓存管理，从而使用有限的缓存空间，提供高吞吐量，并减少蓝光存储的耗费。

本发明的技术实现要点以及与现有方案对比如下：

1.bd-vtl中使用raid用于保护写入蓝光光盘之前的缓存数据，使用缓存是为了更充分利用网络带宽(提高备份速度)以及减少蓝光光盘的损耗。

2.相对于磁带，蓝光光盘可以组成raid来提供可靠性保证，并且可以提供更高的带宽，一个光盘匣(包括多个蓝光光盘)的顺序读写带宽与磁盘相当。

3.现有技术中，备份数据先写入磁盘阵列，再归档到物理磁带库，目的是为了提高备份带宽和可靠性，bd-vtl使用一部分缓存以及蓝光光盘，可以满足这两方面的需求。

4.bd-vtl于蓝光光盘库交互时，可以使用文件系统/块/对象接口，数据可以备份到本地或者云端。

5.bd-vtl备份流程。

a)备份服务器通过特定协议(例如iscsi)连接bd-vtl，并写入数据；

b)数据写入本地缓存，并根据需要，回刷数据到蓝光光盘库；

c)备份结束后，所有用户数据和元数据回刷到蓝光光盘库；

6.bd-vtl恢复流程；

a)备份服务器通过特定协议(iscsi/fc)连接bd-vtl，恢复操作开始；

b)数据从光盘库中读出，并写入读缓存，同时被传输到备份服务器；

c)恢复结束后，所有用户数据和元数据都会在适当的时刻从缓存中移除。

bd-vtl的部署包括两部分tl虚拟化组件以及网关服务器。tl虚拟化组件与网关服务器位于同一个lan中，通过自定义的协议进行通信。在具体实施部署时，二者可以位于同一个台服务器中。

bd-vtl系统的正常运行时，数据备份客户端将数据通过vtl服务器送到网关服务器，网关服务器按照附图1所示，将vtl/tape数据写入相应的目录/文件。缓存盘上的目录/文件分为元数据目录/文件和磁带数据目录文件，元数据文件记录光盘匣与磁带的对应关系以及相应的缓存目录。磁带目录至于其所属的光盘对应的容器目录之下。每个磁带数据目录下是磁带数据的切片文件，每个数据切片文件的大小不超过64m。缓存盘的根目录下的文件brgw-status-file记录所有已被卸载但数据还存在于缓存盘上的磁带名。磁带的命名在整个蓝光vtl系统中要具有唯一性，不能重名。

当备份客户端将数据写入缓存盘后，备份客户端即可以认为数据备份成功。之后，由本发明的缓存盘管理系统的后台上传程序写到光盘库的光盘匣中。

当备份客户端完成数据备份并卸载光盘匣后，缓存盘管理系统的后台上传程序会根据brgw-status-file的记录，检查卸载磁带的数据的置脏标志，并将还未上传光盘库的数据切片文件上传到光盘库。最后，该后台服务程序，会释放所有已卸载磁带的缓存盘空间。

在创建一个虚拟磁带时，本发明的虚拟磁带到光盘匣映射分配模块，要选择已分配的且可用空间大于等于一个磁带容量的光盘匣，用于分配虚拟磁带，这样可以避免一个磁带分配到多个光盘匣的情况，从而进一步避免从光盘库恢复数据时，由于切换光盘匣造成的大于60秒的读i/o延迟，这样的读i/o延迟会造成备份软件的数据恢复故障，这也是本发明重点解决的问题。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。