用于管理元信息的方法和装置与流程

本发明涉及计算机技术领域，尤其涉及一种用于管理元信息的方法和装置。

背景技术：

基于现有技术的数据存储系统一般将元信息持久地存储到磁盘等介质中。该方式存在以下缺陷：1)系统启动时需要较长的时间来加载和恢复元信息。元信息文件的读取以及信息反序列化到指定的内存数据结构会消耗相当长的时间，从而影响系统的启动速度；2)元信息以单独的文件组织在磁盘上，单独的文件容易因诸如磁盘坏块等问题而损坏，而一旦文件损坏，会导致整个节点上的大量数据的丢失。

技术实现要素：

本发明的目的是提供一种用于管理元信息的方法和装置。

根据本发明的一个方面，提供了一种用于管理元信息的方法，其中，所述方法包括以下步骤：

-在目标系统的各个数据块中存储或更新其对应的元信息。

根据本发明的一个方面，提供了一种用于管理元信息的信息管理装置，其中，所述信息管理装置包括：

用于在目标系统的各个数据块中存储或更新其对应的元信息的装置。

与现有技术相比，本发明具有以下优点：通过将元信息存储于数据块中，可避免由于文件损坏而导致大量数据的丢失，提升了数据存储的安全性；并且，根据本发明的方案可创建多个线程以并行的方式加载元信息，从而提升了系统启动速度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示意出了根据本发明的一种用于管理元信息的方法流程图；

图2示意出了根据本发明的一种用于管理元信息的信息管理装置的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示意出了根据本发明的一种用于管理元信息的方法流程图。根据本发明的方法包括步骤S1。

其中，根据本发明的方法通过包含于计算机设备中的信息管理装置来实现。所述计算机设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述计算机设备包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板、或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、PDA、游戏机、或IPTV等。其中，所述用户设备及网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

优选地，根据本发明的信息管理装置所在的设备包含于目标系统中。其中，所述目标系统包括各种数据存储系统。

需要说明的是，所述用户设备、网络设备以及网络仅为举例，其他现有的或今后可能出现的用户设备、网络设备以及网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

参照图1，在步骤S1中，信息管理装置在目标系统的各个数据块中存储或更新其对应的元信息。

优选地，信息管理装置存储元信息的方式包括但不限于以下至少任一种：

1)将元信息存储于底层文件系统；优选地，这类元信息包括数据块的长度、所在设备的标识信息等；

2)将元信息存储于数据块名称中；优选地，这类元信息包括数据块的标识信息、数据块的压缩方式信息等等；

3)将元信息存储于数据块的数据头部；优选地，这类元信息包括不需要在系统启动时立即构建的元信息，主要包括文件的压缩块索引信息等等。

根据本发明的一个优选实施例，信息管理装置基于待存储数据的业务类型信息，将与该待存储数据对应的数据块及其元信息存储至特定的存储介质中，以分别对各个存储介质中的元信息进行管理。

其中，所述存储介质包括各种类型的媒体介质，例如，串行高级技术附件(Serial Advanced Technology Attachment，SATA)、固态硬盘(Solid State Disk，SSD)、内存文件、归档盘和云盘等等。

优选地，信息管理装置分别对各个存储介质中的数据块的元信息进行管理。

更优选地，对于同一存储介质，信息管理装置可分别对存储于不同设备的数据块的元信息进行管理。

根据本优选实施例的方法，可基于数据的业务类型选择不同的存储介质进行存储，对不同存储介质中的元信息进行管理，从而减小不同业务之间的竞争关系，避免低优先级业务对高优先级业务带来性能上的影响；并且可对不同设备的元信息进行独立的管理，从而减小跨设备之间的竞争关系。

优选地，根据本发明的方法包括步骤S2(图未示)。

在步骤S2中，在需要加载系统的元信息时，信息管理装置创建多个线程来分别加载多个磁盘中的数据块的元数据信息。

根据本发明的一个优选实施方案，在目标系统的启动阶段，所述方法包括步骤S3(图未示)，所述步骤S2包括步骤S201(图未示)。

在步骤S3中，信息管理装置根据目标系统的黑名单信息，确定需要过滤掉的磁盘信息，从而得到可使用的一个或多个磁盘信息。

优选地，所述需要过滤掉的磁盘信息包括坏掉的磁盘，或者因其它原因而无法被使用的存储介质。

在步骤S201中，信息管理装置基于所述可使用的一个或多个磁盘信息，创建多个线程来分别加载各个磁盘中的数据块的元数据信息。

优选地，根据本优选实施方案的方法包括步骤S4(图未示)。

在步骤S4中，信息管理装置加载每个磁盘的低压缩率的数据块信息，从而在目标系统进行透明压缩时跳过各个低压缩率的数据块。

其中，所述低压缩率的数据块信息用于在透明压缩时直接跳过。其中，透明压缩是一种后台进行的定期把非压缩类型的数据压缩为指定类型数据的一种定时工作任务，以一种后台进行的定期把非压缩类型的数据压缩为指定类型数据的一种定时工作任务。

优选地，根据本优选实施方案的方法包括步骤S5(图未示)。

在步骤S5中，信息管理装置根据已扫描的各个磁盘的使用信息和状态信息，对各个磁盘加载的数据块进行去重处理。

根据本发明的方法，通过将元信息存储于数据块中，可避免由于文件损坏而导致大量数据的丢失，提升了数据存储的安全性；并且，根据本发明的方案可创建多个线程以并行的方式加载元信息，从而提升了系统启动速度。

图2示意出了根据本发明的一种用于管理元信息的信息管理装置的结构示意图。所述信息管理装置包括用于在目标系统的各个数据块中存储或更新其对应的元信息的装置(以下简称“存储装置1”)。

存储装置1在目标系统的各个数据块中存储或更新其对应的元信息。

优选地，存储装置1存储元信息的方式包括但不限于以下至少任一种：

1)将元信息存储于底层文件系统；优选地，这类元信息包括数据块的长度、所在设备的标识信息等；

2)将元信息存储于数据块名称中；优选地，这类元信息包括数据块的标识信息、数据块的压缩方式信息等等；

3)将元信息存储于数据块的数据头部；优选地，这类元信息包括不需要在系统启动时立即构建的元信息，主要包括文件的压缩块索引信息等等。

根据本发明的一个优选实施例，存储装置1基于待存储数据的业务类型信息，将与该待存储数据对应的数据块及其元信息存储至特定的存储介质中，以分别对各个存储介质中的元信息进行管理。

其中，所述存储介质包括各种类型的媒体介质，例如，串行高级技术附件(Serial Advanced Technology Attachment，SATA)、固态硬盘(Solid State Disk，SSD)、内存文件、归档盘和云盘等等。

优选地，信息管理装置分别对各个存储介质中的数据块的元信息进行管理。

更优选地，对于同一存储介质，信息管理装置可分别对存储于不同设备的数据块的元信息进行管理。

根据本优选实施例的方案，可基于数据的业务类型选择不同的存储介质进行存储，对不同存储介质中的元信息进行管理，从而减小不同业务之间的竞争关系，避免低优先级业务对高优先级业务带来性能上的影响；并且可对不同设备的元信息进行独立的管理，从而减小跨设备之间的竞争关系。

优选地，根据本发明的信息管理装置包括用于在需要加载系统的元信息时，创建多个线程来分别加载多个磁盘中的数据块的元数据信息(图未示，以下简称“加载装置”)。

在需要加载系统的元信息时，加载装置创建多个线程来分别加载多个磁盘中的数据块的元数据信息。

根据本发明的一个优选实施方案，在目标系统的启动阶段，所述信息管理装置包括用于根据目标系统的黑名单信息，确定需要过滤掉的磁盘信息，从而得到可使用的一个或多个磁盘信息的装置(图未示，以下简称“确定装置”)。

确定装置根据目标系统的黑名单信息，确定需要过滤掉的磁盘信息，从而得到可使用的一个或多个磁盘信息。

优选地，所述需要过滤掉的磁盘信息包括坏掉的磁盘，或者因其它原因而无法被使用的存储介质。

加载装置基于所述可使用的一个或多个磁盘信息，创建多个线程来分别加载各个磁盘中的数据块的元数据信息。

优选地，根据本优选实施方案的信息管理装置包括用于加载每个磁盘的低压缩率的数据块信息，从而在目标系统进行透明压缩时跳过各个低压缩率的数据块的装置(图未示，以下简称“数据加载装置”)。

数据加载装置加载每个磁盘的低压缩率的数据块信息，从而在目标系统进行透明压缩时跳过各个低压缩率的数据块。

其中，所述低压缩率的数据块信息用于在透明压缩时直接跳过。其中，透明压缩是一种后台进行的定期把非压缩类型的数据压缩为指定类型数据的一种定时工作任务，以一种后台进行的定期把非压缩类型的数据压缩为指定类型数据的一种定时工作任务。

优选地，根据本优选实施方案的信息管理装置包括用于根据已扫描的各个磁盘的使用信息和状态信息，对各个磁盘加载的数据块进行去重处理的装置(图未示，以下简称“去重处理装置”)。

去重处理装置根据已扫描的各个磁盘的使用信息和状态信息，对各个磁盘加载的数据块进行去重处理。

根据本发明的方案，通过将元信息存储于数据块中，可避免由于文件损坏而导致大量数据的丢失，提升了数据存储的安全性；并且，根据本发明的方案可创建多个线程以并行的方式加载元信息，从而提升了系统启动速度。

本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。