一种基于离散存储的高速写入的方法
【技术领域】
[0001]本发明涉及到存储软件领域，具体涉及一种基于离散存储的高速写入的方法。
【背景技术】
[0002]在存储软件领域，使用日志盘加数据盘的存储方法是一种比较常见的方法，当数据写入时会优先写入日志盘，当数据在日志盘中写入完成后再写入到数据盘中。这种方式的缺点在于日志盘与数据盘写入数据各一次，硬盘性能损耗50 %以上。甚至有些数据存储方法是把描述数据文件信息的元数据存储到数据盘硬盘上，在进行元数据操作时实际是在操作硬盘，对于硬盘来说损耗很大。
【发明内容】
[0003]为了解决上述技术问题，本发明提供了一种基于离散存储的高速写入的方法，操作单元对写入内容进行分片；将分片后的数据传送给分片数据存储单元进行写入操作，将对实际的写入请求完全转化为增加写入的操作；将分片信息传送给分片管理及元数据管理单元，所述单元进行分片信息的更新。
[0004]进一步的，所述数据分片的每一个分片数据直接写入到分片数据存储中。
[0005]进一步的，所述数据分片的所有分片信息和元数据信息存入到NVDIMM(非易失内存)中。
[0006]进一步的，在覆盖写入时，对数据进行分片；
[0007]进一步的，所述数据分片的分片后的分片数据离散的递增到分片数据存储中；
[0008]进一步的，在写入完毕并且分片信息存储完毕后，删除老的分片。
[0009]进一步的，在有读取任务时，操作单元会根据读取内容从分片管理机元数据管理组件中获取数据的分片情况，
[0010]进一步的，在有读取任务时，操作单元根据分片情况从分片数据存储组件中实际读取到数据。
[0011]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0012]附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
[0013]图1为根据本发明一实施例的系统框架示意图；
[0014]图2为根据本发明一实施例的写入流程图；
[0015]图3为根据本发明一实施例的读取流程图。
【具体实施方式】
[0016]本发明作为一种基于离散存储的高速读写的方法，该方法是通过将数据直接写入到硬盘来提升数据写入速度，可以不损耗硬盘性能；提升元数据的操作性能；提升整体存储的性能，降低硬件成本。
[0017]为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
[0018]在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0019]如图1所示，本发明所涉及的数据读写系统架构包括三个组件，分别有操作单元、分片管理及元数据管理单元、分片数据存储单元。
[0020]操作单元:对写入任务和读取任务的统一调度，对写入操作及读取操作进行统一处理；当进行写入任务时，操作单元将待写入数据分片，并产生分片信息和元数据信息，并将分片信息和元数据信息传送给分片管理及元数据管理单元，将分片数据传送给分片数据存储单元；当进行读取任务时，操作单元根据读取数据的信息去分片管理及元数据管理单元获取待读取数据的分片信息和元数据信息，然后根据上述信息去分片数据存储单元读取分片数据。
[0021]分片管理及元数据管理单元:管理所有的分片信息及元数据信息，分片信息和元数据信息存储到NVDIMM中，NVDIMM能够在完全断电的时候依然保存完整内存数据。本发明所述的数据读写系统通过NVDIMM的访问速度快和断电不丢失的特性保证访问性能及可靠性。
[0022]分片数据存储单元:存储了所有的实际分片数据，这些分片数据存储到实际硬盘上，写入数据时按照递增写入的方式。
[0023]如图2所示，当有写入请求时，操作单元对写入内容进行分片，将分片后的数据传送给分片数据存储单元进行写入操作，将对实际的写入请求完全转化为增加写入的操作，提升硬盘写入性能；并将分片信息传送给分片管理及元数据管理单元，所述单元进行分片信息的更新，写入到NVDIMM(非易失内存)，同时进行元数据信息的更新。在写入完毕并且分片信息存储完毕后，删除老的分片。在覆盖写入时，对数据进行分片。
[0024]如图3所示，当有读取任务时，操作单元会根据读取内容从分片管理机元数据管理组件中获取数据的分片情况，根据分片情况从分片数据存储组件中实际读取到数据。
[0025]综上就是基于离散存储的高速写入的方法。
[0026]虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
【主权项】
1.一种基于离散存储的高速写入的方法，其特征在于，包括: 操作单元对写入内容进行分片； 将分片后的数据传送给分片数据存储单元进行写入操作，将对实际的写入请求完全转化为增加写入的操作； 将分片信息传送给分片管理及元数据管理单元，所述单元进行分片信息的更新。2.根据权利要求1所述的方法，其特征在于，所述数据分片的每一个分片数据直接写入到分片数据存储中。3.根据权利要求1所述的方法，其特征在于，所述数据分片的所有分片信息和元数据信息存入到NVDMM(非易失内存)中。4.根据权利要求1所述的方法，其特征在于，所述数据写入的方法，在覆盖写入时，对数据进行分片。5.根据权利要求1所述的方法，其特征在于，所述数据分片的分片后的分片数据离散的递增到分片数据存储中。6.根据权利要求1所述的方法，其特征在于，所述数据写入的方法，在写入完毕并且分片信息存储完毕后，删除老的分片。7.根据权利要求1所述的方法，其特征在于，在有读取任务时，操作单元会根据读取内容从分片管理机元数据管理组件中获取数据的分片情况。8.根据权利要求7所述的方法，其特征在于，在有读取任务时，操作单元根据分片情况从分片数据存储组件中实际读取到数据。9.一种基于离散存储的高速读写的系统，其特征在于，包括: 操作单元，用于对写入任务和读取任务的统一调度，对写入操作及读取操作进行统一处理； 分片管理及元数据管理单元，用于管理所有的分片信息及元数据信息； 分片数据存储单元，用于存储所有的实际分片数据，这些分片数据存储到实际硬盘上，写入数据时按照递增写入的方式。10.根据权利要求9所述的高速读写的系统，其特征在于， 对于所述处理单元，当进行写入任务时，操作单元将待写入数据分片，并产生分片信息和元数据信息，并将分片信息和元数据信息传送给分片管理及元数据管理单元，将分片数据传送给分片数据存储单元；当进行读取任务时，操作单元根据读取数据的信息去分片管理及元数据管理单元获取待读取数据的分片信息和元数据信息，然后根据上述信息去分片数据存储单元读取分片数据。
【专利摘要】本发明公开了一种基于离散存储的高速写入的方法，其特征在于在实际写入数据时，数据进行分片，每一个分片内容直接增加到存储中，所有的分片信息写入到非易失的内存中；在覆盖写入时，对数据分进行后将分片内容离散的递增到数据盘上，把实际的分片信息存入到非易失内存中；在写入完毕并且分片信息存储完毕后，删除老的分片。
【IPC分类】G06F3/06
【公开号】CN105159607
【申请号】CN201510543144
【发明人】何营
【申请人】浪潮(北京)电子信息产业有限公司
【公开日】2015年12月16日
【申请日】2015年8月28日