一种基于fics对象存储的文件合并方法与系统的制作方法
【专利摘要】本发明公开了一种基于FICS对象存储的文件合并方法与系统,其方法包括以下步骤：S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；S2.文件合并：给定待合并文件和合并顺序，通过文件地址的处理实现文件合并。其系统包括FICS对象存储模块和文件合并模块。本发明提供了一种基于FICS对象存储的文件合并方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文件地址的处理实现文件合并，提高了文件合并速度，节省了文件合并的占用空间。
【专利说明】
一种基于FICS对象存储的文件合并方法与系统
技术领域
[0001 ]本发明涉及一种基于FICS对象存储的文件合并方法与系统。
【背景技术】
[0002] 文件合并，即多个文件的数据内容合并成一个新的文件，在目前的本地文件系统 及其他分布式文件系统等的管理的存储上，需要将所有源文件的数据依次读出，并写入到 新的文件中；如果源文件是大文件，那么这是非常耗时的，比如源文件是几百G大小，那么， 可能会消耗几十分钟，甚至几小时。同时，也会消耗大量的存储读写带宽。并且，尽管源文件 和目标文件的绝大部分数据内容是相同的，但是，实际占用的磁盘空间依然是比较大的，是 所用文件数据大小之和;现有的文件合并方式非常浪费时间和资源。
【发明内容】
[0003] 本发明的目的在于克服现有技术的不足，提供一种基于FICS对象存储的文件合并 方法与系统，在存储过程中对文件的每个数据进行保存，并为文件生成文件地址，并通过文 件地址的处理实现文件合并，提高了文件合并速度，节省了文件合并的占用空间。
[0004] 本发明的目的是通过以下技术方案来实现的：一种基于FICS对象存储的文件合并 方法，包括以下步骤：
[0005] S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地 址；
[0006] S2.文件合并:给定待合并文件，通过文件地址的处理实现文件合并。
[0007] 所述的步骤S1包括以下子步骤：
[0008] SI 1.依次输入每个待存储文件；
[0009] S12.将当前待存储文件分为多个数据；
[0010] S13.将每个数据保存在数据库中；
[0011] S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中 的偏移和数据的长度；
[0012] S15.将当前待存储文件中每个数据地址按照数据在文件中的前后顺序进行合并， 生成当前待存储文件的文件地址；
[0013] 所述的文件步骤S2包括以下子步骤：
[0014] S21.给定待合并文件并设定合并顺序；
[0015] S22.查询所有待合并文件的文件地址；
[0016] S23.将所有文件地址按照设定顺序进行合并，生成新文件地址；
[0017] S24.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作。
[0018] 给定的待合并文件为通过步骤S1进行存储的文件。
[0019] -种基于FICS对象存储的文件合并系统，包括：
[0020] FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生 成文件地址；
[0021]文件合并模块，用于通过对文件地址的处理，实现文件合并。
[0022]所述的FICS对象存储模块包括：
[0023]文件分解子模块，用于将输入的待存储文件分为多个数据；
[0024]存储数据库，用于对分解得到的每个数据进行保存；
[0025] 数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存 位置、数据在文件中的偏移和数据的长度；
[0026] 文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行 合并，对应的文件地址；
[0027]所述的文件合并模块包括：
[0028] 文件给定子模块，用于给定待合并的文件；
[0029] 顺序设定子模块，用于设定文件合并顺序；
[0030] 地址查询子模块，用于查询所有待合并文件的文件地址；
[0031]地址合并子模块，用于将所有查询到的文件地址按照设定的顺序进行合并，生成 新文件地址；
[0032] 地址赋值子模块，用于将生成的新文件地址赋予合成的目标新文件。
[0033] 本发明的有益效果是:在存储过程中对文件的每个数据进行保存，并为文件生成 文件地址，并通过文件地址的处理实现文件合并，提高了文件合并速度，节省了文件合并的 占用空间。
【附图说明】
[0034]图1为本发明的流程图；
[0035]图2为生成文件地址的流程图；
[0036]图3为文件合并流程图；
[0037]图4为文件合并的过程示意图；
[0038]图5为本发明的系统原理框图。
【具体实施方式】
[0039]下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于 以下所述。
[0040]如图1所示，一种基于FICS对象存储的文件合并方法，包括以下步骤：
[0041 ] S1.文件存储：对待存储文件的每个数据进行保存，并为待存储文件生成文件地 址；
[0042] S2.文件合并:给定待合并文件，通过文件地址的处理实现文件合并。
[0043] 如图2所示，所述的步骤S1包括以下子步骤：
[0044] SI 1.依次输入每个待存储文件；
[0045] S12.将当前待存储文件分为多个数据；
[0046] S13.对每个数据进行保存；
[0047] S14.为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中 的偏移和数据的长度；
[0048] S15.将当前待存储文件中每个数据地址按照数据在文件中的前后顺序进行合并， 生成当前待存储文件的文件地址；
[0049] 如图3所示，所述的文件步骤S2包括以下子步骤：
[0050] S21.给定待合并文件并设定合并顺序；
[0051 ] S22.查询所有待合并文件的文件地址；
[0052] S23.将所有文件地址按照设定顺序进行合并，生成新文件地址；
[0053] S24.将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作。
[0054]给定的待合并文件为通过步骤S1进行存储的文件。
[0055] 如图4所示，为文件合并的过程示意图，以两个文件合并为例;给定待合并文件A和 待合并文件B，设置文件A在前，文件B在后，查询得到文件A的文件地址和文件B的文件地址 后，只需要将文件A和文件B的文件地址进行合成，将合成得到的文件地址赋予目标新文件C 即可，多个文件合并时同理。
[0056] 在本申请中，由于文件地址由多个数据地址构成，而数据地址均包括数据保存位 置、数据在文件中的偏移和数据的长度，故在已知文件地址的情况下，能够根据构成文件地 址的多个数据地址读取出文件中的所有数据，在文件地址变化时，读出的文件中包含的数 据也会发生变化；因此，实现文件合的过程中，直接对文件地址进行合并处理，就能够实现 文件的编辑，从而提高了文件合并速度，节省了文件合并的占用空间。
[0057]下表为合并文件模拟测试的性能对比：
[0059] 传统方式按照每秒写100M左右的性能来评估，从上表可见，本申请由于对文件地 址进行操作，不需要读写文件完成合并，合并时间以秒为单位，而传统方式，如winhex， winrar等，却需要几个小时，由此可见，本申请在文件合并的过程中能够大量地节约时间， 同时，由于不需要读写数据，故也不会消耗大量的存储读写带宽，因此，本申请的技术方案 提高了文件合并速度，节省了文件合并的占用空间。
[0060] 如图5所示，一种基于FICS对象存储的文件合并系统，包括：
[0061] FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生 成文件地址；
[0062]文件合并模块，用于通过对文件地址的处理，实现文件合并。
[0063]所述的FICS对象存储模块包括：
[0064]文件分解子模块，用于将输入的待存储文件分为多个数据；
[0065] 存储数据库，用于对分解得到的每个数据进行保存；
[0066] 数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存 位置、数据在文件中的偏移和数据的长度；
[0067]文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行 合并，对应的文件地址；
[0068]所述的文件合并模块包括：
[0069] 文件给定子模块，用于给定待合并的文件；
[0070] 顺序设定子模块，用于设定文件合并顺序；
[0071] 地址查询子模块，用于查询所有待合并文件的文件地址；
[0072] 地址合并子模块，用于将所有查询到的文件地址按照设定的顺序进行合并，生成 新文件地址；
[0073] 地址赋值子模块，用于将生成的新文件地址赋予合成的目标新文件。
【主权项】
1. 一种基于FICS对象存储的文件合并方法，其特征在于:包括以下步骤：51. 文件存储:对待存储文件的每个数据进行保存，并为待存储文件生成文件地址；52. 文件合并:给定待合并文件，通过文件地址的处理实现文件合并。2. 根据权利要求1所述的一种基于FICS对象存储的文件合并方法，其特征在于:所述的 步骤S1包括以下子步骤：511. 依次输入每个待存储文件；512. 将当前待存储文件分为多个数据；513. 将每个数据保存在数据库中；514. 为每个数据生成一个数据地址，数据地址包括数据保存位置、数据在文件中的偏 移和数据的长度；515. 将当前待存储文件中每个数据地址按照数据在文件中的前后顺序进行合并，生成 当前待存储文件的文件地址。3. 根据权利要求1所述的一种基于FICS对象存储的文件合并方法，其特征在于:所述的 文件步骤S2包括以下子步骤：521. 给定待合并文件并设定合并顺序；522. 查询所有待合并文件的文件地址；523. 将所有文件地址按照设定顺序进行合并，生成新文件地址；524. 将生成的新文件地址赋值给合成的目标新文件，完成文件的合并操作。4. 根据权利要求1所述的一种基于FICS对象存储的文件合并方法，其特征在于:给定的 待合并文件为通过步骤S1进行存储的文件。5. -种基于FICS对象存储的文件合并系统，其特征在于:包括： FICS对象存储模块，用于对待存储文件的每个数据进行保存，并为待存储文件生成文 件地址； 文件合并模块，用于通过对文件地址的处理，实现文件合并。6. 根据权利要求5所述的一种基于FICS对象存储的文件合并系统，其特征在于:所述的 FICS对象存储模块包括： 文件分解子模块，用于将输入的待存储文件分为多个数据； 存储数据库，用于对分解得到的每个数据进行保存； 数据地址生成子模块，用于对每个数据生成数据地址，该数据地址包括数据保存位置、 数据在文件中的偏移和数据的长度； 文件地址生成子模块，用于将待存储文件中每个数据地址按照数据前后顺序进行合 并，对应的文件地址。7. 根据权利要求5所述的一种基于FICS对象存储的文件合并系统，其特征在于:所述的 文件合并模块包括： 文件给定子模块，用于给定待合并的文件； 顺序设定子模块，用于设定文件合并顺序； 地址查询子模块，用于查询所有待合并文件的文件地址； 地址合并子模块，用于将所有查询到的文件地址按照设定的顺序进行合并，生成新文 件地址； 地址赋值子模块，用于将生成的新文件地址赋予合成的目标新文件。
【文档编号】G06F17/30GK106095794SQ201610371312
【公开日】2016年11月9日
【申请日】2016年5月27日
【发明人】李科, 余军, 韩志宏
【申请人】成都索贝数码科技股份有限公司