一种基于fics对象存储的文件分割方法与系统的制作方法

文档序号:10655375阅读:658来源:国知局
一种基于fics对象存储的文件分割方法与系统的制作方法
【专利摘要】本发明公开了一种基于FICS对象存储的文件分割方法与系统,所述的方法包括以下步骤:S1.文件存储:对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;S2.文件分割:给定待分割文件并设定文件分割方式,通过文件地址的处理实现文件分割;所述的系统包括FICS对象存储模块和文件分割模块。本发明提供了一种基于FICS对象存储的文件分割方法与系统,在存储过程中对文件的每个数据进行保存,并为文件生成文件地址,并通过文件地址的处理实现文件分割,提高了文件分割速度,节省了文件分割占用的读写带宽。
【专利说明】
一种基于FI CS对象存储的文件分割方法与系统
技术领域
[0001 ]本发明涉及一种基于FICS对象存储的文件分割方法与系统。
【背景技术】
[0002]分割文件,即将一个大文件分割成多个小文件,在目前的本地文件系统及其他分布式文件系统等的管理的存储上,需要将大文件的数据内容全部依次读取出来,分别写入到小文件中。这是非常耗时的,比如源文件是几百G大小,那么,可能会消耗几十分钟,甚至几小时,同时,也会消耗大量的存储读写带宽,并且,尽管源文件和目标文件的绝大部分数据内容是相同的,但是,实际占用的磁盘空间依然是比较大的,是所用文件数据大小之和;例如通过文件的分割软件进行分割,比如winhex分割文件,或者winrar,winzip等分割文件(压缩时,选择储存模式,且限定压缩包大小),都是非常耗时,耗带宽,耗数据空间的。

【发明内容】

[0003]本发明的目的在于克服现有技术的不足,提供一种基于FICS对象存储的文件分割方法与系统,在存储过程中对文件的每个数据进行保存,并为文件生成文件地址,并通过文件地址的处理实现文件分割,提高了文件分割速度,节省了文件分割占用的读写带宽。
[0004]本发明的目的是通过以下技术方案来实现的:一种基于FICS对象存储的文件分割方法,包括以下步骤
51.文件存储:对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
52.文件分割:给定待分割文件并设定文件分割方式,通过文件地址的处理实现文件分割。
[0005]所述的步骤SI包括以下子步骤:
511.依次输入每个待存储文件;
512.将当前待存储文件分为多个数据;
513.对每个数据进行保存;
514.为每个数据生成一个数据地址,数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
515.将当前待存储文件中每个数据地址按照数据前后顺序进行合并,生成当前待存储文件的文件地址。
[0006]所述的步骤S2包括以下子步骤:
521.给定待分割文件,并设定文件分割方式;
522.查询待分割文件的文件地址;
523.将文件地址按照设定的分割方式分割为多个子文件地址;
524.将分割得到的子文件地址赋值给要生成的目标子文件。
[0007]给定的待分割文件为通过步骤SI进行存储的文件。
[0008]—种基于FICS对象存储的文件分割系统,包括: FICS对象存储模块,用于对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
文件分割模块,用于给定待分割文件并设定文件分割方式,通过文件地址的处理实现文件分割。
[0009]所述的FICS对象存储模块包括:
文件分解子模块,用于将输入的待存储文件分为多个数据;
存储数据库,用于对分解得到的每个数据进行保存;
数据地址生成子模块,用于对每个数据生成数据地址,该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
文件地址生成子模块,用于将待存储文件中每个数据地址按照数据前后顺序进行合并,对应的文件地址。
[0010]所述的文件分割模块包括:
文件给定子模块,用于给定待分割文件;
分割设定子模块,用于设定分割方式;
地址查询子模块,用于查询待分割文件的文件地址;
地址分割子模块,用于将文件地址按照设定的分割方式分割成多个子文件地址;
地址赋值子模块,用于将每个子文件地址赋值给对应的目标子文件。
[0011 ]本发明的有益效果是:在存储过程中对文件的每个数据进行保存,并为文件生成文件地址,并通过文件地址的处理实现文件分割,提高了文件分割速度,节省了文件分割占用的读写带宽。
【附图说明】
[0012]图1为本发明的方法流程图;
图2为生成文件地址的流程图;
图3为文件分割流程图;
图4为文件分割过程示意图;
图5为本发明的系统原理框图。
【具体实施方式】
[0013]下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
[0014]如图1所示,一种基于FICS对象存储的文件分割方法,包括以下步骤
51.文件存储:对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
52.文件分割:给定待分割文件并设定文件分割方式,通过文件地址的处理实现文件分割。
[0015]如图2所示,所述的步骤SI包括以下子步骤:
511.依次输入每个待存储文件;
512.将当前待存储文件分为多个数据;
513.对每个数据进行保存; 514.为每个数据生成一个数据地址,数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
515.将当前待存储文件中每个数据地址按照数据前后顺序进行合并,生成当前待存储文件的文件地址。
[0016]如图3所示,所述的步骤S2包括以下子步骤:
521.给定待分割文件,并设定文件分割方式;
522.查询待分割文件的文件地址;
523.将文件地址按照设定的分割方式分割为多个子文件地址;
524.将分割得到的子文件地址赋值给要生成的目标子文件。
[0017]给定的待分割文件为通过步骤SI进行存储的文件。
[0018]文件分割过程以图4为例:给定待分割文件A,并设定文件分割方式为:将该文件分割为两部分,前两个数据为一个部分,后两个数据为一个部分;查询到待分割文件的文件地址后,将待分割文件A的文件地址中前两个数据地址和后两个数据地址分开,并将前两个数据地址所构成的新文件地址赋予子文件D,后两个数据地址赋予子文件E,即可完成文件分割。
[0019]在本申请中,由于文件地址由多个数据地址构成,而数据地址均包括数据保存位置、数据在文件中的偏移和数据的长度,故在已知文件地址的情况下,能够根据构成文件地址的多个数据地址读取出文件中的所有数据,在文件地址变化时,读出的文件中包含的数据也会发生变化;因此,实现文件分割过程中,直接对文件地址进行分割处理,就能够实现文件的分割,从而提高了文件分割速度,节省了文件分割占用的读写带宽。
[0020]一种基于FICS对象存储的文件分割系统,包括:
FICS对象存储模块,用于对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
文件分割模块,用于给定待分割文件并设定文件分割方式,通过文件地址的处理实现文件分割。
[0021 ]所述的FICS对象存储模块包括:
文件分解子模块,用于将输入的待存储文件分为多个数据;
存储数据库,用于对分解得到的每个数据进行保存;
数据地址生成子模块,用于对每个数据生成数据地址,该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
文件地址生成子模块,用于将待存储文件中每个数据地址按照数据前后顺序进行合并,对应的文件地址。
[0022]所述的文件分割模块包括:
文件给定子模块,用于给定待分割文件;
分割设定子模块,用于设定分割方式;
地址查询子模块,用于查询待分割文件的文件地址;
地址分割子模块,用于将文件地址按照设定的分割方式分割成多个子文件地址;
地址赋值子模块,用于将每个子文件地址赋值给对应的目标子文件。
【主权项】
1.一种基于FICS对象存储的文件分割方法,其特征在于:包括以下步骤 51.文件存储:对待存储文件的每个数据进行保存,并为待存储文件生成文件地址; 52.文件分割:给定待分割文件并设定文件分割方式,通过文件地址的处理实现文件分割。2.根据权利要求1所述的一种基于FICS对象存储的文件分割方法,其特征在于:所述的步骤SI包括以下子步骤: SI 1.依次输入每个待存储文件; 512.将当前待存储文件分为多个数据; 513.对每个数据进行保存; 514.为每个数据生成一个数据地址,数据地址包括数据保存位置、数据在文件中的偏移和数据的长度; 515.将当前待存储文件中每个数据地址按照数据前后顺序进行合并,生成当前待存储文件的文件地址。3.根据权利要求1所述的一种基于FICS对象存储的文件分割方法,其特征在于:所述的步骤S2包括以下子步骤: 521.给定待分割文件,并设定文件分割方式; 522.查询待分割文件的文件地址; 523.将文件地址按照设定的分割方式分割为多个子文件地址; 524.将分割得到的子文件地址赋值给要生成的目标子文件。4.根据权利要求1所述的一种基于FICS对象存储的文件分割方法,其特征在于:给定的待分割文件为通过步骤SI进行存储的文件。5.—种基于FICS对象存储的文件分割系统,其特征在于:包括: FICS对象存储模块,用于对待存储文件的每个数据进行保存,并为待存储文件生成文件地址; 文件分割模块,用于给定待分割文件并设定文件分割方式,通过文件地址的处理实现文件分割。6.根据权利要求5所述的一种基于FICS对象存储的文件分割系统,其特征在于:所述的FICS对象存储模块包括: 文件分解子模块,用于将输入的待存储文件分为多个数据; 存储数据库,用于对分解得到的每个数据进行保存; 数据地址生成子模块,用于对每个数据生成数据地址,该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度; 文件地址生成子模块,用于将待存储文件中每个数据地址按照数据前后顺序进行合并,对应的文件地址。7.根据权利要求5所述的一种基于FICS对象存储的文件分割系统,其特征在于:所述的文件分割模块包括: 文件给定子模块,用于给定待分割文件; 分割设定子模块,用于设定分割方式; 地址查询子模块,用于查询待分割文件的文件地址;地址分割子模块,用于将文件地址按照设定的分割方式分割成多个子文件地址;地址赋值子模块,用于将每个子文件地址赋值给对应的目标子文件。
【文档编号】G06F17/30GK106021538SQ201610359985
【公开日】2016年10月12日
【申请日】2016年5月27日
【发明人】李科, 余军, 刘盾
【申请人】成都索贝数码科技股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1