一种基于fics对象存储的数据剔除方法与系统的制作方法

文档序号:10655374阅读:409来源:国知局
一种基于fics对象存储的数据剔除方法与系统的制作方法
【专利摘要】本发明公开了一种基于FICS对象存储的数据剔除方法与系统,所述的方法包括以下步骤:S1.对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;S2.给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除;所述的系统包括FICS对象存储模块和数据剔除模块。本发明提供了一种基于FICS对象存储的数据剔除方法与系统,在存储过程中对文件的每个数据进行保存,并为文件生成文件地址;在数据剔除过程中给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。
【专利说明】
一种基于FI CS对象存储的数据剔除方法与系统
技术领域
[0001 ]本发明涉及一种基于FICS对象存储的数据剔除方法与系统。
【背景技术】
[0002]数据剔除,即将指定文件中的指定数据删除,在目前的本地文件系统及其他分布式文件系统等的管理的存储上,需要将文件中的数据内容全部依次覆盖写一次,在写的过程中删除数据,从而达到指定文件中剔除数据的目的;这是非常耗时,耗带宽的;例如:在一个几百M或几个G的信号数据文件中,比如excel或其他格式的文件,我们要删除10个字符,在保存文件时,必须将所有的内容重新写一次,非常耗时(可能要几分钟,甚至几十分钟)、耗带宽。

【发明内容】

[0003]本发明的目的在于克服现有技术的不足,提供一种基于FICS对象存储的数据剔除方法与系统,在存储过程中对文件的每个数据进行保存,并为文件生成文件地址;在数据剔除过程中给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。
[0004]本发明的目的是通过以下技术方案来实现的:一种基于FICS对象存储的数据剔除方法,包括以下步骤:
51.对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
52.给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。
[0005]所述的步骤SI包括以下子步骤:
511.依次输入每个待存储文件;
512.将当前待存储文件分为多个数据;
513.对每个数据进行保存;
514.为每个数据生成一个数据地址,数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
515.将当前待存储文件中每个数据地址按照数据前后顺序进行合并,生成当前待存储文件的文件地址。
[0006]所述的步骤S2包括以下子步骤:
521.给定源文件和源文件中的待剔除数据;
522.查询源文件的文件地址和待剔除数据的数据地址;
523.将该数据地址从源文件的文件地址中删除。
[0007]给定的源文件为通过步骤SI存储的文件。
[0008]—种基于FICS对象存储的数据剔除系统,包括:
FICS对象存储模块,用于对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
数据剔除模块,用于给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。
[0009]所述的FICS对象存储模块包括:
文件分解子模块,用于将输入的待存储文件分为多个数据;
存储数据库,用于对分解得到的每个数据进行保存;
数据地址生成子模块,用于对每个数据生成数据地址,该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
文件地址生成子模块,用于将待存储文件中每个数据地址按照数据前后顺序进行合并,对应的文件地址。
[0010]所述的数据剔除模块包括:
数据给定子模块,用于给定源文件和源文件中的待剔除数据;
地址查询子模块,用于查询源文件的文件地址和待剔除数据的数据地址;
地址删除子模块,用于从源文件的文件地址中,将待剔除的数据地址删除。
[0011 ]本发明的有益效果是:在存储过程中对文件的每个数据进行保存,并为文件生成文件地址;在数据剔除过程中给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。
【附图说明】
[0012]图1为本发明的方法流程图;
图2为生成文件地址的流程图;
图3为数据剔除的流程图;
图4为数据剔除的过程示意图;
图5为本发明的系统原理框图。
【具体实施方式】
[0013]下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
[0014]如图1所示,一种基于FICS对象存储的数据剔除方法,包括以下步骤:
51.对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
52.给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。
[0015]如图2所示,所述的步骤SI包括以下子步骤:
511.依次输入每个待存储文件;
512.将当前待存储文件分为多个数据;
513.对每个数据进行保存;
514.为每个数据生成一个数据地址,数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
515.将当前待存储文件中每个数据地址按照数据前后顺序进行合并,生成当前待存储文件的文件地址。
[0016]如图3所示,所述的步骤S2包括以下子步骤:
521.给定源文件和源文件中的待剔除数据;
522.查询源文件的文件地址和待剔除数据的数据地址;
523.将该数据地址从源文件的文件地址中删除。
[0017]如图4所示,给定源文件A和源文件A中待剔除的数据后,先查询源文件A的文件地址,再查询得到待剔除数据的数据地址,将该数据地址从源文件A的文件地址中删除,即可得到新文件G的文件地址,完成数据剔除。
[0018]在本申请中,由于文件地址由多个数据地址构成,而数据地址均包括数据保存位置、数据在文件中的偏移和数据的长度,故在已知文件地址的情况下,能够根据构成文件地址的多个数据地址读取出文件中的所有数据,在文件地址变化时,读出的文件中包含的数据也会发生变化;因此,实现数据剔除过程中,直接对文件地址进行剔除处理,就能够实现文件中的数据剔除,从而提高了数据剔除速度,节省了数据剔除占用的读写带宽。
[0019]给定的源文件为通过步骤SI存储的文件。
[0020]如图5所示,一种基于FICS对象存储的数据剔除系统,包括:
FICS对象存储模块,用于对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;
数据剔除模块,用于给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。
[0021 ]所述的FICS对象存储模块包括:
文件分解子模块,用于将输入的待存储文件分为多个数据;
存储数据库,用于对分解得到的每个数据进行保存;
数据地址生成子模块,用于对每个数据生成数据地址,该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度;
文件地址生成子模块,用于将待存储文件中每个数据地址按照数据前后顺序进行合并,对应的文件地址。
[0022]所述的数据剔除模块包括:
数据给定子模块,用于给定源文件和源文件中的待剔除数据;
地址查询子模块,用于查询源文件的文件地址和待剔除数据的数据地址;
地址删除子模块,用于从源文件的文件地址中,将待剔除的数据地址删除。
【主权项】
1.一种基于FICS对象存储的数据剔除方法,其特征在于:包括以下步骤:S1.对待存储文件的每个数据进行保存,并为待存储文件生成文件地址;S2.给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。2.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法,其特征在于:所述的步骤SI包括以下子步骤: S11.依次输入每个待存储文件; S12.将当前待存储文件分为多个数据; S13.对每个数据进行保存; S14.为每个数据生成一个数据地址,数据地址包括数据保存位置、数据在文件中的偏移和数据的长度; S15.将当前待存储文件中每个数据地址按照数据前后顺序进行合并,生成当前待存储文件的文件地址。3.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法,其特征在于:所述的步骤S2包括以下子步骤: S21.给定源文件和源文件中的待剔除数据; S22.查询源文件的文件地址和待剔除数据的数据地址; S23.将该数据地址从源文件的文件地址中删除。4.根据权利要求1所述的一种基于FICS对象存储的数据剔除方法,其特征在于:给定的源文件为通过步骤SI存储的文件。5.一种基于FICS对象存储的数据剔除系统,其特征在于:包括: FICS对象存储模块,用于对待存储文件的每个数据进行保存,并为待存储文件生成文件地址; 数据剔除模块,用于给定源文件和源文件中待剔除的数据,通过对源文件的文件地址进行处理,实现数据剔除。6.根据权利要求5所述的一种基于FICS对象存储的数据剔除系统,其特征在于:所述的FICS对象存储模块包括: 文件分解子模块,用于将输入的待存储文件分为多个数据; 存储数据库,用于对分解得到的每个数据进行保存; 数据地址生成子模块,用于对每个数据生成数据地址,该数据地址包括数据保存位置、数据在文件中的偏移和数据的长度; 文件地址生成子模块,用于将待存储文件中每个数据地址按照数据前后顺序进行合并,对应的文件地址。7.根据权利要求5所述的一种基于FICS对象存储的数据剔除系统,其特征在于:所述的数据剔除模块包括: 数据给定子模块,用于给定源文件和源文件中的待剔除数据; 地址查询子模块,用于查询源文件的文件地址和待剔除数据的数据地址; 地址删除子模块,用于从源文件的文件地址中,将待剔除的数据地址删除。
【文档编号】G06F17/30GK106021537SQ201610359981
【公开日】2016年10月12日
【申请日】2016年5月27日
【发明人】李科, 刘盾, 韩志宏
【申请人】成都索贝数码科技股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1