一种数据存储方法及装置与流程

文档序号:12176284阅读:来源:国知局

技术特征:

1.一种数据存储方法,其特征在于:将抓取到的数据按照时间先后顺序暂存在缓存中,记录具有相同类型属性的数据在缓存中的位置,利用记录的内容将缓存中的数据按照属性类型排序后存储到硬盘中,即将具有相同类型属性的数据连续存储,该数据存储方法的具体步骤为:

S1:依据抓取数据的先后顺序,将抓取到的多条数据存储在第一缓存中,其中,各条所述数据具有N个相同类型的属性,N为大于1的整数;

S2:依据所述多条数据在第一缓存中的位置,生成第一嵌套哈希表,其中,所述第一嵌套哈希表由N层第一哈希表嵌套组成,各层所述第一哈希表的键依次为所述N个相同类型的属性,且第一层至第N-1层所述第一哈希表的值依次为下一层的第一哈希表,第N层第一哈希表的值为各条所述数据在第一缓存中的地址值;

S3:根据预设遍历顺序,依次获取所述第N层第一哈希表中的地址值;

S4:根据获取各个所述地址值的顺序,依次将第一缓存中各个所述地址值对应的数据存储至硬盘。

2.根据权利要求1所述的数据存储方法,其特征在于:步骤S4中,根据获取各个所述地址值的顺序,依次将第一缓存中各个所述地址值对应的数据存储至硬盘包括根据获取各个所述地址值的顺序,依次将所述第一缓存中各个所述地址值对应的数据存储至第二缓存中,将第二缓存中的数据依次存储至硬盘。

3.根据权利要求2所述的数据存储方法,其特征在于:还包括生成并存储第二嵌套哈希表,其中,所述第二嵌套哈希表由N层第二哈希表嵌套组成,每层所述第二哈希表的键为三元组,且第一层至第N-1层所述第二哈希表的值依次为下一层的第二哈希表,第N层第二哈希表的值为各条所述数据在所述硬盘中的地址值。

4.根据权利要求3所述的数据存储方法,其特征在于:所述每层三元组的第一元素依次为所述N个相同类型的属性,每层所述三元组的第二元素为各自层对应类型的属性包含的数据在所述硬盘中的起始地址,每层所述三元组的第三元素为各自层对应类型的属性包含的数据在所述硬盘中的数据长度。

5.一种数据存储装置,其特征在于:包括第一缓存存储单元、第一哈希表生成单元、缓存地址值获取单元和硬盘数据存储单元,所述第一缓存存储单元用于依据抓取数据的先后顺序,将抓取到的多条数据存储至第一缓存,其中,各条所述数据具有N个相同类型的属性;所述第一哈希表生成单元用于依据所述多条数据在第一缓存中的位置,生成第一嵌套哈希表,第一嵌套哈希表由N层第一哈希表嵌套组成;所述缓存地址值获取单元用于根据预设遍历顺序,依次获取所述第N层第一哈希表中的地址值;所述硬盘数据存储单元用于根据获取各个所述地址值的顺序,依次将所述第一缓存中各个所述地址值对应的数据存储至硬盘。

6.根据权利要求5所述的数据存储装置,其特征在于:所述硬盘数据存储单元包括第二缓存存储子单元和硬盘数据存储子单元,第二缓存存储子单元用于根据获取各个所述地址值的顺序,依次将所述第一缓存中各个所述地址值对应的数据存储至第二缓存中;所述硬盘数据存储子单元用于将所述第二缓存中的数据依次存储至硬盘。

7.根据权利要求6所述的数据存储装置,其特征在于:还包括第二哈希表生成单元,用于生成并存储第二嵌套哈希表,其中,所述第二嵌套哈希表由N层第二哈希表嵌套组成。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1