一种数据处理方法和装置的制造方法_3

文档序号:9261358阅读:来源:国知局
储服务器建立的NOSQL数据库集群中。
[0074]其中,将数据增长速度(例如数据增长速度低于第一预设速度值)较慢、数据访问频率(例如数据访问频率高于第一预设频率值)较高的数据划归为符合定量存储特征的数据。将数据增长速度(例如数据增长速度高于第二预设速度值)较快、数据访问频率(例如数据访问频率低于第二预设频率值)较低的数据划归为符合增量存储特征的数据。
[0075]参见图3,图3是本发明实施例数据处理装置的结构示意图,如图3所示,将接收数据存储请求的服务器作为本服务器,该装置应用于本服务器,包括:接收单元301、判断单元302、处理单元303 ;其中,
[0076]接收单元301,用于接收数据存储请求;
[0077]判断单元302,用于根据数据存储请求中待存储数据所属数据类型,判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据;
[0078]处理单元303,用于如果待存储数据是符合定量存储特征的数据,则将数据存储请求携带的待存储数据存储到本服务器;如果待存储数据时符合增量存储特征的数据,则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
[0079]图3所示装置中,
[0080]所述接收单元301,进一步用于接收数据访问请求;
[0081]所述判断单元302,进一步用于根据数据访问请求中待访问数据所属数据类型,判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据;
[0082]所述处理单元303,进一步用于如果待访问数据是符合定量存储特征的数据,则根据数据访问请求携带的筛选条件,从本服务器获取待访问数据,并返回获取的待访问数据;如果待访问数据是符合增量存储特征的数据,则根据数据访问请求携带的筛选条件,从远程分布式存储服务器获取待访问数据,并返回获取的待访问数据。
[0083]图3所示装置中,
[0084]所述判断单元302在根据待存储数据所属数据类型,判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据时,用于:
[0085]在存储的数据类型和特征标识之间的映射关系中,查找待存储数据所属数据类型映射的特征标识;
[0086]如果待存储数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识,则确定待存储数据确定为符合定量存储特征的数据;
[0087]如果待存储数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识,则确定待存储数据确定为符合增量存储特征的数据;
[0088]所述判断单元302在根据待访问数据所属数据类型,判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据时,用于:
[0089]在存储的数据类型和特征标识之间的映射关系中,查找待访问数据所属数据类型映射的特征标识,
[0090]如果待访问数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识,则确定待访问数据确定为符合定量存储特征的数据;
[0091]如果待访问数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识,则确定待访问数据确定为符合增量存储特征的数据;
[0092]其中,所述特征标识包括符合定量存储特征的数据对应的特征标识、或者符合增量存储特征的数据对应的特征标识。
[0093]图3所示装置中,还包括设置单元304 ;
[0094]所述设置单元,用于预先设定和存储数据类型和特征标识之间的映射关系。
[0095]图3所示装置中,还包括设置单元304 ;
[0096]所述设置单元304,用于判断单元302在存储的数据类型和特征标识之间的映射关系中,未查找到待存储数据所属数据类型映射的特征标识的情况下,将待存储数据存储到本服务器,并对待存储数据所属数据类型的数据存储总量进行累计,若是首次存储该类型的数据,则将当前时间记录为该类型的数据的初始存储时间;用于判断单元302在存储的数据类型和特征标识之间的映射关系中,未查找到待访问数据所属数据类型映射的特征标识的情况下,根据数据访问请求携带的筛选条件,从本服务器获取待访问数据,并对待访问数据所属数据类型的数据访问次数进行统计。
[0097]图3所示装置中,
[0098]所述设置单元304在将当前时间记录为待存储数据所属数据类型的数据的初始存储时间之后,进一步用于:
[0099]从所述初始存储时间开始起,经过预设时长后,根据待存储数据所属数据类型的数据存储总量,计算待存储数据所属数据类型的数据增长速度,
[0100]根据待存储数据所属数据类型的数据访问次数,计算待存储数据所属数据类型的数据访问频率,
[0101]如果所述的数据增长速度低于第一预设速度值,且所述数据访问频率高于第一预设频率值,则建立和存储待存储数据所属数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系;
[0102]如果所述数据增长速度高于第二预设速度值,且所述数据访问频率低于第二预设频率值,则建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系;
[0103]其中,第一预设速度值不大于第二预设速度值;第一预设频率值不小于第二预设频率值。
[0104]图3所示装置中,
[0105]所述处理单元303,在设置单元建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系之后,进一步用于:
[0106]将存储待存储数据所属数据类型的所有数据,从本服务器迁移到远程分布式存储服务器。
[0107]图3所示装置中,
[0108]所述处理单元303将数据存储请求携带的待存储数据存储到本服务器时,用于:将待存储数据存储到本服务器建立的NOSQL内存数据库中;
[0109]所述处理单元303将数据存储请求携带的待存储数据存储到远程分布式存储服务器时,用于:将待存储数据存储到远程分布式存储服务器建立的NOSQL数据库集群中。
[0110]综上所述,本发明中通过将数据分为符合定量存储特征的数据和符合增量存储特征的数据,将符合定量存储特征的数据存储到本服务器中的NOSQL数据库,将符合增量存储特征的数据存储到远程分布式存储服务器中的NOSQL数据库集群,从而可以解决本服务器在存储数据时可能出现的内存不足的问题。而且,本发明中还通过把单机的NOSQL内存数据库存储和分布式的NOSQL高速数据库结合起来,使用一款NOSQL产品解决原先杂乱的多个开源产品配合使用,具有非常好的扩展性。
[0111]以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
【主权项】
1.一种数据处理方法,其特征在于,接收数据存储请求的服务器作为本服务器;该方法应用于本服务器,包括: 本服务器接收数据存储请求,根据数据存储请求中待存储数据所属数据类型,判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据; 如果待存储数据是符合定量存储特征的数据,则将数据存储请求携带的待存储数据存储到本服务器; 如果待存储数据时符合增量存储特征的数据,则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。2.根据权利要求1所述的方法,其特征在于,该方法进一步包括: 接收数据访问请求,根据数据访问请求中待访问数据所属数据类型,判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据; 如果待访问数据是符合定量存储特征的数据,则根据数据访问请求携带的筛选条件,从本服务器获取待访问数据,并返回获取的待访问数据; 如果待访问数据是符合增量存储特征的数据,则根据数据访问请求携带的筛选条件,从远程分布式存储服务器获取待访问数据,并返回获取的待访问数据。3.根据权利要求2所述的方法,其特征在于, 所述根据待存储数据所属数据类型,判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据的方法为: 在存储的数据类型和特征标识之间的映射关系中,查找待存储数据所属数据类型映射的特征标识; 如果待存储数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识,则确定待存储数据确定为符合定量存储特征的数据; 如果待存储数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识,则确定待存储数据确定为符合增量存储特征的数据; 所述根据待访问数据所属数据类型
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1