，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据的方法为: 在存储的数据类型和特征标识之间的映射关系中，查找待访问数据所属数据类型映射的特征标识， 如果待访问数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待访问数据确定为符合定量存储特征的数据； 如果待访问数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待访问数据确定为符合增量存储特征的数据； 其中，所述特征标识包括符合定量存储特征的数据对应的特征标识、或者符合增量存储特征的数据对应的特征标识。4.根据权利要求3所述的方法，其特征在于， 预先设定和存储数据类型和特征标识之间的映射关系。5.根据权利要求3所述的方法，该方法进一步包括: 如果在存储的数据类型和特征标识之间的映射关系中，未查找到待存储数据所属数据类型映射的特征标识，则将待存储数据存储到本服务器，并对待存储数据所属数据类型的数据存储总量进行累计，若是首次存储该类型的数据，则将当前时间记录为该类型的数据的初始存储时间； 如果在存储的数据类型和特征标识之间的映射关系中，未查找到待访问数据所属数据类型映射的特征标识，则根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并对待访问数据所属数据类型的数据访问次数进行统计。6.根据权利要求5所述的方法，其特征在于， 所述将当前时间记录为待存储数据所属数据类型的数据的初始存储时间之后，进一步包括: 从所述初始存储时间开始起，经过预设时长后，根据待存储数据所属数据类型的数据存储总量，计算待存储数据所属数据类型的数据增长速度， 根据待存储数据所属数据类型的数据访问次数，计算待存储数据所属数据类型的数据访问频率， 如果所述的数据增长速度低于第一预设速度值，且所述数据访问频率高于第一预设频率值，则建立和存储待存储数据所属数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系； 如果所述数据增长速度高于第二预设速度值，且所述数据访问频率低于第二预设频率值，则建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系； 其中，第一预设速度值不大于第二预设速度值；第一预设频率值不小于第二预设频率值。7.根据权利要去6所述的方法，其特征在于， 所述建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系之后，进一步包括: 将存储待存储数据所属数据类型的所有数据，从本服务器迁移到远程分布式存储服务器。8.根据权利要求2-7中任一权项所述的方法，其特征在于， 所述将数据存储请求携带的待存储数据存储到本服务器的方法为: 将待存储数据存储到本服务器建立的NOSQL内存数据库中； 所述将数据存储请求携带的待存储数据存储到远程分布式存储服务器的方法为:将待存储数据存储到远程分布式存储服务器建立的NOSQL数据库集群中。9.一种数据处理装置，其特征在于，接收数据存储请求的服务器作为本服务器，该装置应用于本服务器，包括:接收单元、判断单元、处理单元； 所述接收单元，用于接收数据存储请求； 所述判断单元，用于根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据； 所述处理单元，用于如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。10.根据权利要求9所述的装置，其特征在于， 所述接收单元，进一步用于接收数据访问请求； 所述判断单元，进一步用于根据数据访问请求中待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据； 所述处理单元，用于如果待访问数据是符合定量存储特征的数据，则根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并返回获取的待访问数据；如果待访问数据是符合增量存储特征的数据，则根据数据访问请求携带的筛选条件，从远程分布式存储服务器获取待访问数据，并返回获取的待访问数据。11.根据权利要求10所述的装置，其特征在于， 所述判断单元在根据待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据时，用于: 在存储的数据类型和特征标识之间的映射关系中，查找待存储数据所属数据类型映射的特征标识； 如果待存储数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待存储数据确定为符合定量存储特征的数据； 如果待存储数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待存储数据确定为符合增量存储特征的数据； 所述判断单元在根据待访问数据所属数据类型，判断待访问数据是符合定量存储特征的数据或是符合增量存储特征的数据时，用于: 在存储的数据类型和特征标识之间的映射关系中，查找待访问数据所属数据类型映射的特征标识， 如果待访问数据所属数据类型映射的特征标识为符合定量存储特征的数据对应的特征标识，则确定待访问数据确定为符合定量存储特征的数据； 如果待访问数据所属数据类型映射的特征标识为符合增量存储特征的数据对应的特征标识，则确定待访问数据确定为符合增量存储特征的数据； 其中，所述特征标识包括符合定量存储特征的数据对应的特征标识、或者符合增量存储特征的数据对应的特征标识。12.根据权利要求11所述的装置，其特征在于，该装置还包括设置单元； 所述设置单元，用于预先设定和存储数据类型和特征标识之间的映射关系。13.根据权利要求11所述的装置，其特征在于，该装置还包括设置单元； 所述设置单元，用于判断单元在存储的数据类型和特征标识之间的映射关系中，未查找到待存储数据所属数据类型映射的特征标识的情况下，将待存储数据存储到本服务器，并对待存储数据所属数据类型的数据存储总量进行累计，若是首次存储该类型的数据，则将当前时间记录为该类型的数据的初始存储时间；用于判断单元在存储的数据类型和特征标识之间的映射关系中，未查找到待访问数据所属数据类型映射的特征标识的情况下，根据数据访问请求携带的筛选条件，从本服务器获取待访问数据，并对待访问数据所属数据类型的数据访问次数进行统计。14.根据权利要求13所述的装置，其特征在于， 所述设置单元在将当前时间记录为待存储数据所属数据类型的数据的初始存储时间之后，进一步用语: 从所述初始存储时间开始起，经过预设时长后，根据待存储数据所属数据类型的数据存储总量，计算待存储数据所属数据类型的数据增长速度， 根据待存储数据所属数据类型的数据访问次数，计算待存储数据所属数据类型的数据访问频率， 如果所述的数据增长速度低于第一预设速度值，且所述数据访问频率高于第一预设频率值，则建立和存储待存储数据所属数据类型与符合定量存储特征的数据对应的特征标识之间的映射关系； 如果所述数据增长速度高于第二预设速度值，且所述数据访问频率低于第二预设频率值，则建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系； 其中，第一预设速度值不大于第二预设速度值；第一预设频率值不小于第二预设频率值。15.根据权利要去14所述的装置，其特征在于， 所述处理单元，在设置单元建立和存储待存储数据所属数据类型与符合增量存储特征的数据对应的特征标识之间的映射关系之后，进一步用于: 将存储待存储数据所属数据类型的所有数据，从本服务器迁移到远程分布式存储服务器。16.根据权利要求10-15中任一权项所述的装置，其特征在于， 所述处理单元将数据存储请求携带的待存储数据存储到本服务器时，用于:将待存储数据存储到本服务器建立的NOSQL内存数据库中； 所述处理单元将数据存储请求携带的待存储数据存储到远程分布式存储服务器时，用于:将待存储数据存储到远程分布式存储服务器建立的NOSQL数据库集群中。
【专利摘要】本发明提供了一种数据处理方法和装置，技术方案为：服务器将数据区分为符合的定量存储特征的数据和符合增量存储特征的数据；在执行数据存储时，将符合定量存储特征的数据缓存到本服务器建立的NOSQL数据库中，将符合增量存储特征的数据缓存到远程分布式存储服务器建立的NOSQL数据库集群中。本发明可以解决共享数据存储时的单机内存不足问题。
【IPC分类】G06F17/30, G06F3/06
【公开号】CN104978324
【申请号】CN201410133396
【发明人】孙子荀
【申请人】腾讯科技（深圳）有限公司
【公开日】2015年10月14日
【申请日】2014年4月3日