一种数据处理方法和装置的制造方法
【技术领域】
[0001]本申请涉及数据存储技术领域，特别涉及一种数据处理方法和装置。
【背景技术】
[0002]当多个业务进程需要使用同一份数据的时候，一般情况会通过共享内存的方式，来满足简单的数据缓存需求，但是共享内存的方式有着诸多不便，例如无法落地保存，难以运维,和冷启动等问题。
[0003]内存数据库抛弃了磁盘数据管理的传统方式，基于全部数据都在内存中重新设计了体系结构，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，所以数据处理速度比传统数据库的数据处理速度要快很多。
[0004]在使用内存数据库技术后，对于内存较大的服务器开始考虑把一部分本机的内存划分出来用作内存数据库，它比共享内存的好处在于扩展性强，数据可落地，而且具有较好的运维特性。然而，随着业务的发展或者系统的运行，数据规模在不断增大，会发生内存无法满足的情况。
【发明内容】
[0005]有鉴于此，本发明的目的在于提供一种数据处理方法和装置，能够解决共享数据存储时的单机内存不足问题。
[0006]为实现上述目的，本发明提供的技术方案为:
[0007]—种数据处理方法，接收数据存储请求的服务器作为本服务器；该方法应用于本服务器，包括:
[0008]本服务器接收数据存储请求，根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据；
[0009]如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；
[0010]如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
[0011]一种数据处理装置，接收数据存储请求的服务器作为本服务器，该装置应用于本服务器，包括:接收单元、判断单元、处理单元；
[0012]所述接收单元，用于接收数据存储请求；
[0013]所述判断单元，用于根据数据存储请求中待存储数据所属数据类型，判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据；
[0014]所述处理单元，用于如果待存储数据是符合定量存储特征的数据，则将数据存储请求携带的待存储数据存储到本服务器；如果待存储数据时符合增量存储特征的数据，则将数据存储请求携带的待存储数据存储到远程分布式存储服务器。
[0015]综上所述，本发明中，服务器将业务子系统生成的待存储数据区分为符合定量存储特征的数据和符合增量存储特征的数据，在执行数据存储时，将符合定量存储特征的数据存储到本服务器建立的NOSQL数据库中，将符合增量存储特征的数据存储到远程分布式存储服务器建立的NOSQL数据库集群中，从而可以解决共享数据存储时的单机内存不足问题。
【附图说明】
[0016]图1是本发明实施例数据处理系统的架构示意图；
[0017]图2是本发明实施例数据处理方法流程图；
[0018]图3是本发明实施例数据处理装置的结构示意图。
【具体实施方式】
[0019]为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。
[0020]本发明实施例中，将待存储数据根据各自的特点区分为:符合定量存储特征的数据和符合增量存储特征的数据，仅将符合定量存储特征的数据存储到本服务器建立的NOSQL内存数据库，而对于符合增量存储特征的数据，则存储到远程分布式存储服务器建立的NOSQL数据库集群中，从而可以解决将共享数据均存储在本服务器而可能会引起的内存不足问题。
[0021]参见图1，图1是本发明实施例数据处理系统的架构示意图，包括业务子系统、月艮务器、以及远程分布式存储服务器，其中，业务子系统用于生成数据并将数据经由服务器对数据进行存储、以及经由服务器访问已存储的数据；服务器(服务器还可以有多个备份服务器共同承担数据存储和访问的控制功能，图1中未画出)，用于对业务子系统生成的数据进行存储控制(存储至本服务器或存储至远程分布式存储服务器)和访问控制；远程分布式存储服务器用于存储业务子系统生成并经由服务器传送来的数据。
[0022]下面参照图1，对本发明实施例数据存储和访问的控制的方法进行详细说明。
[0023]在实际应用中，业务子系统生成的数据可以分为多种类型，例如，用户属性信息(包括年龄、性别、所在地等)、用户登录信息(包括用户名、密码、在线/离线等)、用户日志等。不同类型的数据具有不同特征，主要可以从以下几点进行区分:
[0024](I)数据规模:一些数据规模较为固定，例如:用户注册信息，用户登录信息等。另一些数据规模则不固定，变化比较明显，例如用户日志。
[0025](2)数据增长速度:一些数据增长速度较快，另一些数据增长速度则较为缓慢或仅仅会偶尔有增长速度较快的情况。用户日志属于增长速度较快的一类数据，而用户注册信息、用户登录信息则数据增长速度比较缓慢的一类数据。
[0026](3)数据是否具有明显的冷热特点:用户日志被访问的次数和频率会随着时间增长而减少，具有明显的冷热区分。而用户注册信息、用户登录状态等数据的被访问的次数和频率则与时间无关，不会因为时间增长而减少。
[0027]本发明实施例中，将以上三点特征与对各类型的数据的具体特征进行对比，可以将所有类型的数据区分为符合定量存储特征的数据和符合增量存储特征的数据。其中，符合定量存储特征的各类数据的数据增长速度较慢且数据访问频率较高，而符合增量存储特征的各类数据的数据增长速度较快但数据访问频率较低。
[0028]在实际应用中，至少有以下两种方法将每种类型的数据区分为符合定量存储特征的数据或是符合增量存储特征的数据:
[0029]第一种:人工指定每类数据是符合定量存储特征的数据或是符合增量存储特征的数据。
[0030]实际上，工作人员对每种类型的数据的特征是比较清楚的，例如，数据类型为用户日志的数据，其数据增长速度快，但是用户日志生成之后却很少被访问，而数据类型为用户登录信息、用户注册信息的数据，其数据增长速度较慢，仅有新用户注册后才会生成新数据，但是会因为用户登录到系统而使得相应数据被频繁访问。
[0031]可以为符合定量存储特征的数据和符合增量存储特征的数据分别分配特征标识，根据各类型数据的特征，将该数据类型映射到符合定量存储特征的数据对应的特征标识(例如标识I )，或者将该数据类型映射到符合增量存储特征的数据对应的特征标识(例如标识2)，从而形成数据类型和特征标识之间的映射关系。例如，建立以下映射关系:
[0032]用户登录信息〈——> 标识I ;
[0033]用户注册/[目息〈 > 标识I ;
[0034]用户日志〈----> 标识2。
[0035]这样，当服务器从业务子系统接收到待存储数据时，可以根据前述数据类型和特征标识的映射关系确定待存储数据所属数据类型映射的特征标识，进而根据该特征标识判断待存储数据是符合定量存储特征的数据或是符合增量存储特征的数据，从而根据判断结果执行对应的存储操作。
[0036]第二种:对于每种数据类型，通过对该数据类型的数据在一段时间内的数据增长情况和数据访问情况进行统计，从而得到相应的数据增长速度和数据访问频率，并据此判定该数据类型的数据是符合定量存储特征的数据或是符合增量存储特征的数据。
[0037]在实际应用中，服务器首次从业务子系统接收到属于某一数据类型的待存储数据时，由于初始并不确定属于该数据类型的数据是符合定量存储特征的数据或是符合增量存储特征的数据，因此可以将待存储数据暂时存储在本服务器，同时还记录当前时间作为该数据类型对应的初始存储时间，并在此后的一段时间内对该数据类型的数据增长情况和数据访问情况进行统计，具体包括:当服务器从业务子系统接收到该数据类型的待存储数据时，对该数据类型的数据存储总量进行累计；当服务器从业务子系统接收对该数据类型的数据的访问请求时，对该数据类型的数据访问次数进行累计。
[0038]对于每种数据类型，当从该数据类型的初始存储时间起经过预设时长之后，根据该数据类型的数据存储总量计算该数据类型的数据增长速度，根据该数据类型的数据访问次数计算该数据类型的数据访问频率，如果该数据类型的数据增长速度低于第一预设速度值(以单条数据为单位，例如2条/小时)，且该数据类型的数据访问频率高于第一预设