数据存储方法、装置、计算机设备和存储介质与流程

文档序号:19155556发布日期:2019-11-16 00:42阅读:145来源:国知局
数据存储方法、装置、计算机设备和存储介质与流程

本申请涉及数据仓库技术领域,特别是涉及一种数据存储方法、装置、计算机设备和存储介质。



背景技术:

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。在数据仓库内,存在部分业务数据变化量占整体量比例小(比如会员、组织、员工等信息),数据分析过程中每次使用需要全量遍历当前日期或者指定日期的全量数据状态,通常数据仓库采用的手段就是周期快照表或者缓慢变化维解决,但是这两种方式存在如下缺点:

第一种方式为周期快照表,即每个周期存储一份当前全量数据;实现简单,数据量小较有优势,当会员、商品这类亿级别数据量时,每周期存储一份全量表,对大数据平台存储资源消耗巨大。

第二种方式为缓慢变化维,在数据上添加一个有效开始时间和结束时间,当数据变化时候,增加一条数据拉链存储,数据不变化不新增不更新数据,然而,使用sql(structuredquerylanguage,结构化查询语言)生成拉链开发较为繁琐。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够在减少存储资源的同时降低开发难度的数据存储方法、装置、计算机设备和存储介质。

一种数据存储方法,方法包括:

根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

在其中一个实施例中,上述方法还包括:

根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识;

比较各当前周期数据项标识和各历史数据项标识;

若各当前周期数据项标识中不存在目标数据项标识,且各历史数据项标识中存在目标数据项标识,则保留数据极限存储表中的记录的目标数据项标识的历史数据。

在其中一个实施例中,上述方法还包括:

在各当前周期数据项标识中和各历史数据项标识中都存在目标数据项标识时,根据当前周期变化数据和数据极限存储表,获取目标业务标识的当前周期数据项内容和历史数据项内容;

比较当前周期数据项内容和历史数据项内容;

在当前周期数据项内容和历史数据项内容存在相同数据项内容时,保留数据极限存储表中的记录的目标数据项标识的历史数据,并在数据极限存储表的目标业务标识的日期数据项关系列表中,增加目标业务标识和当前周期的日期的对应关系。

在其中一个实施例中,上述方法还包括:

在当前周期数据项内容和历史数据项内容不存在相同数据项内容时,将目标数据项标识的当前周期数据合并到数据极限存储表中。

在其中一个实施例中,上述方法还包括:

在各当前周期数据项标识中存在目标数据项标识,且各历史数据项标识中不存在目标数据项标识时,将目标数据项标识的当前周期数据按照数据极限存储表的数据存储结构进行转换,将转换后的数据存储到数据极限存储表中。

在其中一个实施例中,上述方法还包括:将当前周期变化数据和数据极限存储表,按照业务标识进行关联,得到关联结果;

上述的根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识,包括:根据关联结果查询目标业务标识的各当前周期数据项标识和各历史数据项标识。

在其中一个实施例中,上述的方法还包括:

获取指定日期的全量数据请求,全量数据请求的指定日期为第一数据日期;

在各日期数据项关系列表中,查询日期小于或者等于第一数据日期中的最大日期数据项标识;

根据最大日期数据项标识在各数据内容列表中查询对应的数据内容;

或者/和

获取指定日期的变化数据请求,变化数据请求的指定日期为第二数据日期;

在各日期数据项关系列表中,查询日期等于第二数据日期中的数据项标识,得到数据标识项列表;

根据数据标识项列表在对应的数据内容列表中对应的数据内容。

一种数据存储装置,装置包括:

第一生成模块,用于根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

第二生成模块,用于根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

第三生成模块,用于生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:

根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

上述数据存储方法、装置、计算机设备和存储介质,由于根据历史数据生成了各业务标识的日期数据项关系列表,该日期数据项关系列表记录数据的数据日期和数据项标识的对应关系,且由于根据历史数据生成了各业务标识的数据项内容列表,该数据项内容列记录数据项标识和数据内容的对应关系,并由于基于各业务标识的日期数据项关系列表和各业务标识的数据项内容列表生成了数据极限存储表,如此,不需要每个周期存储一份全量数据也能获得指定日期的全量数据和变化数据,相对于周期快照表方式,减少了存储资源,而且,若查询指定日期的全量数据和变化数据,入参只需要指定的数据日期即可,这样,在开发只需要简单sql传参调用,不需要关心内部实现细节,相对于缓慢变化维方式,简化了开发复杂度。

附图说明

图1为一个实施例中数据存储方法的应用环境图;

图2为一个实施例中数据存储方法的流程示意图;

图3为一个实施例中数据存储结构的示意图;

图4为一个实施例中日期数据项关系列表和数据项内容关系列表的示意图;

图5为一个实施例中当前周期变化数据的存储步骤的流程示意图;

图6为一个实施例中当前周期变化数据的存储步骤中的在当前周期和历史都有目标数据项标识时的流程示意图;

图7为另一个实施例中当前周期变化数据的存储步骤的流程示意图;

图8为一个实施例中数据存储装置的结构框图;

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。术语“或者/和”,描述关联对象的关联关系,表示可以存在三种关系,例如,a或者/和b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或者”的关系。

本申请提供的数据存储方法,可以应用于如图1所示的应用环境中。其中,服务器104通过网络与数据仓库(或者说数据仓库设备)106和终端102进行通信。服务器104可以将数据仓库106记录的历史数据生成数据极限存储表,该数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表,该日期数据项关系列表记录数据的数据日期和数据项标识的对应关系,该数据项内容列表记录数据项标识和数据内容的对应关系,如此,能够在减少存储资源的同时降低开发难度。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中,如图2所示,提供了一种数据存储方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:

步骤202,根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

这里,历史数据一般是数据仓库中的缓慢变化数据,该缓慢变化数据是指相应的业务数据变化量占整体数据变化量比例较小(例如,低于预设阈值),该缓慢变化数据可以根据实际需要选举,例如,可以是会员、组织、员工等信息。

这里,业务标识是指业务唯一键编码,例如,该业务唯一键编码可以是商品编码、会员编码、组织编码和工号等。

这里,数据项标识是指可用于区分不同项的数据内容的标识信息,该数据项标识也可以称为数据项编码,不同数据内容的数据项标识一般是不同的。

这里,数据日期指数据内容的日期,即相应业务发生的日期。

具体地,服务器从历史数据中获取各业务标识的各数据项标识及其数据日期,根据该各业务标识的各数据项标识及其数据日期分别生成各业务标识的日期数据项关系列表。

步骤204,根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

具体地,服务器从历史数据中获取各业务标识的各数据项标识及其数据内容,根据该各数据项标识及其数据内容分别生成各业务标识的数据项内容列表。

步骤206,生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

其中,一个业务标识可以对应图3中的一数据存储结构,如图3所示,该数据存储结构表包括一业务标识,以及该业务标识的日期数据项关系表和数据项内容表。图4为一个实施例的日期数据项关系表和数据项内容表的示意图。

上述数据存储方法中,由于根据历史数据生成了各业务标识的日期数据项关系列表,该日期数据项关系列表记录数据的数据日期和数据项标识的对应关系,且由于根据历史数据生成了各业务标识的数据项内容列表,该数据项内容列记录数据项标识和数据内容的对应关系,并由于基于各业务标识的日期数据项关系列表和各业务标识的数据项内容列表生成了数据极限存储表,如此,不需要每个周期存储一份全量数据也能获得指定日期的全量数据和变化数据,相对于周期快照表方式,减少了存储资源,而且,若查询指定日期的全量数据和变化数据,入参只需要指定的数据日期即可,这样,在开发只需要简单sql传参调用,不需要关心内部实现细节,相对于缓慢变化维方式,简化了开发复杂度。

在其中一个实施例中,本申请的数据存储方法还可以包括当前周期变化数据的存储步骤,如图5所示,该当前周期变化数据的存储步骤可以包括如下步骤:

步骤502,根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识;

这里,当前周期变化数据指当前周期内的变化数据。其中,周期的长短可以根据实际需要设定,例如,可以是一天。变化数据一般包括变更数据和新增数据。

这里,目标业务标识可以是当前周期变化数据或者数据极限存储表中的任意一个业务标识。

具体地,服务器根据该当前周期变化数据和上述的数据极限存储表,获取目标业务标识的各当前周期数据项标识和目标业务标识的各历史数据项标识。其中,当前周期数据项标识是指目标业务标识的当前周期内的数据项标识,历史数据项标识是指数据极限存储表中的目标业务标识的数据项标识。

步骤504,比较各当前周期数据项标识和各历史数据项标识;

具体地,服务器可以对各当前周期数据项标识和各历史数据项标识进行逐一比对。

步骤506,若各当前周期数据项标识中不存在目标数据项标识,且各历史数据项标识中存在该目标数据项标识时,则保留数据极限存储表中的记录的目标数据项标识的历史数据。

这里,保留数据极限存储表中的记录的目标数据项标识的历史数据,对于在数据极限存储表中直接对当前周期数据进行变更或者新增,可以理解为对数据极限存储表中的记录的目标数据项标识的历史数据维持不变,对于根据第一数据极限存储表以及当前周期数据生成第二数据极限存储表,可以理解为向该第二数据极限存储表返回该第一数据极限存储表中的记录的目标数据项标识的历史数据。

本实施例方案中,在仅是在历史存储数据(即数据极限存储表)中有目标数据项标识,而在当前周期内没有该目标数据项标识时,仅保留数据极限存储表中的记录的目标数据项标识的历史数据,不需要在数据项内容列表中新增数据项内容,不会额外增加存储。

在其中一个实施例中,如图6所示,上述的当前周期变化数据的存储步骤还可以包括如下步骤:

步骤602,在各当前周期数据项标识中和各历史数据项标识中都存在目标数据项标识时,根据当前周期变化数据和数据极限存储表,获取目标业务标识的当前周期数据项内容和历史数据项内容;

具体地,服务器在各当前周期数据项标识中存在目标数据项标识,且各历史数据项标识中也存在该目标数据项标识时,根据当前周期变化数据和数据极限存储表,获取目标业务标识的当前周期数据项内容和历史数据项内容。

步骤604,比较当前周期数据项内容和历史数据项内容;

具体地,服务器可以逐一比较目标业务标识的当前周期数据项内容和目标业务标识的历史数据项内容。

步骤606,在当前周期数据项内容和历史数据项内容存在相同数据项内容时,保留数据极限存储表中的记录的目标数据项标识的历史数据,并在数据极限存储表的目标业务标识的日期数据项关系列表中,增加目标业务标识和当前周期的日期的对应关系。

此外,还可以根据在目标业务标识的日期数据项关系列表中新增日期和历史版本关系,即数据日期和数据版本的对应关系。

采用本实施例方案,若当前周期的某一变化数据在历史数据中出现过,数据项内容列表中不需要新增数据项内容(因为在历史版本已经存在),只是在日期数据项关系列表中新增一个数据日期和数据项标识的关系,可以减少数据存储量。此外,若日期数据项关系列表包括数据日期和数据版本的对应关系,也可以是和相应的近n个版本数据(非全部历史存储数据)进行比较,以判断历史数据项内容是否存在该变化数据,减少比较的数量,提升处理效率。n的大小可以根据实际需要设定。

在其中一个实施例中,上述的当前周期变化数据的存储步骤还可以包括步骤:在上述的当前周期数据项内容和上述的历史数据项内容不存在相同数据项内容时,将目标数据项标识的当前周期数据合并到数据极限存储表中。

这里,将目标数据项标识的当前周期数据合并到数据极限存储表中具体可以包括:在目标业务标识的日期数据项关系列表中新增目标数据项标识和当前周期的日期的对应关系,在目标业务标识的数据项内容列表中新增目标数据项标识和该目标数据项标识的当前周期的数据内容的对应关系。

本实施例方案,在上述的当前周期数据项内容和上述的历史数据项内容不存在相同数据项内容时,仅需要进行数据合并,简单易实现。

在其中一个实施例中,上述的当前周期变化数据的存储步骤还可以包括步骤:在各当前周期数据项标识中存在目标数据项标识,且各历史数据项标识中不存在目标数据项标识时,将目标数据项标识的当前周期数据按照数据极限存储表的数据存储结构进行转换,将转换后的数据存储到数据极限存储表中。

在其中一个实施例中,本申请的数据存储方法还可以包括步骤:将当前周期变化数据和数据极限存储表,按照业务标识进行关联,得到关联结果;上述的根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识,可以包括步骤:根据关联结果查询目标业务标识的各当前周期数据项标识和各历史数据项标识。

具体地,可以获取当前周期变化数据,将当前周期变化数据和数据极限存储表按照业务标识联系起来,也即对两张表按照主键id做join操作,可以便于数据查询。

以下以当前周期是当天为例,对当前周期变化数据的存储步骤的一个较佳实施例进行说明。但需要说明的是当前周期是当天并不能构成对本发明方案的限定。为了便于说明,以下将不包括当天变化数据而仅包括历史数据的数据极限存储表称为历史缓慢变化数据极限存储表,将既包括当天变化数据又包括历史数据的极限存储表称为缓慢变化数据极限存储表。

如图7所示,本实施例中的当前周期变化数据的存储步骤包括如下步骤:

步骤702,对当天变化数据和历史缓慢变化数据极限存储表进行数据关联;

具体地,可以获取当天变化数据和历史缓慢变化数据极限存储表,根据业务标识对当天变化数据和历史缓慢变化数据极限存储表进行数据关联拉宽。

步骤704,将当天数据项标识和历史缓慢变化数据极限存储表中的数据项标识进行比较,若当天有,历史无,则进入步骤706,若当天无,历史有,则进入步骤708,若当天和历史都有,进入步骤710;

具体地,可以按照业务标识分别比较各业务标识的当天数据项标识和历史缓慢变化数据极限存储表中的数据项标识(以下简称为历史数据项标识);不同的业务标识的数据项标识可以出现“当天有,历史无”,“当天无,历史有”,以及“当天和历史都有”三种情况,对于同一业务标识的不同数据项标识也可以出现这三种情况。

步骤706,将当天数据转换成极限存储格式;

这里的极限存储格式指上述的数据极限存储表的数据存储结构;

具体地,可以将相应的当天数据(即当天有历史无的数据项标识对应的当天数据)转换成极限存储格式。

步骤708,返回历史数据;

具体地,可以返回相应的历史数据(即当天无历史有的数据项标识对应的历史数据)

步骤710,将当天数据项内容在历史数据项内容中进行比对,根据比对结果判断是否存在相同数据,若无,则进入步骤712,若是,则进入步骤714;

步骤712,将当天数据合并到历史缓慢变化数据极限存储表中;

具体地,可以将相应的当天数据(即当天和历史都有的数据项标识对应的,且与历史数据项比对不存在相同数据的当天数据)合并到历史缓慢变化数据极限存储表中的相应位置。

步骤714,返回历史数据;

具体地,可以返回相应的历史数据(即当天和历史都有的数据项标识对应的,且与历史数据项比对存在相同数据的历史数据)。

步骤716,在日期数据项关系列表中增加数据日期和历史版本关系;

这里,数据日期和历史版本关系可以是指数据日期和数据版本标识的对应关系。

其中,可以对业务标识的数据按照上述步骤704-步骤716进行处理,缓慢变化数据极限存储表可以包括步骤706、步骤708、步骤712、步骤714和步骤716处理后的数据。

在其中一个实施例中,本申请的数据存储方法还可以包括指定日期对应全量数据请求步骤或者/和指定日期对应变化数据请求步骤。

具体地,该定日期对应全量数据请求步骤可以包括步骤:获取指定日期的全量数据请求,该全量数据请求的指定日期为第一数据日期;在各日期数据项关系列表中,查询日期小于或者等于第一数据日期中的最大日期数据项标识;根据最大日期数据项标识在各数据内容列表中查询对应的数据内容。

其中,最大日期数据项标识是指同一数据项的小于或者等于第一数据日期的数据日期中的最大日期对应的日期数据项标识(或者称为日期数据项关系)。举例说明,比如某行数据日期数据项关系列表中有20190101、20190215、20190501、20191701四项数据,如果请求指定日期20190601全量数据请求,在这行数据先查找小于等于指定日期所有数据20190101、20190215、20190501三项数据,然后在这三项数据中查找最大的日期数据项20190501数据项返回。

具体地,该定日期对应变化数据请求步骤可以包括步骤:获取指定日期的变化数据请求,变化数据请求的指定日期为第二数据日期;在各日期数据项关系列表中,查询日期等于第二数据日期中的数据项标识,得到数据标识项列表;根据数据标识项列表在对应的数据内容列表中对应的数据内容。

本实施例中数据请求的入参只需要数据日期一个入参即可,同时查询逻辑相对于缓慢变化维方式简化,可以降低实现难度。

应该理解的是,虽然图2、5-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、5-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图8所示,提供了一种数据存储装置,包括:第一生成模块802、第二生成模块804和第三生成模块806,其中:

第一生成模块802,用于根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

第二生成模块804,用于根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

第三生成模块806,用于生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

在其中一个实施例中,上述数据存储装置还可以包括更新模块,更新模块包括查询单元、比较单元和第一处理单元,其中:

查询单元,用于根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识;

比较单元,用于比较各当前周期数据项标识和各历史数据项标识;

第一处理单元,用于在各当前周期数据项标识中不存在目标数据项标识,且各历史数据项标识中存在目标数据项标识时,保留数据极限存储表中的记录的目标数据项标识的历史数据。

在其中一个实施例中,上述的更新模块还可以包括第二处理单元,第二处理单元用于在各当前周期数据项标识中和各历史数据项标识中都存在目标数据项标识时,根据当前周期变化数据和数据极限存储表,获取目标业务标识的当前周期数据项内容和历史数据项内容,比较当前周期数据项内容和历史数据项内容,在当前周期数据项内容和历史数据项内容存在相同数据项内容时,保留数据极限存储表中的记录的目标数据项标识的历史数据,并在数据极限存储表的目标业务标识的日期数据项关系列表中,增加目标业务标识和当前周期的日期的对应关系。

在其中一个实施例中,上述的第二处理单元还可以用于在当前周期数据项内容和历史数据项内容不存在相同数据项内容时,将目标数据项标识的当前周期数据合并到数据极限存储表中。

在其中一个实施例中,上述的更新模块还可以包括第三处理单元,第三处理单元用于在各当前周期数据项标识中存在目标数据项标识,且各历史数据项标识中不存在目标数据项标识时,将目标数据项标识的当前周期数据按照数据极限存储表的数据存储结构进行转换,将转换后的数据存储到数据极限存储表中。

在其中一个实施例中,上述数据存储装置还可以包括数据关联模块,该数据关联模块用于将当前周期变化数据和数据极限存储表,按照业务标识进行关联,得到关联结果;查询单元可以根据关联结果查询目标业务标识的各当前周期数据项标识和各历史数据项标识。

在其中一个实施例中,上述数据存储装置还可以包括第一请求处理模块或者/和第二请求处理模块。

第一请求处理模块用于获取指定日期的全量数据请求,全量数据请求的指定日期为第一数据日期,在各日期数据项关系列表中,查询日期小于或者等于第一数据日期中的最大日期数据项标识,根据最大日期数据项标识在各数据内容列表中查询对应的数据内容。

第二请求处理模块用于获取指定日期的变化数据请求,变化数据请求的指定日期为第二数据日期,在各日期数据项关系列表中,查询日期等于第二数据日期中的数据项标识,得到数据标识项列表,根据数据标识项列表在对应的数据内容列表中对应的数据内容。

关于数据存储装置的具体限定可以参见上文中对于数据存储方法的限定,在此不再赘述。上述数据存储装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端、数据库设备或者数据仓库设备通过网络连接通信。该计算机程序被处理器执行时以实现一种数据存储方法。

本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:

根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识;

比较各当前周期数据项标识和各历史数据项标识;

若各当前周期数据项标识中不存在目标数据项标识,且各历史数据项标识中存在目标数据项标识时,则保留数据极限存储表中的记录的目标数据项标识的历史数据。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

在各当前周期数据项标识中和各历史数据项标识中都存在目标数据项标识时,根据当前周期变化数据和数据极限存储表,获取目标业务标识的当前周期数据项内容和历史数据项内容;

比较当前周期数据项内容和历史数据项内容;

在当前周期数据项内容和历史数据项内容存在相同数据项内容时,保留数据极限存储表中的记录的目标数据项标识的历史数据,并在数据极限存储表的目标业务标识的日期数据项关系列表中,增加目标业务标识和当前周期的日期的对应关系。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

在当前周期数据项内容和历史数据项内容不存在相同数据项内容时,将目标数据项标识的当前周期数据合并到数据极限存储表中。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

在各当前周期数据项标识中存在目标数据项标识,且各历史数据项标识中不存在目标数据项标识时,将目标数据项标识的当前周期数据按照数据极限存储表的数据存储结构进行转换,将转换后的数据存储到数据极限存储表中。

在其中一个实施例中,上述方法还包括:将当前周期变化数据和数据极限存储表,按照业务标识进行关联,得到关联结果;

处理器执行计算机程序实现上述的根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识的步骤时,具体实现以下步骤:根据关联结果查询目标业务标识的各当前周期数据项标识和各历史数据项标识。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取指定日期的全量数据请求,全量数据请求的指定日期为第一数据日期;

在各日期数据项关系列表中,查询日期小于或者等于第一数据日期中的最大日期数据项标识;

根据最大日期数据项标识在各数据内容列表中查询对应的数据内容。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取指定日期的变化数据请求,变化数据请求的指定日期为第二数据日期;

在各日期数据项关系列表中,查询日期等于第二数据日期中的数据项标识,得到数据标识项列表;

根据数据标识项列表在对应的数据内容列表中对应的数据内容。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

根据历史数据生成各业务标识的日期数据项关系列表,日期数据项关系列表记录数据的数据日期和数据项标识的对应关系;

根据历史数据生成各业务标识的数据项内容列表,数据项内容列记录数据项标识和数据内容的对应关系;

生成数据极限存储表,数据极限存储表包括各业务标识,以及各业务标识的对应的日期数据项关系列表和数据项内容列表。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识;

比较各当前周期数据项标识和各历史数据项标识;

若各当前周期数据项标识中不存在目标数据项标识,且各历史数据项标识中存在目标数据项标识时,则保留数据极限存储表中的记录的目标数据项标识的历史数据。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

在各当前周期数据项标识中和各历史数据项标识中都存在目标数据项标识时,根据当前周期变化数据和数据极限存储表,获取目标业务标识的当前周期数据项内容和历史数据项内容;

比较当前周期数据项内容和历史数据项内容;

在当前周期数据项内容和历史数据项内容存在相同数据项内容时,保留数据极限存储表中的记录的目标数据项标识的历史数据,并在数据极限存储表的目标业务标识的日期数据项关系列表中,增加目标业务标识和当前周期的日期的对应关系。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

在当前周期数据项内容和历史数据项内容不存在相同数据项内容时,将目标数据项标识的当前周期数据合并到数据极限存储表中。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

在各当前周期数据项标识中存在目标数据项标识,且各历史数据项标识中不存在目标数据项标识时,将目标数据项标识的当前周期数据按照数据极限存储表的数据存储结构进行转换,将转换后的数据存储到数据极限存储表中。

在其中一个实施例中,上述方法还包括:将当前周期变化数据和数据极限存储表,按照业务标识进行关联,得到关联结果;

计算机程序被处理器执行实现上述的根据当前周期变化数据和数据极限存储表,获取目标业务标识的各当前周期数据项标识和各历史数据项标识的步骤时,具体实现以下步骤:根据关联结果查询目标业务标识的各当前周期数据项标识和各历史数据项标识。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取指定日期的全量数据请求,全量数据请求的指定日期为第一数据日期;

在各日期数据项关系列表中,查询日期小于或者等于第一数据日期中的最大日期数据项标识;

根据最大日期数据项标识在各数据内容列表中查询对应的数据内容。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取指定日期的变化数据请求,变化数据请求的指定日期为第二数据日期;

在各日期数据项关系列表中,查询日期等于第二数据日期中的数据项标识,得到数据标识项列表;

根据数据标识项列表在对应的数据内容列表中对应的数据内容。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1