数据加载方法、装置、设备及计算机可读存储介质与流程

本发明涉及大数据技术领域，尤其涉及一种数据加载方法、装置、设备及计算机可读存储介质。

背景技术：

上游系统每天会把不同业务线的业务数据推送至下游系统，以供下游系统对业务数据进行分拣，并加载至对应的业务表中，最终将这些数据给业务员使用。但是，不同业务线的数据不尽相同，要通过同一个流程把这些数据都加载到数据库中，加载的数据量巨大、过程繁琐，且难以保证数据加载的准确性。

技术实现要素：

本发明的主要目的在于提供一种数据加载方法、装置、设备及计算机可读存储介质，旨在解决不同业务线的数据加载时存在因数据量大而导致数据加载过程繁琐且准确性低的技术问题。

为实现上述目的，本发明提供一种数据加载方法，所述数据加载方法包括：

接收上游系统推送的业务数据，并基于预设的数据处理模型将所述业务数据加载至临时表中；

获取映射文档，并基于所述映射文档确定所述业务数据对应的映射关系；

基于所述映射关系，将所述临时表中的业务数据加载至实时表中。

可选地，所述接收上游系统推送的业务数据，并基于预设的数据处理模型将所述业务数据加载至临时表中的步骤包括：

通过数据加载工具接收上游系统推送的业务数据，并基于所述业务数据的业务类型将所述业务数据加载至对应的接口表；

获取所述接口表对应的预设的数据处理模型，并基于所述预设的数据处理模型对所述接口表中的业务处理进行处理，以便将处理后的所述业务数据加载至对应的临时表。

可选地，所述接收上游系统推送的业务数据，并基于预设的数据处理模型将所述业务数据加载至临时表中的步骤之前，还包括：

制作映射文档，其中，所述映射文档中包括接口区、临时区和实时区，所述接口区、临时区和实时区中记录所述业务数据对应的接口表、临时表和实时表的存储位置字段；

保存所述映射文档。

可选地，所述基于所述映射文档确定所述业务数据对应的映射关系的步骤包括：

基于所述映射文档中的临时区和实时区中分别记录的所述存储位置字段，生成所述临时区和实时区对应的映射关系，并确定为所述业务数据对应的映射关系。

可选地，所述基于所述映射关系，将所述临时表中的业务数据加载至实时表中的步骤包括：

获取当前时间，并判断所述当前时间是否满足预设时间条件；

若是，则判断所述业务数据是否满足加载条件；

若所述业务数据满足加载条件，则基于所述映射关系将所述业务数据加载至对应的实时表；

其中，所述基于所述映射关系将所述业务数据加载至对应的实时表的步骤包括：

创建若干个并行的数据加载任务，并基于所述业务数据的业务类型将所述业务数据分配至所述数据加载任务中；

启动所述数据加载任务，将所述数据加载任务中的业务数据基于所述映射关系加载至对应的实时表。

可选地，所述基于所述映射关系，将所述临时表中的业务数据加载至实时表中的步骤之后，还包括：

获取预设的业务分配规则，并根据所述业务分配规则将所述实时表中的业务数据分配至不同的业务员系统中。

可选地，所述基于所述映射关系，将所述临时表中的业务数据加载至实时表中的步骤之后，还包括：

判断业务数据加载是否完成；

若是，则对所述临时表中的业务数据进行备份，并在备份完成后删除所述临时表中的业务数据。

此外，为实现上述目的，本发明还提供一种数据加载装置，所述数据加载装置包括：

数据接收模块，用于接收上游系统推送的业务数据，并基于预设的数据处理模型将所述业务数据加载至临时表中；

映射关系获取模块，用于获取映射文档，并基于所述映射文档确定所述业务数据对应的映射关系；

数据加载模块，用于基于所述映射关系，将所述临时表中的业务数据加载至实时表中。

此外，为实现上述目的，本发明还提供一种数据加载设备，所述数据加载设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据加载程序，所述数据加载程序被所述处理器执行时实现如上所述的数据加载方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据加载程序，所述数据加载程序被处理器执行时实现如上所述的数据加载方法的步骤。

本发明提出的一种数据加载方法，首先，接收上游系统推送的业务数据，并通过预设的数据处理模型将接收的业务数据加载至临时表中，进一步地，获取映射文档以确定该业务数据对应的映射关系，最终根据该映射关系将临时表中的业务数据加载至实时表中。本发明提出的数据加载方法，通过建立临时表接收上游系统推送的业务数据，并根据映射文档确定映射关系，最终将临时表中的业务数据映射至实时表中，提高了数据加载的准确性，实现了不同业务线数据加载的流程优化。

附图说明

图1为本发明实施例方案中涉及的数据加载设备的硬件结构示意图；

图2为本发明数据加载方法第一实施例的流程示意图；

图3为图2中的步骤s10的细化流程示意图；

图4为本发明数据加载方法第二实施例的流程示意图；

图5为本发明数据加载装置第一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：接收上游系统推送的业务数据，并基于预设的数据处理模型将所述业务数据加载至临时表中；获取映射文档，并基于所述映射文档确定所述业务数据对应的映射关系；基于所述映射关系，将所述临时表中的业务数据加载至实时表中。通过本发明实施例的技术方案，解决了不同业务线的数据加载时存在因数据量大而导致数据加载过程繁琐且准确性低的技术问题。

如图1所示，图1为本发明实施例方案中涉及的数据加载设备的硬件结构示意图。

本发明实施例涉及的数据加载方法主要应用于数据加载设备，该数据加载设备可以是pc、便携计算机、移动终端等具有显示和处理功能的设备。

如图1所示，该数据加载设备可以包括：处理器1001，例如cpu，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，数据加载设备还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、音频电路、wi-fi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。当然，数据加载设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的数据加载设备结构并不构成对数据加载设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及数据加载程序。在图1中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001、存储器1005可以设置在数据加载装置中，所述数据加载装置通过处理器1001调用存储器1005中存储的数据加载程序，并执行本发明实施例提供的数据加载方法。

本实施例提供的方案，首先，接收上游系统推送的业务数据，并通过预设的数据处理模型将接收的业务数据加载至临时表中，进一步地，获取映射文档以确定该业务数据对应的映射关系，最终根据该映射关系将临时表中的业务数据加载至实时表中。本发明提出的数据加载方法，通过建立临时表接收上游系统推送的业务数据，并根据映射文档确定映射关系，最终将临时表中的业务数据映射至实时表中，提高了数据加载的准确性，实现了不同业务线数据加载的流程优化。

基于上述硬件结构，提出本发明数据加载方法实施例。

参照图2，图2为本发明数据加载方法第一实施例的流程示意图，在该实施例中，所述方法包括：

步骤s10，接收上游系统推送的业务数据，并基于预设的数据处理模型将所述业务数据加载至临时表中；

为了优化不同业务线的数据加载至下游系统时的数据加载流程，本发明提出了一种数据加载方法，通过预设的数据处理模型将上游系统推送的所有业务数据加载至临时表中，再通过映射文档建立映射关系，将临时表中的业务数据映射到实时表中，实现了不同业务线数据加载的流程优化。

具体地，上游银行系统每天会推送不同业务线的业务数据，如信用卡、零售、壹账通等，如图3所示，所述步骤s10具体包括：

步骤s11，通过数据加载工具接收上游系统推送的业务数据，并基于所述业务数据的业务类型将所述业务数据加载至对应的接口表；

首先，将上游系统推送的这些原始的业务数据通过数据加载工具全部加载至接口表中，例如，可以是使用etl(extract-transform-load，数据仓库技术)加载工具，当业务数据从上游系统推送过来时，经过抽取(extract)、交互转换(transform)、加载(load)等步骤加载至接口表中。

可以理解的是，不同业务线的数据来源是不同的，因此对应存入的接口表也不同，在本实施例中，可以采用与上游系统约定的方式，将不同的业务数据通过不同的方式、基于不同的服务器推送至下游系统，所以通过业务数据被推送的服务器或推送方式的不同，即可确定接收到的是哪个业务线的业务数据。进一步地，接收到该业务数据后，还可以给该业务数据设置一个标识信息，以便区分不同的业务数据，例如，信用卡的业务数据用cc进行标识。

步骤s12，获取所述接口表对应的预设的数据处理模型，并基于所述预设的数据处理模型对所述接口表中的业务处理进行处理，以便将处理后的所述业务数据加载至对应的临时表。

进一步地，获取不同的接口表所对应的数据处理模型，即不同的业务数据对应不同的数据处理模型，基于该数据处理模型将业务数据处理为标准形式的可进行分析的数据，并加载至临时表中。对应地，不同业务线的数据存储于不同的临时表中，通过上述所说的标识信息进行区分。

步骤s20，获取映射文档，并基于所述映射文档确定所述业务数据对应的映射关系；

在本实施例中，映射关系是基于映射文档确定的，而映射文档是在进行业务数据加载之前制作的。具体地，在映射文档中包括三个工作区：接口区、临时区和实时区，上游系统推送过来的业务数据最初存储在接口表中，接口区中记录的就是接口表的存储位置，具体表现形式为存储位置字段，同理，临时区记录的是临时表的存储位置字段，实时区记录的是实时表的存储位置字段。例如，接口区中记录临时表中的业务数据对应的存储位置字段为a字段，临时区中的为b字段，实时区的为c字段，在本实施例中，业务数据后续加载至临时表和实时表中，临时表和实时表的存储位置可以根据实际情况进行设置，因此，临时区和实时区中记录的存储位置字段也是可以根据实际情况进行设置，基于该临时区和实时区中记录的存储位置字段，即可确定临时区和实时区的映射关系，也就是临时表和实时表的映射关系。可以理解的是，不同的业务数据对应的映射文档不同。

步骤s30，基于所述映射关系，将所述临时表中的业务数据加载至实时表中。

进一步地，当确定临时表和实时表的映射关系后，即可基于该映射关系将临时表中的业务数据加载至实时表中，具体地，根据映射关系进行数据加载的流程如下：

首先，本实施例中的数据加载过程可以设置定时任务，每天定时启动数据加载流程，例如，可以设置每天凌晨3点到晚上20点间、每隔三分钟启动数据加载流程，因此，首先判断当前时间是否满足预设的启动数据加载流程的时间条件；若是，则进一步地对待加载的业务数据进行分析，判断该业务数据是否满足加载条件，具体地，数据加载前的分析过程如下：

首先，判断该业务数据是否已经加载过，具体地，在本实施例中，加载完成的业务数据均带有加载完成的标识，因此，如果判定是已经加载过的业务数据，则不再进行重复加载，并剔除该业务数据；反之，若是还未加载过的业务数据，则进一步对待加载的业务数据是新数据还是老数据进行判断，判断依据是将该待加载业务数据与实时表中原有的数据进行比较，判断实时表中是否存在这笔数据，如果存在，则该待加载数据是老数据，对该待加载数据进行加载实际就是更新这些老数据；如果不存在，则待加载数据是新数据，后续进行的操作就是将这些数据加载到实时表中。最后，对待加载数据进行数据完整性校验，完整性校验的步骤为：删除待加载数据中的重复数据，包括帐户信息、客户信息、债项信息中的重复信息，再校验待加载数据中的帐户、客户数据的准确性，具体表现为新帐户必须有对应的客户号、账单邮编不能为空、客户必须有对应的帐户信息等，若数据校验失败，则同样予以剔除。

完成上述对数据进行加载前的分析过程后，进一步地对通过数据分析过程的业务数据进行加载。首先，创建多个并行的数据加载任务，以减少加载时间；接收数据，并判断该数据的状态是否为已完成分析待加载，若是，则将待加载的业务数据根据业务类型的不同分配至上述多个并行的数据加载任务中，当然，除了按照业务类型进行分配之外，还可以根据其他的条件进行分配；最后，启动该并行的数据加载任务，基于确定的映射关系将待加载数据中包含的帐户、客户、债项、交易信息、地址、电话信息等信息加载到实时表中，将其中包含的客户关系存储至其它的客户关系表中，则业务数据完全从临时表中加载至实时表中。

在本实施例中，首先，接收上游系统推送的业务数据，并通过预设的数据处理模型将接收的业务数据加载至临时表中，进一步地，获取映射文档以确定该业务数据对应的映射关系，最终根据该映射关系将临时表中的业务数据加载至实时表中。本发明提出的数据加载方法，通过建立临时表接收上游系统推送的业务数据，并根据映射文档确定映射关系，最终将临时表中的业务数据映射至实时表中，提高了数据加载的准确性，实现了不同业务线数据加载的流程优化。

进一步的，参照图4，基于上述实施例，提出本发明数据加载方法第二实施例，在本实施例中，所述步骤s30之后还包括：

步骤s40，获取预设的业务分配规则，并根据所述业务分配规则将所述实时表中的业务数据分配至不同的业务员系统中。

在本实施例中，当完成业务数据从上游系统至下游系统的加载过程后，可以基于预设的业务分配规则，将加载至实时表中的不同的业务数据，分配给不同的业务员使用，以据此来统计业务员的工作绩效。

具体地，业务分配规则可以是基于业务数据类型的不同，将其分配至不同的业务员，或者是基于业务数据中的客户信息等进行分配，可根据实际情况进行设置。

在本实施例中，以客户还款催收为例，说明通过业务数据如何统计业务员的工作绩效。具体地，当相应的业务数据被分配至对应的业务员系统中以供该业务员进行处理后，若该业务数据后续有对应的业务更新数据，则获取该业务更新数据中的交易信息表，根据交易信息表中客户的还款信息，确定业务员的工作绩效。举例说明，若该交易信息表中存在客户还款信息，则该业务员的业务数据中kp(keeppromise，遵守承诺)次数加1；若不存在还款信息或还款数额不够，则bp(breakpromise，打破承诺)次数加1，例如，加载至实时表中的业务数据表明客户承诺还款100元，而后续的交易信息表中显示客户还款90元，则表明客户遵守了还款承诺，若客户还款金额低于90元或不存在还款数据，则表明客户未遵守还款承诺，业务员没有完成催收业务。

进一步地，所述步骤s30之后，还可以包括：

步骤a，判断业务数据加载是否完成；若是，则执行步骤b；

步骤b，对所述临时表中的业务数据进行备份，并在备份完成后删除所述临时表中的业务数据。

在完成业务数据从临时表中到实时表中的加载过程后，还可以对临时表中的数据进行备份，并在备份完成后删除临时表中的业务数据，因为临时表只用来作为每天从上游系统加载至实时表中的业务数据的存储、分析及加载，因此，当数据加载完成后，清空临时表，以进行下一轮的数据加载过程。

具体地，执行备份之前，首先判断临时表中的数据加载过程是否全部完成，若是，则将帐户、客户、债项、交易信息、地址、电话信息等信息备份到对应的备份表中，并删除临时表中的所有数据。

在本实施例中，当完成业务数据从临时表中到实时表中的加载过程后，可以基于预设的业务分配规则，将加载至实时表中的不同的业务数据，分配给不同的业务员使用，以据此来统计业务员的工作绩效，便于业务系统的管理。

此外，本发明实施例还提供一种数据加载装置。

参照图5，图5为本发明数据加载装置第一实施例的功能模块示意图。

本实施例中，所述数据加载装置包括：

数据接收模块10，用于接收上游系统推送的业务数据，并基于预设的数据处理模型将所述业务数据加载至临时表中；

映射关系获取模块20，用于获取映射文档，并基于所述映射文档确定所述业务数据对应的映射关系；

数据加载模块30，用于基于所述映射关系，将所述临时表中的业务数据加载至实时表中。

进一步地，所述数据接收模块10具体包括：

数据接收单元，用于通过数据加载工具接收上游系统推送的业务数据，并基于所述业务数据的业务类型将所述业务数据加载至对应的接口表；

数据处理单元，用于获取所述接口表对应的预设的数据处理模型，并基于所述预设的数据处理模型对所述接口表中的业务处理进行处理，以便将处理后的所述业务数据加载至对应的临时表。

进一步地，所述数据加载装置还包括：

映射文档制作单元，用于制作映射文档，其中，所述映射文档中包括接口区、临时区和实时区，所述接口区、临时区和实时区中记录所述业务数据对应的接口表、临时表和实时表的存储位置字段；

映射文档保存单元，用于保存所述映射文档。

进一步地，所述映射关系获取模块20具体包括：

映射关系确定单元，用于基于所述映射文档中的临时区和实时区中分别记录的所述存储位置字段，生成所述临时区和实时区对应的映射关系，并确定为所述业务数据对应的映射关系。

进一步地，所述数据加载模块30具体包括：

时间判断单元，用于获取当前时间，并判断所述当前时间是否满足预设时间条件；

条件判断单元，用于若是，则判断所述业务数据是否满足加载条件；

数据加载单元，用于若所述业务数据满足加载条件，则基于所述映射关系将所述业务数据加载至对应的实时表；

其中，所述数据加载单元具体包括：

数据加载任务创建子单元，用于创建若干个并行的数据加载任务，并基于所述业务数据的业务类型将所述业务数据分配至所述数据加载任务中；

数据加载任务启动子单元，用于启动所述数据加载任务，将所述数据加载任务中的业务数据基于所述映射关系加载至对应的实时表。

进一步地，所述数据加载装置还包括：

业务分配单元，用于获取预设的业务分配规则，并根据所述业务分配规则将所述实时表中的业务数据分配至不同的业务员系统中。

进一步地，所述数据加载装置还包括：

加载完成判断单元，用于判断业务数据加载是否完成；

数据备份单元，用于若是，则对所述临时表中的业务数据进行备份，并在备份完成后删除所述临时表中的业务数据。

其中，上述数据加载装置中各个模块与上述数据加载方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据加载程序，所述数据加载程序被处理器执行时实现如上所述的数据加载方法的步骤。

其中，数据加载程序被执行时所实现的方法可参照本发明数据加载方法的各个实施例，此处不再赘述。

本实施例提供的方案，首先，接收上游系统推送的业务数据，并通过预设的数据处理模型将接收的业务数据加载至临时表中，进一步地，获取映射文档以确定该业务数据对应的映射关系，最终根据该映射关系将临时表中的业务数据加载至实时表中。本发明提出的数据加载方法，通过建立临时表接收上游系统推送的业务数据，并根据映射文档确定映射关系，最终将临时表中的业务数据映射至实时表中，提高了数据加载的准确性，实现了不同业务线数据加载的流程优化。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。