一种增量数据同步方法及终端设备与流程

本发明属于计算机技术领域，尤其涉及一种增量数据同步方法及终端设备。

背景技术：

目前的金融业务子系统规模庞大、结构复杂，往往会按照业务分类将整个系统划分为多个业务子系统，因此，用户的增量数据往往需要在多个业务子系统中进行同步，目前的方式主要是通过接口调用方式向多个不同的业务子系统实时记录增量数据，数据同步的一致性难以保证，出错率较高。

技术实现要素：

有鉴于此，本发明实施例提供了一种增量数据同步方法及终端设备，以解决通过接口调用方式向多个不同的业务子系统实时记录增量数据时存在的数据同步的一致性难以保证，出错率较高的问题。

本发明实施例的第一方面提供了一种增量数据同步方法，可以包括：

分别从各个业务子系统中获取第一增量数据，所述第一增量数据为各个所述业务子系统在预设的第一时间段内实际新增的用户数据；

对获取的各个所述第一增量数据进行汇总，得到第二增量数据，所述第二增量数据为各个所述业务子系统在所述第一时间段内所应新增的用户数据；

将各个所述第一增量数据分别与所述第二增量数据进行比对，得到各个所述业务子系统缺失的增量记录，所述增量记录为增量数据的基本单元，每条增量记录包含一条业务信息；

将缺失的所述增量记录分别添加至对应的业务子系统中，以完成对各个所述业务子系统的增量数据的同步。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

分别从各个业务子系统中获取第一增量数据，所述第一增量数据为各个所述业务子系统在预设的第一时间段内实际新增的用户数据；

对获取的各个所述第一增量数据进行汇总，得到第二增量数据，所述第二增量数据为各个所述业务子系统在所述第一时间段内所应新增的用户数据；

将各个所述第一增量数据分别与所述第二增量数据进行比对，得到各个所述业务子系统缺失的增量记录，所述增量记录为增量数据的基本单元，每条增量记录包含一条业务信息；

将缺失的所述增量记录分别添加至对应的业务子系统中，以完成对各个所述业务子系统的增量数据的同步。

本发明实施例的第三方面提供了一种增量数据同步终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

分别从各个业务子系统中获取第一增量数据，所述第一增量数据为各个所述业务子系统在预设的第一时间段内实际新增的用户数据；

对获取的各个所述第一增量数据进行汇总，得到第二增量数据，所述第二增量数据为各个所述业务子系统在所述第一时间段内所应新增的用户数据；

将各个所述第一增量数据分别与所述第二增量数据进行比对，得到各个所述业务子系统缺失的增量记录，所述增量记录为增量数据的基本单元，每条增量记录包含一条业务信息；

将缺失的所述增量记录分别添加至对应的业务子系统中，以完成对各个所述业务子系统的增量数据的同步。

本发明实施例与现有技术相比存在的有益效果是：通过本发明实施例，首先分别从各个业务子系统中获取增量数据，然后对其进行汇总，汇总的增量数据提供了同步的标准，各个业务子系统的增量数据分别与之进行比对，可以得出其与该同步标准之间存在的差异记录，由于这些差异是基于同样的同步标准得到的，只要将各个所述业务子系统据此对各自的增量数据进行同步处理，就可保证它们之间的增量数据是一致的，而且由于该同步标准汇总了各个业务子系统的数据，极大地保证了其准确性，以其作为参照可以大大降低同步时的错误率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例中的一种实施环境的示意图；

图2为本发明实施例中一种增量数据同步方法的一个实施例流程图；

图3为本发明实施例中一种增量数据同步方法在考虑存在数据错误的场景下的一个实施例流程图；

图4为本发明实施例中确定待排查系统的示意流程图；

图5为本发明实施例提供的一种增量数据同步终端设备的示意框图；

图6为本发明实施例提供的一种增量数据同步程序的程序模块图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1所示为本发明实施例的一种实施环境的示意图，本发明实施例中的执行主体即为图中所示的同步处理系统，同步处理系统与各个业务子系统连接，读取各个业务子系统的增量数据，并对其进行汇总，然后将各个业务子系统的增量数据与汇总的增量数据对比，得到各个业务子系统缺失的增量数据，最后将缺失的所述增量记录分别添加至对应的业务子系统中，以完成对各个所述业务子系统的增量数据的同步。

请参阅图2，本发明实施例中一种增量数据同步方法的一个实施例可以包括：

步骤s201，分别从各个业务子系统中获取第一增量数据。

所述第一增量数据为各个所述业务子系统在预设的第一时间段内实际新增的用户数据，在本实施例中，同步处理系统可以在预设的第一时刻分别从预设的第一存储位置读取各个业务子系统的第一增量数据，所述第一增量数据由各个所述业务子系统在预设的第二时刻分别进行抽取并存储入所述第一存储位置。

例如，某公司例行在每天凌晨进行一次增量数据的同步，各个业务子系统在t+1日凌晨00:05:00(即所述第二时刻)启动定时任务，将各自系统中t日00:00:00至24:00:00(即所述第一时间段)的增量数据(即所述第一增量数据)抽取出来，存储入所述第一存储位置。同步处理系统在t+1日凌晨02:00:00(即所述第一时刻)启动定时任务，从所述第一存储位置读取所述第一增量数据。为保证同步处理系统可以顺利地读取出数据，避免出现读取时在所述第一存储位置尚未有数据存入的情况，所述第一时刻应晚于所述第二时刻，且所述第一时刻与所述第二时刻之间的间隔应大于预设的时间间隔，所述时间间隔的具体取值可以根据实际情况来设置，以保证足够各个业务子系统完成数据抽取和存储等过程为准。

步骤s202，对获取的各个所述第一增量数据进行汇总，得到第二增量数据。

所述第二增量数据为各个所述业务子系统在所述第一时间段内所应新增的用户数据。

在本实施例中，增量数据是由若干个增量记录组成的，所述增量记录为增量数据的基本单元，每条增量记录包含一条业务信息，例如，每条增量记录可以代表用户与产品账户之间的一个绑定关系。

在对读取的各个所述第一增量数据进行汇总时，可以将每个增量数据都看作一个集合，增量记录为其中的元素，然后求得这些集合的并集，也即所述第二增量数据。具体地，可以先提取出所有的增量记录，并将其组成一个增量数据，然后，对其中包含相同业务信息的多个增量记录只保留其中的一个增量记录，删除掉其它重复的增量记录。

例如，若业务子系统1的第一增量数据包括：增量记录1、增量记录2、增量记录3和增量记录4，业务子系统2的第一增量数据包括：增量记录1、增量记录4、增量记录5和增量记录6，那么汇总后得到的第二增量数据中包括：增量记录1、增量记录2、增量记录3、增量记录4、增量记录5和增量记录6。

步骤s203，将各个所述第一增量数据分别与所述第二增量数据进行比对，得到各个所述业务子系统缺失的增量记录。

在上述的例子中，将业务子系统1的第一增量数据与所述第二增量数据进行比对，得到的缺失的增量记录为增量记录5和增量记录6，将业务子系统2的第一增量数据与所述第二增量数据进行比对，得到的缺失的增量记录为增量记录2和增量记录3。

步骤s204，将缺失的所述增量记录分别添加至对应的业务子系统中，以完成对各个所述业务子系统的增量数据的同步。

具体地，同步处理系统可以在预设的第三时刻将缺失的所述增量记录分别存储入预设的第二存储位置，以便各个所述业务子系统在预设的第四时刻分别从所述第二存储位置读取各自缺失的所述增量记录，并将缺失的所述增量记录添加至对应的第一增量数据中，得到同步后的增量数据。

容易理解地，所述第三时刻应晚于所述第一时刻，且所述第一时刻与所述第三时刻之间的间隔应大于一定的时间间隔，以保证足够同步处理系统完成读取、汇总及比对等过程为准，所述第四时刻应晚于所述第三时刻，且所述第三时刻与所述第四时刻之间的间隔应大于一定的时间间隔，以保证足够同步处理系统完成存储过程为准。

例如，同步处理系统在t+1日凌晨02:00:00(即所述第一时刻)启动定时任务进行读取、汇总及比对等过程，并在t+1日凌晨05:00:00(即所述第三时刻)启动定时任务进行存储过程，各个业务子系统在t+1日凌晨06:00:00(即所述第四时刻)启动定时任务进行读取及添加等过程。

在以上的实施例中，是基于业务子系统的数据均为可信数据的这一前提条件。但在实际应用中，业务子系统的数据可能是会存在错误的，需要对其加以考虑。请参阅图3，在考虑存在数据错误的场景下的一个实施例可以包括：

步骤s301，分别从各个业务子系统中获取第一增量数据。

步骤s301与上述实施例中的步骤s201相同，具体可参照上述实施例中的描述，本实施例对此不再赘述。

步骤s302，对获取的各个所述第一增量数据进行汇总，得到第二增量数据。

步骤s302与上述实施例中的步骤s202相同，具体可参照上述实施例中的描述，本实施例对此不再赘述。

步骤s303，根据预设的各个所述业务子系统的数据可信度计算所述第二增量数据中的各条增量记录的可信度。

各个所述业务子系统的数据可信度是根据历史统计数据确定的，若在历史统计数据中，业务子系统对增量数据执行修改的操作(包括添加增量记录的操作和删除增量记录的操作)越多，则说明其数据出现错误的概率越高，其数据可信度就越低。业务子系统的数据可信度的取值范围为[0，1]，取0时代表其数据完全不可信，取1时代表其数据完全可信。

在本实施例中，增量记录的可信度可以通过如下方式计算：将出现该条增量记录的各个业务子系统的数据可信度求和，再除以业务子系统的总个数，最后所得的商即为该增量记录的可信度，类似地，增量记录的可信度的取值范围为[0，1]，取0时代表其数据完全不可信，取1时代表其数据完全可信。

例如，若共有3个业务子系统，分别为业务子系统1、业务子系统2、业务子系统3，其数据可信度为0.9、0.8、0.7。其中，增量记录1出现在业务子系统2和业务子系统3中，但没有出现在业务子系统1中，那么增量记录1的可信度就为(0.8+0.7)/3＝0.5。

步骤s304，从所述第二增量数据中的各条所述增量记录中抽取出所述可信度大于预设的第二阈值的优选记录。

所述第二阈值的取值可以根据实际情况进行设置，本实施例对此不作具体限定，但需要注意的是，若其取值越大，则抽取出的优选记录越少，若其取值越小，则抽取出的优选记录越多。

可选地，可以采用以下的处理方式作为步骤s303和步骤s304的一种简化：分别统计所述第二增量数据中的各条增量记录在所述第一增量数据中出现的总次数；从所述第二增量数据中的各条所述增量记录中抽取出所述总次数大于预设的第一阈值的优选记录，所述第一阈值由所述业务子系统的总个数确定。例如，若业务子系统的总个数为10，第一阈值设置为该总个数的一半，也即取值为5，增量记录1在第一增量数据中出现的总次数为4，增量记录2在第一增量数据中出现的总次数为6，则增量记录2是优选记录，而增量记录1不是优选记录。

步骤s305，将抽取出的各条所述优选记录组成优选后的第二增量数据。

相比于初始的第二增量数据，优选后的第二增量数据中只保留了可信度较高的增量记录，据此得到的同步结果更为准确。

步骤s306，将各个所述第一增量数据分别与优选后的所述第二增量数据进行比对，得到各个所述业务子系统缺失的增量记录以及冗余的增量记录。

例如，若业务子系统1的第一增量数据包括：增量记录1、增量记录2、增量记录3和增量记录4，业务子系统2的第一增量数据包括：增量记录1、增量记录2、增量记录3和增量记录5，优选后的第二增量数据中包括：增量记录1、增量记录2、增量记录3、和增量记录5。

将业务子系统1的第一增量数据与优选后的第二增量数据进行比对，得到的缺失的增量记录为增量记录5，冗余的增量记录为增量记录4，将业务子系统2的第一增量数据与所述第二增量数据进行比对，两者完全一致，既无缺失的增量记录，也无冗余的增量记录。

步骤s307，将缺失的所述增量记录分别添加至对应的业务子系统中，将冗余的所述增量记录分别从对应的业务子系统中删除。

具体地，同步处理系统可以将缺失的所述增量记录以及冗余的所述增量记录分别存储入预设的第二存储位置，以便各个所述业务子系统分别从所述第二存储位置读取各自缺失的所述增量记录以及冗余的所述增量记录，并将缺失的所述增量记录添加至对应的第一增量数据中，以及从对应的第一增量数据中删除冗余的所述增量记录，得到同步后的增量数据。

优选地，对于数据可信度较低的业务子系统，需要对其进行排查，来减少其发生错误的概率。具体地，可以包括如图4所示的步骤：

步骤s401，分别统计各个所述业务子系统的历史操作记录的总数。

所述历史操作记录为在预设的第二时间段内所述业务子系统在进行同步处理时所执行操作记录(包括添加增量记录的操作和删除增量记录的操作)，为了避免短期突发状况的影响，所述第二时间段应该足够长，例如，可以取一周、一个月等等。

步骤s402，将所述历史操作记录的总数大于预设的第三阈值的所述业务子系统确定为待排查系统；

历史操作记录的总数越大，则说明其数据出现错误的概率越高。所述第三阈值的取值可以根据实际情况进行设置，本实施例对此不作具体限定，但需要注意的是，若其取值越大，则确定出的待排查系统越少，若其取值越小，则确定出的待排查系统越多。

步骤s403，通知指定的工作人员对所述待排查系统进行排查。

综上所述，通过本发明实施例，首先分别从各个业务子系统中获取增量数据，然后对其进行汇总，汇总的增量数据提供了同步的标准，各个业务子系统的增量数据分别与之进行比对，可以得出其与该同步标准之间存在的差异记录，由于这些差异是基于同样的同步标准得到的，只要将各个所述业务子系统据此对各自的增量数据进行同步处理，就可保证它们之间的增量数据是一致的，而且由于该同步标准汇总了各个业务子系统的数据，极大地保证了其准确性，以其作为参照可以大大降低同步时的错误率。

对应于上文实施例所述的增量数据同步方法，图5示出了本发明实施例提供的增量数据同步终端设备的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。

在本实施例中，所述增量数据同步终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该增量数据同步终端设备可包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。

所述处理器50可以是中央处理单元(centralprocessingunit，cpu)，还可以是其它通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述增量数据同步终端设备5的内部存储单元，例如增量数据同步终端设备5的硬盘或内存。所述存储器51也可以是所述增量数据同步终端设备5的外部存储设备，例如所述增量数据同步终端设备5上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器51还可以既包括所述增量数据同步终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述增量数据同步终端设备5所需的其它程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

请参阅图6，是本发明实施例提供的计算机程序52的程序模块图。在本实施例中，所述的计算机程序52可以被分割成一个或多个模块，所述一个或者多个模块被存储于所述存储器51中，并由所述处理器50所执行，以完成本发明。例如，在图6中，所述的计算机程序52，也即增量数据同步程序可以被分割成增量数据获取模块601、增量数据汇总模块602、第一比对模块603、缺失记录添加模块604。以下描述将具体介绍所述程序模块601-604的功能。

增量数据获取模块601，用于分别从各个业务子系统中获取第一增量数据，所述第一增量数据为各个所述业务子系统在预设的第一时间段内实际新增的用户数据；

增量数据汇总模块602，用于对获取的各个所述第一增量数据进行汇总，得到第二增量数据，所述第二增量数据为各个所述业务子系统在所述第一时间段内所应新增的用户数据；

第一比对模块603，用于将各个所述第一增量数据分别与所述第二增量数据进行比对，得到各个所述业务子系统缺失的增量记录，所述增量记录为增量数据的基本单元，每条增量记录包含一条业务信息；

缺失记录添加模块604，用于将缺失的所述增量记录分别添加至对应的业务子系统中，以完成对各个所述业务子系统的增量数据的同步。

可选地，所述计算机程序52还可以包括：

次数统计模块，用于分别统计所述第二增量数据中的各条增量记录在所述第一增量数据中出现的总次数；

第一优选记录抽取模块，用于从所述第二增量数据中的各条所述增量记录中抽取出所述总次数大于预设的第一阈值的优选记录，所述第一阈值由所述业务子系统的总个数确定；

第一组成模块，用于将抽取出的各条所述优选记录组成优选后的第二增量数据。

可选地，所述计算机程序52还可以包括：

可信度计算模块，用于根据预设的各个所述业务子系统的数据可信度计算所述第二增量数据中的各条增量记录的可信度；

第二优选记录抽取模块，用于从所述第二增量数据中的各条所述增量记录中抽取出所述可信度大于预设的第二阈值的优选记录；

第二组成模块，用于将抽取出的各条所述优选记录组成优选后的第二增量数据。

进一步地，所述计算机程序52还可以包括：

第二比对模块，用于将各个所述第一增量数据分别与优选后的所述第二增量数据进行比对，得到各个所述业务子系统冗余的增量记录；

冗余记录删除模块，用于将冗余的所述增量记录分别从对应的业务子系统中删除。

进一步地，所述计算机程序52还可以包括：

操作统计模块，用于分别统计各个所述业务子系统的历史操作记录的总数，所述历史操作记录为在预设的第二时间段内所述业务子系统在进行同步处理时所执行操作记录；

待排查系统确定模块，用于将所述历史操作记录的总数大于预设的第三阈值的所述业务子系统确定为待排查系统；

排查通知模块，用于通知指定的工作人员对所述待排查系统进行排查。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。