本发明实施例涉及数据同步,尤其涉及一种拉链数据生成及跨系统数据同步方法。
背景技术:
1、随着机构特色数据属性项的不断增多,在业务发展中部分数据项存在修改频率高的情况,下游系统对数据时效性要求也越来越高,各下游系统在保存最新数据项值的同时对于保留拉链数据的需求也越来越大。一个有效的方法是在主系统保存每一个维护(新增、修改、删除)信息生成拉链数据的同时将当前变更的拉链信息通过消息队列同步给下游系统,由此产生了拉链数据生成及跨系统同步的问题。
2、现有技术中,通过设置校对周期和参数,不定期检查第一系统中待同步数据与第二系统中已同步数据量进行比较,以实现跨系统数据同步。该方案虽然提出了数据校对功能去尽可能保证双方系统数据的完整性一致性,但是在时效性上是存在缺陷的,降低了数据同步效率。
技术实现思路
1、本发明实施例提供一种拉链数据生成及跨系统数据同步方法、装置、电子设备及存储介质,以实现主系统与下游系统时刻保持数据同步。
2、第一方面,本发明实施例提供了一种拉链数据生成及跨系统数据同步方法,包括:
3、接收机构数据项修改请求并依据机构数据项修改请求对数据项进行修改,将修改后的数据项采用拉链数据的方式存储至数据库中;
4、从数据库中获取修改数据项对应的拉链数据,将修改数据项对应的拉链数据封装为待发送信息单元并存储至预设消息队列中;
5、确定待发送消息单元的地址信息,从预设消息队列中获取待发送信息单元并依据所述地址信息将待发送信息单元传输至对应的目标下游系统,以完成主系统与目标下游系统的数据同步。
6、第二方面,本发明实施例还提供了一种拉链数据生成及跨系统数据同步装置,包括:
7、数据项修改模块,用于接收机构数据项修改请求并依据机构数据项修改请求对数据项进行修改,将修改后的数据项采用拉链数据的方式存储至数据库中;
8、修改数据项封装模块,用于从数据库中获取修改数据项对应的拉链数据,将修改数据项对应的拉链数据封装为待发送信息单元并存储至预设消息队列中;
9、修改数据项同步模块,用于确定待发送消息单元的地址信息,从预设消息队列中获取待发送信息单元并依据所述地址信息将待发送信息单元传输至对应的目标下游系统,以完成主系统与目标下游系统的数据同步。
10、第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:
11、一个或多个处理器;
12、存储装置,用于存储一个或多个程序;
13、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的拉链数据生成及跨系统数据同步方法。
14、第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的拉链数据生成及跨系统数据同步方法。
15、本发明实施例提供了一种拉链数据生成及跨系统数据同步方法、装置、电子设备和存储介质,通过接收机构数据项修改请求并依据机构数据项修改请求对数据项进行修改,将修改后的数据项采用拉链数据的方式存储至数据库中;从数据库中获取修改数据项对应的拉链数据,将修改数据项对应的拉链数据封装为待发送信息单元并存储至预设消息队列中;确定待发送消息单元的地址信息,从预设消息队列中获取待发送信息单元并依据所述地址信息将待发送信息单元传输至对应的目标下游系统,以完成主系统与目标下游系统的数据同步。采用本发明实施例的技术方案,通过消息队列实现将大批量数据同步到下游系统中,通过异步方式应用解耦,减少了主系统和各下游系统的服务器压力。同时通过下游系统收到信息后自主检查缺失信息以及主系统夜间批量同步最大序号补偿方式,确保下游系统数据完整性、正确性以及一致性。自动检查及重发机制使数据一致性得到保障,从而能够高效且稳定的完成系统之间时间拉链数据同步的需求。
1.一种拉链数据生成及跨系统数据同步方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述接收机构数据项修改请求并依据机构数据项修改请求对数据项进行修改,将修改后的数据项采用拉链数据的方式存储至数据库中,包括:
3.根据权利要求1所述的方法,其特征在于,所述接收机构数据项修改请求并依据机构数据项修改请求对数据项进行修改,将修改后的数据项采用拉链数据的方式存储至数据库中,还包括:
4.根据权利要求1所述的方法,其特征在于,所述从数据库中获取修改数据项对应的拉链数据,将修改数据项对应的拉链数据封装为待发送信息单元并存储至预设消息队列中,包括:
5.根据权利要求1所述的方法,其特征在于,所述确定待发送消息单元的地址信息,从预设消息队列中获取待发送信息单元并依据所述地址信息将待发送信息单元传输至目标下游系统,以完成主系统与下游系统的数据同步,包括:
6.根据权利要求1所述的方法,其特征在于,在目标下游系统对接收的信息单元进行解析并确定是否为应接收数据,将应接收数据对应的信息单元更新至目标下游系统数据库中之后,所述方法还包括:
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
8.一种拉链数据生成及跨系统数据同步装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括:
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的拉链数据生成及跨系统数据同步方法。