一种数据核查方法、装置、电子设备及存储介质与流程

文档序号:28599985发布日期:2022-01-22 11:05阅读:73来源:国知局
一种数据核查方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域,特别涉及一种数据核查方法、装置、电子设备及存储介质。


背景技术:

2.大数据在多个系统之间流转时,可能出现数据出错的情况,例如用户在电商平台下单后,一线物流员工需要将对物品执行验收、上架、拣货、复核、打包等一系列操作,直至快递送到最终用户手中,至此一次完整的购物过程才结束,在此过程中,业务系统库存流水数据,交易变化数据会在多个系统之间的流转。以库存流水数据为例,会从上游的源业务系统经过多个系统的转发和处理,最终传输至下游的人资系统,以供人资系统核算一线物流员工的工作量,进而进行绩效薪酬的计算。如果库存流水数据在系统之间流转的过程中出错,那势必会影响到一线物流员工的绩效薪酬计算结果。
3.现有大数据在系统之间流转时,当发现数据出错时,需要逐层追溯,涉及每一个数据环节的相关人员都需要投入进来进行问题排查,非常麻烦而且效率较低。


技术实现要素:

4.有鉴于此,本发明的目的在于提供了一种数据核查方法、装置、电子设备及存储介质,不需要人工进行问题排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
5.为了达到上述目的,本发明提供了如下技术方案:
6.第一种数据核查方法,应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统,包括:
7.确定所述上游业务系统存在将要传输到所述相邻业务系统中的下游业务系统的待传输数据时,根据与所述下游业务系统之间的数据校验接口信息,生成待传输数据对应的第一校验数据;
8.将待传输数据及带传输数据对应的第一校验数据发送到所述下游业务系统,以使所述下游业务系统根据所述数据校验接口信息生成接收到的待传输数据对应的第二校验数据,判断第一校验数据与第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
9.第二种数据核查方法,应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统,包括:
10.接收所述相邻业务系统中的上游业务系统发送的待传输数据及待传输数据对应的第一校验数据;其中,待传输数据对应的第一校验数据是所述上游业务系统根据与所述下游业务系统之间的数据校验接口信息生成的;
11.根据与所述上游业务系统之间的数据校验接口信息,生成接收到的待传输数据对应的第二校验数据,判断第一校验数据和第二校验数据是否相同,如果相同,则对接收到的
待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
12.第一种数据核查装置,应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统,包括:
13.生成单元,用于确定所述上游业务系统存在将要传输到所述相邻业务系统中的下游业务系统的待传输数据时,根据与所述下游业务系统之间的数据校验接口信息,生成待传输数据对应的第一校验数据;
14.发送单元,用于将待传输数据及带传输数据对应的第一校验数据发送到所述下游业务系统,以使所述下游业务系统根据所述数据校验接口信息生成接收到的待传输数据对应的第二校验数据,判断第一校验数据与第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
15.第二种数据核查装置,应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统,包括:
16.接收单元,用于接收所述相邻业务系统中的上游业务系统发送的待传输数据及待传输数据对应的第一校验数据;其中,待传输数据对应的第一校验数据是所述上游业务系统根据与所述下游业务系统之间的数据校验接口信息生成的;
17.核查单元,用于根据与所述上游业务系统之间的数据校验接口信息,生成接收到的待传输数据对应的第二校验数据,判断第一校验数据和第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
18.一种电子设备,包括:至少一个处理器,以及与所述至少一个处理器通过总线相连的存储器;所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序;其特征在于,所述至少一个处理器执行所述一个或多个计算机程序时实现上述第一种数据核查方法中的步骤,或实现上述第二种数据核查方法中的步骤。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个计算机程序,所述一个或多个计算机程序被处理器执行时实现上述第一种数据核查方法中的步骤,或实现上述第二种数据核查方法中的步骤。
20.由上面的技术方案可知,本发明中,数据传输路径经由的任意两个相邻业务系统中的上游业务系统和下游业务系统分别根据所述相邻业务系统之间的数据校验接口信息生成上游业务系统发送的待传输数据对应的第一校验数据和下游业务系统接收的待传输数据对应的第二校验数据,并通过比对第一校验数据与第二校验数据确定是否出现上游业务系统发送的待传输数据和下游业务系统接收的待传输数据不一致的情况,如出现不一致的情况则输出第一数据出错告警信息。可以看出,本发明不需要人工进行问题排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
22.图1是本发明实施例一数据核查方法流程图;
23.图2是本发明实施例二数据核查方法流程图;
24.图3是本发明实施例三数据核查方法流程图;
25.图4是本发明实施例四数据核查方法流程图;
26.图5是本发明实施例五数据核查方法流程图;
27.图6是本发明实施例六数据核查方法流程图;
28.图7是本发明实施例出库业务表中数据示例图;
29.图8是本发明实施例经处理后的出库业务表中数据示例图;
30.图9是本发明实施例一数据核查装置的结构示意图;
31.图10是本发明实施例二数据核查装置的结构示意图;
32.图11是本发明实施例提供的电子设备的结构示意图。
具体实施方式
33.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
34.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
35.下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
36.参见图1,图1是本发明实施例一数据核查方法流程图,该方法应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统,如图1所示,主要包括以下步骤:
37.步骤101、确定所述上游业务系统存在将要传输到所述相邻业务系统中的下游业务系统的待传输数据时,根据与所述下游业务系统之间的数据校验接口信息,生成待传输数据对应的第一校验数据;
38.步骤102、将待传输数据及带传输数据对应的第一校验数据发送到所述下游业务系统,以使所述下游业务系统根据所述数据校验接口信息生成接收到的待传输数据对应的第二校验数据,判断第一校验数据与第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
39.根据图1所示方法可以看出,本实施例中,本发明中,数据传输路径经由的任意两个相邻业务系统中的上游业务系统和下游业务系统分别根据所述相邻业务系统之间的数据校验接口信息生成上游业务系统发送的待传输数据对应的第一校验数据和下游业务系统接收的待传输数据对应的第二校验数据,并通过比对第一校验数据与第二校验数据确定是否出现上游业务系统发送的待传输数据和下游业务系统接收的待传输数据不一致的情
况,如出现不一致的情况则输出第一数据出错告警信息。本实施例中,不需要人工进行问题排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
40.参见图2,图2是本发明实施例二数据核查方法流程图,该方法应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统,如图2所示,主要包括以下步骤:
41.步骤2011、当所述上游业务系统是所述数据传输路径的源节点、且到达对所述上游业务系统所生产数据的传输时间时,确定所述上游业务系统存在将要传输到所述下游业务系统的待传输数据,转至步骤2013;
42.本实施例中,当所述上游业务系统是数据传输路径的源节点时,该上游业务系统即为生成业务系统,用于生成待传输数据,对于生成的待传输数据可以采用定时发送方式,在预定的时间点(例如下午6:00时)将当前生成的所有待传输数据发送到下游业务系统。当到达预定的时间点时,可以确定上游业务系统存在将要传输到所述下游业务系统的待传输数据,从而触发后续的数据传输流程。
43.步骤2012、当所述上游业务系统是所述数据传输路径的中间节点、且对从所述上游业务系统在所述数据传输路径上的前一业务系统接收的待传输数据的业务处理完成时,确定所述上游业务系统存在将要传输到所述下游业务系统的待传输数据,转至步骤2013。
44.本实施例中,当所述上游业务系统是所述数据传输路径的中间节点时,还需要将数据继续向下游传输,因此,在对从所述上游业务系统在所述数据传输路径上的前一业务系统(即所述上游业务系统的上游业务系统)接收的待传输数据的业务处理完成时,可以确定所述上游业务系统存在将要传输到所述下游业务系统的待传输数据,从而触发后续的数据传输流程。
45.以上步骤2011和步骤2012是图1所示步骤101中“确定所述上游业务系统存在将要传输到所述相邻业务系统中的下游业务系统的待传输数据”的具体细化。
46.步骤2013、根据与所述下游业务系统之间的数据校验接口信息,生成待传输数据对应的第一校验数据;
47.以上步骤2011至步骤2013是图1所示步骤101的具体细化。
48.步骤202、将待传输数据及带传输数据对应的第一校验数据发送到所述下游业务系统,以使所述下游业务系统根据所述数据校验接口信息生成接收到的待传输数据对应的第二校验数据,判断第一校验数据与第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
49.本实施例中,所述下游业务系统对接收到的待传输数据进行的业务处理操作可以根据所述下游业务系统的具体业务需求确定,也可能不对接收到的待传输数据做任何处理,而是继续向下游转发接收到的待传输数据。
50.根据图2所示方法可以看出,本实施例中,本发明中,当数据传输路径经由的任意两个相邻业务系统中的上游业务系统确定存在将要传输到所述下游业务系统的待传输数据时,上游业务系统和下游业务系统分别根据所述相邻业务系统之间的数据校验接口信息生成上游业务系统发送的待传输数据对应的第一校验数据和下游业务系统接收的待传输数据对应的第二校验数据,并通过比对第一校验数据与第二校验数据确定是否出现上游业务系统发送的待传输数据和下游业务系统接收的待传输数据不一致的情况,如出现不一致
的情况则输出第一数据出错告警信息。本实施例中,不需要人工进行问题排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
51.参见图3,图3是本发明实施例三数据核查方法流程图,该方法应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统,如图3所示,主要包括以下步骤:
52.步骤3011、确定所述上游业务系统存在将要传输到所述相邻业务系统中的下游业务系统的待传输数据时,根据与所述相邻业务系统中的下游业务系统之间的数据校验接口信息执行以下步骤3012至步骤3014以生成待传输数据对应的第一校验数据:
53.在实际应用中,上下游业务系统之间可以预先设定好需要校验的内容,即数据校验接口信息。本实施例中,所述数据校验接口信息可具体包括以下内容:记录行数、校验字段、以及每一校验字段对应的阈值预警信息,其中,所述阈值预警信息包括该校验字段的阈值范围。
54.步骤3012、统计待传输数据的记录行数;
55.步骤3013、针对所述数据校验接口信息中包括的每一校验字段,对待传输数据中该校验字段的数据进行汇总计算;
56.本实施例中,针对所述数据校验接口信息中包括的每一校验字段,对待传输数据中该校验字段的数据进行汇总计算之后,还可以进一步判断该校验字段的汇总计算结果是否超出该校验字段的阈值范围,如果超出该校验字段的阈值范围,则输出第二数据出错告警信息。
57.在实际应用中,作为待传输数据的发送方,也可以不执行判断该校验字段的汇总计算结果是否超出该校验字段的阈值范围,超出则告警等操作,而是由待传输数据的接收方在生成待传输数据的第二校验数据后执行该操作。
58.步骤3014、将待传输数据的记录行数和每一校验字段对应的汇总计算结果作为待传输数据对应的第一校验数据。
59.以上步骤3012至步骤3014是图1所示步骤101中“根据与所述下游业务系统之间的数据校验接口信息,生成待传输数据对应的第一校验数据”的具体细化。
60.以上步骤3011至步骤3014是图1所示步骤101的具体细化。
61.步骤302、将待传输数据及带传输数据对应的第一校验数据发送到所述下游业务系统,以使所述下游业务系统根据所述数据校验接口信息生成接收到的待传输数据对应的第二校验数据,判断第一校验数据与第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
62.本实施例中,所述下游业务系统对接收到的待传输数据进行的业务处理操作可以根据所述下游业务系统的具体业务需求确定,也可能不对接收到的待传输数据做任何处理,而是继续向下游转发接收到的待传输数据。
63.根据图3所示方法可以看出,本实施例中,本发明中,数据传输路径经由的任意两个相邻业务系统中的上游业务系统和下游业务系统分别根据所述相邻业务系统之间的数据校验接口信息生成上游业务系统发送的待传输数据对应的第一校验数据和下游业务系统接收的待传输数据对应的第二校验数据,并通过比对第一校验数据与第二校验数据确定是否出现上游业务系统发送的待传输数据和下游业务系统接收的待传输数据不一致的情况,如出现不一致的情况则输出第一数据出错告警信息。本实施例中,不需要人工进行问题
排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
64.参见图4,图4是本发明实施例四数据核查方法流程图,该方法应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统,如图4所示,具体包括以下步骤:
65.步骤401、接收所述相邻业务系统中的上游业务系统发送的待传输数据及待传输数据对应的第一校验数据;其中,待传输数据对应的第一校验数据是所述上游业务系统根据与所述下游业务系统之间的数据校验接口信息生成的;
66.步骤402、根据与所述上游业务系统之间的数据校验接口信息,生成接收到的待传输数据对应的第二校验数据,判断第一校验数据和第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
67.根据图4所示方法可以看出,本实施例中,本发明中,数据传输路径经由的任意两个相邻业务系统中的上游业务系统和下游业务系统分别根据所述相邻业务系统之间的数据校验接口信息生成上游业务系统发送的待传输数据对应的第一校验数据和下游业务系统接收的待传输数据对应的第二校验数据,并通过比对第一校验数据与第二校验数据确定是否出现上游业务系统发送的待传输数据和下游业务系统接收的待传输数据不一致的情况,如出现不一致的情况则输出第一数据出错告警信息。本实施例中,不需要人工进行问题排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
68.参见图5,图5是本发明实施例五数据核查方法流程图,该方法应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统,如图5所示,具体包括以下步骤:
69.步骤501、接收所述相邻业务系统中的上游业务系统发送的待传输数据及待传输数据对应的第一校验数据;其中,待传输数据对应的第一校验数据是所述上游业务系统根据与所述下游业务系统之间的数据校验接口信息生成的;
70.步骤5021、根据与所述上游业务系统之间的数据校验接口信息,生成接收到的待传输数据对应的第二校验数据;
71.步骤5022、判断第一校验数据和第二校验数据是否相同,如果相同,则执行步骤5023,如果不同,则执行步骤5024;
72.步骤5023、对接收到的待传输数据进行业务处理,转至步骤503;
73.步骤5024、输出第一数据出错告警信息。
74.步骤503、当所述下游业务系统为所述数据传输路径的中间节点时,将经业务处理后的待传输数据作为所述下游业务系统将要传输到所述下游业务系统在所述数据传输路径上的后一业务系统的待传输数据。
75.在实际应用中,上游业务系统和下游业务系统是相对而言的,例如数据传输路径是a-b-c-d,则对于相邻业务系统a和b来说,a是上游业务系统,b是下游业务系统,对于相邻业务系统b和c来说,b是上游业务系统,c是下游业务系统。因此,下游业务系统接收到上游业务系统发送的待传输数据并经过核查确定数据未出错时,下游业务系统在根据业务需求对接收到的待传输数据进行业务处理后,还要继续作为上游业务系统将经业务处理后的待传输数据发送到其在数据传输路径上的下游业务系统,以便最终完成待传输数据在整个数据传输路径上的传输。
76.根据图5所示方法可以看出,本实施例中,本发明中,数据传输路径经由的任意两个相邻业务系统中的上游业务系统和下游业务系统分别根据所述相邻业务系统之间的数据校验接口信息生成上游业务系统发送的待传输数据对应的第一校验数据和下游业务系统接收的待传输数据对应的第二校验数据,并通过比对第一校验数据与第二校验数据确定是否出现上游业务系统发送的待传输数据和下游业务系统接收的待传输数据不一致的情况,如出现不一致的情况则输出第一数据出错告警信息,如果未出现不一致的情况,则当所述下游业务系统为所述数据传输路径的中间节点时,将经业务处理后的待传输数据作为所述下游业务系统将要传输到所述下游业务系统在所述数据传输路径上的后一业务系统的待传输数据,从而可以继续向下游传输数据。本实施例中,不需要人工进行问题排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
77.参见图6,图6是本发明实施例六数据核查方法流程图,该方法应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统,如图6所示,具体包括以下步骤:
78.步骤601、接收所述相邻业务系统中的上游业务系统发送的待传输数据及待传输数据对应的第一校验数据;其中,待传输数据对应的第一校验数据是所述上游业务系统根据与所述下游业务系统之间的数据校验接口信息生成的;
79.步骤6021、根据与所述上游业务系统之间的数据校验接口信息执行以下步骤6022至步骤6024;
80.在实际应用中,上下游业务系统之间可以预先设定好需要校验的内容,即数据校验接口信息。本实施例中,所述数据校验接口信息可具体包括以下内容:记录行数、校验字段、以及每一校验字段对应的阈值预警信息,其中,所述阈值预警信息包括该校验字段的阈值范围。
81.步骤6022、统计接收到的待传输数据的记录行数;
82.步骤6023、针对所述数据校验接口信息中包括的每一校验字段,对接收到的待传输数据中该校验字段的数据进行汇总计算;
83.本实施例中,针对所述数据校验接口信息中包括的每一校验字段,对接收到的待传输数据中该校验字段的数据进行汇总计算之后,还可以进一步判断该校验字段的汇总计算结果是否超出该校验字段的阈值范围,如果超出该校验字段的阈值范围,则输出第二数据出错告警信息。
84.在实际应用中,作为待传输数据的接收方,也可以不执行判断该校验字段的汇总计算结果是否超出该校验字段的阈值范围,超出则告警等操作,而是由待传输数据的发送方在生成待传输数据的第一校验数据后执行该操作。
85.步骤6024、将接收到的待传输数据的记录行数和每一校验字段对应的汇总计算结果作为接收到的待传输数据对应的第二校验数据;
86.以上步骤6022至步骤6024是图4所示步骤402中“生成接收到的待传输数据对应的第二校验数据”的具体细化。
87.步骤6025、判断第一校验数据和第二校验数据是否相同,如果相同,则执行步骤6026、如果不同,则执行步骤6027;
88.步骤6026、对接收到的待传输数据进行业务处理;
89.步骤6027、输出第一数据出错告警信息。
90.以上步骤6021至步骤6027是图4所示步骤402的具体细化。
91.根据图6所示方法可以看出,本实施例中,本发明中,数据传输路径经由的任意两个相邻业务系统中的上游业务系统和下游业务系统分别根据所述相邻业务系统之间的数据校验接口信息生成上游业务系统发送的待传输数据对应的第一校验数据和下游业务系统接收的待传输数据对应的第二校验数据,并通过比对第一校验数据与第二校验数据确定是否出现上游业务系统发送的待传输数据和下游业务系统接收的待传输数据不一致的情况,如出现不一致的情况则输出第一数据出错告警信息。本实施例中,不需要人工进行问题排查,而是在数据传输过程中自动进行数据核查,可以及时发现数据出错情况,且效率较高。
92.以上图1-3对本发明实施例应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统的数据核查方法进行了详细说明;图4-6对本发明实施例应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统的数据核查方法进行了详细说明。
93.以下对本发明实施例提供的数据核查方法进行举例说明。
94.以实际出库业务表为例,其数据传输路径为生产业务系统—大数据平台—下游系统—人资系统,其中,下游系统为wms、快递、冷链、tms、b2b等业务系统。在现有技术中,出库业务表的数据传输过程如下:
95.1)生产业务系统:出库表中每日的数据量为1200w左右,图7示出了2021-03-13日的出库表中的20条数据,该20条数据的结果指标合计接收商品件数、拣货商品件数、实际复核商品件数、发货商品件数分别为:160、160、160、160。假设该20条数据为待传输数据,则生产业务系统会将该20条数据发送到大数据平台。
96.2)大数据平台:大数据平台对接收到的20条数据进行加工得到如图8所示的17条数据,其中,总记录数为17条,结果指标合计接收商品件数、拣货商品件数、实际复核商品件数、发货商品件数分别为:136、136、136、136。可以看出生产业务系统和大数据平台统计的记录数与各项结果指标取值均有出入。大数据平台将加工后的17条数据发送到下游系统。
97.3)下游系统:下游系统不对接收到的数据进行二次加工情况下,其接收到的数据为图8所示的17条数据,下游系统将接收到的数据发送到人资系统。
98.4)人资系统:人资系统不对接收到的数据进行二次加工情况下,其接收到的数据为图8所示的17条数据。人资系统可以根据接收到的数据来衡量每个一线员工的工作量,进而进行薪酬计算。
99.按照上述数据传输过程,在传输每日的出库表数据时,单日的结果指标合计与实际值有出入时,对月薪的计算结果影响可能不是很大,但是如果一月中多日都有数据出入,则累积到月度结算时,将会对最终的月薪计算结果产生很大影响,因此,需要及时发现数据出错的情况。
100.为此,可以在上述数据传输过程经由的每个业务系统中采用本发明实施例提供的数据核查方法,以便及时发现数据出错情况。
101.采用本发明实施例提供的数据核查方法的情况下,出库业务表的数据传输过程如下:
102.1)生产业务系统:生产业务系统根据与大数据平台之间的数据校验接口信息生成每日的出库表数据(即待传输数据,记为dat0)对应的校验数据(记为chk0),dat0为明细数
据,chk0为校验数据,chk0数据中记录行数,各校验字段的汇总值。生产业务系统与大数据平台互为上下游关系,生产业务系统将dat0和chk0发送到大数据平台。
103.2)大数据平台:大数据平台侧接收生产业务系统发送的dat0和chk0,根据与生产业务系统之间的数据校验接口信息生成dat0对应的新的chk0’,将新生成的chk0’与接收的chk0进行比对,相同则对dat0进行业务处理,不同则输出第一数据出错告警信息。新生成的chk0’与接收的chk0相同的情况下,由于大数据平台和下游系统互为上下游关系,因此,大数据平台还将经业务处理后的dat0数据作为待传输数据(记为dat1),根据与下游系统之间的数据校验接口信息生成dat1对应的校验数据(记为chk1)。
104.3)下游系统:下游系统为wms、冷链、快递、tms、b2b等业务系统,下游系统接收大数据平台发送的dat1和chk1,根据与大数据平台之间的数据校验接口信息生成dat1对应的校验数据chk1’,比对chk1和chk1’,相同则对dat1进行业务处理,不同则输出第一数据出错告警信息。新生成的chk1’与接收的chk1相同的情况下,由于下游系统和人资系统互为上下游关系,因此,下游系统还将经业务处理后的dat1作为待传输数据(记为dat2),根据与人资系统之间的数据校验接口信息生成dat2对应的校验数据(记为chk2)。
105.4)人资系统:人资系统接收下游系统发送的dat2和chk2,根据与下游系统之间的数据校验接口信息生成dat2对应的校验数据chk2’,比对chk2和chk2’,相同则对dat2进行业务处理(例如计算一线员工的薪酬),不同则输出第一数据出错告警信息。由于人资系统是数据传输路径的目的节点,因此,不再继续进行数据传输。
106.从以上过程可以看出,通过在上述数据传输路径经由的每个业务系统实施本发明实施例提供的数据核查方法,可以在数据传输的每个环节进行数据查验,从而可以及时发现数据出错问题并能准确定位到出错位置,整个过程不需要人工参与,实现效率较高。
107.本发明实施例还提供了应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统的数据核查装置,以下结合图9进行详细说明。
108.参见图9,图9是本发明实施例一数据核查装置的结构示意图,如图9所示,该装置应用于数据传输路径经由的任意两个相邻业务系统中的上游业务系统,包括:
109.生成单元901,用于确定所述上游业务系统存在将要传输到所述相邻业务系统中的下游业务系统的待传输数据时,根据与所述下游业务系统之间的数据校验接口信息,生成待传输数据对应的第一校验数据;
110.发送单元902,用于将待传输数据及带传输数据对应的第一校验数据发送到所述下游业务系统,以使所述下游业务系统根据所述数据校验接口信息生成接收到的待传输数据对应的第二校验数据,判断第一校验数据与第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
111.图9所示装置中,
112.所述生成单元901,确定所述上游业务系统存在将要传输到所述相邻业务系统中的下游业务系统的待传输数据,包括:
113.当所述上游业务系统是所述数据传输路径的源节点、且到达对所述上游业务系统所生产数据的传输时间时,确定所述上游业务系统存在将要传输到所述下游业务系统的待传输数据;
114.当所述上游业务系统是所述数据传输路径的中间节点、且对从所述上游业务系统
在所述数据传输路径上的前一业务系统接收的待传输数据的业务处理完成时,确定所述上游业务系统存在将要传输到所述下游业务系统的待传输数据。
115.图9所示装置中,
116.所述数据校验接口信息包括:记录行数、校验字段;
117.所述生成单元901,根据与所述下游业务系统之间的数据校验接口信息,生成待传输数据对应的第一校验数据,包括:
118.统计待传输数据的记录行数;
119.针对所述数据校验接口信息中包括的每一校验字段,对待传输数据中该校验字段的数据进行汇总计算;
120.将待传输数据的记录行数和每一校验字段对应的汇总计算结果作为待传输数据对应的第一校验数据。
121.图9所示装置中,
122.所述数据校验接口信息还包括:每一校验字段的阈值预警信息,所述阈值预警信息包括该校验字段的阈值范围;
123.所述生成单元901,针对所述数据校验接口信息中包括的每一校验字段,对待传输数据中该校验字段的数据进行汇总计算之后,进一步包括:
124.判断该校验字段的汇总计算结果是否超出该校验字段的阈值范围,如果超出该校验字段的阈值范围,则输出第二数据出错告警信息。
125.本发明实施例还提供了应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统的数据核查装置,以下结合图10进行详细说明。
126.参见图10,图10是本发明实施例二种数据核查装置的结构示意图,如图10所示,该装置应用于数据传输路径经由的任意两个相邻业务系统中的下游业务系统,包括:
127.接收单元1001,用于接收所述相邻业务系统中的上游业务系统发送的待传输数据及待传输数据对应的第一校验数据;其中,待传输数据对应的第一校验数据是所述上游业务系统根据与所述下游业务系统之间的数据校验接口信息生成的;
128.核查单元1002,用于根据与所述上游业务系统之间的数据校验接口信息,生成接收到的待传输数据对应的第二校验数据,判断第一校验数据和第二校验数据是否相同,如果相同,则对接收到的待传输数据进行业务处理,如果不同,则输出第一数据出错告警信息。
129.图10所示装置中,
130.所述核查单元1002,对接收到的待传输数据进行业务处理之后,进一步包括:
131.当所述下游业务系统为所述数据传输路径的中间节点时,将经业务处理后的待传输数据作为所述下游业务系统将要传输到所述下游业务系统在所述数据传输路径上的后一业务系统的待传输数据。
132.图10所示装置中,
133.所述数据校验接口信息包括:记录行数、校验字段;
134.所述核查单元1002,根据与所述上游业务系统之间的数据校验接口信息,生成接收到的待传输数据对应的第二校验数据,包括:
135.统计接收到的待传输数据的记录行数;
136.针对所述数据校验接口信息中包括的每一校验字段,对接收到的待传输数据中该校验字段的数据进行汇总计算;
137.将接收到的待传输数据的记录行数和每一校验字段对应的汇总计算结果作为接收到的待传输数据对应的第二校验数据。
138.图10所示装置中,
139.所述数据校验接口信息还包括:每一校验字段的阈值预警信息,所述阈值预警信息包括该校验字段的阈值范围;
140.所述核查单元1002,针对所述数据校验接口信息中包括的每一校验字段,对接收到的待传输数据中该校验字段的数据进行汇总计算之后,进一步包括:
141.判断该校验字段的汇总计算结果是否超出该校验字段的阈值范围,如果超出该校验字段的阈值范围,则输出第二数据出错告警信息。
142.本发明实施例还提供了一种电子设备,如图11所示,该电子设备包括:至少一个处理器1101,以及与所述至少一个处理器1101通过总线相连的存储器1102;所述存储器1102存储有可被所述至少一个处理器1101执行的一个或多个计算机程序;所述至少一个处理器1101执行所述一个或多个计算机程序时实现图1-3中任一流程图所示方法中的步骤,或实现图4-6中任一流程图所示方法中的步骤。
143.本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个计算机程序,所述一个或多个计算机程序被处理器执行时实现图1-3中任一流程图所示方法中的步骤,或实现图4-6中任一流程图所示方法中的步骤。
144.以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1