一种分布式架构下海量数据不一致的发现与处置方法与流程

1.本发明涉及数据处理技术领域，具体涉及一种分布式架构下海量数据不一致的发现与处置方法。


背景技术：

2.近年来，互联网保险逐渐崭露头角，在所有互联网金融的子行业中，成为最具发展前景的细分子行业。互联网保险具有高频化、碎片化的特性。以退运险为例，保险核心业务系统每天需处理百万、千万级交易量，随着交易量的提升，系统逐步向分布式架构演进，海量业务交易运转在分布式架构下，若不能及时发现系统间关键业务数据错漏重等数据质量问题，将给保司带来巨大的经济损失和监管风险。
3.目前主要是由各个业务系统自建守护任务，在业务低峰期通过运行系统间的核对接口进行定时检查，发现问题触发告警通知，技术 owner收到告警提醒后定位修复问题。但在分布式架构下，保险核心业务系统有几十个子系统，各个业务系统自建守护任务，需要系统的技术人员针对上下游系统特性设计不同的接口调度任务进行核验，需要在核对上投入大量资源；并且守护任务在进行接口检查时，当需检查的数据量级达到百万千万级时，会在业务数据库上进行大量并发查询操作，对系统实时关键业务造成性能影响。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种分布式架构下海量数据不一致的发现与处置方法，克服了现有技术的不足，能够基于大数据离线数据仓库的技术解决方案，与数据仓库结合能够达到最佳实施效果。
5.为实现以上目的，本发明通过以下技术方案予以实现：
6.一种分布式架构下海量数据不一致的发现与处置方法，包括以下步骤：
7.步骤s1：各业务系统通过阿里大数据开发平台将系统数据集成至 maxcomputer离线数据平台；
8.步骤s2：根据具体的核对需求编写sql校验规则录入至离线核对平台，形成核对规则集合；
9.步骤s3：在配置完成sql规则后，配置该规则对应的告警任务，设置执行时间、执行频率、工单通知方式及通知人信息；
10.步骤s4：告警任务配置成功后，在设定的执行时间，告警任务将连接数据仓库数据源，通过sql执行引擎执行sql规则；
11.步骤s5：告警任务执行完成后，若执行结果差异数大于0，将自动创建工单并通过设置的通知方式通知到责任人；
12.步骤s6：责任人收到工单提醒后进行差异排查，若是误报，标记差异为忽略并关闭工单；若不是误报，修复系统bug，任务再次运行后差异消除后关闭工单。
13.优选地，所述步骤s1中，阿里大数据开发平台通过读取数据库的二进制日志将业
务数据库的表和数据按时效要求同步至数据仓库，对业务系统无任何侵入操作。
14.本发明提供了一种分布式架构下海量数据不一致的发现与处置方法。具备以下有益效果：当分布式架构下各业务系统数据出现不一致问题时，通过定时执行各业务系统布署的核对脚本会发现问题并通知业务系统负责人，同时会创建相应待处理工单以保证问题处置闭环。
附图说明
15.为了更清楚地说明本发明或现有技术中的技术方案，下面将对现有技术描述中所需要使用的附图作简单地介绍。
16.图1本发明的步骤流程图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
18.实施例一
19.如图1所示，一种分布式架构下海量数据不一致的发现与处置方法，包括以下步骤：
20.步骤s1：各业务系统通过阿里大数据开发平台dataworks将系统数据集成至maxcomputer离线数据平台；dateworks通过读取数据库的二进制日志(binlog)将业务数据库的表和数据按时效要求同步至数据仓库，对业务系统无任何侵入操作；
21.步骤s2：技术人员根据具体的核对需求编写sql校验规则并录入至离线核对平台，形成核对规则集合；
22.步骤s3：在配置完成sql规则后，配置该规则对应的告警任务，设置执行时间、执行频率、工单通知方式及通知人信息；
23.步骤s4：告警任务配置成功后，在设定的执行时间，告警任务将连接数据仓库数据源，通过sql执行引擎执行sql规则；
24.步骤s5：告警任务执行完成后，若执行结果差异数大于0，将自动创建工单并通过设置的通知方式通知到责任人；
25.步骤s6：责任人收到工单提醒后进行差异排查，若是误报，标记差异为忽略并关闭工单；若不是误报，修复系统bug，任务再次运行后差异消除后关闭工单。
26.通过上述步骤，当分布式架构下各业务系统数据出现不一致问题时(引发该问题的原因包括但不限于业务系统bug，消息中间件故障，数据被篡改等等)，通过定时执行各业务系统布署的核对脚本会发现问题并通知业务系统负责人，同时会创建相应待处理工单以保证问题处置闭环。
27.实施例二
28.举例说明：当理赔案件核赔通过后，需要通过支付中心打款给用户，在分布式架构下，理赔系统和支付系统为独立的两个系统，为了确保理赔系统的核赔金额和支付中心打款至用户的金额是一致的，需要对理赔系统的理算书信息表和支付中心的打款流水表进行数据一致性核对；
29.(1)：先将涉及到的业务表通过dataworks同步任务集成至 maxcomputer离线数据平台，t_clm_payment(理赔系统理算信息表名) 集成至maxcomputer后表名为ods_f_clm_payment，t_fin_pay_flow (支付系统支付流水表名)集成至maxcompter后表名为 ods_f_fin_pay_flow；
30.(2)：技术人员根据具体的核对需求编写sql校验规则并录入至离线核对平台，核对理赔系统理算信息表与支付中心打款流水表数据量、支付金额、支付币种、支付账号、支付账号名是否一致，规则名称命名为“理赔系统理算支付表与支付中心打款流水信息一致性校验”；
31.在本实施例汇总，编写sql校验规则如下：
32.[0033][0034]
(3)创建告警任务，把将“理赔系统理算支付表与支付中心打款流水信息一致性校验”规则添加至告警任务，任务设置为每天9:00运行一次，告警订阅为通过邮件发送给责任人；
[0035]
(4)离线核对平台每天9:00将执行一次本规则，若执行结果数据行数大于0，将自动创建一张待处理工单并邮件通知责任人；
[0036]
(5)责任人调查分析告警原因后，如果确认是bug，将进行bug 修复，待下一次执行任务后确认差异是否消除，若消除则关闭工单；如果确认是误报，将核对差异标记为忽略，
关闭工单。
[0037]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。


技术特征：
1.一种分布式架构下海量数据不一致的发现与处置方法，其特征在于，包括以下步骤：步骤s1：各业务系统通过阿里大数据开发平台将系统数据集成至maxcomputer离线数据平台；步骤s2：根据具体的核对需求编写sql校验规则录入至离线核对平台，形成核对规则集合；步骤s3：在配置完成sql规则后，配置该规则对应的告警任务，设置执行时间、执行频率、工单通知方式及通知人信息；步骤s4：告警任务配置成功后，在设定的执行时间，告警任务将连接数据仓库数据源，通过sql执行引擎执行sql规则；步骤s5：告警任务执行完成后，若执行结果差异数大于0，将自动创建工单并通过设置的通知方式通知到责任人；步骤s6：责任人收到工单提醒后进行差异排查，若是误报，标记差异为忽略并关闭工单；若不是误报，修复系统bug，任务再次运行后差异消除后关闭工单。2.根据权利要求1所述的一种分布式架构下海量数据不一致的发现与处置方法，其特征在于：所述步骤s1中，阿里大数据开发平台通过读取数据库的二进制日志将业务数据库的表和数据按时效要求同步至数据仓库，对业务系统无任何侵入操作。

技术总结
一种分布式架构下海量数据不一致的发现与处置方法，包括以下步骤：各业务系统通过阿里大数据开发平台将系统数据集成至离线数据平台；根据具体的核对需求编写SQL校验规则录入至离线核对平台；配置该规则对应的告警任务，设置执行时间、执行频率、工单通知方式及通知人信息；在设定的执行时间，告警任务将连接数据仓库数据源，通过SQL执行引擎执行SQL规则；若执行结果差异数大于0，将自动创建工单并通过设置的通知方式通知到责任人；责任人收到工单提醒后进行差异排查。本发明克服了现有技术的不足，能够基于大数据离线数据仓库的技术解决方案，与数据仓库结合能够达到最佳实施效果。果。果。


技术研发人员：崔瑞瑾 邱梅 唐小燕 廉奎
受保护的技术使用者：国泰财产保险有限责任公司
技术研发日：2022.07.07
技术公布日：2022/10/3