一种基于混合技术的智能参数配置同步系统及方法与流程

1.本发明涉及一种基于混合技术的智能参数配置同步系统及方法，属于数据交互技术领域。


背景技术：

2.etl实现系统间数据同步，是指通过调度工具根据需要从源数据库全量或增量抽取数据到dw(交换库)；通过转换作业完成数据的清洗与转换，以匹配目标库；目标库通过加载作业，一般是存储过程来完成数据的入库工作。
3.实时接口调用实现系统间数据同步时，系统之间通过接口调用，获取对方数据，并根据需要入库；消息中间件实现数据同步时，系统之间通过消息中间件发送和接收消息实现数据同步，异构系统之间参数的准实时同步实现过程中，无法保证数据交互安全可控，可能引发核心系统故障，造成重点安全事件。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种基于混合技术的智能参数配置同步系统及方法，利用流程引擎、规则引擎、kafka和微服务技术，通过智能按需异步调用，在保证安全可控的前提下，实现异构系统之间参数的准实时同步，避免引发核心系统故障，造成重点安全事件。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.第一方面，本发明提供了一种基于混合技术的智能参数配置同步方法，包括：
7.获取白名单并调用ecif接口验证白名单是否真实有效；
8.响应于白名单真实有效时，将白名单发送至运营中心执行审批流程，否则不作处理；
9.响应于运营中心审批流程通过后，将白名单导入产品白名单记录表进行更新，否则不作处理；
10.定时扫描产品白名单记录表，将更新后的产品白名单记录表通过kafka发送经纪业务运营平台进行数据库表同步更新。
11.进一步的，所述白名单发送至运营中心执行审批流程时，所述运营中心根据需要选择kafka消息发送策略，所述kafka消息发送策包括立即发送、延迟发送和定时发送。
12.进一步的，将白名单导入产品白名单记录表进行更新，包括：根据规则将状态未同步标志的记录，按照产品id、业务类型分组(认购，申购，赎回)信息插入prdt_kafka_send_queue表，同时将该消息放入主题为crm-prdt-kafk a-topic的kafka队列中进行消息传递。
13.进一步的，将更新后的产品白名单记录表通过kafka发送经纪业务运营平台进行数据库表同步更新，包括：将更新后的产品白名单记录表通过kafka发送经纪业务运营平台，其中，所述经纪业务运营平台根据需要接收kafka消息后，解析消息得到产品id，由产品id作为入参调用产品管理平台提供的白名单获取接口，获取需要同步产品的客户白名单，
写入经纪业务运营平台相应的数据库表。
14.第二方面，本发明提供了一种基于混合技术的智能参数配置同步系统，包括：
15.产品管理平台：用于获取白名单并调用ecif接口验证白名单是否真实有效，响应于白名单真实有效时，将白名单发送至运营中心执行审批流程，否则不作处理，响应于运营中心审批流程通过后，将白名单导入产品白名单记录表进行更新，否则不作处理，定时扫描产品白名单记录表，将更新后的产品白名单记录表通过kafka发送经纪业务运营平台进行数据库表同步更新；
16.经纪业务运营平台：用于根据需要接收kafka消息，解析消息得到产品id，由产品id作为入参调用产品管理平台提供的querywhitelistbyprdtidandserv iceflag(白名单获取)接口，获取需要同步产品的客户白名单，写入经纪业务运营平台相应的数据库表。
17.进一步的，所述产品管理平台设置有供外部系统查询最新白名单记录的根据产品id查询白名单接口。
18.第三方面，本发明提供了一种基于混合技术的智能参数配置同步装置，包括处理器及存储介质；
19.所述存储介质用于存储指令；
20.所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
21.第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
22.与现有技术相比，本发明所达到的有益效果：
23.本专利属于数据交互领域，主要利用流程引擎、规则引擎、kafka和微服务技术，通过智能按需异步调用，在保证安全可控的前提下，实现异构系统之间参数的准实时同步，避免引发核心系统故障，造成重点安全事件。该方案已用于产品管理平台与经纪业务运营平台之间参数的准实时同步，实现金融产品引入完成即可发售。该方案通过多种技术结合，保证了数据及时生效；通过流程控制，有效降低并发，保证了数据质量；异步调用很好的解决了洪峰调用问题，避免影响核心系统性能，造成生产事件；通过非核心系统数据落地和状态控制，确保数据被核心系统接收；有效数据通过接口传递，避免消息中间件消息体过大。
附图说明
24.图1是本发明实施例一提供的基于混合技术的智能参数配置同步流程图。
具体实施方式
25.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
26.实施例一：
27.一种基于混合技术的智能参数配置同步方法，通过流程自动化、消息中间件和实时接口等技术结合，实现金融产品参数安全、高效、按需完成跨核心系统同步，解决金融产品引入完成，t+1才能发售的问题，做到引入完成即可发售。以白名单为例，具体步骤如下：
28.step1，修改产品引入、参数设置流程功能
29.在产品管理平台最终审核环节增加kafka消息发送策略，可以设置立即发送、延迟
发送和定时发送；产品引入人员在产品管理平台发起白名单设置流程，输入或者导入白名单并调用ecif(ecif，enterprise customer information facility，企业客户信息工厂)接口验证白名单是否真实有效，经过层层审批最终达到运营人员审批环节，运营人员根据需要选择发送策略。
30.step2，白名单审批通过，数据落库
31.运营人员审批流程通过后，白名单数据进入产品管理平台的product_whit elist_account(产品白名单记录)表。
32.step3，智能触发任务，将新增或更新后的数据通过kafka发送经纪业务运营平台
33.定时任务扫描product_whitelist_account表，根据规则将状态未同步标志的记录，按照产品id、业务类型分组(认购，申购，赎回)信息插入prdt_kafka_send_queue表，同时将该消息放入主题为crm-prdt-kafka-topic的kaf ka队列中，供消费者使用，以实现消息的传递。
34.step4，产品管理平台新增白名单查询接口
35.产品管理平台新增querywhitelistbyprdtids(根据产品id查询白名单)接口，供外部系统查询最新的白名单记录。
36.step5，经纪业务运营平台将白名单信息更新到数据库
37.经纪业务运营平台根据需要接收kafka消息，解析消息得到产品id，由产品id作为入参调用产品管理平台提供的querywhitelistbyprdtidandservicef lag(白名单获取)接口，获取需要同步产品的客户白名单，写入经纪业务运营平台相应的数据库表。
38.实施例二：
39.一种基于混合技术的智能参数配置同步系统，可实现实施例一所述的一种基于混合技术的智能参数配置同步方法，包括：
40.产品管理平台：用于获取白名单并调用ecif接口验证白名单是否真实有效，响应于白名单真实有效时，将白名单发送至运营中心执行审批流程，否则不作处理，响应于运营中心审批流程通过后，将白名单导入产品白名单记录表进行更新，否则不作处理，定时扫描产品白名单记录表，将更新后的产品白名单记录表通过kafka发送经纪业务运营平台进行数据库表同步更新，其中，产品管理平台设置有供外部系统查询最新白名单记录的根据产品id查询白名单接口；
41.经纪业务运营平台：用于根据需要接收kafka消息，解析消息得到产品id，由产品id作为入参调用产品管理平台提供的querywhitelistbyprdtidandserv iceflag(白名单获取)接口，获取需要同步产品的客户白名单，写入经纪业务运营平台相应的数据库表。
42.实施例三：
43.本发明实施例还提供了一种基于混合技术的智能参数配置同步装置，可实现实施例一所述的一种基于混合技术的智能参数配置同步方法，包括处理器及存储介质；
44.所述存储介质用于存储指令；
45.所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
46.获取白名单并调用ecif接口验证白名单是否真实有效；
47.响应于白名单真实有效时，将白名单发送至运营中心执行审批流程，否则不作处理；
48.响应于运营中心审批流程通过后，将白名单导入产品白名单记录表进行更新，否则不作处理；
49.定时扫描产品白名单记录表，将更新后的产品白名单记录表通过kafka发送经纪业务运营平台进行数据库表同步更新。
50.实施例四：
51.本发明实施例还提供了一种计算机可读存储介质，可实现实施例一所述的一种基于混合技术的智能参数配置同步方法，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
52.获取白名单并调用ecif接口验证白名单是否真实有效；
53.响应于白名单真实有效时，将白名单发送至运营中心执行审批流程，否则不作处理；
54.响应于运营中心审批流程通过后，将白名单导入产品白名单记录表进行更新，否则不作处理；
55.定时扫描产品白名单记录表，将更新后的产品白名单记录表通过kafka发送经纪业务运营平台进行数据库表同步更新。
56.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
57.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
58.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
59.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
60.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。