一种无侵入式的数据抽取加工方法及系统与流程

本发明涉及数据处理，尤其涉及一种无侵入式的数据抽取加工方法及系统。

背景技术：

1、目前，在信息化技术中，大多使用微服务理念将复杂的业务系统通过业务边界拆分为多个系统，而每个系统有各自的数据库，各系统通过网络通信进行交互数据最终完成业务的全流程逻辑处理。

2、在上述数据架构中，通常采用传统的联表方式进行数据加工，但联表方式已经无法适用这种数据架构，特别是在海量数据情况下无法实现实时数据计算处理。

3、因此，需要提出一种新的数据处理方法，以应对多业务系统和高实时性的数据处理需求。

技术实现思路

1、本发明提供一种无侵入式的数据抽取加工方法及系统，用以解决现有技术中针对多业务系统的海量实时数据处理需求，无法实现高实时性和无感知的缺陷。

2、第一方面，本发明提供一种无侵入式的数据抽取加工方法，包括：

3、利用增量订阅消费组件提取多个业务系统的增量数据；

4、通过jdbc获取多个业务系统的存量历史数据；

5、对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据；

6、对所述加工后数据进行存储，将存储的加工后数据同步至多个业务系统，以供所述多个业务系统进行实时调用。

7、根据本发明提供的一种无侵入式的数据抽取加工方法，利用增量订阅消费组件提取多个业务系统的增量数据，包括：

8、采用canal同步监听获取多个业务系统中数据库的binlog数据；

9、将binlog数据发送至消息中间件kafka。

10、根据本发明提供的一种无侵入式的数据抽取加工方法，通过jdbc获取多个业务系统的存量历史数据，包括：

11、基于预设配置方式配置业务系统数据库，确定数据库中待同步表名的dml和表对应主键id；

12、根据所述dml和所述表对应主键id，通过jdbc获取排序后的数据库表中的存量历史数据；

13、将所述存量历史数据发送至消息中间件kafka。

14、根据本发明提供的一种无侵入式的数据抽取加工方法，基于预设配置方式配置业务系统数据库，包括：

15、通过对所述业务系统数据库的页面进行增加、删除、查找和修改，配置待同步的数据库账号、密码、表格和主键字段。

16、根据本发明提供的一种无侵入式的数据抽取加工方法，对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据，包括：

17、通过kafka消息数据将所述增量数据和所述存量历史数据存储至elasticsearch中，根据业务系统数据库中表名创建索引表，得到所述加工后数据；

18、其中，所述索引表用于进行数据验证和查询。

19、根据本发明提供的一种无侵入式的数据抽取加工方法，对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据，还包括：

20、通过kafka消息数据将所述增量数据和所述存量历史数据按照预设业务维度进行数据存储；

21、以所述预设业务维度中任一维度进行数据聚合，将其他数据按照json格式存入elasticsearch中，输出任一维度预设大宽表；

22、将多个业务系统中任一维度的数据根据业务逻辑聚合，并按照数组形式存储至所述任一维度预设大宽表的任一业务字段中，得到所述加工后数据。

23、根据本发明提供的一种无侵入式的数据抽取加工方法，对所述加工后数据进行存储，将存储的加工后数据同步至多个业务系统，以供所述多个业务系统进行实时调用，包括：

24、确定存储数据库为elasticsearch；

25、获取多个业务系统的加工后数据中每个字段数据的聚合计算结果，利用去重标识调用存储原始数据。

26、根据本发明提供的一种无侵入式的数据抽取加工方法，利用去重标识调用存储原始数据，包括：

27、将已调用消费数据的主键id存入redis，确定预设有效期；

28、在所述预设有效期内调用数据时将所述redis中的主键id与当前主键id进行对比，若确定不一致，则继续调用，否则停止调用。

29、第二方面，本发明还提供一种无侵入式的数据抽取加工系统，包括：

30、增量提取模块，用于利用增量订阅消费组件提取多个业务系统的增量数据；

31、存量提取模块，用于通过jdbc获取多个业务系统的存量历史数据；

32、加工处理模块，用于对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据；

33、数据调用模块，用于对所述加工后数据进行存储，将存储的加工后数据同步至多个业务系统，以供所述多个业务系统进行实时调用。

34、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述无侵入式的数据抽取加工方法。

35、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述无侵入式的数据抽取加工方法。

36、本发明提供的无侵入式的数据抽取加工方法及系统，通过对多种业务系统采用无侵入感知获取业务系统增量及全量数据和实时加工处理数据，实现了实时计算的数据存储、历史数据回溯处理以及支持海量数据快速查询，无需对业务系统进行改造即可进行数据综合管理，具有高实时性和高效率。

技术特征：

1.一种无侵入式的数据抽取加工方法，其特征在于，包括：

2.根据权利要求1所述的无侵入式的数据抽取加工方法，其特征在于，利用增量订阅消费组件提取多个业务系统的增量数据，包括：

3.根据权利要求1所述的无侵入式的数据抽取加工方法，其特征在于，通过jdbc获取多个业务系统的存量历史数据，包括：

4.根据权利要求3所述的无侵入式的数据抽取加工方法，其特征在于，基于预设配置方式配置业务系统数据库，包括：

5.根据权利要求1所述的无侵入式的数据抽取加工方法，其特征在于，对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据，包括：

6.根据权利要求5所述的无侵入式的数据抽取加工方法，其特征在于，对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据，还包括：

7.根据权利要求1所述的无侵入式的数据抽取加工方法，其特征在于，对所述加工后数据进行存储，将存储的加工后数据同步至多个业务系统，以供所述多个业务系统进行实时调用，包括：

8.根据权利要求7所述的无侵入式的数据抽取加工方法，其特征在于，利用去重标识调用存储原始数据，包括：

9.一种无侵入式的数据抽取加工系统，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述无侵入式的数据抽取加工方法。

技术总结
本发明提供一种无侵入式的数据抽取加工方法及系统，属于数据处理技术领域，包括：利用增量订阅消费组件提取多个业务系统的增量数据；通过JDBC获取多个业务系统的存量历史数据；对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据；对所述加工后数据进行存储，将存储的加工后数据同步至多个业务系统，以供所述多个业务系统进行实时调用。本发明通过对多种业务系统采用无侵入感知获取业务系统增量及全量数据和实时加工处理数据，实现了实时计算的数据存储、历史数据回溯处理以及支持海量数据快速查询，无需对业务系统进行改造即可进行数据综合管理，具有高实时性和高效率。

技术研发人员：张书庆,田羽,兰翔,汪大磊,吴金林
受保护的技术使用者：武汉众邦银行股份有限公司
技术研发日：
技术公布日：2024/1/15