一种应用系统接口集成系统、集成方法、设备及存储介质与流程

1.本发明涉及计算机技术领域，特别涉及一种应用系统接口集成系统、集成方法、设备及存储介质。


背景技术：

2.不论是在做传统项目还是在做互联网项目，不论是在开发还是在实施中，都会存在系统之间数据集成的需求，在这个大的技术背景下，就很有必要开发一套普遍适用的动态接口集成方法。
3.在做传统项目时，系统之间的接口集成通常采用webservice的方式、传递xml格式的数据来进行开发，技术相对落后且需要二次开发；同样在做互联网项目时，系统或者微服务之间的集成通常采用restful的形式、传递json格式的数据来实现，但是互联网项目需要集成的系统很多，接口数量庞大且分散，在这样的小的技术背景下，更有必要开发一套适合各种数据格式和传输方式的统一的动态接口集成方法来进行集中管理和维护。
4.现有技术中的应用系统集成方法中存在的缺点，一是没有提供数据实时同步的机制，存在数据在某一段时间内不一致的问题，二是没有包含数据传输的日志采集系统，没有办法监控当前系统集成和数据传输的情况。


技术实现要素：

5.本发明提出一种应用系统接口集成系统、集成方法、设备及存储介质，解决了现有技术中无法提供不同系统之间数据实时同步以及无法监控当前系统集成和数据传输的问题。
6.本发明的技术方案是这样实现的：
7.一种数据集成系统，包括客户端和服务器端，
8.从客户端获得配置信息，所述配置信息是关于数据目标系统数据集成规则的信息；
9.服务器包括数据采集模块、数据同步推送模块和与客户端进行数据通信的接口单元；
10.所述服务器获取数据集成所需的配置信息，调用数据采集模块，并根据所述配置信息从数据源头系统中获取数据进行处理得到中间数据；
11.所述数据同步推送模块注册有目标数据类型标识，调用所述数据同步推送模块，在所述中间数据中获取与所述目标数据类型标识对应的目标数据；基于接口单元，对所述目标数据进行同步，服务器将目标数据同步至数据目标系统中。
12.优选的，所述配置信息，包括：
13.所述数据目标系统设置所述数据源头系统和数据目标系统的连接信息；
14.所述数据目标系统设置数据源头系统基础数据与数据目标系统基础数据的映射关系；
15.所述数据目标系统设置数据源头系统业务数据与数据目标系统业务数据的映射关系；
16.所述数据目标系统设置所述中间数据与所述目标数据转换规则；
17.所述数据目标系统设置调度策略，所述调度策略包括数据定时推送信息和数据实时推送信息；所述数据定时推送信息中用户设置定时推送条件，所述定时推送条件包括推送时间和推送时间间隔，在达到设定的推送时间或设定的推送时间间隔后触发数据推送动作；
18.所述数据目标系统基于调度策略设置数据采集规则。
19.优选的，所述数据同步推送模块包括根据配置信息选择调用的定时同步单元和实时同步单元，所述定时同步单元用于设定从所述数据源头系统中同步目标数据的定时同步时间和定时间隔时间，所述定时同步单元用于基于配置信息实时推送符合条件的目标数据。
20.优选的，所述服务器还包括监听模块，当数据同步推送模块开启时启动监听模块，监听模块监听新增或变更数据的中间结果，并检测中间数据的具体字段内容与配置信息的匹配程度，如匹配则将目标数据传输至数据目标系统。
21.优选的，所述接口单元适配集成方式包括restapi接口、jdbc数据库连接和mq消息队列。
22.优选的，所述服务器还包括日志采集模块，所述日志采集模块用于记录并存储配置信息、目标数据、数据同步推送模块所调用的定时同步单元或实时同步单元信息以及目标数据经各接口单元同步的结果信息，所述日志采集模块可查找目标数据经接口单元同步失败的目标数据并进行手动同步。
23.一种应用系统接口集成方法，包括如下步骤：
24.s1：用户在客户端界面上选择数据源头系统的类型、连接方式和用户权限信息；
25.s2：根据所述的连接方式连接数据源头系统，并展示数据源头系统数据结构和数据内容，用户根据具体需求选择需要采集的数据源头系统数据结构，设置对应结构的数据抽取条件，所述数据抽取条件即为配置信息，并抽取处理得到中间数据；
26.s3：加载数据同步策略，用户配置数据进行实时同步或者定时同步，设置数据定时同步时可设置定时同步条件，所述定时同步条件包括定时同步时间和定时同步间隔，将符合配置信息的目标数据同步到数据目标系统中；
27.s4：将发送的目标数据的具体内容、数据目标系统信息以及发送方式以同步日志的方式进行记录，具体信息记录到elasticsearch中，并进行日志的查看和解析，通过分析数据同步日志可以查找到同步失败的数据并再次进行手动的数据同步。
28.s5：用户在客户端界面上配置数据目标系统的类型和连接方式以及用户权限信息用以接受数据。
29.优选的，步骤s3中用户配置数据实时同步时，当有数据审核通过时，数据同步推送模块调用实时同步单元根据之前保存的配置信息过滤该审核通过的数据，符合条件即可直接进行数据实时同步，不符合条件则不推送。
30.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如应用系统接口集成方法的
步骤。
31.一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行应用系统接口集成方法。
32.本发明的有益效果是：
33.(1)本发明增加数据同步推送模块和监听模块，通过监听模块在数据的全生命周期中进行监听，监听模块实时监听中间数据的具体字段内容与配置信息的匹配程度，如匹配则将目标数据传输至数据目标系统，可以保证不同系统之间数据实时同步更新，无须定时的增量更新。
34.(2)本发明增加日志采集模块，可以查看实时接口单元分发情况，对于分发失败的数据可以再次手动分发。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明一种数据集成系统的结构示意图；
37.图2为本发明一种数据集成方法的流程示意图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.实施例1
40.参见图1，在一个实施例中提供了一种数据集成系统，包括客户端和服务器端：客户端用户通过web服务在页面上操作配置相关信息，包括数据源头系统，数据目标系统的连接信息，数据抽取采集的复杂业务条件配置信息，是否实时推送数据以及实时/定时推送数据的具体配置信息等。
41.从客户端获得配置信息，所述配置信息是关于数据目标系统数据集成规则的信息；
42.服务器包括数据采集模块、数据同步推送模块和与客户端进行数据通信的接口单元；
43.所述服务器获取数据集成所需的配置信息，调用数据采集模块，并根据所述配置信息从数据源头系统中获取数据进行处理得到中间数据；
44.所述数据同步推送模块注册有目标数据类型标识，调用所述数据同步推送模块，在中间数据中获取与所述目标数据类型标识对应的目标数据；基于接口单元，对目标数据进行同步，服务器将目标数据同步至数据目标系统中。
45.所述配置信息，包括：
46.所述数据目标系统设置所述数据源头系统和数据目标系统的连接信息；
47.所述数据目标系统设置数据源头系统基础数据与数据目标系统基础数据的映射关系；
48.所述数据目标系统设置数据源头系统业务数据与数据目标系统业务数据的映射关系；
49.所述数据目标系统设置所述中间数据与所述目标数据转换规则；
50.所述数据目标系统设置调度策略，所述调度策略包括数据定时推送信息和数据实时推送信息；数据定时推送信息是指:用户设置定时推送条件，包括推送时间和推送时间间隔，在达到设定的推送时间或设定的推送时间间隔后触发数据推送动作。定时推送使用多线程、线程池以及quartz等技术实现相关功能。
51.数据实时推送信息是指:实时推送需要用到数据监听模块，每当源系统有数据新增或者数据变更时，会触发监听模块动作，监听模块监听新增/变更数据的中间结果，并检测中间结果的具体字段内容与配置信息的匹配程度，如匹配则将目标数据传输至数据目标系统。
52.所述数据目标系统基于调度策略设置数据采集规则。
53.所述数据同步推送模块包括根据配置信息选择调用的定时同步单元和实时同步单元，所述定时同步单元用于设定从所述数据源头系统中同步目标数据的定时同步时间和定时间隔时间，所述定时同步单元用于基于配置信息实时推送符合条件的目标数据。
54.所述接口单元适配集成方式包括restapi接口、jdbc数据库连接和mq消息队列。
55.所述服务器还包括日志采集模块，所述日志采集模块用于记录并存储配置信息、目标数据、数据同步推送模块所调用的定时同步单元或实时同步单元信息以及目标数据经各接口单元同步的结果信息，所述日志采集模块可查找目标数据经接口单元同步失败的目标数据并进行手动同步。
56.服务器根据用户的配置信息形成一种计算机可读的介质用以持久化保存并可供随时读取使用。
57.服务器是整体架构和功能的核心模块，它包含存有用户配置的计算机介质、数据采集服务、数据实时/定时推送服务、支持日志采集服务。服务器具体流程如下：
58.1、服务器首先根据客户端配置保存成计算机介质以供后续步骤读取使用。
59.2、读取定时配置采集源头数据。
60.采取数据定时推送时，根据定时配置信息(如定时时间，定时间隔等)和配置的数据源头系统信息，配合之前保存的业务条件信息形成sql或者发送http请求等获得待分发的具体数据内容。
61.其中，定时任务使用quartz根据cron表达式来执行，获取具体数据则是根据不同的形式使用jdbc+sql直接获取数据或者通过接口发送http请求/mq消息来间接获取。
62.3、根据数据目标系统的配置，采取不同的发送方式(http+restapi/jdbc/mq等)将上一步获取的符合条件的数据进行分发。
63.每次进行数据发送时，将发送的具体数据内容和目标系统信息以及发送方式等所有信息进行记录，具体信息记录到elasticsearch中，使用elk(elasticsearch+logstash+kibana)组件进行日志的查看和解析。另外也同样记录下上一步骤中数据分发的结果信息
用于保存对比，可以查找到分发失败的数据并进行手动分发。
64.参见图2，在一个实施例中提供了一种应用系统接口集成方法，包括如下步骤：
65.s1：用户在客户端界面上选择数据源头系统的类型、连接方式和用户权限信息，如用户名密码、源系统地址端口、源系统实例等信息；
66.s2：根据所述的连接方式连接数据源头系统，并展示数据源头系统数据结构和数据内容，用户根据具体需求选择需要采集的数据源头系统数据结构，并设置对应结构的数据抽取条件，所述数据抽取条件即为配置信息；
67.s3：加载数据同步策略，用户配置中间数据进行实时同步或者定时同步，设置数据定时同步时可设置定时同步条件，所述定时同步条件包括定时同步时间和定时同步间隔，将符合配置信息的目标数据同步到数据目标系统中；
68.s4：将发送的目标数据的具体内容、数据目标系统信息以及发送方式以同步日志的方式进行记录，具体信息记录到elasticsearch中，并进行日志的查看和解析，通过分析数据同步日志可以查找到同步失败的数据并再次进行手动的数据同步。
69.s5：用户在客户端界面上配置数据目标系统的类型和连接方式以及用户权限信息用以接受数据。
70.其中，步骤s3中用户配置数据实时同步时，当有数据审核通过时，数据同步推送模块调用实时同步单元根据之前保存的配置信息过滤该审核通过的数据，符合条件即可直接进行数据实时同步，不符合条件则不推送。
71.动态集成接口配置的信息会以计算机介质形式存储于服务器中，后续使用中无须进行再次配置，保存成功之后，服务器即按照用户配置进行相应的数据同步
72.下面结合一种具体使用场景对本技术实施例的应用系统接口集成方法进行详细说明：
73.在某个大型项目的实施过程中，系统需要对接财务、oa、erp、sap等等多个业务系统。按照原先的对接流程，需要双方各自编写功能代码，自测通过后双方约定时间进行联合调试，整个流程少则耗时大半个月，并且时间难以协调，造成很大的资源浪费。
74.采用本文中说明的接口集成方法，用户只需要通过在客户端界面上配置即可实现，省去了其中人力协调以及联调的时间成本。
75.以同步erp系统为例，数据需要从mdm系统同步到oracle erp系统，用户首先配置源系统，即mdm系统的数据源连接方式，包括数据源类型、连接uri地址、用户名、密码、实例等信息。连接成功后选择主数据系统中的物料数据结构，并设置抽取条件为审核通过(流程状态字段＝审核通过)并且是活动状态(数据状态字段＝活动)的数据。然后设置同步策略为实时同步，这样mdm系统审核完成的数据会及时分发到oracle erp系统。最后设置oracle erp系统的连接方式，包括系统类型、连接uri地址、用户名、密码、实例等信息。这四步骤保存成功后，即完成了erp系统的同步对接，整个流程只需要用户在界面上进行这四步的设置就可以到达原先至少耗时大半个月工作的效果，节约了人力和时间成本。
76.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述应用系统接口集成方法的步骤。
77.一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所
述程序代码可被处理器调用执行如应用系统接口集成方法。
78.实施例2
79.除与实施例1相同的技术特征外，还包括以下不同之处：
80.数据同步推送模块包括根据配置信息选择调用的实时同步单元，采取数据实时推送时，每当有数据审核通过时，根据之前保存的业务条件信息过滤该审核通过的数据，如果符合条件，那就直接进行数据实时的推送，不符合条件则不推送。
81.所述服务器还包括监听模块，当数据同步推送模块开启时启动监听模块，监听模块实时监听中间数据的具体字段内容与配置信息的匹配程度，如匹配则将目标数据传输至数据目标系统。系统中的实时同步模块会监听数据的状态，每当数据审核后，都会调用一个监听模块，在这个监听模块中根据数据的具体字段内容跟配置的条件对比进行过滤，若符合条件直接通过http+restapi请求/mq消息发送到目标数据系统。
82.系统中的实时同步模块，对应的有益效果是数据的实时更新，无须定时的增量更新。
83.具体的实现方法是通过在系统中设置一个模块，这个模块在数据的全生命周期中进行监听，通过在对数据进行每一步操作的地方设置动态锚点，这样既记录下数据的状态，也同时生成相对应的动态代理，通过使用aop动态代理技术将预先定制好的功能插入到指定位置来实现监听和相关功能的增强。
84.综上所述，相比于以往系统之间的数据集成都需要进行人工的二次编码不同，本发明通过使用基于b/s架构的方式，产生一种计算机可读的存储介质来进行系统参数和条件的配置，无需人工的二次开发参与，系统管理员或者相关的配置人员即可完成系统之间接口的集成和数据的同步。
85.以往在做实施项目时，对于复杂的接口业务需求，往往需要耗费大量的人力来进行开发和测试，本发明通过实现一种可配置式的动态接口方式解决了这个问题。
86.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。