数据接入处理方法、系统、设备及介质与流程

本发明涉及数据处理，特别涉及一种数据接入处理方法、数据接入处理系统、电子设备及存储介质。

背景技术：

1、随着信息技术的发展，数据处理成为现代企业和组织的重要组成部分。数据来源的多样性和数据格式的不统一使得数据接入成为数据处理中一个必须面对的难题。传统的数据接入方法往往需要大量的人力和时间，而且容易出现数据转换错误和数据安全问题。

2、对于金融机构来说，一般情况下数据分为内部和外部数据，相比较内部数据，外部数据量更大、来源更多、结构更复杂，导致从数据接入到实现价值的整个生命周期困难重重，既有很高的技术门槛，又无法保障质量，企业想达到“知数善用”并不容易。而在开展银行类授信项目时，用户或者企业的授信模型计算往往会依赖很多外部数据源，在实际项目开发数据对接过程中会出现很多问题：(1)每一个接口都需要进行单独的定制化开发，对接流程繁琐，开发及联调工作量大，且后期管理难度大维护成本高；(2)数据接入时间成本高，外部数据接口接入时花费时间较长，联机查询数据后数据返回缓慢；(3)当业务系统重复接入时，会导致代码维护工作量非常大，难以实现接口接入的有效监管；(4)外部数据质量检测过程繁杂，难以把控接入的外部数据质量；(5)外部接口数据不能动态支持模型计算，使得数据接入后处理过程繁杂，处理结果准确率低难以满足模型计算需求。

技术实现思路

1、发明要解决的技术问题是为了克服现有技术中的上述缺陷，提供一种数据接入处理方法、数据接入处理系统、电子设备及存储介质。

2、本发明提供一种数据接入处理方法，所述数据接入处理方法包括：

3、基于预设训练目标配置数据获取请求；

4、响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；

5、解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；

6、从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，输出满足所述预设训练目标的目标模型。

7、较佳地，所述数据接入处理方法，还包括：

8、判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口；

9、若是，则从所述接口返回表调用对应的所述目标接口；

10、若否，则从所述第三方数据源获取对应的所述目标接口。

11、较佳地，所述判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口，包括：

12、判断所述接口返回表中是否具有与所述数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口；

13、和/或，

14、所述预设调用模板包括串行模板、并行模板、树型模板中的至少一种。

15、较佳地，所述基于预设训练目标配置数据获取请求，包括：

16、响应所述预设训练目标，创建数据获取请求对应的配置界面；

17、基于所述配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成所述数据获取请求的配置。

18、本发明还提供一种数据接入处理系统，所述数据接入处理系统包括：

19、配置模块，基于预设训练目标配置数据获取请求；

20、接口获取模块，响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；

21、数据解析模块，解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；

22、训练模块，从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，输出满足所述预设训练目标的目标模型。

23、较佳地，所述数据接入处理系统，还包括：

24、判断模块，判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口；

25、若是，则从所述接口返回表调用对应的所述目标接口；

26、若否，则从所述第三方数据源获取对应的所述目标接口。

27、较佳地，所述判断模块，判断所述接口返回表中是否具有与所述数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口；

28、和/或，

29、所述预设调用模板包括串行模板、并行模板、树型模板中的至少一种。

30、较佳地，所述配置模块，响应所述预设训练目标，创建数据获取请求对应的配置界面；

31、基于所述配置界面，配置任务执行周期、接口表、接口参数、接口字段、执行结果中的至少一种，以完成所述数据获取请求的配置。

32、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如上所述的数据接入处理方法。

33、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的数据接入处理方法。

34、本发明的积极进步效果在于：通过基于预设训练目标配置数据获取请求；响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，从而能够实现不同外部数据接口自动化获取数据落库，并实时协同模型计算输出满足所述预设训练目标的目标模型。

技术特征：

1.一种数据接入处理方法，其特征在于，所述数据接入处理方法包括：

2.如权利要求1所述的数据接入处理方法，其特征在于，所述数据接入处理方法，还包括：

3.如权利要求2所述的数据接入处理方法，其特征在于，所述判断所述接口返回表中是否具有与所述数据获取请求相匹配的目标接口，包括：

4.如权利要求1中所述的数据接入处理方法，其特征在于，所述基于预设训练目标配置数据获取请求，包括：

5.一种数据接入处理系统，其特征在于，所述数据接入处理系统包括：

6.如权利要求1所述的数据接入处理系统，其特征在于，所述数据接入处理系统，还包括：

7.如权利要求6所述的数据接入处理系统，其特征在于，所述判断模块，判断所述接口返回表中是否具有与所述数据获取请求中字段名、编码、名称、地址中至少一个类型相匹配的目标接口；

8.如权利要求1中所述的数据接入处理系统，其特征在于，所述配置模块，响应所述预设训练目标，创建数据获取请求对应的配置界面；

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1-4中任一项所述的数据接入处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的数据接入处理方法。

技术总结
本发明公开了一种数据接入处理方法、系统、设备及介质，其中，数据接入处理方法通过基于预设训练目标配置数据获取请求；响应于所述数据获取请求从第三方数据源获取至少一个目标接口，并将所述目标接口存储至接口返回表中；解析所述接口返回表中的各个所述目标接口，以获取与所述目标接口对应的目标数据，并将所述目标数据存储至对应的数据返回表中；从各个所述数据返回表通过预设调用模板调用所述目标数据以对待训练模型库进行协同训练，从而能够实现不同外部数据接口自动化获取数据落库，并实时协同模型计算输出满足所述预设训练目标的目标模型。

技术研发人员：刘志阳,禹迹,宋韵波
受保护的技术使用者：上海吉贝克信息技术有限公司
技术研发日：
技术公布日：2024/1/16