一种系统间数据快速对接、转换的方法、装置及设备与流程

本发明涉及数据处理，尤其涉及一种系统间数据快速对接、转换的方法、装置及设备。

背景技术：

1、系统间的数据对接、转换是一个常见的业务场景，通常涉及不同系统和数据格式，长期频次高的数据交互。通常涉及字段匹配、码值转换、数值计算、数据库联动查询等操作。如果不具备系统对接条件(或尚未对接的过渡时期)，需要人工对数据进行批量转换、处理。

2、例如社保理赔业务中，商业保险公司是基于医保局提供的报销数据，转换成赔案数据进行理赔操作。由于以医保局的数据管理要求和系统格式为准，而由于基金是地市统筹，尚未做到全国统一，造成了数据个性化十分强。目前全国350多家地市中，60％没有进行系统数据对接，需要人工做大批量的数据处理、转换、补充工作。

3、使用人工处理具有以下缺陷：

4、(1)不具备对接条件时人工线下处理，涉及重要数据，容易泄漏、篡改。不利于分权限管理，线下表格处理不能够留痕，无法追溯操作过程。

5、(2)数据传输频率高，大量重复工作，易出错。不能够与数据库信息进行联动，需要手动补充。

6、(3)需要操作人员掌握复杂的函数、计算等操作，学习成本高，业务处理规则的经验不可积累、传递。

7、如果具备系统对接条件，在使用现有系统对接时，通常涉及多个不同系统对接，成本高、周期长，对个性规则响应慢。

技术实现思路

1、本发明提供了一种系统间数据快速对接、转换的方法、装置及设备，解决了上述人工对数据进行转换、处理时重复、繁琐、易泄露、易出错、成本高，现有系统对接成本高、周期长，以及对个性规则响应慢等问题。

2、一种系统间数据快速对接、转换的方法，包括：

3、在新建的模板中导入目的系统的目标数据模板，确定对所述目标数据模板配置的组件；

4、在所述新建的模板中导入源系统的源数据模板，在相应的所述组件中确定对所述源数据模板配置的规则；所述规则包括数据处理规则、数据转换生成规则；

5、获取所述源系统的数据文件，调用所述数据处理规则对所述数据文件中的数据进行一个或多个数据处理；

6、调用所述数据转换生成规则对数据处理后的数据文件中的数据进行数据转换和生成；

7、将转换完成的数据文件中的数据确认后导入目的系统。

8、在本发明的一种实施例中，所述在新建的模板中导入目的系统的目标数据模板，确定对所述目标数据模板配置的组件；在所述新建的模板中导入源系统的源数据模板，在相应的所述组件中确定对所述源数据模板配置的规则，具体包括：在新建的模板中导入目的系统的目标数据模板，所述目标数据模板中包括字段和码值表；根据业务需求，确定对所述目标数据模板中的字段和码值配置的对应的组件；在所述新建的模板中导入源系统的源数据模板，根据业务需求，在相应的所述组件中确定对所述源数据模板配置的规则。

9、在本发明的一种实施例中，所述获取所述源系统的数据文件，调用所述数据处理规则对所述数据文件中的数据进行一个或多个数据处理，具体包括：根据配置的时间、所述数据处理规则和路径获取所述源系统的数据文件，所述数据处理规则包括数据合并规则；根据所述数据合并规则确定合并条件和合并字段；根据所述合并条件和所述合并字段对所述数据文件进行合并。

10、在本发明的一种实施例中，所述根据所述合并条件和所述合并字段对所述数据文件进行合并，具体包括：所述数据文件包括主表和关联表；将所述数据文件中主表的数据存入第一数据库表；将所述数据文件中关联表的数据存入第二数据库表；根据所述合并条件和所述合并字段将所述第一数据库表和所述第二数据库表进行合并。

11、在本发明的一种实施例中，所述获取源系统的数据文件，调用所述数据处理规则对所述数据文件中的数据进行一个或多个数据处理，具体包括：所述数据处理规则包括数据筛选规则；获取源系统的数据文件，确定筛选文件，所述筛选文件的格式包括图片、pdf、excel、word；根据所述筛选文件的格式确定数据筛选规则，根据所述数据筛选规则在所述数据文件中查找包括所述筛选文件的数据文件，得到筛选后的数据文件。

12、在本发明的一种实施例中，所述调用所述数据转换生成规则对数据处理后的数据文件中的数据进行数据转换和生成，包括：根据配置的组件确定所述组件中配置的数据转换生成规则；调用所述数据转换生成规则将所述目标数据模板中的字段和码值与所述源数据模板中的字段和码值进行匹配；将匹配到的所述源数据模板中的字段和码值进行文字的语义匹配、转换，生成符合目标数据模板的数据文件。

13、在本发明的一种实施例中，所述将所述目标数据模板中的字段和码值与所述源数据模板中的字段和码值进行匹配，具体包括：将所述源系统提供的数据文件进行分词处理，得到相应的字段和码值；将所述源系统中的字段和码值转换为源系统词向量，将目的系统的字段和码值转换为目的系统词向量；计算所述源系统词向量和所述目的系统词向量的余弦相似度；根据所述余弦相似度确定匹配结果。

14、一种系统间数据快速对接、转换的装置，包括：

15、第一配置模块，用于在新建的模板中导入目的系统的目标数据模板，确定对所述目标数据模板配置的组件；

16、第二配置模块，用于在所述新建的模板中导入源系统的源数据模板，在相应的所述组件中确定对所述源数据模板配置的规则；所述规则包括数据处理规则、数据转换生成规则；

17、数据处理模块，用于获取所述源系统的数据文件，调用所述数据处理规则对所述数据文件中的数据进行一个或多个数据处理；

18、数据转换生成模块，用于调用所述数据转换生成规则对数据处理后的数据文件中的数据进行数据转换和生成；

19、导入模块，用于将转换完成的数据文件中的数据确认后导入目的系统。

20、一种系统间数据快速对接、转换的设备，包括：

21、至少一个处理器；以及，

22、与所述至少一个处理器通过总线通信连接的存储器；其中，

23、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被执行，以实现：

24、在新建的模板中导入目的系统的目标数据模板，确定对所述目标数据模板配置的组件；

25、在所述新建的模板中导入源系统的源数据模板，在相应的所述组件中确定对所述源数据模板配置的规则；所述规则包括数据处理规则、数据转换生成规则；

26、获取所述源系统的数据文件，调用所述数据处理规则对所述数据文件中的数据进行一个或多个数据处理；

27、调用所述数据转换生成规则对数据处理后的数据文件中的数据进行数据转换和生成；

28、将转换完成的数据文件中的数据确认后导入目的系统。

29、一种非易失性存储介质，存储有计算机可执行指令，所述计算机可执行指令由处理器执行，以实现下述步骤：

30、在新建的模板中导入目的系统的目标数据模板，确定对所述目标数据模板配置的组件；

31、在所述新建的模板中导入源系统的源数据模板，在相应的所述组件中确定对所述源数据模板配置的规则；所述规则包括数据处理规则、数据转换生成规则；

32、获取所述源系统的数据文件，调用所述数据处理规则对所述数据文件中的数据进行一个或多个数据处理；

33、调用所述数据转换生成规则对数据处理后的数据文件中的数据进行数据转换和生成；

34、将转换完成的数据文件中的数据确认后导入目的系统。

35、本发明提供了一种系统间数据快速对接、转换的方法、装置及设备，至少包括以下有益效果：通过快速搭建自动化流程进行系统间的数据对接和转换、生成，且通过配置化实现适用于任意的系统。提供一种规则配置方案和界面，能够灵活、简便的配置不同的个性化规则，支持各种复杂规则(计算、数据库联动、语义匹配、条件判断等)可视化配置。通过自然语言处理对不同系统间的文本语义自动匹配转换，不依赖编码匹配。提供表格合并、筛选数据等可视化数据处理功能，能够使用户个性化进行数据处理。在无人工干预情况下保障了数据安全，能够实现分权限管理，且线上化处理留痕；能够固化处理规则，减少了重复的人工工作。