一种基于shell对文件进行拉取、处理和推送的方法与流程

本发明涉及文件处理，特别涉及一种基于shell对文件进行拉取、处理和推送的方法。

背景技术：

1、在银行系统中，常常需要对各种各样的文件进行批量的操作处理，由于文件可能来源于不同的渠道，文件的格式会有各种的差异；同时文件也可能存放在不同的服务器，这就增加了银行系统对差异文件处理的难度。

2、因此，有必要提供一种基于shell对文件进行拉取、处理和推送的方法，以降低银行系统对差异文件进行处理的难度。

技术实现思路

1、本发明的目的在于提供一种基于shell对文件进行拉取、处理和推送的方法，以降低银行系统对差异文件进行处理的难度。

2、为了解决现有技术中存在的问题，本发明提供了一种基于shell对文件进行拉取、处理和推送的方法，包括以下步骤：

3、基于shell脚本定义服务器配置文件；

4、基于shell脚本定义拉取文件列表的配置文件；

5、基于shell脚本定义格式处理配置文件；

6、基于shell脚本定义业务配置文件；

7、定义所述格式处理配置文件的路径和所述业务配置文件的路径；

8、进行拉取、处理和推送。

9、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，服务器配置文件包括：

10、拉取服务器名称；

11、登录远程服务器的ip、用户名以及密码；

12、文件所存服务器的路径；

13、远程登录服务器的方式。

14、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，远程登录服务器的方式包括ftp方式或sftp方式。

15、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，拉取文件列表的配置文件包括：

16、待拉取文件列表的名称；

17、待拉取文件列表内所有待拉取的文件的具体名称。

18、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，拉取文件列表的配置文件支持文件造空和解压文件的配置化管理。

19、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，格式处理配置文件包括：

20、文件的分组类型；

21、文件类型，以限定上传文件或下载文件；

22、文件的id；

23、文件的描述；

24、文件的操作，包括：解压操作、检查文件的头、对文件重命名和/或对文件的格式进行更新；

25、文件的下载路径、下载文件名称；

26、文件的上传路径、上传文件名称。

27、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，业务配置文件包括以下步骤：

28、shell脚本读取所述拉取文件列表的配置文件，以获取所有待拉取的文件的列表；

29、shell脚本读取所述服务器配置文件，以获取服务器信息并登录服务器获取文件；

30、shell脚本读取所述格式处理配置文件，以对获取的文件进行头校验、行检验和文件大小校验，并对获取的文件进行格式化处理，备注本地的存放路径。

31、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，进行拉取、处理和推送的方式如下：

32、获取所述格式处理配置文件的路径和所述业务配置文件的路径；

33、获取已经定义的任务，所述任务基于springbatch设置，任务为拉取或推送；

34、通过springbatch获取批量任务，并执行业务配置文件，以实现拉取或推送文件；

35、对于拉取的文件，进行处理。

36、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，处理方式包括基于springbatch的reader、processor和writer进行读、处理和写，以对文件的数据进行落库。

37、可选的，在所述基于shell对文件进行拉取、处理和推送的方法中，各文件具有单独的接口格式，文件接口格式包括文件名称、文件路径、系统文件id的xml配置。

38、在本发明所提供的基于shell对文件进行拉取、处理和推送的方法中，由于文件可能来源于不同的渠道，文件的格式会有各种的差异，因此本发明对不同的文件进行转换，来匹配银行系统的格式进行处理；同时文件也可能存放在不同的服务器，因此本发明配置了不同渠道的ip、用户、密码和文件等信息，通过登录远程服务器来拉取目标文件；从而对取到的文件进行校验、处理和落库等操作；并且本发明还可以将文件推送到不同的服务器。本发明降低了银行系统对差异文件进行处理的难度。

技术特征：

1.一种基于shell对文件进行拉取、处理和推送的方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，服务器配置文件包括：

3.如权利要求2所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，远程登录服务器的方式包括ftp方式或sftp方式。

4.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，拉取文件列表的配置文件包括：

5.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，拉取文件列表的配置文件支持文件造空和解压文件的配置化管理。

6.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，格式处理配置文件包括：

7.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，业务配置文件包括以下步骤：

8.如权利要求7所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，进行拉取、处理和推送的方式如下：

9.如权利要求7所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，处理方式包括基于springbatch的reader、processor和writer进行读、处理和写，以对文件的数据进行落库。

10.如权利要求1所述的基于shell对文件进行拉取、处理和推送的方法，其特征在于，各文件具有单独的接口格式，文件接口格式包括文件名称、文件路径、系统文件id的xml配置。

技术总结
本发明涉及一种基于shell对文件进行拉取、处理和推送的方法，包括以下步骤：基于shell脚本定义服务器配置文件；基于shell脚本定义拉取文件列表的配置文件；基于shell脚本定义格式处理配置文件；基于shell脚本定义业务配置文件；定义所述格式处理配置文件的路径和所述业务配置文件的路径；进行拉取、处理和推送。本发明可以降低银行系统对差异文件进行处理的难度。

技术研发人员：高磊
受保护的技术使用者：上海通联金融服务有限公司
技术研发日：
技术公布日：2024/1/15