用于批量作业的特殊文件自动化处理方法与流程

1.本发明涉及分布式批量调度技术领域，尤其是涉及一种用于批量作业的特殊文件自动化处理方法。


背景技术：

2.随着经济数字化浪潮的蓬勃兴起，各商业银行为提高自身服务质量、提升同业竞争力，纷纷踏上数字化转型的道路。数据是企业的发展关键，数据的需求来源于业务也服务于业务，数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入，数据的调度就是作业的调度，而批量作业调度是金融行业信息后台最为重要的技术形态。
3.伴随金融行业分布式新核心以及大数据平台的建设，批量处理作业规模越来越大，相对应的调度场景更加多样，系统调度逻辑也会更加复杂，对调度性能和稳定性、扩展性提出了更高要求。目前主要采用分布式批量调度的方式，根据数据文件预定的调度日期，确定每一调度日需加工的数据文件，按照调度作业列表中每一项任务顺序执行，实现对数据文件的加工；同时，针对全球一体化系统，为了实现业务使用无影响感，还采用分区加工的模式，以提高批量调度的效率、尽可能减少业务使用影响、保证数据时效性。
4.银行系统每天会进行交易相关的结算、清算、结息、对账等活动，批量调度用于银行系统中大量数据的批量处理业务，现有技术中，银行普遍使用批量调度平台将各系统的批量任务进行统一编排，统一预处理，统一定时调度或者人工调度，通过远程系统调度等实现对批量作业的统一治理。分布式批量调度平台是指批量调度平台采用了分布式架构，体现高可扩展性，对一个体量较大的任务来进行分片拆分，让多个服务来分工执行不同条件的任务，降低单体服务环境下服务器的压力。当一个服务出现异常，立刻让另外一个服务来顶替异常服务的工作，从而保证任务可以继续执行，提高系统的稳定和可靠性。
5.银行系统批量处理是银行业整个信息后台最为重要的技术形态，也是银行核心信息资产数据的分享、传输、演化的重要技术手段。随着大数据时代的到来，特别是在数据仓库、大数据平台的带动下，这样的规模还将快速发展，其批量作业数规模也必将产生数量级的增长变化，搭建批量调度平台，批量自动化处理是银行系统目前普遍使用的数据文件加工方式，可以从为数据安全提供更可靠的技术保障，可以加快具体系统构建速度，提升系统运维效率，降低运维风险。
6.正常情况下，上游系统批量文件按规定格式、规定命名、规定频率下发，下游系统通过调度作业对文件进行批量加工，供业务使用。但是，实际应用中往往存在一些命名不规范、下发频率不稳定、文件内容包含换行符、需要转码等的特殊文件，此时必须通过运维人员手工干预处理，才能保证作业正确执行。根据目前情况来看，系统对于上游特殊文件情况不可控，依赖于上游通知或批量作业执行报错后人为干预处理，确保批量作业正常运行，这种处理方式需要运维人员手工处理，增加工作量，且对于大量特殊文件，手工解决时间过长，影响其余正常文件加工时间，进而影响业务使用。对于接收多系统文件的下游系统而言，人为处理特殊文件的时间必然会影响到整个批量作业的执行，从而影响到业务使用；此
外，特殊文件多种情况的不确定性也会大大增加手工处理的工作量，导致消耗过多的人力成本。


技术实现要素：

7.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于批量作业的特殊文件自动化处理方法，以能够减少运维人员手工处理时间及工作量，提高批量作业执行效率，降低业务使用影响。
8.本发明的目的可以通过以下技术方案来实现：一种用于批量作业的特殊文件自动化处理方法，包括以下步骤：
9.s1、构建特殊文件配置表；
10.s2、扫描文件接收目录，读取所有文件，并从中筛选出待特殊处理的文件和规范文件；
11.s3、对于规范文件，执行正常批量作业加工操作；
12.对于待特殊处理的文件，通过读取特殊文件配置表，完成对待特殊处理文件的批量处理操作，得到可正常加载文件，再执行正常批量作业加工操作。
13.进一步地，所述特殊文件配置表包括特殊文件名称、特殊类型以及对应的处理规则描述。
14.进一步地，所述处理规则描述具体为：
15.针对不规范命名文件，执行正则表达式匹配操作；
16.针对不定频率下发文件，移至备份目录进行单独加载；
17.针对文件内容包含换行符文件，移至临时目录进行换行转换；
18.针对待转码文件，移至临时目录进行转码。
19.进一步地，所述步骤s2具体是采用正则表达式匹配的方法，以从读取的所有文件中筛选出待特殊处理的文件和规范文件。
20.进一步地，所述待特殊处理的文件包括不规范命名、不定频率下发、文件内容包含换行符、文件待转码四种形式。
21.进一步地，所述步骤s3中对待特殊处理文件的批量处理操作具体包括以下步骤：
22.s31、采用正则表达式匹配不规范命名文件；
23.s32、将其余待特殊处理文件移至备份目录，备份其余待特殊处理文件；
24.s33、将其余待特殊处理文件移动至临时目录；
25.s34、临时目录下解压其余待特殊处理文件，并通过读取特殊文件配置表，完成对其余待特殊处理文件的处理操作。
26.进一步地，所述步骤s34具体包括以下步骤：
27.s341、临时目录下解压其余待特殊处理文件，并通过重命名得到对应的临时文件；
28.s342、读取特殊文件配置表，确定其余待特殊处理文件对应的处理操作、并执行；
29.s343、删除临时文件，压缩，移动回加载目录。
30.进一步地，所述步骤s342中，通过读取特殊文件配置表，判断其余待特殊处理文件是否需要换行，若判断为是，则执行换行处理、输出到原文件；否则退出。
31.进一步地，所述步骤s342中，通过读取特殊文件配置表，判断其余待特殊处理文件
是否需要转码，若判断为是，则执行转码处理、输出到原文件；否则退出。
32.进一步地，所述临时文件的后缀为tmp。
33.与现有技术相比，本发明将特殊文件的处理方式纳入批量作业中，通过构建特殊文件配置表，当系统接收上游文件后，自动读取文件清单，对于规范文件，正常批量作业加工；对于特殊文件，则进入特殊处理任务，根据已配置的特殊文件处理方法、对文件进行转码、换行等处理，处理结束后，再执行正常批量加工，由此实现批量自动处理特殊文件，能够有效减少人工干预工作量，节省运维人员手工处理时间，从而提高批量作业执行效率、保证数据加工时效性，降低业务使用影响。
34.本发明采用特殊文件配置表的方式，当筛选出待特殊处理的文件后，通过读取特殊文案金配置表，即可自动完成对待特殊处理文件的批量处理操作、得到可正常加载的文件，即使存在多种不同形式的特殊文件，也能高效准确地完成处理操作，大大减小人力消耗。
附图说明
35.图1为本发明的方法流程示意图；
36.图2为实施例的应用过程示意图。
具体实施方式
37.下面结合附图和具体实施例对本发明进行详细说明。
38.实施例
39.如图1所示，一种用于批量作业的特殊文件自动化处理方法，包括以下步骤：
40.s1、构建特殊文件配置表，其中，特殊文件配置表包括特殊文件名称、特殊类型以及对应的处理规则描述，处理规则描述具体为：
41.针对不规范命名文件，执行正则表达式匹配操作；
42.针对不定频率下发文件，移至备份目录进行单独加载；
43.针对文件内容包含换行符文件，移至临时目录进行换行转换；
44.针对待转码文件，移至临时目录进行转码；
45.s2、扫描文件接收目录，读取所有文件，并从中筛选出待特殊处理的文件和规范文件，本实施例采用正则表达式匹配的方法在读取的所有文件中进行筛选，其中，待特殊处理的文件包括不规范命名、不定频率下发、文件内容包含换行符、文件待转码四种形式；
46.s3、对于规范文件，执行正常批量作业加工操作；
47.对于待特殊处理的文件，通过读取特殊文件配置表，完成对待特殊处理文件的批量处理操作，得到可正常加载文件，再执行正常批量作业加工操作，具体的，在对待特殊处理文件的批量处理操作时，首先采用正则表达式匹配不规范命名文件；
48.之后将其余待特殊处理文件移至备份目录，备份其余待特殊处理文件；
49.再将其余待特殊处理文件移动至临时目录；
50.临时目录下解压其余待特殊处理文件，通过重命名得到对应的临时文件，本实施例中，临时文件的后缀为tmp；
51.然后读取特殊文件配置表，完成对其余待特殊处理文件的处理操作：读取特殊文
件配置表，判断其余待特殊处理文件是否需要换行，若判断为是，则执行换行处理、输出到原文件；否则退出；
52.读取特殊文件配置表，判断其余待特殊处理文件是否需要转码，若判断为是，则执行转码处理、输出到原文件；否则退出；
53.最后删除临时文件，压缩，移动回加载目录。
54.综上可知，本技术方案主要包括以下内容：
55.一、配置特殊文件处理方法；
56.二、新增特殊文件处理任务；
57.三、批量调度作业读取待处理的特殊文件配置，实现自动化处理。
58.实际应用时，首先需明确待处理的特殊文件清单及需要处理的特殊类型，针对不同的类型制定不同的解决方法，即需要明确特殊文件名称、特殊文件需处理类型、处理规则。其次，将各个处理规则方法编排，纳入系统原有批量调度。
59.之后根据处理流程，设计特殊文件处理任务。对特殊文件进行转码、换行等处理。得到可正常加载文件，保证批量作业正常运行。
60.本实施例应用上述技术方案，在执行特殊文件待处理配置过程时，对于目前存在的四种文件特殊形式，不规范命名、不定频率下发、文件内容含换行符、文件待转码四种形式，梳理待特殊处理的文件名称及特殊类型，配置在特殊文件参数表。对于不规范命名文件，用正则表达式匹配；对于不定频率下发文件，移至备份目录进行单独加载；对于文件内容包含换行符文件，移至临时目录进行换行转换；对于待转码文件，移至临时目录进行转码。
61.在执行特殊文件处理任务时，如图2所示：
62.1.扫描文件接收目录
63.批量作业扫描文件接收目录，读取文件接收目录下所有文件。
64.2.正则表达式匹配不规范命名文件；并通过正则表达式匹配需要做特殊处理的文件。
65.3.待处理文件移至备份目录，备份文件。
66.4.待处理的原始文件移动到临时目录。
67.5.临时目录下解压待处理文件，重命名为tmp后缀的临时文件。
68.6.读取配置表，判断文件是否需要换行，若是，则换行处理，输出到原文件；否，则退出。
69.7.读取配置表，判断文件是否需要转码，若是，则转码处理，输出到原文件；否，则退出。
70.8.删除tmp后缀临时文件，压缩，移动回加载目录。
71.9.加载处理后的文件
72.批量作业正常加载处理后的文件。
73.本技术方案提出一种批量作业调度下的自动化处理特殊文件的方法，将之前对于每个特殊文件手工处理的过程纳入批量作业中，批量作业读取特殊文件清单及待处理的类型，自动做相应的处理，相比于人工处理，能达到减少重复工作量，减轻运维人员压力，提高作业处理并行度的目标。本技术方案提供对不规范命名文件、不定下发频率文件、文件内容
包含换行符、需转码的文件的批量处理方法，并纳入到批量调度作业中进行批处理，能够将多种特殊文件处理方法纳入批量调度作业中，实现批量自动处理特殊文件，进而减少运维人员手工处理时间及工作量，保证数据加工时效性，降低业务使用影响。