一种业务文件处理方法及系统

1.本发明涉及大数据技术领域，具体为一种业务文件处理方法及系统。


背景技术：

2.目前，在金融业务系统运行过程中，不可避免地会涉及到批量转联机业务，即批量发起请求调用联机交易操作的情景。
3.批量转联机业务会生成多分区的批量转联机文件，文件会分成多个区，各个区的分区文件又会分成很多片，数据成倍增加。批量转联机文件存在文件多，数据量大的特点，给检核工作带来极大麻烦。目前，批量转联机文件主要依靠人工识别文件，批量转联机文件处理效率低。


技术实现要素：

4.在现有的技术上，本发明的目的在于提供一种业务文件处理方法及系统，以提高业务系统的处理效率，提升数据处理的准确性。
5.为实现上述目的，本发明提供如下技术方案：
6.一种业务文件处理方法，所述方法为：
7.对目标业务文件进行预处理；
8.对预处理后的业务文件进行分类并且储存到数据库中相对应的储存位置，并生成业务文件列表；
9.调取数据库中分类后的业务文件，将同一类型的业务文件进行分割成若干个业务文件包，并生成与每个业务文件包相对应的第一校验文件，将每个业务文件包和与其相关的第一校验文件进行打包压缩生成数据包；将每一个数据包同时发送到多个分布式计算终端，对数据包进行处理，并且生成生成文件以及与其相对应的对比文件；
10.将处理同一个数据包生成的对比文件进行对比；若全部对比文件中超过半数相同，将超过半数相同的对比文件所对应的生成文件储存到数据库中，则将该数据包重新发送到多个分布式计算终端进行处理；
11.当业务文件全部处理完后，调取数据库中全部的生成文件进行打包，并且生成与其相对应的第二校验文件，将生成文件和第二校验文件进行打包压缩生成数据包；将数据包同时发送到多个分布式计算终端，对接收到的数据包进行处理，并且生成汇总文件以及与其相对应的对比文件；
12.将处理同一个数据包生成的对比文件进行对比；若全部对比文件中超过半数相同，将超过半数相同的对比文件所对应的汇总文件储存到业务文件汇总输出终端，则将该数据包重新发送到多个分布式计算终端进行处理；
13.将该汇总文件生成汇总图表以及业务文件分析报告。
14.更进一步的，所述预处理包括提取业务文件的主要信息、判断业务文件内的数据是否存在异常以及对业务文件内的字段规整。
15.更进一步的，将数据包同时发送到多个分布式计算终端，同时处理同一个数据包的分布式计算终端数量为a，a为大于2的奇数。
16.更进一步的，对分布式计算终端接收到的数据包进行解压，对解压后得到的业务文件包与第一校验文件或者生成文件与第二校验文件进行计算，并生成与业务文件包所对应的生成文件或者与生成文件相对应的汇总文件。
17.更进一步的，将生成文件与第一校验文件或者汇总文件与第二校验文件相结合计算，并生成对比文件。
18.基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种业务文件处理系统，包括：
19.业务文件输入终端，用于通过其内置的业务文件预处理模块对目标业务文件进行批量预处理，并且将预处理后的业务文件发送至分配服务器；
20.数据库，用于存储业务文件包与生成文件，并且将业务文件进行分类储存；
21.若干个分布式计算终端，用于将其接收到的数据包进行处理，并且生成生成文件和与其所对应的对比文件或者汇总文件和与其所对应的对比文件；
22.业务文件汇总输出终端，用于将接收到的汇总文件生成汇总图表以及业务文件分析报告；
23.分配服务器，用于将预处理后的业务文件发送至数据库内；调取数据库内的文件并生成相对应的校验文件，将数据库内的文件与其所对应的校验文件进行打包压缩并生成数据包，并发送到分布式计算终端；将处理同一个数据包所生成的比文件进行对比，并根据对比文件的对比结果，将接收到的汇总文件或者生成文件进行转发或者删除。
24.进一步的，所述分配服务器包括文件调配模块、校验文件生成模块以及校对模块；
25.所述文件调配模块用于将接收到的文件转发，调取数据库内的文件并且将其进行分割与打包；
26.所述校验文件生成模块用于生成第一校验文件与第二校验文件；
27.所述校对模块用于将接收到的对比文件进行对比判断。
28.进一步的，所述数据库包括用于存储业务文件与业务文件列表的源文件储存区以及用于存储生成文件的生成文件储存区。
29.基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种业务文件处理系统，所述业务文件处理系统包括至少一个处理器及用于存储处理器可执行指令的存储器；所述指令被所述处理器执行时，实现上述任意一个或者多个实施例所述业务文件处理方法的步骤。
30.采用上述的技术方案，本发明与现有技术相比，其具有的有益效果是：
31.本方案将批量业务文件进行分类并且分批处理，将处理结果存储于数据库中；当此业务文件全部处理与汇总完后，输出终端从分配服务器接收到的汇总文件处理成结果文件，这样保证了输出终端所获取的结果文件的准确性，也能够保证了业务文件的处理效率；
32.本方案将批量的业务文件进行分割成若干个业务文件包，对业务文件包进行分布式计算，并且将生成的生成文件储存到数据库中；使得本业务文件处理方法能够对批量的业务文件进行断点续处理的能力，即如果碰到网络故障或设备故障时，可以将未处理的业务文件继续处理，而没有必要从头开始处理，为操作人员可以节省大量的时间，提高了批量
业务文件的处理效率。
附图说明
33.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明业务文件处理系统的结构框架示意图。
35.图2为本发明业务文件处理方法的流程图。
具体实施方式
36.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。
37.如图2所示，本方案提供了一种业务文件处理方法，所述方法为：
38.对批量的业务文件进行预处理；
39.具体的，业务文件输入终端内置的业务文件预处理模块对业务文件进行批量预处理，并且将预处理后的业务文件发送至分配服务器；其中，所述预处理包括提取业务文件的主要信息、判断业务文件内的数据是否存在异常以及对业务文件内的字段规整，将提取的业务文件的主要信息录入到业务文件列表中。
40.针对业务文件不同的文件格式，业务文件预处理模块对业务文件相对应的适配；提取出业务文件的主要信息，并且录入到业务文件列表中，根据业务文件的主要信息下，将其进行快速且高效地分类储存，使得在后续处理中只需处理同一种文件格式，从而有效地提高了业务文件的处理效率；同时，判断业务文件的数据是否存在异常，其异常包括业务文件的数据重复、业务文件的数据缺失以及业务文件的数据异常；将业务文件预处理模块将存在数据异常的业务文件标记处理来，并且在业务文件输入终端上提醒用户进行处理；对不同文件格式的业务文件进行字段规整，对业务文件按照预先配置的规则，将不同文件格式的业务文件数据内容转换为相对应的标准格式，实现了不同文件格式的业务文件中数据内容的规范化，能够更加精确地提取出业务文件内的有效数据，从而有效地提高了业务文件的处理效率；
41.这样一来，将业务文件进行预处理，提升了批量转联机文件处理的精细度，提升批量转联机文件处理的准确性，提升批量转联机文件处理的效率。
42.对预处理后的业务文件进行分类并且储存到数据库中相对应的储存位置，并生成业务文件列表；分配服务器内置的文件调配模块根据业务文件的主要信息与业务文件的文件格式将业务文件分类储存到数据库的源文件储存区中，方便了操作人员对数据的追根溯源，也能够在后续处理中只需处理同一种文件格式，从而有效地提高了业务文件的处理效率。
43.调取数据库的源文件储存区中分类后的业务文件，根据业务文件的大小，将同一类型的业务文件进行分割成若干个业务文件包，并且每个业务文件包都生成与其相对应的校验文件，将业务文件包和校验文件进行压缩打包生成数据包，并且将其同时发送到多个分布式计算终端；
44.进一步的，根据业务文件包的文件格式，将与业务文件包所属的数据包同时发送到多个分布式计算终端，该分布式计算终端内置有适配这种文件格式计算的处理软件；将业务文件包根据文件格式分发到相适配的分布式计算终端，能够大大提高业务文件的处理效率。
45.其中，处理同一个数据包的分布式计算终端数量为a，a为大于2的奇数；在本实施例中，处理同一个数据包的分布式计算终端数量为3-7，并且根据业务文件的数据量大小，调整处理同一个数据包的分布式计算终端数量。
46.分布式计算终端对其接收到的数据包进行解压与处理，并且生成生成文件以及与其相对应的对比文件；
47.具体的，分布式计算终端对其接收到的数据包进行解压，对解压后得到的业务文件包进行处理，并且生成与业务文件包对应的生成文件；同时，数据包还解压出与业务文件包相对应的校验文件。
48.其中，分布式计算终端通过处理生成的生成文件和与其相对应的校验文件相结合计算生成对比文件；
49.将处理同一个数据包的分布式计算终端而生成的对比文件进行对比判断，保留与超过半数相同的对比文件相对应的生成文件，并且将该生成文件储存到数据库中；
50.具体的，将多个分布式计算终端处理同一个数据包而生成的对比文件进行对比；若这些对比文件中超过半数相同，则保留与超过半数相同的对比文件相对应的生成文件，并且将该生成文件储存到数据库的生成文件储存区中；若这些对比文件中未超过半数相同，则将该数据包重新发送到多个分布式计算终端进行处理。
51.将生成的生成文件和与其相对应的校验文件相结合计算从而生成对比文件，采用对比文件作为业务文件包处理结果的校验，能够减少在业务文件包的计算结果校验过程中计算量的同时也能够确保业务文件包处理结果的准确性；另外，本方案中将业务文件包采用多个分布式计算终端同时进行处理，确保了业务文件包处理结果的准确性，有效避免了数据的计算出错以及数据传输过程中的丢失；
52.此外，将批量的业务文件进行分割成若干个业务文件包，对业务文件包进行分布式计算，并且将生成的生成文件储存到数据库中；使得本业务文件处理方法能够对批量的业务文件进行断点续处理的能力，即如果碰到网络故障或设备故障时，可以将未处理的业务文件继续处理，而没有必要从头开始处理，为操作人员可以节省大量的时间，提高了批量业务文件的处理效率。
53.当业务文件全部处理完后，调取数据库中全部的生成文件进行打包，并且生成与其相对应的校验文件，将生成文件和校验文件进行压缩打包生成数据包，并且将其同时发送到多个分布式计算终端；
54.进一步的，根据生成文件的文件格式，将与生成文件所属的数据包同时发送到多个分布式计算终端，该分布式计算终端内置有适配该文件格式计算的处理软件；将生成文
件根据文件格式分发到相适配的分布式计算终端，能够大大提高生成文件的处理效率。
55.分布式计算终端对其接收到的数据包进行解压与处理，并且生成汇总文件以及与其相对应的对比文件；
56.具体的，分布式计算终端对其接收到的数据包进行解压，对解压后得到的生成文件包进行处理，并且生成汇总文件；同时，数据包还解压出与生成文件相对应的校验文件；其中，分布式计算终端通过处理生成的生汇总文件和与其相对应的校验文件相结合计算生成对比文件；
57.将处理同一个数据包的分布式计算终端而生成的对比文件进行对比判断，保留与超过半数相同的对比文件相对应的汇总文件；
58.具体的，分配服务器将多个分布式计算终端处理同一个数据包而生成的对比文件进行对比；若这些对比文件中超过半数相同，则保留与超过半数相同的对比文件相对应的汇总文件，并且分配服务器将该汇总文件发送到业务文件汇总输出终端中；若这些对比文件中未超过半数相同，则将该数据包重新发送到多个分布式计算终端进行处理。
59.最后，将业务文件汇总输出终端接收到的汇总文件进行处理，并且生成各种汇总图表以及业务文件分析报告。
60.基于同一发明构思，根据本发明的另一个方面，参照图1所示，本发明的实施例还提供了一种业务文件处理系统，包括：
61.业务文件输入终端，用于通过其内置的业务文件预处理模块对业务文件进行批量预处理，并且将预处理后的业务文件发送至分配服务器；
62.数据库，用于存储业务文件包与生成文件，并且将业务文件进行分类储存；
63.若干个分布式计算终端，用于将其接收到的数据包进行处理，并且生成相对应的反馈文件；
64.业务文件汇总输出终端，用于将接收到的汇总文件生成各种汇总表格、图表以及业务文件分析报告；
65.分配服务器，用于将预处理后的业务文件输送至数据库内；调取数据库内的文件并生成相对应的校验文件，并且将数据库内的文件与相对应的校验文件进行压缩生成数据包，将数据包分发给分布式计算终端进行处理；基于接收到的对比文件的对比结果，将接收到的汇总文件与生成文件进行转发或者删除。
66.其中，分配服务器包括文件调配模块、校验文件生成模块以及校对模块；文件调配模块用于将接收到的文件转发，调取数据库内的文件并且将其进行分割打包，校验文件生成模块用于对需要处理的文件生成相对应的校验文件，校对模块用于将接收到的对比文件进行对比判断。
67.另外，数据库包括用于存储业务文件与业务文件列表的源文件储存区以及用于存储生成文件的生成文件储存区。
68.基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种业务文件处理系统，所述业务文件处理系统包括至少一个处理器及用于存储处理器可执行指令的存储器；所述指令被所述处理器执行时，实现上述任意一个或者多个实施例所述业务文件处理方法的步骤。
69.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例
对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。