一种将对账文件导入数据库的方法和系统与流程

本发明涉及互联网技术领域,特别涉及一种将对账文件导入数据库的方法和系统。

背景技术：

伴随着互联网的出现，使得电子商务有了赖以生存的基础。社会经济的发展使得人们生活节奏变得很快，促进了方便而快捷的电子商务快速发展。电子商务本身来说，是一款融合订单支付等环节的互联网产品，而对账环节既必要又关键的出现在线上交易的流程中，且会包含多种业务、支付渠道等对账功能。对账功能将不得不面对分别来自不同渠道和业务的各式各样文件及样式的对账文件，这使得开发人员将会针对诸多文件格式进行解析入库，然而一旦业务发生变化其对账文件也可能会调整，开发人员又不得不重新调整代码从而达到修改的目的。

技术实现要素：

本发明提供了一种将对账文件导入数据库的方法和系统，解决了以上所述的技术问题。

本发明解决上述技术问题的技术方案如下：一种将对账文件导入数据库的方法，包括以下步骤：

步骤1，获取对账文件和预先存储的至少一个配置文件；

步骤2，采用所述至少一个配置文件对所述对账文件进行解析，生成不同数据类别的对账数据，并建立所述数据类别和目标数据库中各个表的映射关系；

步骤3，根据所述映射关系，将相同类别的对账数据导入到目标数据库的对应的数据表中。

本发明的有益效果是：本发明的方法通过预先封装好的配置文件即可对从各渠道汇聚而来的各种格式的对账文件进行处理，提高将所述对账文件导入数据库中指定表的速度；同时，当对账文件因外部渠道变更导致格式变化，比如分隔符变化或者数据列数变化时，无需重新对代码进行大幅修改，只用对配置文件简单修改即可继续导入过程，大大减少了开发人员的工作量，并能灵活应对各种修改要求。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述配置文件包括第一配置文件、第二位置文件和第三配置文件，所述第一配置文件用于配置目标数据库中各个表的表单信息；所述第二配置文件用于配置需要存储的对账数据的数据类别和数据大小；所述第三配置文件用于配置不同数据类别的对账数据的格式以及不同数据类别和目标数据库中各个表的映射关系。

进一步，所述第一配置文件包括表名、表序列名称、表列名称、表字段名称和表字段大小中的至少一个；所述第二配置文件包括数据文件目录、文件名、数据分隔符和首尾开始规则中的至少一个；所述第三配置文件至少包括转译入库规则。

采用上述进一步方案的有益效果是：本进一步技术方案中，将表名、表序列、表列、表字段名称和表字段大小中的至少一个放入配置文件中，便于配置目标数据库中各个表的表单信息，配置方式简单而且灵活。同时，本进一步技术方案中，在接入对账需求时与对账方预先对需要入库的数据文件目录，文件名，数据分隔符，首尾开始规则进行约定，然后将约定好的数据文件目录、文件名、数据分隔符和首尾开始规则写入配置文件，从而无需对各类对账文件重新编写接入实现方法即可达到解析对账文件的目的。本进一步技术方案中，还将转译入库规则写入配置文件，通过转译入库规则对账文件进行遍历，即可将对账数据转义为预设格式，并建立不同数据类别和目标数据库中各个表的映射关系，从而达到将对账数据导入到指定表的指定字段的目的。

进一步，所述步骤2和步骤3之间还包括格式转换步骤，具体为：根据所述转译入库规则将不同数据类别的对账数据转换为对应的预设格式。

采用上述进一步方案的有益效果是：本进一步技术方案中，通过配置文件中的转译入库规则，从而将不同数据类别的对账数据转换为对应的预设格式，进一步提高了对账速度，完善了对账功能。

进一步，所述配置文件为xml格式的配置文件。

进一步，所述对账文件为txt格式或者csv格式。

采用上述进一步方案的有益效果是：本进一步技术方案中，采用xml格式的配置文件，同时对txt格式或者csv格式的对账文件进行导入，因此可以采用java封装，不仅平台移植性高，而且配置文件简单易懂且配置灵活。

进一步，步骤1中，每到达预设时刻或者每间隔预设时间，获取对账文件和预先存储的至少一个配置文件。

采用上述进一步方案的有益效果是：本进一步技术方案中，可以根据客户需求，采用定时的方式对对账文件进行读取和导入，大大缩短了针对不同渠道传来的对账文件的解析和入库时间，同时对对账文件进行管理的过程也更加方便简单。

为了解决本发明的技术问题，还提供了一种将对账文件导入数据库的系统，包括：

获取模块，用于获取对账文件和预先存储的至少一个配置文件；

解析模块，用于采用所述至少一个配置文件对所述对账文件进行解析，生成不同数据类别的对账数据，并建立所述数据类别和目标数据库中各个表的映射关系；

导入模块，用于根据所述映射关系，将相同类别的对账数据导入到目标数据库的对应的数据表中。

本发明的有益效果是：本发明的系统通过预先封装好的配置文件即可对从各渠道汇聚而来的各种格式的对账文件进行处理，提高将所述对账文件导入数据库中指定表的速度；同时，当对账文件因外部渠道变更导致格式变化，比如分隔符变化或者数据列数变化时，无需重新对代码进行大幅修改，只用对配置文件简单修改即可继续导入过程，大大减少了开发人员的工作量，并能灵活应对各种修改要求。

进一步，还包括格式转换模块，所述格式转换模块用于根据配置文件中的转译入库规则将不同数据类别的对账数据转换为对应的预设格式。

采用上述进一步方案的有益效果是：本进一步技术方案中，通过配置文件中的转译入库规则，从而将不同数据类别的对账数据转换为对应的预设格式，进一步提高了对账速度，完善了对账功能。

进一步，所述获取模块具体用于每到达预设时刻或者每间隔预设时间，获取对账文件和预先存储的至少一个配置文件。

采用上述进一步方案的有益效果是：本进一步技术方案中，可以根据客户需求，采用定时的方式对对账文件进行读取和导入，大大缩短了针对不同渠道传来的对账文件的解析和入库时间，同时对对账文件进行管理的过程也更加方便简单。

附图说明

图1为本发明实施例提供的一种将对账文件导入数据库的方法的流程示意图；

图2为本发明实施例提供的一种将对账文件导入数据库的系统的结构示意图；

图3为本发明另一实施例提供的一种将对账文件导入数据库的系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明实施例提供的一种将对账文件导入数据库的方法的流程示意图，如图1所示，包括以下步骤：

步骤1，获取对账文件和预先存储的至少一个配置文件；

步骤2，采用所述至少一个配置文件对所述对账文件进行解析，生成不同数据类别的对账数据，并建立所述数据类别和目标数据库中各个表的映射关系；

步骤3，根据所述映射关系，将相同类别的对账数据导入到目标数据库的对应的数据表中。

本实施例的方法通过预先封装好的配置文件即可对从各渠道汇聚而来的各种格式的对账文件进行处理，提高将所述对账文件导入数据库中指定表的速度；同时，当对账文件因外部渠道变更导致格式变化，比如分隔符变化或者数据列数变化时，无需重新对代码进行大幅修改，只用对配置文件简单修改即可继续导入过程，大大减少了开发人员的工作量，并能灵活应对各种修改要求。

优选实施例中，所述配置文件包括第一配置文件、第二位置文件和第三配置文件，所述第一配置文件用于配置目标数据库中各个表的表单信息；所述第二配置文件用于配置需要存储的对账数据的数据类别和数据大小；所述第三配置文件用于配置不同数据类别的对账数据的格式以及不同数据类别和目标数据库中各个表的映射关系。在具体实施例中，所述第一配置文件包括表名、表序列名称、表列名称、表字段名称和表字段大小中的至少一个；所述第二配置文件包括数据文件目录、文件名、数据分隔符和首尾开始规则中的至少一个；所述第三配置文件至少包括转译入库规则。该优选实施例将表名、表序列、表列、表字段名称和表字段大小中的至少一个放入配置文件中，便于配置目标数据库中各个表的表单信息，配置方式简单而且灵活。同时，该优选实施例在接入对账需求时与对账方预先对需要入库的数据文件目录，文件名，数据分隔符，首尾开始规则进行约定，然后将约定好的数据文件目录、文件名、数据分隔符和首尾开始规则写入配置文件，从而无需对各类对账文件重新编写接入实现方法即可达到解析对账文件的目的。该优选实施例还将转译入库规则写入配置文件，通过转译入库规则对账文件进行遍历，即可将对账数据转义为预设格式，并建立不同数据类别和目标数据库中各个表的映射关系，从而达到将对账数据导入到指定表的指定字段的目的。

在另一优选实施例中，还包括以下步骤：根据所述转译入库规则将不同数据类别的对账数据转换为对应的预设格式，然后根据所述映射关系，将相同类别的对账数据导入到目标数据库的对应的数据表中。该优选实施例中，通过配置文件中的转译入库规则，将不同数据类别的对账数据转换为对应的预设格式，进一步提高了对账速度，完善了对账功能。

优选的，所述配置文件为xml格式的配置文件，所述对账文件为txt格式或者csv格式。优选实施例采用xml格式的配置文件，同时对txt格式或者csv格式的对账文件进行导入，因此可以采用java封装，不仅平台移植性高，而且配置文件简单易懂且配置灵活。

在另一优选实施例的步骤1中，每到达预设时刻或者每间隔预设时间，获取对账文件和预先存储的至少一个配置文件，从而可以根据客户需求，采用定时的方式对对账文件进行读取和导入，大大缩短了针对不同渠道传来的对账文件的解析和入库时间，同时对对账文件进行管理的过程也更加方便简单。

以上结合图1对本发明实施例提供的将对账文件导入数据库的方法进行了详细描述，以下对本发明实施例提供的将对账文件导入数据库的系统进行描述。图2为本发明实施例提供的一种将对账文件导入数据库的系统的结构示意图，如图2所示，包括获取模块、解析模块和导入模块，

所述获取模块用于获取对账文件和预先存储的至少一个配置文件；

所述解析模块用于采用所述至少一个配置文件对所述对账文件进行解析，生成不同数据类别的对账数据，并建立所述数据类别和目标数据库中各个表的映射关系；

所述导入模块用于根据所述映射关系，将相同类别的对账数据导入到目标数据库的对应的数据表中。

本实施例的系统通过预先封装好的配置文件即可对从各渠道汇聚而来的各种格式的对账文件进行处理，提高将所述对账文件导入数据库中指定表的速度；同时，当对账文件因外部渠道变更导致格式变化，比如分隔符变化或者数据列数变化时，无需重新对代码进行大幅修改，只用对配置文件简单修改即可继续导入过程，大大减少了开发人员的工作量，并能灵活应对各种修改要求。

优选实施例中，所述获取模块用于获取第一配置文件、第二位置文件和第三配置文件，所述第一配置文件用于配置目标数据库中各个表的表单信息；所述第二配置文件用于配置需要存储的对账数据的数据类别和数据大小；所述第三配置文件用于配置不同数据类别的对账数据的格式以及不同数据类别和目标数据库中各个表的映射关系。在具体实施例中，所述第一配置文件包括表名、表序列名称、表列名称、表字段名称和表字段大小中的至少一个；所述第二配置文件包括数据文件目录、文件名、数据分隔符和首尾开始规则中的至少一个；所述第三配置文件至少包括转译入库规则。该优选实施例将表名、表序列、表列、表字段名称和表字段大小中的至少一个放入配置文件中，便于配置目标数据库中各个表的表单信息，配置方式简单而且灵活。同时，该优选实施例在接入对账需求时与对账方预先对需要入库的数据文件目录，文件名，数据分隔符，首尾开始规则进行约定，然后将约定好的数据文件目录、文件名、数据分隔符和首尾开始规则写入配置文件，从而无需对各类对账文件重新编写接入实现方法即可达到解析对账文件的目的。该优选实施例还将转译入库规则写入配置文件，通过转译入库规则对账文件进行遍历，即可将对账数据转义为预设格式，并建立不同数据类别和目标数据库中各个表的映射关系，从而达到将对账数据导入到指定表的指定字段的目的。

在另一优选实施例中，还包括格式转换模块，如图3所示，所述格式转换模块用于根据配置文件中的转译入库规则将不同数据类别的对账数据转换为对应的预设格式，然后导入模块根据所述映射关系，将相同类别的对账数据导入到目标数据库的对应的数据表中。该优选实施例中，通过配置文件中的转译入库规则，将不同数据类别的对账数据转换为对应的预设格式，进一步提高了对账速度，完善了对账功能。

优选的，所述配置文件为xml格式的配置文件，所述对账文件为txt格式或者csv格式。优选实施例采用xml格式的配置文件，同时对txt格式或者csv格式的对账文件进行导入，因此可以采用java封装，不仅平台移植性高，而且配置文件简单易懂且配置灵活。

在另一优选实施例的步骤1中，所述获取模块具体用于每到达预设时刻或者每间隔预设时间，获取对账文件和预先存储的至少一个配置文件，从而可以根据客户需求，采用定时的方式对对账文件进行读取和导入，大大缩短了针对不同渠道传来的对账文件的解析和入库时间，同时对对账文件进行管理的过程也更加方便简单。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。