一种批量数据导入组件及其导入方法与流程

本发明属于数字化处理技术领域，具体涉及一种批量数据导入组件及其导入方法。

背景技术：

伴随着计算机技术和网络时代的推进，批量导入技术已经得到了非常广泛的应用。特别在一些与传统行业结合的系统中，存在大量传统行业数据需要进行电子化存储，这时一般都会利用批量导入相关技术。

目前常用的方法，一般都是通过定制一个固定模板或使用已有数据文档为模板，针对该模板编写相关批量处理程序。这些方法的主要缺点如下：

一、复用性差，受限于文档存储格式及数据格式，一般一次编写的程序只能处理一种或有限的几种模板。

二、灵活性差，要求数据严格按模板要求填写，从而导致一些不符合模板要求的已有数据文档导入前需要相应的数据格式调整，增加了导入的工作量。

三、扩展性差，一般都没有提供相应扩展接口，使得系统升级工作量大，且操作复杂。

技术实现要素：

本发明的目的在于针对现有技术存在的不足，提供一种可配置、灵活性高、易扩展的批量数据导入组件及其导入方法。

本发明的技术方案如下：一种批量数据导入组件，包括：

配置单元，用于提供组件的使用配置；

数据输入单元，用于从不同的数据源获取数据流；

数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；

解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；

中心处理单元，用于处理批量数据导入的流程调度。

进一步，如上所述的批量数据导入组件，其中，所述的配置单元的配置信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及基本验证信息；所述的基本验证信息包括数据项最大长度、是否必填。

进一步，如上所述的批量数据导入组件，其中，所述的配置单元支持的配置源包括properties、xml及数据库。

进一步，如上所述的批量数据导入组件，其中，所述的数据输入单元提供包括web上传、云平台资源下载多种数据文档输入方式。

进一步，如上所述的批量数据导入组件，其中，所述的数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。

进一步，如上所述的批量数据导入组件，其中，所述解析器单元解析数据流的过程包括：

解析数据流中包含的数据项标识信息；

根据数据项标识信息在数据流解析包含的数据；

按照验证规则对数据进行验证；

根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。

进一步，如上所述的批量数据导入组件，其中，所述的中心处理单元负责解析器选择、解析任务调度、解析生命周期管理、结果输出。

一种使用上述组件的批量数据导入方法，包括如下步骤：

(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；

(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；

(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；

(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；

(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。

进一步，如上所述的批量数据导入方法，步骤(S4)中所述的解析器分别解析出实际文档标识内容及其对应的数据内容，解析过程中调用配置的基本验证规则对数据进行验证。

本发明的有益效果如下：采用本发明所述的组件，业务系统只需关注相应的业务数据处理，实现数据处理回调单元及增加相应适当的配置，就可提供风格统一，适应性强的批量数据导入功能。因为组件配置是支持多例的，使得系统很容易支持多种不同数据或数据源导入，大大降低了系统的编码开发工作量，提高了系统的稳定性。

附图说明

图1为本发明所提供的批量数据导入组件的结构组成示意图；

图2为本发明的实施案例流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细的介绍。

本发明提供了一种批量数据导入组件，旨在为需要使用批量导入数据的业务系统进行服务。本组件具有可配置、灵活性高，且易扩展的特点，该批量数据导入方案可以让使用本组件的业务系统无需关注数据解析，只需将核心放在业务数据处理上。

如图1所示，本组件包含以下几个基本单元：

(1)配置单元，用于提供组件使用配置；配置单元支持properties、xml及数据库等多种配置源。使用者需配置的信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及其相关基本验证信息；基本验证信息包含数据项最大长度、是否必填。

(2)数据输入单元，从不同数据源获取数据流；输入单元提供包括web上传，已有云平台资源下载等多种数据文档输入方式。

(3)数据处理回调单元，用户业务逻辑处理接口；使用本组件的业务系统通过本单元提供的回调接口来实现对相应的数据业务处理。数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。接口返回的标识作用是：中心处理单元处理时会读取前面配置的实现标识来定位具体的回调实现。

(4)解析器单元，根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；解析步骤包括：

解析数据流中包含的数据项标识信息，根据数据项标识信息在数据流解析包含的数据，按照验证规则对数据进行验证，根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。

(5)中心处理单元，用于处理批量数据导入的流程调度；本单元为本组件的核心单元，其负责解析器选择、解析任务调度、解析生命周期管理、结果输出。

如图2所示，上述组件的批量数据导入方法，包括如下步骤：

(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；

(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；

(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；

(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；

(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。

本系统有足够的扩展性，用户可扩展实现各个核心单元，也可只实现业务数据处理接口即可。

实施例

下面以excel格式数据导入为例，对本发明的批量数据导入流程进行进一步说明。excel格式数据导入流程包括以下步骤：

第一步，在系统的业务模块和组件之间实现excel业务数据处理接口，并在组件中增加相应配置。配置信息包括配置标识、数据源格式、实现接口标识、导入数据标识内容及基本验证信息，数据输入方式。

本实施例中，数据源格式为excel文档，导入数据标识内容为excel各列标题信息，需要配置：头部所在行序号，头部各列内容及候选内容，及基本验证信息(如姓名列，可配置为姓名，真实姓名，验证为必填，长度不超过20字符)，并生成配置标识号。

第二步，将要导入的数据按配置要求写入文档，或将已有文档的格式按第一步配置要求调整格式。比如导入用户信息，既可以下载第一步上传的参考模块填充数据，也可使用任意excel文档，只要求标题所在行，及标题行有必填列，用户可以任意调整列顺序。

第三步，调用业务系统的导入接口上传文档。具体来说，在相应的业务模块中嵌入系统的导入接口，嵌入时要求附加上第一步中填写的配置标识。业务用户再使用嵌入的接口上传数据文档。本实施例中上传的文档为一个包含用户信息的Excel文档。

第四步，中心处理单元接收到文档及配置标识后，根据配置标识查找对应的配置信息。然后根据找到的配置信息调用所配置的相应解析器分别解析出实际文档标识内容及其对应的数据内容，解析过程会调用配置的基本验证规则进行验证，解析完成后将调用第一步业务实现的数据处理接口，并传递系统解析后的数据。本实施例中：业务处理接口将业务数据接口实现进行数据业务验证(如判重)并存储，相应的需反馈给用户的信息可以存储到系统提供的信息接收器中。

第五步，回调接口处理完成后，返回处理结果信息到中心处理单元，由中心处理单元整合各步骤的处理结果并返回给业务用户。

综上，本发明的主要特点体现在如下三点：第一点，使用本导入组件的业务系统需要实现自己的数据处理逻辑；第二点，组件是通过配置来选择解析器及数据处理器；第三点，组件分别解析数据标识及数据内容，大大增加了数据文档模板的灵活性。如上例中excel文档可以支持任意列顺序，结合配置表，标题列的内容也是可以有一定的兼容性。

其它类型的数据与上述实例的导入操作方式类似，此处就不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。