一种动态配置外部导入数据的方法及系统的制作方法
【技术领域】
[0001] 本发明涉及数据管理技术领域，尤其涉及一种动态配置外部导入数据的方法及系 统。
【背景技术】
[0002] 在电信行业，待导入数据都有不同的导入数据类型、数据列定义以及检验功能，现 有技术在处理外部数据导入时，实现步骤多，流程复杂，且每个佣金类型的导入和家宴操作 都需要进行单独管理，即对应一套相应的代码。但是随着不结算数据所对应的佣金类型不 断增多，现有的外部数据导入系统已经无法满足需求，当出现一个新的佣金类型就要附一 套对应的代码以及对应的校验模块，这样会造成代码量庞大，没有通用性，大大增加了维护 人员的工作难度，当出现错误时，较难快速定位问题去解决。因此开发一套完整、统一、灵 活、通用的动态配置外部导入数据的系统迫在眉睫。
【发明内容】
[0003] 本发明所要解决的技术问题是针对现有技术的不足，提供一种动态配置外部导入 数据的方法及系统。
[0004] 本发明解决上述技术问题的技术方案如下：一种动态配置外部导入数据的方法， 包括如下步骤：
[0005] 步骤1，根据待导入数据配置业务类型配置表和字段列名配置表；
[0006] 步骤2,根据相应业务类型获取对应的字段列名配置表中的配置信息，并生成模板 文档；
[0007] 步骤3,接收待导入文档，判断待导入文档与模板文档是否匹配，如果匹配执行步 骤4 ;否则执行步骤5 ;
[0008] 步骤4,从待导入文档中读取数据列动态插入到数据库的相应表中；
[0009] 步骤5,返回拒绝导入数据的反馈信息。
[0010] 本发明的有益效果是：本发明降低了外部导入数据的开发和维护难度，通过在配 置表中配置待导入数据所对应的数据类型和数据列定义，由程序去动态判断，并且是否校 验以及如何校验也在配置表中配置，由程序去动态判断，这样可以大大减少重复代码的开 发，当出现问题，能够快速定位去解决。并且代码具有通用性，可以进行系统之间的移植和 使用。
[0011] 在上述技术方案的基础上，本发明还可以做如下改进。
[0012] 进一步，所述业务类型配置表用于配置外部导入数据源的业务类型，所述字段列 名配置表，用于完成相应业务类型的字段列名配置。
[0013] 进一步，所述业务类型配置表包括外导类型ID、类型名称、生效标识、所属区域ID 和备注；所述字段列名配置表包括外导类型ID、列名标识、列名备注、生效标识、所属区域 ID和备注。
[0014] 进一步，所述字段列名配置表，还配置有校验规则，在导入数据的时候对导入数据 进行个性化的检验，更新校验后相应的数据状态及错误原因信息。
[0015] 进一步，所述校验规则包括数据类型、数据长度、是否为空、正则验证、SQL验证和 SQL验证信息中的一种或几种。
[0016] 进一步，步骤3的具体实现为：判断待导入文档列总数与相应业务类型所对应的 字段列名配置表的配置总数是否相等，如果相等则匹配，如果不等则不匹配。
[0017] 进一步，上述技术方案还包括查看导入数据时，读取相应业务类型所对应的字段 列名配置表中的列配置信息动态生成表头。
[0018] 本发明解决上述技术问题的另一技术方案如下：一种动态配置外部导入数据的系 统，包括配置模块、模板生成模块、判断模块、数据插入模块和反馈模块；
[0019] 所述配置模块，其用于根据待导入数据配置业务类型配置表和字段列名配置表；
[0020] 所述模板生成模块，其用于根据相应业务类型获取对应的字段列名配置表中的配 置信息，并生成模板文档；
[0021] 所述判断模块，其用于判断待导入文档与模板文档是否匹配，如果匹配调用数据 插入模块；否则调用反馈模块；
[0022] 所述数据插入模块，其用于从待导入文档中读取数据列动态插入到数据库的相应 表中；
[0023] 所述反馈模块，其用于返回拒绝导入数据的反馈信息。
【附图说明】
[0024] 图1为本发明所述一种动态配置外部导入数据的方法流程图；
[0025] 图2为本发明所述一种动态配置外部导入数据的系统框图。
[0026] 附图中，各标号所代表的部件列表如下：
[0027] 1、配置模块，2、模板生成模块，3、判断模块，4、数据插入模块，5、反馈模块。
【具体实施方式】
[0028] 以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并 非用于限定本发明的范围。
[0029] 本发明主要用于从本地导入数据文本文档进入系统，并进行数据校验和保存。其 中，需要导入的数据类型和数据列需要在配置表中进行配置，导入的时候由程序去动态读 取，当数据列发生变化时，无需修改程序，并且能够动态的校验数据。由于该数据导入模块 可以进行系统之间的移植，因此具有通用性。
[0030] 如图1所示，一种动态配置外部导入数据的方法，包括如下步骤：
[0031] 步骤1，根据待导入数据配置业务类型配置表和字段列名配置表；
[0032] 步骤2,根据相应业务类型获取对应的字段列名配置表中的配置信息，并生成模板 文档；
[0033] 步骤3,接收待导入文档，判断待导入文档与模板文档是否匹配，如果匹配执行步 骤4 ;否则执行步骤5 ;
[0034] 步骤4,从待导入文档中读取数据列动态插入到数据库的相应表中；
[0035] 步骤5,返回拒绝导入数据的反馈信息。
[0036] 具体地，进行如下操作。
[0037] 1.在数据库中建立业务类型配置表和字段列名配置表。
[0038] 其中所述业务类型配置表和字段列名配置表的配置情况如表1。
[0039] 表 1
[0041] 所述业务类型配置表用于配置外部导入数据源的业务类型，所述字段列名配置 表，用于完成相应业务类型的字段列名配置。
[0042] 所述业务类型配置表包括外导类型ID、类型名称、生效标识、所属区域ID和备注； 所述字段列名配置表包括外导类型ID、列名标识、列名备注、生效标识、所属区域ID和备 注。
[0043] 所述字段列名配置表，还配置有校验规则，在导入数据的时候对导入数据进行个 性化的检验，更新校验后相应的数据状态及错误原因信息。导入的每条数据在数据库中有 一个字段err〇r_reaS〇n，用于保存当前数据错误的原因，如果没有错误信息，则该字段为 空。
[0044] 所述校验规则包括数据类型、数据长度、是否为空、正则验证、SQL验证和SQL验证 信息中的一种或几种。
[004