一种可重构的erp系统中多源数据导入方法
【专利摘要】本发明公开了一种可重构的ERP系统中多源数据的导入方法，包括以下步骤：根据需导入的数据配置导入模板；将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文件；根据导入的数据类型匹配对应的导入模板；根据匹配信息配置更新匹配后的信息；根据关联信息配置和导入模式配置完成关联信息的更新；根据配置的校验规格，对导入的数据进行逐条校验；校验通过后，进入数据的中间处理过程形成导入数据的中间过渡表；根据配置的数据导入模式，将过渡表中的数据导入目标表。本发明以可重构的形式提供了多种数据导入的方式，解决了数据导入需求的灵活性和动态性问题，并且校验规则库提供了不同模式下的数据完整性与合法性规则。
【专利说明】一种可重构的ERP系统中多源数据导入方法
【技术领域】
[0001] 本发明涉及数据处理【技术领域】，尤其涉及一种可重构的ERP系统中多源数据的导 入方法。
【背景技术】
[0002] 随着物联网等先进信息技术的深入发展，企业对资源计划系统（Enterprise ResourcePlanning，ERP)的需求更加急迫。ERP系统作为企业信息化决策和管理平台，其 运行的基础是企业在运作过程中的物流信息、制造过程信息、财务信息等。数据信息主要来 源于管理过程中手工录入系统的数据和导入系统的数据。目前，这两种方式存在以下问题 和缺陷：
[0003] (1)手工录入效率成为瓶颈
[0004]ERP系统中处理数据的源头是产品的BOM信息，手工录入方式不但繁琐，而且容易 出错。特别是在一些大型装备制造企业，由于产品的结构复杂，并采用个性化定制设计生 产，使得产品BOM数据量大且差异性大，手工录入的效率低，导致技术准备的周期延长，甚 至ERP系统的实施都成为困难。
[0005] (2)多数据导入需求制约ERP系统开发速度
[0006] 数据导入ERP系统时，需要按照定义的标准格式，对每一条数据进行校验和处理。 目前市场上主流的数据库及数据库开发软件都具备数据导入功能，但是其使用的技术门槛 限制了在底层用户中的推广，并且可能导致系统数据的安全风险。另外，主流数据库系统 的校验功能也不完备，只能验证既定的数据格式，对用户定义的数据格式无法进行完整性 校验，这就可能导致ERP系统数据的紊乱。针对这一问题，目前ERP系统中常用的处理方式 是编写针对特定数据格式的标准模板进行匹配，这样对每一种数据导入格式都需要编写代 码模板。因此，导入数据的需求功能越多，需要进行的ERP系统代码开发量越大，影响了ERP 系统的开发和实施进度。
[0007] (3)导入数据的单向性及与ERP系统数据匹配困难
[0008] 导入ERP系统的数据可能来源于EXCEL、CSV或XML等数据格式，其与ERP系统中 的数据是分离的。在已有的导入系统中，需要事先提供数据导入的标准模板和全部数据，但 在实际的应用过程中，用户可能已经预先定义了一部分数据，而另一部分数据可能需要与 ERP系统交互得到，并且这些数据要同时导入到ERP系统中的多个标准数据格式中，这就需 要现有数据与ERP系统数据进行匹配和多向导入，保证数据的一致性和完整性。传统的方 式是编写相应的数据接口实现，只能实现数据的一对一导入，并且代码开发工作量大，可移 植性低，特别是随着数据导入需求的增加而愈加明显。
[0009] 综上所述，现有技术和方法能在一定程度上降低数据导入ERP系统的繁琐性和强 度，但是无法从根本上解决ERP系统中，数据导入的多向性以及在用户需求动态变化下数 据导入的难度和便捷性。
【发明内容】
[0010] 本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种可重构的ERP 系统中多源数据导入方法。
[0011] 本发明解决其技术问题所采用的技术方案是：一种可重构的ERP系统中多源数据 导入方法，包括以下步骤：
[0012] 1)根据需导入的数据配置导入模板，包括以下步骤：
[0013] I. 1)配置导入模板的基本信息，所述基本信息包括需导入数据模板的表头位置、 导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数；并根据要导入的数据 表字段，需设置其对应的字段名或创建的函数名称；
[0014] 1. 2)配置导入模板的匹配信息，所述匹配信息是用于匹配用户提供的部分字段信 息与数据库内信息，交互得到的需要数据信息；
[0015] 1. 3)配置导入模板的关联信息，所述关联信息是不依赖于用户提供的数据，而只 与系统信息相关的部分数据信息；
[0016] 1. 4)配置导入模式，导入模式是指数据导入数据库中对应的数据表的操作，需导 入的数据表分为主表和从表，主表必须存在且唯一，导入的数据为数据源提供的全部数据， 从表可以没有或有多个，其导入的数据根据需要可以选择全部，也可以选择只导入表结构 中通过主外键关联的关键数据；所述导入模式分为主从表N-N模式和主从表N-I模式；
[0017] 1. 5)配置校验规则，所述校验规则用于保证数据的完整性和合法性，包括正则表 达式和存在性规则；
[0018] 2)将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文 件；
[0019] 3)根据导入的数据类型匹配对应的导入模板，采集数据后，显示与数据库要求一 致的数据字段和内容，供用户进行修改；
[0020] 4)根据匹配信息配置更新匹配后的信息，匹配后的信息包括用户与ERP系统交互 得到的信息，对于无法根据匹配信息配置获知匹配后的信息的记录，由用户更改，直到数据 匹配完成；
[0021] 5)根据关联信息配置和导入模式配置要求完成界面数据控件中的所有数据，完成 关联信息的更新；
[0022] 6)根据配置的校验规格，对导入的数据进行逐条校验；
[0023] 7)校验通过后，进入数据的中间处理过程，通过数据的中间处理，形成导入数据的 中间过渡表，该过渡表中包含了所有导入信息字段信息，这些信息包括数据源字段信息、关 联字段信息、匹配字段信息以及创建的字段信息；
[0024] 8)根据配置的数据导入模式，将过渡表中的数据导入目标表。
[0025] 按上述方案，所述步骤I. 1)中需导入数据模板包括EXCEL、CSV或XML数据模板。
[0026] 按上述方案，所述步骤1. 1)中设置其对应的字段名或创建的函数名称的基本设 置为：标识、字段名称、字段名、表名、需导入数据模板字段名、创建方法、能否编辑。
[0027] 按上述方案，所述配置匹配信息的设置包括标识、匹配标识、匹配语句、匹配字段 名。
[0028] 按上述方案，所述配置关联信息的设置包括标识、控件名称、控件数据源、关联控 件、控件字段和控件类型。
[0029] 按上述方案，所述步骤2)中的中间处理文件为数据库系统中的全局临时表，该全 局临时表中保存了需要导入的数据，每一种导入模板对应一个全局临时表。。
[0030] 本发明产生的有益效果是：
[0031] (1)本发明以可重构的形式提供了多种数据导入的方式，解决了数据导入需求的 灵活性和动态性问题，并且校验规则库提供了不同模式下的数据完整性与合法性规则。
[0032] (2)本发明以可重构的形式提供了数据模板的快速配置方法，可与不同ERP系统 集成，减少ERP系统实施过程中数据导入代码的开发工作量，使得数据导入更加简单和快 捷。
【专利附图】
【附图说明】
[0033] 下面将结合附图及实施例对本发明作进一步说明，附图中：
[0034] 图1是本发明方法的流程示意图。
[0035] 图2是本发明实施例提供一种可重构配置流程示意图。
【具体实施方式】
[0036] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明 进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限 定本发明。
[0037] 如图1所示，一种可重构的ERP系统中多源数据的导入方法，包括以下步骤：
[0038] 1)根据需导入的数据配置导入模板，包括以下步骤：
[0039] I. 1)配置导入模板的基本信息，所述基本信息包括需导入数据模板的表头位置、 导入列数以及在导入页面加载和关闭时执行的数据库底层处理函数；需导入数据模板包括 EXCEL、CSV或XML数据模板。并根据要导入的数据表字段，需设置其对应的字段名或创建 的函数名称；其对应的字段名或创建的函数名称的基本设置为：标识、字段名称、字段名、 表名、需导入数据模板字段名、创建方法、能否编辑。
[0040] 1. 2)配置导入模板的匹配信息，所述匹配信息是用于匹配用户提供的部分字段信 息与数据库内信息，交互得到的需要数据信息；配置匹配信息的设置包括标识、匹配标识、 匹配语句、匹配字段名。
[0041] 1. 3)配置导入模板的关联信息，所述关联信息是不依赖于用户提供的数据，而只 与系统信息相关的部分数据信息；配置关联信息的设置包括标识、控件名称、控件数据源、 关联控件、控件字段和控件类型。
[0042] 1. 4)配置导入模式，导入模式是指数据导入数据库中对应的数据表的操作，需导 入的数据表分为主表和从表，主表必须存在且唯一，导入的数据为数据源提供的全部数据， 从表可以没有或有多个，其导入的数据根据需要可以选择全部，也可以选择只导入表结构 中通过主外键关联的关键数据；所述导入模式分为主从表N-N模式和主从表N-I模式；
[0043] 1. 5)配置校验规则，所述校验规则用于保证数据的完整性和合法性，包括正则表 达式和存在性规则；
[0044] 2)将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文 件；中间处理文件为存放导入数据的数据库全局临时表，该全局临时表中存放了导入目标 表需要的数据字段，所有字段根据导入模板的配置信息创建。
[0045] 3)根据导入的数据类型匹配对应的导入模板，采集数据后，显示与数据库要求一 致的数据字段和内容，供用户进行修改；
[0046] 4)根据匹配信息配置更新匹配后的信息，匹配后的信息包括用户与ERP系统交互 得到的信息，对于无法根据匹配信息配置获知匹配后的信息的记录，由用户更改，直到数据 匹配完成；
[0047] 5)根据关联信息配置和导入模式配置要求完成界面数据控件中的所有数据，完成 关联信息的更新；
[0048] 6)根据配置的校验规格，对导入的数据进行逐条校验；
[0049] 7)校验通过后，进入数据的中间处理过程，通过数据的中间处理，形成导入数据的 中间过渡表，该过渡表中包含了所有导入信息字段信息，这些信息包括数据源字段信息、关 联字段信息、匹配字段信息以及创建的字段信息；
[0050] 8)根据配置的数据导入模式，将过渡表中的数据导入目标表。
[0051] 按照上述数据导入方法，以用户实际导入需求为例对具体实施步骤进行描述。需 要指明的是，本具体实施例中采用的数据库是MSSQL。
[0052] 假设终端用户需要导入材料需用计划，在导入的过程中涉及数据库中的两个表， 相关字段如表1、表2所示。从表中可以看出，导入的需用计划数据不是简单的从EXCEL或 其它数据源直接导入，还存在以下情况：（1)部分字段信息不导入，如表1中的字段[审核 A]等；(2)部分字段信息需要结合系统数据生成，如表1中的字段[计划批号]、表2中的 字段[物料编码]等；（3)部分字段信息需要验证，如表1中的字段[材料类型]、[备注] 等；(4)部分字段信息需要导入多个表，并且表中数据通过主键关联，如表1中的字段[计 划批号]与表2中的字段[计划批号]。另外，导入字段或格式可能发生变更，使得导入模 板变化。考虑到以上情况，一些已有的固定模板的配置方法在代码编制及代码的重用上缺 乏灵活性，需要重新编写代码和发布程序，而这对于分发式的应用程序来讲，也增加了其部 署的成本。
[0053] 表1材料计划审核总表TBTM_MPFORALLRVW
[0054]
【权利要求】
1. 一种可重构的ERP系统中多源数据的导入方法，其特征在于，包括以下步骤： 1) 根据需导入的数据配置导入模板，包括以下步骤： 1. 1)配置导入模板的基本信息，所述基本信息包括需导入数据模板的表头位置、导入 列数以及在导入页面加载和关闭时执行的数据库底层处理函数；并根据要导入的数据表字 段，需设置其对应的字段名或创建的函数名称； 1. 2)配置导入模板的匹配信息，所述匹配信息是用于匹配用户提供的部分字段信息与 数据库内信息，交互得到的需要数据信息； 1. 3)配置导入模板的关联信息，所述关联信息是不依赖于用户提供的数据，而只与系 统信息相关的部分数据信息； 1. 4)配置导入模式，导入模式是指数据导入数据库中对应的数据表的操作，需导入的 数据表分为主表和从表，主表必须存在且唯一，导入的数据为数据源提供的全部数据，从表 可以没有或有多个，其导入的数据根据需要可以选择全部，也可以选择只导入表结构中通 过主外键关联的关键数据；所述导入模式分为主从表N-N模式和主从表N-I模式； 1. 5)配置校验规则，所述校验规则用于保证数据的完整性和合法性，包括正则表达式 和存在性规则； 2) 将用户提供的EXCEL、CSV或XML等格式数据通过标准接口转换为中间处理文件； 3) 根据导入的数据类型匹配对应的导入模板，采集数据后，显示与数据库要求一致的 数据字段和内容，供用户进行修改； 4) 根据匹配信息配置更新匹配后的信息，匹配后的信息包括用户与ERP系统交互得到 的信息，对于无法根据匹配信息配置获知匹配后的信息的记录，由用户更改，直到数据匹配 完成； 5) 根据关联信息配置和导入模式配置要求完成数据库要求的所有数据，完成关联信息 的更新； 6) 根据配置的校验规格，对导入的数据进行逐条校验； 7) 校验通过后，进入数据的中间处理过程，通过数据的中间处理，形成导入数据的中间 过渡表，该过渡表中包含了所有导入信息字段信息，这些信息包括数据源字段信息、关联字 段信息、匹配字段信息以及创建的字段信息； 8) 根据配置的数据导入模式，将过渡表中的数据导入目标表。
2. 根据权利要求1所述的多源数据的导入方法，其特征在于，所述步骤1.1)中需导入 数据模板包括EXCEL、CSV或XML数据模板。
3. 根据权利要求1所述的多源数据的导入方法，其特征在于，所述步骤1.1)中设置其 对应的字段名或创建的函数名称的基本设置为：标识、字段名称、字段名、表名、需导入数据 模板字段名、创建方法、能否编辑。
4. 根据权利要求1所述的多源数据的导入方法，其特征在于，所述配置匹配信息的设 置包括标识、匹配标识、匹配语句、匹配字段名。
5. 根据权利要求1所述的多源数据的导入方法，其特征在于，所述配置关联信息的设 置包括标识、控件名称、控件数据源、关联控件、控件字段和控件类型。
6. 根据权利要求1所述的多源数据的导入方法，其特征在于，所述步骤2)中的中间处 理文件为数据库系统中的全局临时表，该全局临时表中保存了需要导入的数据，每一种导 入模板对应一个全局临时表。
【文档编号】G06F17/30GK104317974SQ201410669701
【公开日】2015年1月28日 申请日期:2014年11月21日 优先权日:2014年11月21日
【发明者】郭顺生, 杜百岗, 李益兵, 彭兆, 郭钧, 陈艳霞 申请人:武汉理工大学