一种基于便携式采集器的ERP数据采集方法及其采集器与流程

一种基于便携式采集器的erp数据采集方法及其采集器
技术领域
1.本发明属于erp数据的采集缓存技术领域，尤其是涉及一种基于便携式采集器的erp数据采集方法及其采集器。


背景技术：

2.erp是指企业管理系统，用于管理企业的各种资源，涉及各方面的知识，如财务知识、生产管理、质量管理、物料管理、物流管理、客户关系管理、供应链管理等。erp数据包括但不限于物料数据、能力数据、库存数据、销售数据、采购数据、生产数据、财务数据以及人力资源数据等。为了能够更好地支撑erp数据的分析，常常需要进行erp数据的采集、转存。
3.但是，一方面，为了保证企业数据安全，企业的erp服务器都是内网居多，无法进行网络传输，而erp数据的采集、转存又需要依赖网络，这也造成了erp数据采集和转存的困难。另一方面，具体的数据采集、数据转存的实现方式与erp软件品牌以及其所依载的数据库之间的关联性也较高。
4.因此，上述现状造成erp数据的采集以及转存的难度较大、耗费用户的精力，从而无法有力地为erp数据分析提供支撑。


技术实现要素：

5.本发明的目的是针对上述问题，提供一种erp数据便携式采集器及其采集方法。
6.为达到上述目的，本发明采用了下列技术方案：
7.一种基于便携式采集器的erp数据采集方法，包括以下步骤：
8.s1.采集器响应于供电指令，建立其与erp服务器的数据连接，并控制系统软件启动，再控制采集软件启动；
9.s2.采集器发送驱动程序数据至erp服务器使erp服务器安装采集器的驱动程序，随后启动用于配置采集软件的采集软件配置器；
10.s3.采集器通过采集软件获取配置信息，且所述的配置信息包括目标数据库路径和目标数据库端口；
11.s4.接收到数据采集指令后，采集器先确定数据库驱动程序，然后根据数据库驱动程序、目标数据库路径和目标数据库端口建立与目标数据库之间的数据连接；
12.s5.响应于数据库连接成功指令，采集软件开始对目标数据库进行数据采集，并调用网络通信接口，将采集到的erp数据传输至目标服务器。
13.在上述的基于便携式采集器的erp数据采集方法，中，步骤s2中，由用户通过手动输入配置信息的方式配置采集软件。
14.在上述的基于便携式采集器的erp数据采集方法，中，步骤s2中，采集软件配置器内具有能够自动搜索配置信息的自运行程序，通过启动采集软件配置器自动搜索配置信息以对采集软件进行配置。
15.在上述的基于便携式采集器的erp数据采集方法，中，步骤s2中，采集软件配置器
内具有能够自动搜索对应于erp服务器中各数据库的若干配置信息的自运行程序，由用户选择配置信息以对采集软件进行配置。
16.在上述的基于便携式采集器的erp数据采集方法，中，采集软件配置器的操作界面中提供有开始采集控件，由用户通过触发该开始采集控件发送数据采集指令至采集器。
17.在上述的基于便携式采集器的erp数据采集方法，中，步骤s4中，采集器通过以下任意一种方式确定数据库驱动程序：
18.根据配置信息中的目标数据库端口确定目标数据库类型，然后根据目标数据库类型确定相应的数据库驱动程序；
19.解析配置信息中的目标数据库路径获取目标数据库类型，然后根据目标数据库类型确定相应的数据库驱动程序；
20.根据erp服务器安装的erp软件的品牌以及预设的相应品牌与数据库类型之间的对应关系，确认目标数据库类型，然后根据目标数据库类型确定相应的数据库驱动程序；
21.使配置信息同时包括目标数据库类型，直接从配置信息中获取目标数据库类型，然后根据目标数据库类型确定相应的数据库驱动程序。
22.在上述的基于便携式采集器的erp数据采集方法，中，所述的采集软件包括数据处理模块和数据逻辑模型模块；
23.数据处理模块中预存有sql语句及sql解释器、sql优化器以及sql执行器，步骤s5中，通过数据处理模块中的sql解释器、sql优化器以及sql执行器执行预先写好的sql语句，从目标数据库中采集erp数据，并由数据逻辑模型模块将采集到的erp数据存储至erp模型表中的模型字段下，然后将填充了模型字段的erp模型表传输给目标服务器。
24.在上述的基于便携式采集器的erp数据采集方法，中，数据处理模块连接于集成多种数据库驱动程序的接口集群，用于使用其中的数据库驱动程序连接目标数据库；
25.每个erp模型表对应有标准表格名称和标准字段名称，数据逻辑模型模块中还预存有多种erp数据的表格及其字段对应erp模型表及其字段的规则表；
26.且erp模型表包括财务数据表、生产数据表、采购数据表、销售数据表、企业基础数据表；
27.步骤s5中，通过规则表将从目标数据库中采集的erp数据存储至相应erp模型表的相应模型字段下。
28.一种erp数据便携式采集器，包括主控芯片、存储器、数据传输接口、供电电路和网络通信模块，供电电路连接于数据传输接口，数据传输接口和供电电路同时连接于主控芯片，主控芯片连接于存储器和网络通信模块；
29.所述的数据传输接口用于，被插接至erp服务器后与所述的erp服务器进行数据传输并从erp服务器中得电，由供电电路将得电电压转换为采集器所需电压；
30.所述的网络通信模块用于供采集器与目标服务器建立无线连接；
31.所述的存储器中存储有可在主控芯片上运行的系统软件和采集软件；
32.所述的系统软件被配置为得电启动，并在启动后控制采集软件启动；
33.所述的采集软件用于，在被启动后将采集器驱动程序发送给与采集器连接的erp服务器，并使erp服务器启动用于配置采集软件的采集软件配置器，以及用于获取配置信息，基于配置信息从目标数据库中采集erp数据，最后通过兼容处理后将采集到的erp数据
传输给目标服务器。
34.在上述的erp数据便携式采集器中，其特征在于，所述的网络通信模块为4g通信模块；
35.或者，所述的网络通信模块包括4g通信模块和wifi通信模块，并根据网速确定使用网速较快的通信模块与目标服务器建立连接。
36.本发明的优点在于：
37.(1)本方案的采集器软硬件结合，即插即用，采集转存同步进行，具有便携快捷，采集转存方便且高效的优点；
38.(2)本方案使用便携式的采集器实现erp数据的采集和转存，使用采集器将erp数据传输至目标服务器，无需erp服务器进行网络传输，解决erp服务器不联网但采集转存需依赖网络的矛盾造成采集转存困难的问题；
39.(3)本方案的采集器集成了多种数据库驱动程序，根据目标数据库类型确定对应的数据库驱动程序，能够保证erp数据的采集效率，且目标数据库类型由采集器自动获取，无需用户知道；
40.(4)由于集成多种数据库驱动程序的接口集群被设计在独立的采集器处，具备独立的运行软硬件环境，不需要对erp服务器或目标服务器进行任何操作，保证原有系统的安全性的情况下，解决了不同erp数据要使用不同的数据采集工具的问题可全面兼容市面上的主流数据库；
41.采集器在获取到目标数据库类型后，基于目标数据库类型调用更适宜的数据库驱动程序，建立与目标数据库的连接，不仅兼容了多种数据库的数据采集，并且，在面对大规模的erp数据时，采集速度能够显著提升，此外还能降低数据采集代码与数据库之间的耦合度；
42.(5)采集器被设计了标准erp数据采集模型，使不同的erp服务器数据具备同样的数据采集标准；同时匹配了多种erp数据库表结构数据，能够兼容多种erp数据采集，无论是哪一品牌下的erp软件，均可以存储在模型表的模型字段下，实现了对erp数据的统一转存和管理，更有利于后续对erp数据进行分析。
附图说明
43.图1为本发明erp数据便携式采集器的软硬件框架图；
44.图2为本发明使用便携式采集器采集erp数据的采集流程图；
45.图3为本发明erp数据便携式采集器基于多样数据库匹配的采集软件结构图。
具体实施方式
46.下面结合附图和具体实施方式对本发明做进一步详细的说明。
47.本方案在投入使用时涉及到三个主体：erp服务器、本方案提供的便携式采集器，目标服务器。
48.本方案概括来说，就是通过在erp服务器上插入该便携式采集器，以实现从erp服务器上调取erp数据，并传输至目标服务器。
49.如图1所示，本方案所提供的采集器是可即插即用的，其内置了主控芯片、存储器、
数据传输接口、供电电路以及网络通信模块。主控芯片连接存储器、数据传输接口、网络通信模块和供电电路，供电电路连接于数据传输接口以通过数据传输接口实现供电。存储器可以包括软件存储器和数据存储器，软件存储器中存储有可在主控芯片上运行的系统软件和采集软件，数据存储器用于暂存采集到但还未转存成功的数据。本实施例中，采集器的系统软件采用安卓系统，erp服务器的系统软件以win10为例，在具体应用时也可以是其他系统软件，如ios、win7。将采集器插入erp服务器后，erp服务器启动采集软件配置器进行采集软件采集参数的配置，数据传输接口既可以实现供电，也可以进行数据传输，供电后安卓系统自动启动。
50.网络通信模块可以采用4g通信模块与目标服务器建立数据连接，也可以采用4g和wifi通信模块，并使用网速较快的通信模块与目标服务器建立数据连接，也可以由用户手动选择一个通信模块与目标服务器建立数据连接。
51.此外，本方案提供的采集软件为多样数据库采集软件，能够兼容多种数据库下的数据采集，兼容多种品牌的erp数据的转存，具体如何实现在下方详述。
52.如图2所示，erp数据采集和转存过程如下：
53.s1：采集器插入erp服务器后，响应于供电指令，建立其与erp服务器的数据连接，并控制安卓系统启动，再控制采集软件启动。
54.s2：采集器发送驱动程序数据至erp服务器，erp服务器根据接收的驱动程序数据，安装采集器的驱动程序，在安装好驱动程序后，控制erp服务器启动采集软件配置器。
55.s3：通过采集软件配置器对采集软件进行配置，所配置的配置信息至少包括目标数据库路径以及目标数据库端口，目标数据库中存储有待采集的erp数据。
56.此处，采集软件的配置方式有以下3种方式：
57.(1)手动输入配置信息进行采集软件的配置；
58.(2)自动输入，即，采集软件配置器内的自运行程序自动搜索得到目标数据库路径和目标数据库端口实现对采集软件的配置；
59.(3)半自动输入，即，采集软件配置器内的自运行程序自动搜索erp服务器中的若干个数据库路径和若干个数据库端口，再由用户对数据库路径和数据库端口进行选择，确定目标数据库路径和目标数据库端口以对采集软件进行配置。
60.s4：采集器通过采集软件接收上述配置信息。
61.一般情况下，不同类型的数据库，其对应的默认的数据库端口是不同的，那么，根据接收到的目标数据库端口可以确定待采集的erp数据存储在什么类型的数据库中。
62.举例来说，数据库的类型可以包括mysql数据库、sqlserver数据库、oracle数据库以及sybase数据库等。mysql数据库对应的默认的数据库端口为3306，oracle数据库对应的默认的数据库端口为1521等。
63.当然，数据库端口是可以更改的，若无法通过目标数据库端口确定待采集的erp数据存储在什么类型的数据库中。还可以通过以下3种方式解决：
64.(1)解析目标数据库路径获取目标数据库类型；
65.(2)根据erp服务器安装的erp软件的品牌以及预设的erp软件的品牌与数据库类型之间的对应关系，确认目标数据库类型；
66.(3)在通过采集软件配置器获取配置信息时，配置信息还包括目标数据库类型。
67.s5：在采集软件配置器的操作界面中显示有开始采集控件，用户可以通过触发该开始采集控件，发送数据采集指令至采集器。
68.s6：采集器响应于数据采集指令，先根据目标数据库类型，确定对应的目标数据库驱动程序，然后根据数据库驱动程序、目标数据库路径以及目标数据库端口，建立与目标数据库之间的数据连接。
69.采集器中集成了多种数据库驱动程序，例如：odbc、jdbc、ado.net以及pdo等。其中，绝大多数的数据库都可以通过odbc访问，但是，一方面，某些类型的数据库与某些数据库驱动程序是不兼容的，另一方面，数据库驱动程序在面对不同类型的数据库时其性能是不统一的，这将影响erp数据的采集效率。本方案首先集成多种数据库驱动程序，然后根据目标数据库类型确定每次需使用的数据库驱动程序，能够保证数据采集效率，同时目标数据类型的确定方式无需用户参与，系统能够自动根据配置信息或erp软件确定，十分快捷方便。
70.s7：响应于数据库连接成功指令，采集器开始进行数据采集，采集软件调用网络通信接口，若无wifi连接，则调用4g通信模块，若有wifi连接，则通过wifi传输数据至目标服务器，若4g网速优于wifi，则可进行切换。
71.具体地，下面将介绍采集器如何实现数据采集：
72.如图3所示，采集软件中包含数据处理模块以及数据逻辑模型模块。
73.数据处理模块中含有预先写好的sql语句及sql解释器、sql优化器以及sql执行器。
74.具体地，s81：通过数据处理模块中的sql解释器、sql优化器以及sql执行器执行预先写好的sql语句，从目标数据库中采集erp数据。erp数据包括若干个表格以及每个表格中若干个字段下的数据；
75.s82：通过数据逻辑模型模块，将采集到的erp数据存储至erp模型表中的模型字段下。
76.在一个可选的实施方式中，可以从erp的目标数据库中逐个字段地获取数据，之后将其匹配存储到对应的某一模型表中的模型字段下，直至完成erp数据库中所有字段下的数据的提取。
77.较好的情况下，erp数据库中的表格名称是可以与模型表完全相同的，erp数据库中的字段名称也是可以与模型字段完全相同的，那么就可以直接进行字段匹配，完成逐个字段的数据存储。
78.但是，目前不同品牌的erp软件，其实不仅对应的数据库类型不同，其在设定表格名称以及字段名称时也会有区别。下面将从如何兼容表格名称以及如何兼容字段名称分别进行说明。
79.(1)如何对表格名称兼容。
80.一般erp软件内的表格包括财务数据表、生产数据表、采购数据表、销售数据表以及企业基础数据表等。
81.不同品牌的erp软件中不同的表格所对应的表格名称可能是不同的(1、叫法不同，2、在语言上不同，如中文，英文等)。
82.故，采集软件中的数据逻辑模型模块中预先设置了erp模型表，该erp模型表的表
格名称均为标准的表格名称。并且采集器中预先设定有对应的表格名称匹配规则，例如：某一模型表的表格名称为a1，品牌1的erp软件中同一表的表格名称为a2，品牌2的erp软件中同一表的表格名称为a3，那么该表格名称匹配规则中，关于品牌1的表格名称匹配规则会包括a1与a2的对应关系，关于品牌2的表格名称匹配规则会包括a1与a3的对应关系。
83.可以理解的是，同一品牌的erp软件在不同的语言模式下，其表格名称也会有变化，因此，关于某一品牌的表格名称匹配规则中的对应关系不一定是一对一，也可能是一对多的。
84.(2)如何对字段名称兼容。
85.在不同的表格下会存在若干个字段，不同品牌的erp软件对于相同的字段所起的字段名称也是不同的。故，数据逻辑模型模块中的erp模型表中还预先设置了模型字段的字段名称。采集器中还设定有字段名称匹配规则。这里与表格名称匹配规则是一样的。举例来说，例如：模型表a1中含有模型字段b1、b2和b3，品牌1的erp软件中a2表中含有字段b1、b4和b5，模型表a1与a2对应，b1是相同的，b2和b4对应，b3和b5对应，故，在字段名称匹配规则中，关于品牌1的字段名称匹配规则会包括b2和b4的对应关系，以及b3和b5的对应关系。
86.可以理解的是，同一品牌的erp软件在不同的语言模式下，其字段名称也会有变化，因此，关于某一品牌的字段名称匹配规则中的对应关系不一定是一对一，也可能是一对多的。
87.基于上述对于表格名称以及字段名称的兼容，就实现了多种品牌的erp数据的兼容转存。
88.采集到的erp数据会被填充如相应erp模型的像元模型字段中，采集器只需要将填充了模型字段的erp模型表存入目标服务器的目标数据库即可，无需对erp服务器和目标服务器进行任何操作。
89.进一步地，作为优选方案，erp服务器具有认证软件，用于向首次连接erp服务器的采集器发送认证编码，此过程需密码启动，以及用于对连接erp服务器的采集器进行认证编码验证，验证成功则允许进行数据采集，否则拒绝采集。进一步优选，认证编码被封存于采集器中，无法被外部看到或获取。
90.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。