一种数据采集方法和装置与流程

本发明涉及计算机技术领域，特别涉及一种数据采集方法和装置。

背景技术：

为了保证软件系统的运行，需要采集外部的数据，并将其导入软件系统中。因此，如何高效地采集数据，对软件系统的运行是至关重要的。

现有的数据采集方法通过建立数据表采集特定组织的数据，其中，组织可以包括：公司、机构等，该数据表与组织是对应的。

当需要采集的数据属于不同的组织时，需要针对相应的组织开发对应的数据采集方法，因此，现有的数据采集方法效率较低。

技术实现要素：

本发明实施例提供了一种数据采集方法和装置，能够提高数据采集效率。

第一方面，本发明提供了一种数据采集方法，为至少一个组织创建相对应的数据采集器，还包括：

确定待采集数据所属的目标组织；

确定所述目标组织对应的目标数据采集器；

利用所述目标数据采集器采集所述待采集数据，生成待导入数据表；

将所述待导入数据表导入目标系统中。

优选地，

所述为至少一个组织创建相对应的数据采集器，包括：

确定至少一个组织；

针对每一个所述组织，均执行：为当前组织设置至少一个指标信息；根据所述当前组织和所述至少一个指标信息，生成采集模板；确定至少一个采集时间；根据所述采集模板和所述至少一个采集时间，创建与所述当前组织相对应的数据采集器。

优选地，

在所述将所述待导入数据表导入目标系统中之前，进一步包括：

确定所述待导入数据表中各个目标采集时间；

确定所述待导入数据表中所述目标组织对应的各个目标指标信息；

所述将所述待导入数据表导入目标系统中，包括：

根据所述各个目标采集时间、所述各个目标指标信息和所述待采集数据，将所述待导入数据表转换成至少三个字段；

将所述至少三个字段导入所述目标系统中。

优选地，

所述指标信息，包括：指标名称、指标标识、指标单位和指标精确度中任意一种或多种。

第二方面，本发明提供了一种数据采集装置，包括：

创建单元，用于为至少一个组织创建相对应的数据采集器；

确定单元，用于确定待采集数据所属的目标组织；确定所述目标组织对应的目标数据采集器；

生成单元，用于利用所述目标数据采集器采集所述待采集数据，生成待导入数据表；

导入单元，用于将所述待导入数据表导入目标系统中。

优选地，

所述创建单元，用于确定至少一个组织；针对每一个所述组织，均执行：为当前组织设置至少一个指标信息；根据所述当前组织和所述至少一个指标信息，生成采集模板；确定至少一个采集时间；根据所述采集模板和所述至少一个采集时间，创建与所述当前组织相对应的数据采集器。

优选地，

所述确定单元，进一步用于确定所述待导入数据表中各个目标采集时间；确定所述待导入数据表中所述目标组织对应的各个目标指标信息；

所述导入单元，用于根据所述各个目标采集时间、所述各个目标指标信息和所述待采集数据，将所述待导入数据表转换成至少三个字段；将所述至少三个字段导入所述目标系统中。

优选地，

所述指标信息，包括：指标名称、指标标识、指标单位和指标精确度中任意一种或多种。

第三方面，本发明实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述权利要求任一所述的方法。

第四方面，本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；

所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述任一实施例所述的方法。

本发明实施例提供了一种数据采集方法和装置，其中，该方法为各个组织创建对应的数据采集器，根据待采集数据所属的目标组织，确定对应的目标数据采集器，并利用目标数据采集器采集待采集数据，进而将生成的待导入数据表导入目标系统中。该方法可以适用于不同组织的数据的采集，当需要采集的数据属于不同的组织时，无需针对不同的组织开发多种数据采集方法，提高了数据采集效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种数据采集方法流程图；

图2是本发明另一个实施例提供的一种数据采集方法流程图；

图3是本发明一个实施例提供的一种数据采集装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种数据采集方法，该方法可以包括以下步骤：

步骤101：为至少一个组织创建相对应的数据采集器；

步骤102：确定待采集数据所属的目标组织；

步骤103：确定目标组织对应的目标数据采集器；

步骤104：利用目标数据采集器采集待采集数据，生成待导入数据表；

步骤105：将待导入数据表导入目标系统中。

在图1所示的本发明实施例中，该方法为各个组织创建对应的数据采集器，根据待采集数据所属的目标组织，确定对应的目标数据采集器，并利用目标数据采集器采集待采集数据，进而将生成的待导入数据表导入目标系统中。该方法可以适用于不同组织的数据的采集，当需要采集的数据属于不同的组织时，无需针对不同的组织开发多种数据采集方法，提高了数据采集效率。

在本发明的一个实施例中，为了实现对不同组织的数据的采集，为至少一个组织创建相对应的数据采集器，包括：

确定至少一个组织；

针对每一个组织，均执行：为当前组织设置至少一个指标信息；根据当前组织和至少一个指标信息，生成采集模板；确定至少一个采集时间；根据采集模板和至少一个采集时间，创建与当前组织相对应的数据采集器。

其中，组织中可以包括组织编号和组织名称。

以下代码为多个组织的配置过程：

在上述代码中，组织包括：xx省烟草公司、aa市烟草专卖局(公司)、bb市烟草(专卖局)、cc市烟草专卖局(公司)。

在本发明的一个实施例中，指标信息，包括：指标名称、指标标识、指标单位和指标精确度中任意一种或多种。

以下代码为多个指标的配置过程：

在本发明的一个实施例中，在将待导入数据表导入目标系统中之前，进一步包括：

确定待导入数据表中各个目标采集时间；

确定待导入数据表中目标组织对应的各个目标指标信息；

将待导入数据表导入目标系统中，包括：

根据各个目标采集时间、各个目标指标信息和待采集数据，将待导入数据表转换成至少三个字段；

将至少三个字段导入目标系统中。

其中，采集的每一条数据记录对应一个目标采集时间，例如，待导入数据表中共有三条数据记录，对应的目标采集时间分别为2000、2001、2002年。

上述过程可以将待导入数据表转换成系统中数据库表对应的三个字段，其中，一个字段为目标采集时间，一个字段为待采集数据，一个字段为目标指标信息。

如图2所示，本发明实施例以组织为a市烟草公司为例，对数据采集方法进行详细地说明，该方法包括以下步骤：

步骤201：确定至少一个组织。

确定三个组织，组织名称分别为a市烟草公司、b市烟草公司、c市烟草公司。

步骤202：针对每一个组织，均执行：为当前组织设置至少一个指标信息；根据当前组织和至少一个指标信息，生成采集模板；确定至少一个采集时间；根据采集模板和至少一个采集时间，创建与当前组织相对应的数据采集器。

以a市烟草公司为例，指标信息包括：指标标识为cg_s0110，指标名称为销量，指标单位为箱，指标精确度为2(即数据的小数位)；采集时间为2010年。根据上述信息，创建与a市烟草公司相对应的数据采集器a1。

步骤203：确定待采集数据所属的目标组织。

在本实施例中，待采集数据属于a市烟草公司。

步骤204：确定目标组织对应的目标数据采集器。

确定目标数据采集器为a1。

步骤205：利用目标数据采集器采集待采集数据，生成待导入数据表。

利用目标采集器a1采集待采集数据，采集的数据为2010年a市烟草公司的销量情况，生成待导入数据表，该待导入数据表为excel数据表。待采集数据可以包含多个数据记录。

步骤206：确定待导入数据表中各个目标采集时间。

确定待导入数据表中目标采集时间为2010年。

步骤207：确定待导入数据表中目标组织对应的各个目标指标信息。

在本实施例中，目标指标信息仅包含一个：指标标识为cg_s0110，指标名称为销量，指标单位为箱，指标精确度为2(即数据的小数位)。

步骤208：根据各个目标采集时间、各个目标指标信息和待采集数据，将待导入数据表转换成至少三个字段。

步骤209：将至少三个字段导入目标系统中。

如图3所示，本发明实施例提供了一种数据采集装置，包括：

创建单元301，用于为至少一个组织创建相对应的数据采集器；

确定单元302，用于确定待采集数据所属的目标组织；确定目标组织对应的目标数据采集器；

生成单元303，用于利用目标数据采集器采集待采集数据，生成待导入数据表；

导入单元304，用于将待导入数据表导入目标系统中。

在本发明的一个实施例中，创建单元301，用于确定至少一个组织；针对每一个组织，均执行：为当前组织设置至少一个指标信息；根据当前组织和至少一个指标信息，生成采集模板；确定至少一个采集时间；根据采集模板和至少一个采集时间，创建与当前组织相对应的数据采集器。

在本发明的一个实施例中，确定单元302，进一步用于确定待导入数据表中各个目标采集时间；确定待导入数据表中目标组织对应的各个目标指标信息；

导入单元304，用于根据各个目标采集时间、各个目标指标信息和待采集数据，将待导入数据表转换成至少三个字段；将至少三个字段导入目标系统中。

在本发明的一个实施例中，指标信息，包括：指标名称、指标标识、指标单位和指标精确度中任意一种或多种。

本发明实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行执行指令时，存储控制器执行上述任一实施例的方法。

本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；

存储器用于存储执行指令，处理器与存储器通过总线连接，当存储控制器运行时，处理器执行存储器存储的执行指令，以使存储控制器执行上述任一实施例的方法。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上，本发明各个实施例至少具有如下效果：

1、在本发明实施例中，该方法为各个组织创建对应的数据采集器，根据待采集数据所属的目标组织，确定对应的目标数据采集器，并利用目标数据采集器采集待采集数据，进而将生成的待导入数据表导入目标系统中。该方法可以适用于不同组织的数据的采集，当需要采集的数据属于不同的组织时，无需针对不同的组织开发多种数据采集方法，提高了数据采集效率。

2、在本发明实施例中，将待导入数据表转换成至少三个字段，并将其导入目标系统中，以便于当待导入数据表中各个目标采集时间、各个目标指标信息与已导入的待导入数据表相同时，可以通过在目标系统的数据库表中添加行的形式将待导入数据表添加到目标系统中。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。