数据的采集方法、装置及计算机可读存储介质与流程

本公开涉及数据采集，尤其是一种数据的采集方法、装置及计算机可读存储介质。

背景技术：

1、数据采集是指从数据源收集数据。数据采集的过程中可以涉及到从多种数据源收集数据并对收集到的数据进一步处理。

技术实现思路

1、相关技术中，在从数据源采集数据的情况下，数据采集的效率低。

2、分析发现，在相关技术中的数据采集方案下，首先需要根据不同的数据源，人为选择适配的数据采集工具。例如，在数据源是数据库的情况下，可以选择结构化查询语言(sql)查询工具作为数据采集工具。之后，通过选定的数据采集工具进行数据提取。

3、在数据提取之后，还需要进行数据解析以使得提取的数据符合用户需要的格式。在数据解析之后，还需要进行数据存储以便将解析之后的数据存储在合适的存储介质(例如，数据库和云存储等)中。

4、进一步分析发现，数据提取的方式、数据解析的方式和数据存储的方式(三者可简称为“后续流程的实现方式”)取决于选定的数据采集工具。也就是说，每种数据源的后续流程的实现方式都需要与选定的数据采集工具对应地开发。

5、这种情况下，需要根据不同的数据源开发对应的后续流程的实现方式，导致开发周期长，用户无法及时地从数据源采集数据，数据采集的效率低。

6、另外，在用户遇到新的数据源的情况下，需要对新的数据源进行研究并寻找适配的数据采集工具，之后开发人员再开发对应的后续流程的实现方式。这种情况下，导致用户无法及时地从新的数据源采集数据，数据采集的效率低。

7、为了解决上述问题，本公开实施例提出了如下解决方案。

8、根据本公开实施例的一方面，提供一种数据的采集方法，包括：接收用户输入的采集指令，所述采集指令中包括目标设备、目标数据源以及与目标数据对应的目标数据类型；按照所述目标数据类型，从所述目标设备的所述目标数据源采集所述目标数据；识别所述目标数据的实际数据源；根据所述实际数据源，确定所述目标数据的处理规则以便对所述目标数据进行处理，所述处理规则包括数据解析规则；将处理后的所述目标数据存储至数据采集数据库。

9、在一些实施例中，所述识别所述目标数据的实际数据源包括：识别所述目标数据的实际数据类型；根据所述实际数据类型与所述实际数据源的对应关系，确定所述实际数据源。

10、在一些实施例中，所述接收用户输入的采集指令包括：显示多个可选设备，以供用户从所述多个可选设备中选择所述目标设备；响应于用户从所述多个可选设备中选择所述目标设备，显示所述目标设备的可选数据源；响应于用户从所述可选数据源中选择所述目标数据源，显示所述目标数据源的可选数据类型，以便用户从所述可选数据类型中选择所述目标数据类型。

11、在一些实施例中，所述处理规则还包括数据清洗规则。

12、在一些实施例中，所述目标数据源是可选数据源中的一个，所述可选数据源包括串口、数据库、用于过程控制的对象链接与嵌入服务器、java脚本对象简谱以及excel文件中的多个。

13、在一些实施例中，所述方法还包括：响应于所述用户输入的配置请求，配置参考信息，所述参考信息包括第一参考信息、第二参考信息以及第三参考信息中的至少一个，其中：所述第一参考信息包括所述多个可选设备中每个设备的名称、所述每个设备的编码以及所述每个设备的可选数据源；所述第二参考信息包括多个可选数据源的名称、所述多个可选数据源的编码、以及所述多个可选数据源的类型的名称；所述第三参考信息包括多个可选数据类型的名称、所述多个可选数据类型的编码以及所述多个可选数据类型对应的可选数据源的名称。

14、在一些实施例中，所述第一参考信息还包括的每个设备的位置信息以便所述用户根据所述位置信息从所述多个可选设备中选择所述目标设备。

15、在一些实施例中，所述方法还包括：响应于所述用户输入的修改请求，修改所述参考信息。

16、在一些实施例中，所述可选数据源为插件形式。

17、在一些实施例中，所述目标数据为卷烟生产过程中的数据。

18、根据本公开实施例的还一方面，提供一种数据的采集装置，包括：被配置为执行上述任意一个实施例所述的方法的模块。

19、根据本公开实施例的还一方面，提供一种数据的采集装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述任意一个实施例所述的方法。

20、根据本公开实施例的还一方面，提供一种计算机可读存储介质，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一个实施例所述的方法的步骤。

21、根据本公开实施例的还一方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一个实施例所述的方法的步骤。

22、本公开实施例中，用户输入的采集指令中包括目标设备、目标数据源以及与目标数据对应的目标数据类型，在接收该采集指令后，按照目标数据类型从目标设备的目标数据源采集目标数据。如此，一方面，可以无需再针对不同的数据源开发对应的数据采集的方式，利用同一套数据采集的程序即可对不同数据源进行数据采集或对同一数据源的不同目标数据进行采集，缩短了开发周期，使得用户可以及时地从数据源采集数据，提高了数据采集的效率；另一方面，在用户遇到新的数据源的情况下，也可以利用同一套数据采集的程序对新的数据源进行数据采集，无需再对新的数据源进行研究并寻找适配的数据采集工具，开发人员也无需再开发对应的后续流程的实现方式，使得用户可以及时地从数据源采集数据，提高了数据采集的效率。

23、此外，采集目标数据后，还识别目标数据的实际数据源，根据实际数据源确定目标数据的处理规则以便对目标数据进行处理，并将处理后的目标数据存储至数据采集数据库。如此，可以准确地识别出目标数据的实际数据源，有助于准确地利用与实际数据源对应的处理规则实现数据解析，从而可以准确地解析目标数据，提高了数据采集的准确性。

24、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

技术特征：

1.一种数据的采集方法，包括：

2.根据权利要求1所述的方法，其中，所述识别所述目标数据的实际数据源包括：

3.根据权利要求1或2所述的方法，其中，所述接收用户输入的采集指令包括：

4.根据权利要求1或2所述的方法，其中，所述处理规则还包括数据清洗规则。

5.根据权利要求1或2所述的方法，其中，所述目标数据源是可选数据源中的一个，所述可选数据源包括串口、数据库、用于过程控制的对象链接与嵌入服务器、java脚本对象简谱以及excel文件中的多个。

6.根据权利要求3所述的方法，还包括：

7.根据权利要求6所述的方法，其中，所述第一参考信息还包括的每个设备的位置信息以便所述用户根据所述位置信息从所述多个可选设备中选择所述目标设备。

8.根据权利要求6所述的方法，还包括：

9.根据权利要求3所述的方法，其中，所述可选数据源为插件形式。

10.根据权利要求1或2所述的方法，其中，所述目标数据为卷烟生产过程中的数据。

11.一种数据的采集装置，包括：

12.一种数据的采集装置，包括：

13.一种计算机可读存储介质，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的方法的步骤。

14.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-10任意一项所述的方法的步骤。

技术总结
本公开提供了一种数据的采集方法、装置及计算机可读存储介质，涉及数据采集技术领域，所述方法包括：接收用户输入的采集指令，采集指令中包括目标设备、目标数据源以及与目标数据对应的目标数据类型；按照目标数据类型，从目标设备的目标数据源采集目标数据；识别目标数据的实际数据源；根据实际数据源，确定目标数据的处理规则以便对目标数据进行处理，处理规则包括数据解析规则；将处理后的目标数据存储至数据采集数据库。

技术研发人员：曹琦,吴永辉,郭榕,郭天文,陈桂平,林慧,廖俊辉,刘倩
受保护的技术使用者：龙岩烟草工业有限责任公司
技术研发日：
技术公布日：2024/5/9