一种工业设备数据的存储方法及装置与流程

本发明涉及工业设备大数据处理技术领域，特别是指一种工业设备数据的存储方法及装置。

背景技术：

从各个场站采集数据需要使用指定格式的文件（例：parquet）或数据库进行存储，可是从场站过来的数据文件不一定就是想要存储的文件格式需要二次处理，数据文件存储成功后对于数据的统计信息的更新保存等都需要在数据文件的存储系统中完成。

现有技术中，从场站采集的数据无法有效存储，存储效率低。

技术实现要素：

本发明要解决的技术问题是提供一种工业设备数据的存储方法及装置。解决了从场站采集的数据无法有效存储，存储效率低的问题，实现了脱离人工操作、降低资源消耗、提高文件转换的时效性，同时防止数据文件的漏处理导致的数据丢失的技术效果。

为解决上述技术问题，本发明的技术方案如下：

本发明提供一种工业设备数据的存储方法，包括：

获取至少一种工业设备原始数据文件；

在监控到所述至少一种工业设备原始数据文件发生变更时，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件；

将所述至少一种存储文件存储于数据存储系统中。

可选的，所述工业设备原始数据文件包括以下至少一种：

传感器数据文件；

模型分析结果文件。

可选的，在监控到所述至少一种工业设备原始数据文件发生变更时，对所述至少一种工业设备数据文件进行处理，生成至少一种存储文件，包括：

将所述至少一种工业设备原始数据文件存储于数据文件监控目录下；

在所述数据文件监控目录下的工业设备原始数据文件发生变更时，生成文件变更日志；

根据所述文件变更日志，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件。

可选的，根据所述文件变更日志，对所述至少一种工业设备数据文件进行处理，生成至少一种存储文件，包括：

将所述文件变更日志存入一消息队列；

对所述消息队列中的文件进行数据格式转换处理，生成至少一种存储文件。

可选的，对所述消息队列中的文件进行数据格式转换处理，生成至少一种存储文件，包括：

根据所述消息队列中的至少一种文件的类型，获取每一类型的文件对应的配置文件；

根据所述配置文件，对所述消息队列中的该类型的文件进行格式转换，生成至少一种存储文件。

可选的，所述文件变更日志包括：文件的绝对存储路径以及文件的操作信息。

可选的，所述工业设备数据的存储方法还包括：若监控到数据文件监控目录下的文件为存储文件时，产生不进行数据格式转换处理的指令。

可选的，所述工业设备数据的存储方法还包括：根据所述存储文件进行数据统计，获得统计文件。

本发明提供一种工业设备数据的存储装置，包括：

获取模块，用于获取至少一种工业设备原始数据文件；

处理模块，用于在监控到所述至少一种工业设备原始数据文件发生变更时，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件；

存储模块，用于将所述至少一种存储文件存储于数据存储系统中。

本发明还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述的方法。

本发明的上述方案至少包括以下有益效果：

本发明的上述方案，通过获取至少一种工业设备原始数据文件；在监控到所述至少一种工业设备原始数据文件发生变更时，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件；将所述至少一种存储文件存储于数据存储系统中。可以自动将原始数据文件进行存储，解决了从场站采集的数据无法有效存储，存储效率低的问题，实现了脱离人工操作、降低资源消耗、提高文件转换的时效性，同时防止数据文件的漏处理导致的数据丢失的技术效果。

附图说明

图1是本发明的实施例工业设备数据的存储方法的流程示意图；

图2是本发明的实施例工业设备数据的存储方法存储原理示意图；

图3是本发明的实施例工业设备数据的存储方法的具体实现流程的示意图；

图4是本发明的实施例工业设备数据的存储方法的具体实现示意图；

图5是本发明的实施例工业设备数据的存储方法中数据文件监控目录示意图；

图6是本发明的实施例工业设备数据的存储装置的模块示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的实施例提出一种工业设备数据的存储方法，包括：

步骤11，获取至少一种工业设备原始数据文件；

步骤12，在监控到所述至少一种工业设备原始数据文件发生变更时，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件；

步骤13，将所述至少一种存储文件存储于数据存储系统中。

本发明的该实施例通过监控到工业设备原始数据文件发生变更时，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件，并进行存储，可以自动将原始数据文件进行存储，解决了从场站采集的数据无法有效存储，存储效率低的问题，实现了脱离人工操作、降低资源消耗、提高文件转换的时效性，同时防止数据文件的漏处理导致的数据丢失的技术效果。

如图2所示，一个具体实施例中，工业设备1、工业设备2以及工业设备3产生的原始数据文件分别是文件1、文件2以及文件3等，在监控原始数据文件发生变更时，经过数据文件格式转换，并以存储文件的形式存储到相应的时序数据库中，最终批量导出过程提供给用户使用，有效地解决了从场站采集的数据无法有效存储，存储效率低的问题，实现了脱离人工操作、降低资源消耗、提高文件转换的时效性，同时防止数据文件的漏处理导致的数据丢失。

本发明一可选的实施例中，步骤11中所述工业设备原始数据文件包括以下至少一种：传感器数据文件；模型分析结果文件。这里仅为举例说明，工业设备原始数据文件不限于这里的传感器数据文件、模型分析结果文件，还可以是其它工业设备的原始数据文件。

本实施例中，传感器数据文件和模型分析结果文件经过监控器进行数据文件格式转换处理，最终存储至数据存储系统。

本发明一可选的实施例中，步骤12包括：

步骤121，将所述至少一种工业设备原始数据文件存储于数据文件监控目录下；

步骤122，在所述数据文件监控目录下的工业设备原始数据文件发生变更时，生成文件变更日志；

步骤123，根据所述文件变更日志，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件。

本实施例中，通过将至少一种工业设备原始数据文件存储于数据文件监控目录下，进而触发一监控器工作，监控器在监控到数据文件监控目录下的工业设备原始数据文件发生变更时，生成文件变更日志，根据所述文件变更日志，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件；并进一步可以将存储文件存储到数据存储系统中。

这里，监控器可以包括：文件系统监控a、消息队列b以及文件处理器c，其中，文件系统监控a具体可以使用“commons-iosdk“，“定时轮询文件系统”，“inotify-tools”等文件监听工具；当文件发生变更后以触发的方式使监控工具直接输出发生变更的文件路径以及变更方式，可以更及时的去处理变更的数据文件。日志消息队列b可以使用“redis”，“mq”，“kafka”等消息队列，文件处理器c优选的是consumer。

文件变更日志的结构可以包括：文件的绝对存储路径以及文件的操作信息，即“文件绝对路径”，“-”，“文件操作”，文件操作例如，close_write，close|delete|create等；

一个具体的实施例中，日志信息样例如下所示：

/filesys/repo_data/raw-create,isdir；

/filesys/repo_data/raw/gendata_dev1.csv-close_write,close；

/filesys/repo_data/raw/gendata_dev2.csv-close_write,close；

/filesys/repo_data/raw/gendata_dev3.csv-close_write,close；

本发明一可选的实施例中，步骤123包括：

步骤1231，将所述文件变更日志存入一消息队列；

步骤1232，对所述消息队列中的文件进行数据格式转换处理，生成至少一种存储文件。

这里，消息队列可以使用“redis”，“mq”，“kafka”等消息队列，从而可以保障数据存储的完整性。

本发明一可选的实施例中，步骤1232可以包括：

根据所述消息队列中的至少一种文件的类型，获取每一类型的文件对应的配置文件；

根据所述配置文件，对所述消息队列中的该类型的文件进行格式转换，生成至少一种存储文件。

该实施例中，消费消息队列中的文件变更日志（即消息队列中的文件），获取文件路径以及操作，并进一步获取该文件所在的数据文件监控目录下的配置文件，根据配置文件配置的规则，对该文件进行解析，并依据配置中的存储方式进行存储；

这里，文件的类型可以包括csv，excel，sqlite等更多种类的文件；每一类的文件对应一个配置文件，可以有多种类型的文件对应的配置文件，从而可以实现多种类型的文件的存储处理。

本发明一可选的实施例中，工业设备数据的存储方法还可以包括：

步骤14，若监控到数据文件监控目录下的文件为存储文件时，产生不进行数据格式转换处理的指令。

该实施例中，如果监控到数据文件监控目录下的文件为转换后的存储文件，不再进行数据格式转换处理，从而提高数据处理效率。

本发明一可选的实施例中，工业设备数据的存储方法还可以包括：

步骤15，根据所述存储文件进行数据统计，获得统计文件。

该实施例中，可以进一步对数据存储系统中的存储文件进行数据统计，获得统计文件，从而满足用户的统计需求，不再基于原始数据文件进行统计，提高统计效率。

下面结合图3至图5说明上述方法的具体实现过程：

数据文件监控目录接收来自工业设备的传感器数据文件、模型分析结果文件等，这里，如图4和5所示，数据文件监控目录中可以包括多个监控目录，每一个监控目录下可以存储一种类型的多个数据文件以及该类型的数据文件对应的配置文件；数据文件的类型可以包括：csv，excel以及sqlite等。一种可选的实现方式中，监控目录中包括监控目录1、监控目录2以及监控目录3，监控目录1下存储了文件类型为a的至少一个数据文件以及该文件类型a对应的配置文件a，监控目录2存储了文件类型为b的至少一个数据文件以及该文件类型b对应的配置文件b，监控目录3下存储了文件类型为c的至少一个数据文件以及该文件类型c对应的配置文件c。

监控器的文件系统监控，监控到数据文件监控目录下的文件发生变更后，触发监控器生成文件变更日志；将文件变更日志放在消息队列，等待消费处理；监控器的文件处理器消费日志队列中的变更文件，调用文件转换处理逻辑对数据文件进行格式转换处理，生成存储文件，存储到数据存储系统中；

数据存储系统，完成批量导入过程提供给用户使用。

进一步的，还可以基于数据存储系统中的存储文件进行目录统计，生成统计文件，以提高统计效率。

本发明的上述实施例，在监控到数据文件监控目录下的文件发生变更时，自动触发监控器进行存储文件的生成和存储，脱离人工操作，并且该操作通过一个进程完成工作，降低了资源消耗；同进，数据文件发生变更后以触发的方式完成后续操作，提高了文件转换的时效性；进一步的，使用消息队列管理文件变更日志，在监控停机重启后，可以继续处理停机时段发生变更的数据文件，防止数据文件的漏处理导致的数据丢失；通过为数据文件监控目录下多种类型的文件配置的配置文件，可实现多类型数据文件的转换和存储处理。

如图6所示，本发明还提供一种工业设备数据的存储装置60，包括：

获取模块61，用于获取至少一种工业设备原始数据文件；

处理模块62，用于在监控到所述至少一种工业设备原始数据文件发生变更时，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件；

存储模块63，用于将所述至少一种存储文件存储于数据存储系统中。

可选的，所述工业设备原始数据文件包括以下至少一种：传感器数据文件；模型分析结果文件。

可选的，在监控到所述至少一种工业设备原始数据文件发生变更时，对所述至少一种工业设备数据文件进行处理，生成至少一种存储文件，包括：

将所述至少一种工业设备原始数据文件存储于数据文件监控目录下；

在所述数据文件监控目录下的工业设备原始数据文件发生变更时，生成文件变更日志；

根据所述文件变更日志，对所述至少一种工业设备原始数据文件进行处理，生成至少一种存储文件。

可选的，根据所述文件变更日志，对所述至少一种工业设备数据文件进行处理，生成至少一种存储文件，包括：

将所述文件变更日志存入一消息队列；

对所述消息队列中的文件进行数据格式转换处理，生成至少一种存储文件。

可选的，对所述消息队列中的文件进行数据格式转换处理，生成至少一种存储文件，包括：

根据所述消息队列中的至少一种文件的类型，获取每一类型的文件对应的配置文件；

根据所述配置文件，对所述消息队列中的该类型的文件进行格式转换，生成至少一种存储文件。

可选的，所述文件变更日志包括：文件的绝对存储路径以及文件的操作信息。

可选的，所述工业设备数据的存储装置中，所述处理模块还用于：若监控到数据文件监控目录下的文件为存储文件时，产生不进行数据格式转换处理的指令。

可选的，所述工业设备数据的存储装置中，所述处理模块还用于：根据所述存储文件进行数据统计，获得统计文件。

需要说明的是，该实施例中的装置是与上述图1所示的方法对应的装置，上述各实施例中的实现方式均适用于该装置的实施例中，也能达到相同的技术效果。在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本发明的实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有处理器可执行指令，所述处理器可执行指令用于使所述处理器执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。