一种时序数据存储方法、装置、设备及存储介质与流程

本申请涉及数据处理领域，尤其涉及一种时序数据存储方法、装置、设备及介质。

背景技术：

1、时序数据用于描述一个物体在历史的时间维度上的状态变化信息，对于大型先进制造企业而言，在生产过程中实时收集和监控相关数据，达到设备运转的透明化监控，确保生产过程数据传输的稳定性、存储的高效性是其中关键一环。在工业设备大数据的背景下，现场设备的数据量巨大，且数字化应用对数据的实时性、准确性提出了要求，而现有的时序数据存储系统存在数据传输不稳定的问题。

技术实现思路

1、本申请的主要目的是提供一种时序数据存储方法、装置设备及介质，旨在解决现有时序数据存储方法存在数据传输不稳定的技术问题。

2、为解决上述技术问题，本申请提出了：一种时序数据存储系统，用于数据采集端，包括：消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，

3、所述数据采集模块，用于实时采集原始数据；

4、所述消息缓存模块，所述消息缓存模块中设置有消息缓存队列，所述消息缓存模块用于从所述数据采集模块获取所述原始数据并将所述原始数据推送至所述消息缓存队列；

5、所述入库管理模块，用于从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据；

6、所述时序数据库模块，用于从所述入库管理模块获取所述标准数据，并储存于时序数据库。

7、作为本申请的一些可选实施例，所述时序数据存储系统还包括：接口模块，其中，所述接口模块包括与若干客户端一一对应的客户端接口，所述客户端接口用于从相应的所述客户端接收数据请求，并根据所述数据请求从所述时序数据库模块获取对应的所述标准数据。

8、作为本申请的一些可选实施例，所述标准数据结构包括用户层，所述数据库用户关联有若干专业厂层，所述专业厂信息关联有若干设备参数层和采集状态层，所述设备参数层关联有若干第一设备编号层，所述采集状态层关联有若干第二设备编号层，所述第一设备编号层包括采集时间节点和设备参数节点，所述第二设备编号层关联有采集服务状态层和采集异常信息层，所述采集服务状态层包括上报时间节点和采集服务状态节点，所述采集异常信息层关联有异常时间节点和异常信息节点。

9、作为本申请的一些可选实施例，所述时序数据模块还包括：

10、入库验证子模块，用于根据所述标准数据结构对所述标准数据进行验证。

11、作为本申请的一些可选实施例，所述时序数据存储系统还包括：查询模块，所述查询模块用于根据所述采集设备编号和所述设备参数名称对所述时序数据库进行查询，以获取对应的所述采集参数值。

12、作为本申请的一些可选实施例，所述时序数据模块还包括：

13、分类子模块，用于根据所述采集设备编号对通过所述验证的所述标准数据进行分类，并储存于所述时序数据库对应的表格中。

14、为解决上述技术问题，本申请还提出了：一种时序数据存储方法，用于数据采集端，所述方法包括：

15、实时采集原始数据；

16、获取所述原始数据，并将所述原始数据推送至所述消息缓存队列；

17、从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据；

18、获取所述标准数据，并储存于时序数据库。

19、作为本申请的一些可选实施例，在所述获取所述标准数据，并储存于时序数据库的步骤后，所述方法还包括：

20、从相应的所述客户端接收数据请求，并根据所述数据请求从所述时序数据库模块获取对应的所述标准数据。

21、为解决上述技术问题，本申请还提出了：一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如上所述的方法。

22、为解决上述技术问题，本申请还提出了：一种存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如上所述的方法。

23、综上所述，本发明的有益效果如下：

24、本申请提供了一种时序数据存储系统，用于数据采集端，包括：消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，所述数据采集模块，用于实时采集原始数据，首先，通过在系统中设置数据采集模块，对现场的数据进行实时采集，此时采集的数据为原始数据；所述消息缓存模块，所述消息缓存模块中设置有消息缓存队列，所述消息缓存模块用于从所述数据采集模块获取所述原始数据并将所述原始数据推送至所述消息缓存队列，现场设备采集的数据量巨大，通过消息缓存队列的设置，在数据采集端建立具有一定数据缓存量的持续存储服务，避免了数据发布时通过本地内存进行原始数据的转发，使得数据采集端具备的缓冲能力，提升了数据传输的稳定性；所述入库管理模块，用于从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据，通过标准数据结构对原始数据进行转换，得到标准数据，实现了采集的原始数据的快速接入和存储，解决了海量数据写入高吞吐的问题，并且标准数据更方便后续的查询；所述时序数据库模块，用于从所述入库管理模块获取所述标准数据，并储存于时序数据库，由于时序数据库中储存的均是转换后的标准数据，规范化的数据使得数据冗余降低，提高了时序数据库的性能。

技术特征：

1.一种时序数据存储系统，其特征在于，用于数据采集端，包括：消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，

2.根据权利要求1所述的时序数据存储系统，其特征在于，所述时序数据存储系统还包括：接口模块，其中，所述接口模块包括与若干客户端一一对应的客户端接口，所述客户端接口用于从相应的所述客户端接收数据请求，并根据所述数据请求从所述时序数据库模块获取对应的所述标准数据。

3.根据权利要求1所述的时序数据存储系统，其特征在于，所述标准数据结构包括用户层，所述数据库用户关联有若干专业厂层，所述专业厂信息关联有若干设备参数层和采集状态层，所述设备参数层关联有若干第一设备编号层，所述采集状态层关联有若干第二设备编号层，所述第一设备编号层包括采集时间节点和设备参数节点，所述第二设备编号层关联有采集服务状态层和采集异常信息层，所述采集服务状态层包括上报时间节点和采集服务状态节点，所述采集异常信息层关联有异常时间节点和异常信息节点。

4.根据权利要求1所述的时序数据存储方法，其特征在于，所述时序数据模块还包括：

5.根据权利要求3所述的时序数据存储方法，其特征在于，所述时序数据存储系统还包括：查询模块，所述查询模块用于根据所述采集设备编号和所述设备参数名称对所述时序数据库进行查询，以获取对应的所述采集参数值。

6.根据权利要求4所述的时序数据存储方法，其特征在于，所述时序数据模块还包括：

7.一种时序数据存储方法，其特征在于，用于数据采集端，所述方法包括：

8.根据权利要求7所述的时序数据存储方法，其特征在于，在所述获取所述标准数据，并储存于时序数据库的步骤后，所述方法还包括：

9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求7-8中所述的方法。

10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求7-8中所述的方法。

技术总结
本发明公开了一种时序数据存储系统、方法、设备及介质，用于解决现有时序数据存储方法存在数据传输不稳定的技术问题。所述时序数据存储系统，用于数据采集端，包括消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，数据采集模块用于实时采集原始数据；消息缓存模块设置有消息缓存队列，用于从所述数据采集模块获取所述原始数据并将所述原始数据推送至所述消息缓存队列；入库管理模块用于从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据；时序数据库模块用于从所述入库管理模块获取所述标准数据，并储存于时序数据库。本申请能够实现时序数据的稳定传输，提高系统的稳定性。

技术研发人员：罗佳丽,欧阳森山,陈琛,王尚超,刘翔锋,孙健庭,邱权,范东皖,谭丽娟,雷霭荻,张历记,赵炜煜,刘志波
受保护的技术使用者：成都飞机工业（集团）有限责任公司
技术研发日：
技术公布日：2024/1/12