一种时序数据同步装置及方法、存储介质与流程

本申请涉及物联网，尤其涉及一种时序数据同步装置及方法、存储介质。

背景技术：

1、随着第5代移动通信技术(5th generation mobile communication technology，5g)和物联网(internet of things，iot)技术的高速发展，数据呈现指数级增长，其中物联网数据是时序数据最典型的应用领域，海量设备持续产生的采样数据，对数据高并发的写入吞吐、高效的时序数据查询分析、低成本的时序数据存储都提出了巨大的挑战。

2、目前，对于时序数据的存储和处理往往采用关系型数据库的方式进行处理，但基于时序数据的特点，关系型数据库无法满足对时序数据的有效存储和处理，因而，时序数据库(influx database，influxdb)脱颖而出，成为目前流行度最高的时序数据库，但influxdb目前只开源了单节点的influxdb，并且现有的开源的influxdb集群在进行数据存储的过程中，容易造成influxdb集群存储的数据不一致或丢失，influxdb集群数据存储准确性较低。

技术实现思路

1、有鉴于此，本申请实施例期望提供一种时序数据同步装置及方法、存储介质，能够保证influxdb集群存储数据的一致性和完整性，提高influxdb集群数据存储的准确性。

2、为达到上述目的，本申请的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种时序数据同步装置，时序数据同步装置包括：消息队列、数据采集器、时序数据库的负载均衡器、时序数据库实例、同步时序数据库的负载均衡器和同步时序数据库实例；

4、数据采集器，用于消费消息队列中的第一数据，以将第一数据推送至时序数据库的负载均衡器中；消息队列中存储接收到的写入数据；

5、时序数据库的负载均衡器，用于将第一数据转发至第一时序数据库实例中；

6、第一时序数据库实例，用于将第一数据写入预创建的默认数据保留策略中；并将第一数据推送至同步时序数据库的负载均衡器中；

7、同步时序数据库的负载均衡器，用于将第一数据转发到同步时序数据库实例中；

8、同步时序数据库实例，用于将第一数据依次写入第二时序数据库实例对应的预创建的非默认数据保留策略中；第二时序数据库实例为除所述第一时序数据库实例外的时序数据库实例。

9、第二方面，本申请实施例提供一种时序数据同步方法，应用于时序数据同步装置，所述方法包括：

10、通过数据采集器消费消息队列中的第一数据，以将第一数据转发至第一时序数据库实例中；

11、通过第一时序数据库实例将第一数据写入预创建的默认数据保留策略中；并将第一数据转发到同步时序数据库实例中；

12、通过同步时序数据库实例将第一数据依次写入第二时序数据库实例对应的预创建的非默认数据保留策略中；第二时序数据库实例为除第一时序数据库实例外的时序数据库实例。

13、第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述时序数据同步的方法。

14、本申请实施例提供一种时序数据同步装置及方法、存储介质，该时序数据同步装置包括：消息队列、数据采集器、时序数据库的负载均衡器、时序数据库实例、同步时序数据库的负载均衡器和同步时序数据库实例；数据采集器，用于消费所述消息队列中的第一数据，以将第一数据推送至时序数据库的负载均衡器中；消息队列中存储接收到的写入数据；时序数据库的负载均衡器，用于将第一数据转发至第一时序数据库实例中；第一时序数据库实例，用于将第一数据写入预创建的默认数据保留策略中；并将第一数据推送至同步时序数据库的负载均衡器中；同步时序数据库的负载均衡器，用于将第一数据转发到同步时序数据库实例中；同步时序数据库实例，用于将第一数据依次写入第二时序数据库实例对应的预创建的非默认数据保留策略中；第二时序数据库实例为除第一时序数据库实例外的时序数据库实例。采用上述时序数据同步装置的实现方案，在进行时序数据同步的过程中，利用数据采集器将消息队列中的时序数据写入时序数据库实例之后，时序数据库实例将写入的数据写入时序数据库预创建的默认永久数据保留策略中，同时将写入的数据推送到同步时序数据库的负载均衡上，在同步时序数据库实例接收到同步时序数据库负载均衡推送过来的消息时，通过判断发送数据的时序数据库实例，将接收到的消息存储在除发送数据的时序数据库以外的其他时序数据库实例的预创建的非默认数据保留策略中，能够将写入的数据不仅存储在发送数据的时序数据库实例对应的预创建默认永久数据保留策略中，而且还能够将写入的数据同步存储在除发送数据以外的其他时序数据库对应的非默认数据保留策略中，保证influxdb集群存储数据的一致性和完整性，提高influxdb集群数据存储的准确性。

技术特征：

1.一种时序数据同步装置，其特征在于，所述装置包括：消息队列、数据采集器、时序数据库的负载均衡器、时序数据库实例、同步时序数据库的负载均衡器和同步时序数据库实例；

2.根据权利要求1所述的装置，其特征在于，

3.根据权利要求1所述的装置，其特征在于，

4.根据权利要求1或3所述的装置，其特征在于，

5.根据权利要求1所述的装置，其特征在于，所述装置还包括：分布式应用程序协调服务软件zookeeper；

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：同步接口；

7.根据权利要求5所述的装置，其特征在于，

8.根据权利要求6或7所述的装置，其特征在于，

9.根据权利要求1所述的装置，其特征在于，

10.一种时序数据同步方法，其特征在于，应用于权利要求1-9任一项所述时序数据库同步装置，所述方法包括：

11.根据权利要求10所述的方法，其特征在于，所述通过所述同步时序数据库实例将所述第一数据依次写入第二时序数据库实例对应的预创建的非默认数据保留策略中，包括：

12.根据权利要求10所述的方法，其特征在于，所述方法还包括：

13.根据权利要求10所述的方法，其特征在于，所述方法还包括：

14.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求10-13任一项所述的方法。

技术总结
本申请实施例公开了一种时序数据同步装置及方法、存储介质，该装置包括：数据采集器，用于消费所述消息队列中的第一数据，以将第一数据推送至时序数据库的负载均衡器中；消息队列中存储接收到的写入数据；时序数据库的负载均衡器，用于将第一数据转发至第一时序数据库实例中；第一时序数据库实例，用于将第一数据写入预创建的默认数据保留策略中；并将第一数据推送至同步时序数据库的负载均衡器中；同步时序数据库的负载均衡器，用于将第一数据转发到同步时序数据库实例中；同步时序数据库实例，用于将第一数据依次写入第二时序数据库实例对应的预创建的非默认数据保留策略中；第二时序数据库实例为除第一时序数据库实例外的时序数据库实例。

技术研发人员：李海涛,唐霏
受保护的技术使用者：中移物联网有限公司
技术研发日：
技术公布日：2024/1/15