基于TSDB存储引擎的数据处理方法、系统和网络侧服务端与流程

本发明属于数据存储领域，具体涉及基于tsdb存储引擎的数据处理方法、系统和网络侧服务端。

背景技术：

1、随着物联网技术的快速发展和网络应用程序数量的快速增长，数据规模呈爆炸式增长，在工业制造、能源、电信、交通等物联网领域以及金融领域，每天都会产生大量的时序数据。这些数据如果想要进行系统化的写入和读出，不仅对数据的海量时间线写入速度具有要求，也会对于全量或大量时间线的数据统计分析速率提出要求。

2、通常时序数据往往存储在一个承载数据存储和计算功能的专用软件数据库系统(如tsdb存储引擎的数据库)中，在使用时，需要极速读取每根时间线最新的状态，以及高并发请求情况下高速读取多根时间线一段时间内的数据。

技术实现思路

1、有鉴于此，本发明提供了基于tsdb存储引擎的数据处理方法、系统和网络侧服务端，用以实现高并发请求时告诉读取多根时间线的数据进行数据存储时，避免数据之间互相干扰。

2、本发明解决其技术问题所采用的技术方案是：基于tsdb存储引擎的数据处理方法，包括：

3、创建应用tsdb存储引擎的数据存储模式的数据库；

4、将用户输入的原始数据写入所创建的数据库中进行数据存储；包括：将在不同时间段通过不同数据节点获取的原始数据进行数据排序；将排序后的原始数据按照预设规律，存入数据库的多层数据存储结构。

5、有益效果：tsdb存储模式下，创建的数据库采用的tsdb存储引擎，在该数据库中，首先会对不同时间段的不通过数据节点所获取到的原始数据进行排序，随后再会进行数据存储。考虑到接收原始数据的数据节点具有多个，在进行存储前进行数据排序有助于很好的进行数据整理，同时也便于后续的数据存储和数据查看所需要的索引。

6、进一步，将排序后的原始数据按照预设规律，存入数据库的多层数据存储结构，包括：

7、将原始数据写入数据库的内存表中，并计算内存表的剩余容量；

8、在所述内存表的剩余容量小于预设内存最小容量时，将所述内存表中的所有数据转换成第一缓存数据包；

9、将所述第一缓存数据包发送给数据库的层级数据库中存储；

10、其中，所述数据库包括内存表和层级数据库，所述层级数据库包括多层存储空间，多层存储空间中每一层级存储空间满足对应层级的压缩条件，则将该层级中的所有缓存数据包进行压缩成为新的缓存数据包，并发送给下一个层级存储空间进行存储。

11、有益效果：本案中对于多层数据存储结构进行了进一步的描述，即在上一层数据存储结构中的剩余容量小于预设内存最小容量时，将该层数据存储结构中的所有数据进行压缩，随后下方到下一层的数据存储结构，并以此类推，实现数据的层层压缩和每一层存储空间的有效利用。

12、进一步，所述多层存储空间中每一层级存储空间对应的压缩条件包括：

13、每一层级存储空间中的剩余容量小于对应的层级最小容量，所述层级最小容量与所述层级存储空间所属的层级相对应；和/或，

14、每一层级存储空间中的所有缓存数据包的数据量达到对应层级最大文件量，所述层级最大文件量与所述层级存储空间所属的层级相对应。

15、有益效果：本案中对于多层数据存储结构中每一层级的压缩条件来进行进一步解释，层级数据库中的每一个层级存储空间的数据压缩契机可以是根据容量来判定，也可以是根据文件量来判定。灵活设定压缩的条件，避免数据量过大或整体数据容量过大，会引起数据压缩困难，或数据流混乱。

16、进一步，所述多层存储空间中每一层级存储空间对应的压缩条件包括：

17、每一层级存储空间中的所有缓存数据包的数据容量达到对应层级最大容量，所述层级最大容量与所述层级存储空间所属的层级相对应。

18、进一步，数据库中的每一个层级存储空间的层级最大容量，是从上到下逐渐增大的。

19、进一步，所述方法还包括：

20、通过对外接口获得用户查找信息；

21、计算层根据用户查找信息，结合自身事务信息查找到对应的分区和节点；

22、分布式文件管理层根据查找的分区和节点，找到对应的节点中的数据库；其中，分布式文件管理层在进行原始数据存储时，同步进行事务信息更新，以记录信息存储的元数据，所述元数据包括原始数据在存储到具体节点的数据库的路径。

23、有益效果：本案中具有分布式文件存储功能的数据库在建设投入使用期间，可以通过对外接口获得用户查找信息，随后找到对应的分区和节点，进而得到用户查找信息对应的数据存储节点。其中在进行原始数据存储时，还会进行事务进行的更新，即记录数据存储位置的索引，以方便后续用户查看或引用数据库中该节点中的数据信息。

24、本发明还提供基于tsdb存储引擎的数据处理系统，包括：

25、数据库创建模块，创建tsdb存储引擎的数据库；

26、存储模块，用于将所述原始数据存储到对应的数据库中；

27、所述数据库创建模块，包括节点解析单元、存储模式解析单元和数据库创建单元；

28、其中，存储模式解析单元，用于根据用户选择信息中的存储模式选择指令，得到对应的数据存储模式；

29、节点解析单元，用于根据用户选择信息中的节点架构指令，选择对应的分区、节点和数据库节点架构规则，进行数据库节点架构；

30、数据库创建单元，用于根据存储模式解析单元的指令和节点解析单元发送的数据库节点架构，构建出与所述用户选择信息对应的数据库。

31、进一步，所述方法还包括事务记录模块和查询模块：

32、事务记录模块，在存储模块进行原始数据存储时，同步进行事务信息更新，以记录信息存储的元数据，所述元数据包括原始数据在存储到具体节点的数据库的路径；

33、读取模块，用于输入用户查找信息；

34、查询模块，用于根据用户查找信息，从所述事务记录模块中找到对应的节点中的数据库。

35、本发明还提供一种网络侧服务端，包括至少一个处理器；以及，

36、与所述至少一个处理器通信连接的存储器；其中，

37、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一项所述的基于tsdb存储引擎的数据处理方法。

技术特征：

1.基于tsdb存储引擎的数据处理方法，其特征在于，包括：

2.根据权利要求1所述的基于tsdb存储引擎的数据处理方法，其特征在于，将用户输入的原始数据写入所创建的数据库中进行数据存储，还包括：

3.根据权利要求1所述的基于tsdb存储引擎的数据处理方法，其特征在于，将排序后的原始数据按照预设规律，存入数据库的多层数据存储结构，包括：

4.根据权利要求3所述的基于tsdb存储引擎的数据处理方法，其特征在于：所述多层存储空间中每一层级存储空间对应的压缩条件包括：

5.根据权利要求3所述的基于tsdb存储引擎的数据处理方法，其特征在于：所述多层存储空间中每一层级存储空间对应的压缩条件包括：

6.根据权利要求5所述的基于tsdb存储引擎的数据处理方法，其特征在于：数据库中的每一个层级存储空间的层级最大容量，是从上到下逐渐增大的。

7.根据权利要求1所述的基于tsdb存储引擎的数据处理方法，其特征在于，还包括：

8.基于tsdb存储引擎的数据处理系统，其特征在于，包括：

9.根据权利要求8所述的基于tsdb存储引擎的数据处理系统，其特征在于，所述方法还包括事务记录模块和查询模块：

10.一种网络侧服务端，其特征在于，包括：至少一个处理器；以及，

技术总结
本发明属于数据存储领域，提供基于TSDB存储引擎的数据处理方法、系统和网络侧服务端，所述方法包括：创建应用TSDB存储引擎的数据库；将用户输入的原始数据写入所创建的数据库中进行数据存储，包括：将在不同时间段通过不同数据节点获取的原始数据进行数据排序；将排序后的原始数据按照预设规律，存入数据库的多层数据存储结构。首先会对不同时间段的不通过数据节点所获取到的原始数据进行排序，随后再会进行数据存储。在进行存储前进行数据排序有助于很好的进行数据整理，同时也便于后续的数据存储和数据查看所需要的索引。

技术研发人员：隋鹏飞,胡津铭,周小华,赵海舟
受保护的技术使用者：浙江智臾科技有限公司
技术研发日：
技术公布日：2024/1/15