一种可插拔式时序数据库文件系统与装置的制作方法

本发明涉及数据库，更确切地说，它涉及一种可插拔式时序数据库文件系统与装置。

背景技术：

1、工业互联网领域influxdb是一款传统的时序数据库，在众多应用场景中得到了广泛的使用，其采用的数据架构如图1所示，通过内存与磁盘的衔接实现了数据的读写操作。当数据写入达到一定限度时触发内存写入磁盘操作，持续的海量数据落盘对整个系统来讲会产生较大的负担，同时时间相对久远的历史数据其数据价值较低。当前的数据库的数据清理策略是设置一个库的存储周期，对于过期的数据进行自动的删除。

2、但是，传统的influxdb的时序数据库存在以下缺陷：

3、1.非独立的存储文件：特定时序数据库落盘的二进制的序列化数据存储文件对外界程序来讲是一个不可见数据，无法单独解析数据块，只有从数据的索引结构出发，才能够逐层解析到对应的数据，缺乏一种开开放统一的数据格式。

4、2.不具备冷热数据分离的能力：数据库表的数据保存周期限于创建库表时设置的参数，一旦策略设定，过期的数据将会被删除，对回溯历史数据造成较大影响。

5、3.多类型存储介质支撑能力匮乏：当前存储介质多种多样如sata盘，ssd,云盘，s3，hdfs等，influxdb通常情况下只支持磁盘作为存储介质。

技术实现思路

1、本发明的目的是针对现有技术的不足，提出了一种可插拔式时序数据库文件系统与装置。

2、第一方面，提供了一种可插拔式时序数据库文件系统，包括：

3、测点，为数据源在某个时间产生的某个量测指标值；

4、执行节点，用于通过加载插件的方式加载不同类型介质的文件；

5、管理节点，用于进行测点信息管理和执行节点信息管理；

6、管理节点备用节点，通过同步的方式完全备份管理节点的信息。

7、作为优选，所述插件包括：磁盘插件、s3接入插件、hdfs接入插件和阿里云接入插件。

8、作为优选，所述插件中存储有列式存储文件，所述列式存储文件包括文件头信息和数据块；

9、所述文件头信息包括测点信息，测点信息维护了测点名称及其属性，通过时间线索引将文件中的数据块进行关联；

10、所述数据块用于进行列式存储，包括字段信息和列信息，所述字段信息用于指示信息类型，所述列信息用于存储数据。

11、作为优选，所述列式存储文件的数据块中，根据所述字段信息，对相应类型的字段进行自动化选择压缩编码方式。

12、作为优选，所述管理节点通过测点-执行节点-文件-时间顺序的索引结构，提供数据查询写入的链路。

13、第二方面，提供了一种可插拔分布式文件管理时序文件加载方法，由第一方面任一所述的可插拔式时序数据库文件系统执行，包括：

14、s1、通过管理端或者命令的方式加载文件；

15、s2、执行节点检查加载文件的格式与测点信息和字段信息是否符合当前的测点格式，当不能够通过校验时将会提示格式不合法；当文件损坏或者出现连接异常提示对应的错误信息；

16、s3、列式存储文件符合校验格式时，执行节点将存储文件的文件头信息、数据块和时间序列，并上报到测点管理列表；

17、s4、测点信息以及列式存储文件信息注册到管理节点，提供后期使用。

18、第三方面，提供了一种可插拔分布式文件管理时序文件卸载方法，由第一方面任一所述的可插拔式时序数据库文件系统执行，包括：

19、s1、通过管理端或者命令的方式卸载文件；

20、s2、查找测点信息确认需要卸载的时序数据文件，确认该文件中的测点是否在其他文件中也存在，如果不存在，删除对应的测点，同时删除文件；如果在其他文件块中存在则更新管理端测点连接信息；

21、s3、执行节点卸载时序数据文件。

22、第四方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第二方面所述的可插拔分布式文件管理时序文件加载方法。

23、第五方面，提供了另一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行第三方面所述的可插拔分布式文件管理时序文件卸载方法。

24、本发明的有益效果是：

25、1.本发明通过管理节点与执行节点的配合实现具备分布式，同时，通过插件的方式可以挂载分布在磁盘，对象存储，云存储等位置的列式时序数据存储文件，实现了数据库系统与文件的物理分离。

26、2.本发明提供了一种全新的时序数据专用的列式存储文件格式，结合时序数据与列式存储的核心要点，测点与时间线加上列式存储组合达到了时序数据的效果。

27、3.本发明可以动态调整时序数据文件的加载与卸载，可以达到对冷热数据做分离，动态加载需要的数据到查询系统中。同时可以独立文件系统提供给不同的数据处理引擎来使用。

28、4.本发明通过测点与时间线两种索引模式相互配合达到高效的具有高效的时序数据查询效率。

技术特征：

1.一种可插拔式时序数据库文件系统，其特征在于，包括：

2.根据权利要求1所述的可插拔式时序数据库文件系统，其特征在于，所述插件包括：磁盘插件、s3接入插件、hdfs接入插件和阿里云接入插件。

3.根据权利要求2所述的可插拔式时序数据库文件系统，其特征在于，所述插件中存储有列式存储文件，所述列式存储文件包括文件头信息和数据块；

4.根据权利要求3所述的可插拔式时序数据库文件系统，其特征在于，所述列式存储文件的数据块中，根据所述字段信息，对相应类型的字段进行自动化选择压缩编码方式。

5.根据权利要求4所述的可插拔式时序数据库文件系统，其特征在于，所述管理节点通过测点-执行节点-文件-时间顺序的索引结构，提供数据查询写入的链路。

6.一种可插拔分布式文件管理时序文件加载方法，其特征在于，由权利要求1至5任一所述的可插拔式时序数据库文件系统执行，包括：

7.一种可插拔分布式文件管理时序文件卸载方法，其特征在于，由权利要求1至5任一所述的可插拔式时序数据库文件系统执行，包括：

8.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行权利要求6所述的可插拔分布式文件管理时序文件加载方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行权利要求7所述的可插拔分布式文件管理时序文件卸载方法。

技术总结
本发明涉及一种可插拔式时序数据库文件系统与装置，包括：测点、执行节点、管理节点和管理节点备用节点，执行节点用于通过加载插件的方式加载不同类型介质的文件；管理节点用于进行测点信息管理和执行节点信息管理；管理节点备用节点通过同步的方式完全备份管理节点的信息。本发明的有益效果是：本发明通过管理节点与执行节点的配合实现具备分布式，同时，通过插件的方式可以挂载分布在磁盘，对象存储，云存储等位置的列式时序数据存储文件，实现了数据库系统与文件的物理分离。

技术研发人员：孙运利,刘轩驿,刘炜焘,陈批,周祥玉,窦阳
受保护的技术使用者：浙江浙能数字科技有限公司
技术研发日：
技术公布日：2024/2/6