时序数据库的自适应时序数据管理系统及方法与流程

1.本发明涉及时序数据库技术领域，具体地说是时序数据库的自适应时序数据管理系统及方法。


背景技术：

2.时序数据库全称为时间序列数据库。时间序列数据库指主要用于处理带时间标签(按照时间的顺序变化，即时间序列化)的数据，带时间标签的数据也称为时间序列数据。
3.时间序列数据主要由电力行业、化工行业、气象行业、地理信息等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大。
4.在时序数据管理方面，传统的时序数据库均采用按照时间分区的形式，按照时间进行查询的效率较其他关系型数据库有极大提升，这也是时序数据库的特点之一；在数据备份和迁移部分，时序数据库跟其他数据库相差不多。
5.然而随着各行各业的发展，在某些场景下，仅仅通过时间进行分区已经达不到用户的需求了，需要对分区方式进行优化，而数据的备份迁移方面也需要有相应的提升。
6.如何改善时序数据库对时序数据的分析限制、优化数据备份和数据迁移流程，是需要解决的技术问题。


技术实现要素：

7.本发明的技术任务是针对以上不足，提供时序数据库的自适应时序数据管理系统及方法，来解决如何改善时序数据库对时序数据的分析限制、优化数据备份和数据迁移流程的技术问题。
8.第一方面，本发明的一种时序数据库的自适应时序数据管理系统，用于对时序数据的数据分区、数据备份和数据迁移进行管理，所述系统包括：
9.用户配置解析模块，所述用户配置解析模块通过用户配置界面与用户交互，用于支持用户设置分区参数，将分区参数解析分区对象、并构建系统表，用于以时间戳和系统表中分区对象为分区组合配置分区规则，并用于支持用户选择数据迁移类型；
10.存储和计算模块，所述存储和计算模块通过存储和计算界面与用户交互，用于支持用户创建分区对象，对于每个分区对象，用于根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，用于将所述分区对象以及对应对象数据记录到系统表中；
11.数据上传模块，所述数据上传模块通过数据上传界面与用户交互，用于支持用户传入数据，所述数据指定有分区对象，用于根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；
12.数据迁移模块，所述数据迁移模块通过数据迁移界面与用户交互，用于检测各个
节点的状态，对于数据存储量超过阈值的节点，触发节点迁移，对于触发节点迁移的节点，用于基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并用于更新系统表。
13.作为优选，所述用户配置解析模块用于对用户设置的分区参数进行检查，包括检查参数格式是否正确，检测合格后，用于将分区参数解析分区对象、并构建系统表。
14.作为优选，所述迁移类型包括：
15.迁移主节点数据，对于每个数据库节点，所述迁移主节点数据为将以所述数据库节点为主节点的分区对象以及对应的对象数据为需要迁移的数据；
16.迁移备节点数据，对于每个数据库节点，所述迁移备节点数据为将以所述数据库节点为备节点的分区对象以及对应的对象数据为需要迁移的数据；
17.动态迁移，对于每个数据库，所述迁移备节点数据为：基于以所述数据库节点为主节点的分区对象及对应对象数据、以及以所述数据库节点为备节点的分区对象及对应的对象数据，数据量少的分区对象以及对应的对象数据为需要迁移的数据。
18.作为优选，所述数据上传模块用于支持用户配置数据格式，所述数据格式用于限定用户上传的数据需要包括数据本身以及分区对象；
19.所述数据上传模块中基于数据格式对用户上传的数据进行格式验证，对于符合数据格式的数据，用于解析数据得到对应分区对象，根据分区对象、基于分区规则将所述数据本身存储至对应数据库节点。
20.作为优选，所述数据迁移模块用于调用定时任务，通过定时任务定时检查每个节点的节点状态，如果节点的数据存储量超过配置的阈值，触发所述节点的节点迁移。
21.第二方面，本发明的一种时序数据库的自适应时序数据管理方法，通过如第一方面任一项所述的时序数据库的自适应时序数据管理系统对时序数据进行数据上传、数据备份以及数据迁移，所述方法包括如下步骤：
22.设置分区参数，将分区参数解析分区对象、并构建系统表，以时间戳和系统表中分区对象为分区组合配置分区规则；并选择数据迁移类型；
23.创建分区对象，对于每个分区对象，根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，将所述分区对象以及对应对象数据记录到系统表中；
24.传入数据，所述数据指定有分区对象，根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；
25.检测各个节点的状态，对于数据存储量超过阈值的节点，触发节点迁移，对于触发节点迁移的节点，基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并更新系统表。
26.作为优选，对设置的分区参数进行检查，包括检查参数格式是否正确，检测合格后，将分区参数解析分区对象、并构建系统表。
27.作为优选，所述迁移类型包括：
28.迁移主节点数据，对于每个数据库节点，所述迁移主节点数据为将以所述数据库节点为主节点的分区对象以及对应的对象数据为需要迁移的数据；
29.迁移备节点数据，对于每个数据库节点，所述迁移备节点数据为将以所述数据库
节点为备节点的分区对象以及对应的对象数据为需要迁移的数据；
30.动态迁移，对于每个数据库，所述迁移备节点数据为：基于以所述数据库节点为主节点的分区对象及对应对象数据、以及以所述数据库节点为备节点的分区对象及对应的对象数据，数据量少的分区对象以及对应的对象数据为需要迁移的数据。
31.作为优选，传入数据之前，配置数据格式，所述数据格式用于限定用户上传的数据需要包括数据本身以及分区对象；
32.传入数据后，基于数据格式对上传的数据进行格式验证，对于符合数据格式的数据，解析数据得到对应分区对象，根据分区对象、基于分区规则将所述数据本身存储至对应数据库节点。
33.作为优选，通过如下步骤检测各个节点的状态：调用定时任务，通过定时任务定时检查每个节点的节点状态，如果节点的数据存储量超过配置的阈值，触发所述节点的节点迁移。
34.本发明的时序数据库的自适应时序数据管理系统及方法具有以下优点：
35.1、可以根据用户设定的分区参数的进行分区，提升用户的效率，方便用户操作，同时备份和迁移操作也为用户提供了相应的便利，更加适应于不同行业的用户使用；
36.2、由于分阶段统计，通过后续的计算算法优化和改进，可以不断得增加产品适用性，提升用户体验。
附图说明
37.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.下面结合附图对本发明进一步说明。
39.图1为实施例1时序数据库的自适应时序数据管理系统中用户配置解析模块的工作流程框图；
40.图2为实施例1时序数据库的自适应时序数据管理系统中存储和计算模块的工作流程框图；
41.图3为实施例1时序数据库的自适应时序数据管理系统中数据上传模块的工作流程框图；
42.图4为实施例1时序数据库的自适应时序数据管理系统中数据迁移模块的工作流程框图；
43.图5为实施例1时序数据库的自适应时序数据管理方法的流程框图。
具体实施方式
44.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
45.本发明实施例提供时序数据库的自适应时序数据管理系统及方法，用于解决如何
改善时序数据库对时序数据的分析限制、优化数据备份和数据迁移流程的技术问题。
46.本实施例中，时序数据指时间序列数据，是同一统一指标按时间顺序记录的数据列。
47.时序数据库为专门存储时序数据的数据仓库。
48.主节点是时序数据上传，存储的数据库节点，平时主要使用的节点。
49.备节点：是主节点时序数据的备份，平时不会使用，作为主节点宕机容灾使用，数据来源为主节点复制而来。
50.实施例1：
51.本发明一种时序数据库的自适应时序数据管理系统，包括用户配置解析模块、存储和计算模块、数据上传模块以及数据迁移模块，用于对时序数据的数据分区、数据备份和数据迁移进行管理。
52.用户配置解析模块通过用户配置界面与用户交互，用于支持用户设置分区参数，将分区参数解析分区对象、并构建系统表，用于以时间戳和系统表中分区对象为分区组合配置分区规则，并用于支持用户选择数据迁移类型。
53.作为改进，本实施例中用户配置解析模块还用于对用户设置的分区参数进行检查，包括检查参数格式是否正确，检测合格后，用于将分区参数解析分区对象、并构建系统表。
54.用户配置解析模块的工作流程如图1所示，用户通过用户配置界面录入设置的分区参数后，判定分区参数是否正确，如果正确，则对分区参数进行解析，得到分区对象并根据分区对象构建系统表，以时间戳和系统表对应的分区对象为分区组合配置分区规则，分区规则用于实现后续数据上传的存储。
55.同时，用户通过用户配合界面设置迁移类型，该系统支持三种迁移类型，分别为迁移主节点数据、迁移备节点数据以及动态迁移。对于每个数据库节点，迁移主节点数据为将以所述数据库节点为主节点的分区对象以及对应的对象数据为需要迁移的数据；迁移备节点数据为将以所述数据库节点为备节点的分区对象以及对应的对象数据为需要迁移的数据；迁移备节点数据为：基于以所述数据库节点为主节点的分区对象及对应对象数据、以及以所述数据库节点为备节点的分区对象及对应的对象数据，数据量少的分区对象以及对应的对象数据为需要迁移的数据。
56.当用户并未设置自适应分区对象时，数据迁移将按照普通随机迁移方式迁移。
57.作为一个具体案例，用户选择地域作为分区参数，则用户配置解析模块对分区参数“地域”进行解析，并基于分区对象构建系统表，该系统表为空表，具体字段内容由后续存储和计算模块添加配置。电力行业用电数据为例，地域限定为华北地区，则对应分区对象可为北京市、天津市、河北省、山西省、内蒙古自治区，在系统表中，各个分区对象作为字段记录在系统表中。
58.存储和计算模块通过存储和计算界面与用户交互，用于支持用户创建分区对象，对于每个分区对象，用于根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，用于将所述分区对象以及对应对象数据记录到系统表中。
59.本实施例中，存储和计算模块主要用于创建分区对象以及计算主备节点。当用户创建新的分区对象时，存储计算和分配模块会为其创建分区，并根据集群节点使用情况，为
分区对象选择合适的主备节点，并为其分配存储空间，将数据记录到系统表中。
60.该存储和计算模块的工作流程如图2所示，用户新建分区对象后，根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，并基于前期的系统表的表结构，将所述分区对象以及对应对象数据记录到系统表中。
61.作为一个具体案例，基于华北地区，用户依次创建分区对象北京市、天津市、河北省、山西省、内蒙古自治区，并为每个分区对象在系统表中，各个分区对象作为字段记录在系统表中，例如各个地区的名称、id等信息。
62.数据上传模块通过数据上传界面与用户交互，用于支持用户传入数据，所述数据指定有分区对象，用于根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点。
63.作为具体实施，数据上传模块用于支持用户配置数据格式，所述数据格式用于限定用户上传的数据需要包括数据本身以及分区对象；并用于基于数据格式对用户上传的数据进行格式验证，对于符合数据格式的数据，用于解析数据得到对应分区对象，根据分区对象、基于分区规则将所述数据本身存储至对应数据库节点。
64.本实施例数据上传模块的工作流程如图3所示，用户上传的数据必须按照定义的结构上传，当有数据上传到系统，数据上传模块判断数据格式是否正确，如果正确，则对数据进行解析得到分区对象，并根据分区对象将数据存储到对应的节点。作为具体实施，数据格式定义如下：
65.{
66.objectid:1
67.timestamp:2022-06-27 00:00:00
68.{
69.{
70.key:022-06-27 00:00:00
71.value:test1
72.}
73.{
74.key:022-06-27 00:00:00
75.value:test2
76.}
77.}
78.}
79.数据迁移模块通过数据迁移界面与用户交互，用于检测各个节点的状态，对于数据存储量超过阈值的节点，触发节点迁移，对于触发节点迁移的节点，用于基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并用于更新系统表。
80.作为具体实施，数据迁移模块包括计算模块和数据辅助模块。该数据迁移模块调用定时任务定时检查每个节点的节点状态，如果节点的数据存储量超过配置的阈值，触发所述节点的节点迁移。对于需要迁移的节点，计算模块用于根据选取的数据迁移类型选取
需要迁移的对象数据迁移到新的节点，并将需要迁移的对象数据迁移到新的节点发送到数据复制模块；数据复制模块用于执行数据迁移，将需要迁移的对象数据迁移到新的节点，迁移完毕后将分区对象以及对象数据的数据变更同步到系统表。
81.本实施例中数据迁移模块工作流程如图4所示，集群会有定时的后台进程一直检测各个节点的情况，当某一个节点数据存储达到压力值时，将触发数据迁移操作，根据选取的数据迁移类型选取需要迁移的对象数据迁移到新的节点，将变更数据发送到目标节点，迁移完毕后将分区对象以及对象数据的数据变更同步到系统表。
82.本实施例系统的工作流程为：
83.操作1：用户录入分区参数配置；
84.操作2：用户配置解析模块接受用户录入的分区参数；
85.操作3：将分区参数解析为对象，创建系统表；
86.操作4：创建分区对象时，存储和计算模块根据解析的参数为其创建分区，选择主备节点；
87.操作5：数据上传时，数据上传模块根据解析的分区对象，将数据上传到对应节点；
88.操作6：集群后台有定时任务定时检查节点状态；
89.操作7：当有节点存储达到压力值时，将由计算模块计算需要迁移的节点和分区对象，发送给数据复制模块；
90.操作8：由数据复制模块进行数据迁移，迁移完毕后进行数据变更。
91.该系统可以根据用户自己的选择进行分区，提升用户的效率，方便用户操作，同时备份和迁移操作也为用户提供了相应的便利，更加适应于不同行业的用户使用。
92.实施例2：
93.本发明一种时序数据库的自适应时序数据管理方法，通过实施例1公开的时序数据库的自适应时序数据管理系统对时序数据进行数据上传、数据备份以及数据迁移，该方法包括如下步骤：
94.s100、设置分区参数，将分区参数解析分区对象、并构建系统表，以时间戳和系统表中分区对象为分区组合配置分区规则；并选择数据迁移类型；
95.s200、创建分区对象，对于每个分区对象，根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，将所述分区对象以及对应对象数据记录到系统表中；
96.s300、传入数据，所述数据指定有分区对象，根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；
97.s400、检测各个节点的状态，对于数据存储量超过阈值的节点，触发节点迁移，对于触发节点迁移的节点，基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并更新系统表。
98.本实施例步骤s100中，用户设置分区参数后，对分区参数进行检查，判断参数格式是否正确，检测合格后，将分区参数解析分区对象、并构建系统表。
99.作为具体实施，步骤s100基于实施例系统公开的系统执行如下操作：用户通过用户配置界面录入设置的分区参数后，判定分区参数是否正确，如果正确，则对分区参数进行解析，得到分区对象并根据分区对象构建系统表，以时间戳和系统表对应的分区对象为分
区组合配置分区规则，分区规则用于实现后续数据上传的存储。
100.同时，用户通过用户配合界面设置迁移类型，本实施中配置有三种迁移类型，分别为迁移主节点数据、迁移备节点数据以及动态迁移。对于每个数据库节点，迁移主节点数据为将以所述数据库节点为主节点的分区对象以及对应的对象数据为需要迁移的数据；迁移备节点数据为将以所述数据库节点为备节点的分区对象以及对应的对象数据为需要迁移的数据；迁移备节点数据为：基于以所述数据库节点为主节点的分区对象及对应对象数据、以及以所述数据库节点为备节点的分区对象及对应的对象数据，数据量少的分区对象以及对应的对象数据为需要迁移的数据。
101.当用户并未设置自适应分区对象时，数据迁移将按照普通随机迁移方式迁移。
102.步骤s200创建分区对象以及计算主备节点。当用户创建新的分区对象时，通过实施例1系统中存储计算和分配模块创建分区，并根据集群节点使用情况，为分区对象选择合适的主备节点，并为其分配存储空间，将数据记录到系统表中。
103.步骤s200具体工作流程为：用户新建分区对象后，根据数据库集群节点使用情况为所述分区对象选择主节点和备节点、并分配存储空间，并基于前期的系统表的表结构，将所述分区对象以及对应对象数据记录到系统表中。
104.步骤s300通过实施例1系统中数据上传模块实现。用户上传的数据需要满足预设的数据格式，数据格式限定上传的数据需要包括是数据本身以及分区对象。用户上传数据后，基于数据格式对用户上传的数据进行格式验证，对于符合数据格式的数据，解析数据得到对应分区对象，根据分区对象、基于分区规则将所述数据本身存储至对应数据库节点。
105.作为具体实施，数据格式定义如下：
106.{
107.objectid:1
108.timestamp:2022-06-27 00:00:00
109.{
110.{
111.key:022-06-27 00:00:00
112.value:test1
113.}
114.{
115.key:022-06-27 00:00:00
116.value:test2
117.}
118.}
119.}
120.步骤s400基于系统中数据迁移模块实现。集群会有定时的后台进程一直检测各个节点的情况，当某一个节点数据存储达到压力值时，将触发数据迁移操作。本实施例步骤执行流程为：首先，调用定时任务定时检查每个节点的节点状态，如果节点的数据存储量超过配置的阈值，触发所述节点的节点迁移。对于需要迁移的节点，根据选取的数据迁移类型选取需要迁移的对象数据迁移到新的节点，将需要迁移的对象数据迁移到新的节点，迁移完
毕后将分区对象以及对象数据的数据变更同步到系统表。
121.本实施例的方法改变了传统时序数据库一般使用时间戳作为分区标准的规则，可以由用户自定义选择特殊字段作为分区标准，依据用户的选择进行分区，各个场景单独应对，更加方便用户的操作，备份方面，每份数据都有主备两个节点储存数据，增加系统的容灾性，如果节点数据存储压力过大，则要进行数据迁移，可以根据用户选择是进行主迁移还是备迁移，迁移过程也有一套独立的规则。
122.上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。