数据管理方法、数据管理装置及存储介质与流程

1.本发明涉及数据库管理技术领域，尤其涉及一种数据管理方法、数据管理装置及存储介质。


背景技术：

2.随着5g网络大规模商用、移动互联网的普及、数据通讯成本的急剧下降，以及各种低成本的传感技术和智能设备的出现，除了传统的手机、计算机在实时采集并产生数据之外，从手环、共享单车、出租车、智能电表到电梯、工业生产线上的设备等都在源源不断地产生实时数据。通过大规模并行处理数据库(massively parallel processing database,mppdb)可以方便对这些海量的数据进行管理。
3.现有技术下数据库管理员需要定时分析mppdb的磁盘空间状态，以维持mppdb在有限的磁盘空间条件下正常运行，但是数据库管理员无法得知用户查询行为，无法得知哪些数据因过期可以删除，哪些数据不可以删除，哪些数据是需要增加索引来加快用户的查询效率，只能按照人为判断进行管理，因此目前mppdb的磁盘空间管理技术还有待改进。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本发明实施例提供了一种数据管理方法、数据管理装置及存储介质，能够优化mppdb的磁盘空间的占用情况。
6.第一方面，本发明实施例提供了一种数据管理方法，应用于大规模并行处理数据库mppdb，所述数据管理方法包括：
7.基于来自用户的查询请求得到用户对mppdb进行查询的查询行为信息；
8.基于所述查询行为信息，通过机器学习生成存储预测模型并根据所述存储预测模型得到mppdb的预测存储状态；
9.基于所述预测存储状态调整mppdb中的存储分区。
10.第二方面，本发明实施例提供了一种数据管理装置，包括至少一个处理器和用于与所述至少一个处理器通信连接的存储器；所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述的数据管理方法。
11.第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行前述第一方面的数据管理方法。
12.本发明实施例提供的数据管理方法、数据管理装置及存储介质，基于用户对mppdb的查询行为通过机器学习训练得到mppdb数据的存储预测模型，根据存储预测模型预测mppdb中数据的变化，从而预先对存储分区进行优化调整，提高mppdb进行查询的速度，更好
地满足用户的查询和分析需求，同时也减少了mppdb存储资源投入。
13.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
14.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的示例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
15.图1是本发明第一方面一个实施例提供的数据管理方法的流程图；
16.图2是本发明第一方面另一个实施例提供的数据管理方法的流程图；
17.图3是本发明第一方面另一个实施例提供的数据管理方法的流程图；
18.图4是本发明第一方面另一个实施例提供的数据管理方法的流程图；
19.图5是本发明第一方面另一个实施例提供的数据管理方法的流程图；
20.图6是本发明第一方面另一个实施例提供的数据管理方法的流程图；
21.图7是本发明第一方面另一个实施例提供的数据管理方法的流程图；
22.图8是本发明第一方面另一个实施例提供的数据管理方法的流程图；
23.图9是本发明提供的实际例子的一个日期的存储分区示例图；
24.图10是本发明提供的实际例子的另一个日期的存储分区示例图；
25.图11是本发明实施例提供的数据管理装置的装置结构示意图。
具体实施方式
26.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
27.本发明实施例提供了一种数据管理方法、数据管理装置及存储介质，利用机器学习基于用户的查询行为信息进行训练，得到存储预测模型，该存储预测模型用于根据用户的查询习惯预测大规模并行处理数据库的存储分区的变动情况，从而提前对大规模并行处理数据库的存储分区进行调整，能够加快用户在大规模并行处理数据库中的查询速度。
28.下面结合附图，对本发明实施例作进一步阐述。
29.本发明实施例第一方面提供了一种数据管理方法，应用于大规模并行处理数据库mppdb，参照图1，本发明实施例的数据管理方法包括但不限于以下步骤s100、步骤s200和步骤s300。
30.步骤s100，基于来自用户的查询请求得到用户对mppdb进行查询的查询行为信息。
31.mppdb用于存储结构化的数据，所谓结构化的数据是指通过二维表结构来逻辑表达和实现的数据，包括由传感器、终端设备、交易系统等所产生的数据，这些数据通常具有但不限于以下特性：(1)数据是时序的，必定带有时间戳；(2)数据有保留期限；(3)数据大部分都带有地理位置信息；(4)数据极少有更新或者自动删除；(5)数据量巨大，一天采集并上报的数据量可能超过一千万条；(6)对数据的查询分析基于时间段和地理位置信息；因此在mppdb中对这些数据通过二维表的方式进行存储，为了加快查询速度，mppdb将二维表进行
划分，得到多个存储分区，每个存储分区可以基于时间段进行区分，又或者基于地理位置信息进行区分，当数据库接收到用户发起的查询时，mppdb基于自身的查询方式，并行对多个存储分区发起查询，最后将对每个存储分区的查询子结果进行汇总后向用户返回本次查询的结果。用户为了提高在数据库中查询的准确程度，其查询请求中通常会包含查询所涉及的表、分区信息、索引状态、数据量、时间跨度和地理位置等一个或多个信息，基于此，本发明实施例步骤s100获取用户查询请求中包含的各种信息，通过解析用户查询请求中的各种信息可以得到用户对mppdb的查询行为信息，从而为本发明实施例的机器学习提供特征信息进行模型训练。可以理解的是，上述的用户查询，可以是一个或多个用户发起的一个或多个查询请求，并且这些查询请求可以是一个或者多个客户端设备通过本地或者网络的方式对mppdb发起，而该客户端可以是请求执行查询的任何设备，例如电脑终端、智能手机等。
32.步骤s200，基于查询行为信息，通过机器学习生成存储预测模型并根据存储预测模型得到mppdb的预测存储状态。
33.由上述说明的数据的几个特性可知，随着时间的推移，数据库中的数据会越来越多，而mppdb的磁盘空间有限，数据库管理员需要定期分析数据的磁盘空间状态，如果发现磁盘占用空间异常，就需要对数据库中的数据进行人工调整，但是数据库管理员无法准确得知用户的查询行为，无法准确对数据库中的数据进行管理。基于此，本发明实施例通过机器学习技术对步骤s100中解析得到的用户的查询行为信息进行训练，建立查询行为信息与mppdb中数据的存储方式之间的关联性，从而得到存储预测模型，通过该存储预测模型可以预测磁盘中数据的存储状态，例如数据的写入量、数据被查询的次数、数据的有效时间和数据的位置信息分类等，mppdb根据存储预测模型得到的预测存储状态自动对数据库中的数据(或存储分区)进行管理，从而优化数据在mppdb中的存储方式。可以理解的是，本发明实施例中通过机器学习技术实现预测训练模型，实际上包括了对查询行为信息进行特征化处理的过程，即基于用户的查询行为提取得到适用于机器学习训练模型的特征信息，根据特征信息和训练模型可以得到上述存储预测模型。可以理解的是，机器学习技术的实现基于一种或多种现有的算法，例如，决策树算法、人工神经网络算法、深度学习等，这些算法在大数据处理方式都得到了广泛的应用，具体的算法选择并非本发明的重点，为了节省篇幅，在此不展开训练模型通过算法的实现方式。
34.步骤s300，基于预测存储状态调整mppdb中的存储分区。
35.可以理解的是，根据预测存储状态自动对数据库中的数据进行管理，可以调用mppdb中预先存储的优化策略对数据(或存储分区)进行调整，也可以根据实际的预测存储状态进行实时判断来对数据(或存储分区)进行调整。所涉及的调整方式包括但不限于：创建/删除存储分区的索引、降低索引的层次、创建/删除存储分区、删除过期数据等。这些具体的调整方式将在下面作进一步说明。上述调整过程无需数据库管理员参与，可以根据时间的推移触发上述调整过程，又或者通过用户发起的查询触发上述调整过程，最终实现对mppdb中数据存储方式的优化，从而减少数据加载频次、提高查询速度，通过自动调整还可以将mppdb的磁盘占用率维持在一个合理的范围内，减少磁盘开销。
36.在一实施例中，参照图2，步骤s300包括如下步骤s310：
37.步骤s310，根据预测存储状态，在mppdb中创建第一存储分区。
38.由上述说明可知，存储预测模型用于对mppdb中数据的变化进行预测，那么，当系
统时间进入下一个时间点(例如系统时间来到新的一天)或者接收到用户的查询请求，存储预测模型依据时间点或者用户的查询对mppdb的磁盘空间进行预测；例如，当系统时间来到新的一天，根据以往的数据写入量预测，需要在mppdb中创建一个新的存储分区来保存即将写入的数据，并且根据数据写入量的大小，为创建的这个新的存储分区设定时间范围(时间戳在设定时间范围内的数据均写入到该存储分区)。通过提前创建第一存储分区，可以防止出现在新数据写入时再创建分区造成的延迟。值得注意的是，提前创建的第一存储分区的时间范围可以是超过当前时间的，即在当前日期下创建未来日期的存储分区，并随着日期的不断推移，持续创建新的存储分区，从而实现对上报数据的快速存储。
39.在一实施例中，参照图3，步骤s200中的查询行为信息包括用户的查询粒度，预测存储状态包括第一存储分区的预测数据写入量，基于上述步骤s310，步骤s300还包括如下步骤s320：
40.步骤s320，根据预测数据写入量的大小和查询粒度确定第一存储分区的时间范围。
41.决定新创建的第一存储分区的时间范围的主要因素有两方面，一方面是用户对数据进行查询的查询粒度，即在某一时间段内的数据是被用户频繁查询的，那么为了能够提高查询速度，基于这一时间段(即时间范围)创建第一存储分区，这样，根据用户的查询习惯，mppdb可以快速定位到第一存储分区，从而加快得到查询结果的速度；另一方面是预测数据写入量，由前述可知，mppdb中数据的上报量大，并且呈现明显的时间规律，即部分时间段内的数据上报量比其他时间段内的数据上报量要大，例如，傍晚到深夜之间，智能手机终端产生的数据量很大，甚至超过了当天其余时间段的数据上报量，而往往这一时间段内的数据对于企业来说更具有分析价值，那么为了方便企业/用户对该时间段内数据的查找和分析，依据该时间段设定第一存储分区的时间范围；当然，这一情况下由于其余时间段的数据上报量不大，也可以直接按一个或连续多个自然日设定第一存储分区的时间范围，例如设定第一存储分区的时间范围是2020年4月1日。
42.在一实施例中，参照图4，步骤s200中的查询行为信息包括用户对不同存储分区进行查询的查询频率，基于步骤s310创建的第一存储分区，本发明实施例的数据管理方法还包括步骤s400和步骤s410：
43.步骤s400，基于查询频率，根据存储预测模型得到用户对第一存储分区的预测查询频率；
44.步骤s410，当预测查询频率大于查询频率阈值，为第一存储分区创建索引。
45.本实施例通过分析用户对近期数据的查询频率，高于查询频率阈值，则认为对第一存储分区进行频繁查询的可能性很大，那么为了加快对第一存储分区的查询速度，为第一存储分区创建索引。mppdb中索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息，即与在表中搜索所有的行相比，索引有助于更快地获取信息。值得注意的是，本实施例中提到的查询频率阈值，用于区分用户查询是否达到频繁的级别，这个阈值可以是人为根据经验设定的频率阈值，也可以是存储预测模型根据用户的查询行为信息得出的一个频率阈值。
46.在一实施例中，参照图5，步骤s200中的查询行为信息包括用户对mppdb中数据进行查询的查询时间范围，那么步骤s300还包括如下步骤s330：
47.步骤s330，删除超出查询时间范围的存储分区中的数据。
48.本实施例中考虑了mppdb中对超期数据的处理，超期数据通常是指没有查询价值的废弃数据，例如设备更新换代后一些旧设备的运行参数、具有一定年限的通话记录等，企业/用户已经不会再对这些数据进行查询，则往往需要数据库管理员人工查找和删除这些数据，例如，一些更新频率较快的数据，当超过30天，已经没有参考价值，超出了企业/用户对其进行查询的时间范围，因此，存储预测模型依据查询行为信息中的查询时间范围，对存储分区中的数据进行删除，可以减轻mppdb的存储压力，避免人工维护的滞后性。
49.在一实施例中，参照图6和图7，上述步骤s330还包括步骤s331或者步骤s332：
50.步骤s331，当存储分区中数据的时间戳均超出查询时间范围，将存储分区删除。
51.步骤s332，当存储分区中一部分数据的时间戳超出查询时间范围，将存储分区拆分为超期分区和未超期分区，并将超期分区删除，其中，超期分区中的数据的时间戳均超出查询时间范围的分区，非超期分区中的数据的时间戳均未超出查询时间范围的分区。
52.步骤s331和步骤s332是删除存储分区中数据的两种不同的策略，由于存储分区可以设定不同的时间范围，在按时间对数据进行删除的过程，不可避免会出现一个存储分区中部分数据是超期数据，而余下部分的数据是非超期数据的情况；在步骤s331的策略下，等待存储分区中全部数据都超期后再对该存储分区进行删除，可以在一定程度上减少对存储分区的操作，在步骤s332的策略下，将超期数据和非超期数据拆分成两个存储分区，仅对存在超期数据的存储分区进行删除，这样可以不考虑原存储分区的时间范围，实时对数据进行删除以减轻存储压力，但对存储分区的操作与步骤s331的策略相比要更多。
53.在一实施例中，参照图8，步骤s200中查询行为信息包括用户对不同存储分区进行查询的查询频率和用户对mppdb中数据进行查询的查询时间范围；那么，本发明实施例的数据管理方法还包括但不限于以下步骤s510、步骤s520、步骤s530和步骤s540：
54.步骤s510，当mppdb存储空间的占用率低于第一占用率阈值，删除超过查询时间范围的存储分区中的数据；
55.步骤s520，当mppdb存储空间的占用率高于第一占用率阈值且低于第二占用率阈值，删除预测查询频率低于查询频率阈值的存储分区的索引；
56.步骤s530，当mppdb存储空间的占用率高于第二占用率阈值且低于第三占用率阈值，对存储分区进行分区交换操作以压缩存储分区的数据；
57.步骤s540，当mppdb存储空间的占用率高于第三占用率阈值，删除存储分区中预测查询频率低于查询频率阈值的数据。
58.本实施例提出了一种自主多级反馈机制的优化策略，通过步骤s510至步骤s540能够自主维护mppdb的磁盘空间，例如设定第一占用率阈值为25％，第二占用率阈值为50％，第三占用率阈值为80％；当mppdb的磁盘占用率低于25％，即使用户没有对mppdb进行任何操作，基于自主多级反馈机制的优化策略根据查询时间范围，对超过查询时间范围的存储分区中的数据进行删除，例如通过扫描磁盘各个存储分区的时间，判断是否超过查询时间范围，如果存储分区中有数据超过查询时间范围，就删除超期的数据甚至删除存储分区；可以理解的是，扫描磁盘的时间可以根据需要设定，如果数据更新较快，查询时间范围的粒度较小，可以设定一个较短的扫描时间，如果数据更新较慢，查询时间范围的粒度较大，例如60天，那么可以设定一个较长的扫描时间，例如一天扫描一次。当mppdb的磁盘占用率高于
25％且低于50％，则删除一部分存储分区的索引，这部分存储分区为存储预测模型推断用户不会进行频率查询的分区(即低于查询频率阈值的分区)，由于索引也会占用一定的存储空间，因此可以选择删除低于查询频率阈值的存储分区的索引，从而降低磁盘占用率；当mppdb的磁盘占用率高于50％且低于80％，通过交换分区的操作降低磁盘占用率，存储分区在查询过程中由于不同程度的数据加载，会出现分区膨胀的情况，此时通过分区交换操作可以对膨胀分区中的数据进行压缩，从而减低磁盘占用率；当mppdb的磁盘占用率高于80％，则认为此时磁盘占用相当高，需要采用更加激进的手段对数据进行处理，本实施例将用户不频繁查询的数据全部删除，仅保留用户频繁查询的数据，从而大幅减小磁盘中的数据。可以理解的是，上述几个占用率阈值可以根据实际需要设置，且每个占用率阈值形成的区间对应的优化策略也可以根据需要设定，本实施例仅以示例的方式作出说明，目的在于说明采用上述优化策略，可以降低磁盘占用，保证mppdb系统处于可用状态，为用户提供更好的查询服务。
59.在一实施例中，步骤s200中通过机器学习生成存储预测模型，包括：将查询行为信息作为训练集，基于堆叠法stacking，通过机器学习对查询行为信息进行训练，得到存储预测模型。
60.为了保证存储预测模型的准确性和健壮性，通过堆叠式训练方法对训练模型进行训练。现有的方法在实际应用中容易出现验证错误和测试错误不一致的问题，造成上述不一致的原因在于过度拟合和概念漂移，以及基本分类器模型具有很强的相关性，例如，用户的查询行为信息中，查询频率往往与查询对象的属性有关，即用户重点关心的属性会倾向于对其频繁查询。为了解决这一问题，采用多级堆叠技术训练一个具有一致验证和测试性能的健壮的系统。本发明实施例提供了一种两级堆叠技术的示意图，将训练数据分为五层，并基于留一法策略训练五个不同的模型，留一法策略将训练数据中的五层数据中的一层用于预测，其余四层用于训练目的，训练后的模型还应用于进行测试并为每个模型生产一个预测。为了对测试数据进行预测，确定每个模型的各组预测分数的平均值，将五组预测分数的平均值构成第六个模型；然后，五个预测分数被视为测试数据上的新训练数据，使用预测模型的新训练和测试数据集生成最终结果，即存储预测模型。堆叠法的优点是避免了传统训练方法中交叉验证而导致的过度拟合，并解释了由于将输出作为特征而导致特征间存在的非线性。
61.上述实施例，基于用户对mppdb中数据进行查询的行为习惯，以及当前数据库的数据流通、存储状态，通过机器学习建立存储预测模型，根据存储预测模型自动对mppdb的磁盘空间进行管理，从而实现数据存储方式的优化，相比于数据库管理员的人工分析管理，本发明实施例能够更加准确地得到分析结果，进而减轻磁盘的开销。
62.下面以实际例子对本发明实施例进行说明：
63.参照图9，在一个具体测量对象的目标表中，包含20200501_7、20200508_7、20200515_3、20200518_3、20200521_3、20200524_3和20200527_3等7个存储分区(本示例中存储分区以日期_天数来命名)，并设定用户经常对mppdb中最近一周的数据进行查询(即大于查询频率阈值的数据是最近一周的数据)，且设定用户只会查询最近三周的数据(即查询时间范围是三周)；假设当前时间是2020年5月27日，存储预测模型从用户的查询行为信息中学习到，用户会频繁查询最近一周的数据，同时还得知mppdb在未来几天内的数据上报量
中等，那么自动创建一个新的分区20200530_3，同时为20200530_3创建索引，另一方面，此时由于20200501_7已经超过了三周的查询时间范围，那么删除20200501_7这个存储分区；参照图10，随着时间推移，日期来到2020年5月30日，根据之前用户的查询行为习惯，还是会频繁查询最近一周的数据，但月末最后一天的数据上报量非常大，那么创建一个新的分区20200531_1并为其创建索引，同时由于存储分区20200521_3超出了一周的时间范围，因此删除20200521_3的索引，通过创建时间范围是1天的存储分区，只存储5月31日当天的数据，满足用户细粒度的查询，更快更可靠。上述创建新分区的时间范围在实际场景需要参照多个维度，例如，对于不同区域的数据，具有不同的数据属性，在基于基站划分覆盖范围的区域中，当前区域的数据以15分钟一次的粒度上报，并为其保留30天，而与当前区域相邻的另一基站覆盖的区域，由于两个基站的覆盖范围有重叠，因此相邻区域的数据有可能进入到当前区域，对于邻区数据虽然也以15分钟一次的粒度上报，但仅为其保留7天。
64.本发明实施例的第二方面提供了一种数据管理装置，包括至少一个处理器和用于与至少一个处理器通信连接的存储器；存储器存储有能够被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述第一方面的数据管理方法。
65.参照图11，以数据管理装置1000中的控制处理器1001和存储器1002可以通过总线连接为例。存储器1002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器1002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器1002可选包括相对于控制处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至数据管理装置1000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
66.本领域技术人员可以理解，图11中示出的装置结构并不构成对数据管理装置1000的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
67.本发明实施例的数据管理装置通过执行第一方面的数据管理方法，基于用户对mppdb中数据进行查询的行为习惯，以及当前数据库的数据流通、存储状态，通过机器学习建立存储预测模型，根据存储预测模型自动对mppdb的磁盘空间进行管理，从而实现数据存储方式的优化，相比于数据库管理员的人工分析管理，本发明实施例能够更加准确地得到分析结果，进而减轻磁盘的开销。
68.本发明实施例的第三方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，被图11中的一个控制处理器1001执行，可使得上述一个或多个控制处理器执行上述方法实施例中的数据管理方法，例如，执行以上描述的图1中的方法步骤s100至步骤s300、图2中的方法步骤s310、图3中的方法步骤s320、图4中的方法步骤s410至步骤s420、图5中的方法步骤s330、图6中的方法步骤s331、图7中的方法步骤s332和图8中的方法步骤s510至步骤s540。
69.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
70.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可
以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
71.以上是对本技术的较佳实施进行了具体说明，但本技术并不局限于上述实施方式，熟悉本领域的技术人员在不违背本技术精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。