一种基于时间序列数据库的监控数据的处理方法与流程

[0001]
本发明涉及互联网技术领域，特别涉及一种基于时间序列数据库的监控数据的处理方法。


背景技术：

[0002]
现代社会是一个信息高度共享、互联网及移动通信技术飞速发展的时代，各类实时监测、检查与分析设备所采集、产生的数据都有典型的特点：产生频率快，每一个监测点一秒钟内可生产多条数据、严重依赖于采集时间，每一条数据要求对应唯一的时间、测点多信息量大。
[0003]
而常规的实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十gb的数据量，数据存储以及数据查询成为当前最重要的问题。


技术实现要素：

[0004]
本发明主要解决的技术问题是提供一种基于时间序列数据库的监控数据的处理方法，能够高效存储监控数据，极大提高了监控数据的处理能力，也提高了查询速度。
[0005]
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于基于时间序列数据库的监控数据的处理方法，其特征在于，包括：采用数据采集器采集需的监控数据；对所采集到的监控数据通过消息队列形式存储至时间序列数据库中，并记录每一监控条数据的采集时间点，且对监控数据进行界面展示；统一时间序列数据库的查询入口，并统一限制时间序列数据库查询的信息量以及查询的频率；设置多种形式的告警规则，并在告警条件达到时产生告警且通知用户。
[0006]
进一步的，该方法还包括：以时间序列数据库集群方式存储所采集到的监控数据。
[0007]
进一步的，该方法还包括：在记录每一条监控数据的采集时间点的同时，获取监控数据所对应的设备的唯一标识码，并将该设备的唯一标识码保存在时间序列数据库中；在确定通过唯一标识码查询该设备时，通过匹配程序将该设备的历史数据全部查询显示出来。
[0008]
进一步的，所述在确定通过唯一标识码查询该设备时，通过匹配程序将该设备的历史监控数据全部查询显示出来的步骤包括：获取需查询的配置信息，根据配置信息所关联的设备的唯一识别码从时间序列数据库中把预设周期内的历史监控数据统一查询出来，并把监控数据统一输出至界面展示。
[0009]
进一步的，该方法还包括：在确定需要新增监控数据时，将数据采集器下发到监控数据所对应的设备上。
[0010]
进一步的，所述时间序列数据库有多个，所述统一时间序列数据库的查询入口的步骤包括：为不同类型的设备设置对应的所述时间序列数据库的查询入口；设置每一所述时间序列数据库的查询入口的开启及关闭条件。
[0011]
进一步的，该方法还包括：通过查询入口输入查询语句时，如果确定查询语句所对
应的设备与查询入口不对应时，关闭该查询入口使得查询语句无法进入时间序列数据库中进行查询，并弹出提示语，且弹出与查询语句所对应的设备对应的查询入口；如果确定查询语句所对应的设备与查询入口对应时，通过该查询入口将查询语句输入时间序列数据库中进行查询。
[0012]
进一步的，所述统一限制时间序列数据库查询的信息量以及查询的频率的步骤包括：设置不同类型设备在时间序列数据库查询的信息量的阈值；设置不同类型设备在时间序列数据库查询的次数阈值及查询时间段。
[0013]
进一步的，该方法还包括：在确定某一设备在时间序列数据库查询的信息量在预设时间段内超过阈值时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口；在确定某一设备在查询时间段内在时间序列数据库查询的次数超过次数阈值时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口；在确定某一设备不在查询时间段内在时间序列数据库查询时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口。
[0014]
进一步的，该方法还包括：根据不同类型的设备控制时间序列数据库中设备的历史监控数据保存时限。
[0015]
本发明的有益效果是：区别于现有技术的情况，本发明所公开的基于基于时间序列数据库的监控数据的处理方法包括：采用数据采集器采集需的监控数据；对所采集到的监控数据通过消息队列形式存储至时间序列数据库中，并记录每一监控条数据的采集时间点，且对监控数据进行界面展示；统一时间序列数据库的查询入口，并统一限制时间序列数据库查询的信息量以及查询的频率；设置多种形式的告警规则，并在告警条件达到时产生告警且通知用户。通过上述方式，本发明所公开的基于时间序列数据库的监控数据的处理方法能够高效存储监控数据，极大提高了监控数据的处理能力，也提高了查询速度。
附图说明
[0016]
图1是本发明基于时间序列数据库的监控数据的处理方法的流程示意图。
具体实施方式
[0017]
下面结合附图和实施方式对本发明进行详细说明。
[0018]
如图1所示，该基于时间序列数据库的监控数据的处理方法包括以下步骤：
[0019]
步骤s101：采用数据采集器采集需的监控数据。
[0020]
该数据采集器自主研发的产品，能够对监控数据进行高强度识别并进行采集。具体地，该数据采集器预存有所采集的设备的预存识别码，因此在采集监控数据之前，该数据采集器先从监控数据解析出该监控数据所对应的设备的唯一识别码，并在判断出唯一识别码与预存识别码相同时再采集该监控数据。也就是说，该数据采集器并不是随便采集监控数据，是有针对性地采集监控数据。
[0021]
步骤s102：对所采集到的监控数据通过消息队列形式存储至时间序列数据库中，并记录每一监控条数据的采集时间点，且对监控数据进行界面展示。
[0022]
应理解，在步骤s102中，通过消息队列(即kafka消息队列)形式将监控数据存储在
时间序列数据库，能够实现将海量数据存储，这样通过用kafka以及influxdb(时间序列数据库)解决海量数据处理的工具，会大大减少数据在转储是花费的时间，保证了监控的时效性。
[0023]
步骤s103：统一时间序列数据库的查询入口，并统一限制时间序列数据库查询的信息量以及查询的频率。
[0024]
应理解，在步骤s103中，统一了时间序列数据库的查询入口，统一限制了时间序列数据库的查询的信息量以及查询频率，主要是为了防止劣性查询，保证数据库的稳定性。
[0025]
步骤s104：设置多种形式的告警规则，并在告警条件达到时产生告警且通知用户。
[0026]
进一步的，该基于时间序列数据库的监控数据的处理方法还包括：以时间序列数据库集群方式存储所采集到的监控数据，这样能够减轻单台服务的数据读写的压力，多点存储，也保证了数据的完整性。
[0027]
进一步的，该基于时间序列数据库的监控数据的处理方法还包括：
[0028]
步骤a1：在记录每一条监控数据的采集时间点的同时，获取监控数据所对应的设备的唯一标识码，并将该设备的唯一标识码保存在时间序列数据库中。
[0029]
步骤a2：在确定通过唯一标识码查询该设备时，通过匹配程序将该设备的历史数据全部查询显示出来。
[0030]
应理解，可以通过输入查询语句来查询，而该查询语句保护有唯一标识码，其中匹配程序为用户自主编写的，在步骤a2中，将该设备的历史数据全部查询显示出来，方便用户查看设备的整体情况。
[0031]
在本实施例中，在确定通过唯一标识码查询该设备时，通过匹配程序将该设备的历史监控数据全部查询显示出来的步骤包括：获取需查询的配置信息，根据配置信息所关联的设备的唯一识别码从时间序列数据库中把预设周期内的历史监控数据统一查询出来，并把监控数据统一输出至界面展示。
[0032]
进一步的，该基于时间序列数据库的监控数据的处理方法还包括：根据不同类型的设备控制时间序列数据库中设备的历史监控数据保存时限。也就是说，可以根据设备的重要性来控制设备的历史监控数据的保存的时长。
[0033]
具体地，根据不同类型的设备控制时间序列数据库中设备的历史监控数据保存时限包括：确定设备的级别为高级别的设备时，控制时间序列数据库中设备的历史监控数据保存时长越长，确定设备的级别为低级别的设备时，控制时间序列数据库中设备的历史监控数据保存时长越短。
[0034]
又或者根据不同类型的设备控制时间序列数据库中设备的历史监控数据保存时限包括：在预设查询时间段内确定设备被查询的次数越多时，控制时间序列数据库中设备的历史监控数据保存时长越长，在预设查询时间段内确定设备被查询的次数越少时，控制时间序列数据库中设备的历史监控数据保存时长越短。应理解，在预设查询时间段内为用户设定的时间，如一个月、二个月、三个月或半年。
[0035]
进一步的，该基于时间序列数据库的监控数据的处理方法还包括：在确定需要新增监控数据时，将数据采集器下发到监控数据所对应的设备上。也就是说，可以根据需要灵活对接监控平台，即需要新增监控的设备时，只需正常下发数据采集器到目的设备上，监控平台上的应用页面就能及时展现该设备的监控数据，以进行实时监控。
[0036]
综上，本实施例采用时间序列数据库来存储监控数据，使得可以高效存储和快速处理海量时序大数据，解决海量数据处理的一项重要技术，极大提高了时间相关数据的处理能力，相对于关系型数据库它的存储空间减半，查询速度极大的提高，而查询性能也远超过关系型数据库。
[0037]
进一步的，为了防止劣性查询，在本实施例中，时间序列数据库有多个，在步骤s103中，统一时间序列数据库的查询入口的步骤包括：
[0038]
步骤s1031：为不同类型的设备设置对应的时间序列数据库的查询入口。也就是说，每一个时间序列数据库的查询入口都对应有设备的，不是所有设备都能从时间序列数据库的查询入口查询到的。
[0039]
步骤s1032：设置每一时间序列数据库的查询入口的开启及关闭条件。也就是说，不是所有设备都能从时间序列数据库的查询入口查询到的，只有在时间序列数据库的查询入口查询对应的设备才行。
[0040]
进一步的，该基于时间序列数据库的监控数据的处理方法还包括：
[0041]
步骤b1：通过查询入口输入查询语句时，如果确定查询语句所对应的设备与查询入口不对应时，关闭该查询入口使得查询语句无法进入时间序列数据库中进行查询，并弹出提示语，且弹出与查询语句所对应的设备对应的查询入口。
[0042]
步骤b2：如果确定查询语句所对应的设备与查询入口对应时，通过该查询入口将查询语句输入时间序列数据库中进行查询。
[0043]
应理解，步骤b1和步骤b2为设置每一时间序列数据库的查询入口的开启及关闭条件的具体操作。
[0044]
在本实施例中，在步骤s103中，统一限制时间序列数据库查询的信息量以及查询的频率的步骤包括：
[0045]
步骤s1033：设置不同类型设备在时间序列数据库查询的信息量的阈值。也就是说，所查询的信息量也是限制的，这样能够有效防止劣性查询。
[0046]
步骤s1034：设置不同类型设备在时间序列数据库查询的次数阈值及查询时间段。也就是说，查询的次数及时间段也是有要求的，这样能够有效防止劣性查询。
[0047]
进一步的，该基于时间序列数据库的监控数据的处理方法还包括：
[0048]
步骤b3：在确定某一设备在时间序列数据库查询的信息量在预设时间段内超过阈值时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口。
[0049]
步骤b4：在确定某一设备在查询时间段内在时间序列数据库查询的次数超过次数阈值时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口。
[0050]
步骤b5：在确定某一设备不在查询时间段内在时间序列数据库查询时，产生告警并将告警发送至处于上班状态的工作人员中，且关闭当前时间序列数据库的查询入口。
[0051]
综上，本发明所公开的基于基于时间序列数据库的监控数据的处理方法包括：采用数据采集器采集需的监控数据；对所采集到的监控数据通过消息队列形式存储至时间序列数据库中，并记录每一监控条数据的采集时间点，且对监控数据进行界面展示；统一时间序列数据库的查询入口，并统一限制时间序列数据库查询的信息量以及查询的频率；设置
多种形式的告警规则，并在告警条件达到时产生告警且通知用户。通过上述方式，本发明所公开的基于时间序列数据库的监控数据的处理方法能够高效存储监控数据，极大提高了监控数据的处理能力，也提高了查询速度。
[0052]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。