一种基于DCIM系统的数据分层管理存储方法及系统与流程

一种基于dcim系统的数据分层管理存储方法及系统
技术领域
1.本发明涉及数据存储技术领域，具体涉及一种基于dcim系统的数据分层管理存储方法及系统。


背景技术：

2.dcim系统在实际运行过程中，需要将所有采集的设备的运行数据进行汇总，以一般中大型数据中心而言，需要每隔一段时间采集测点数据，并将历史数据保存起来，数据至少要保留三年，所以需要保存的数据量是非常大的，在保证基础数据的存储、展示外，还要保证设备测点数据展示的实时性，避免引数据量大导致数据查询缓慢。
3.在现有技术中，为实现数据的存储，会采用高性能的数据库如oracle来做数据存储底座，并且采用人工干预的方式，隔一段时间手动将数据做一次备份，以确保实际使用的数据控制在一个合理的范围内。然而一般高性能数据库需要付费，并且需要定期对设备进行备份，不利于对整体运行状态的把控。


技术实现要素：

4.因此，本发明为了保证在存储数据量的不断增加，满足高性能实时数据查询以及dcim系统的相关操作的稳定，从而提供一种基于dcim系统数据分层管理存储方法及系统。
5.第一方面，本发明提供的基于dcim系统的数据分层管理存储方法，包括：将dcim系统中设备的基础信息存储于关系型数据库中，所述关系型数据库具有操作简单及存储数据不易出错的特性；
6.将dcim系统中设备测点的实时数据存储于k-v数据库中，所述k-v数据库具有大吞吐量和读写速度快的特性；
7.将dcim系统中设备测点的历史数据存储于nosql数据库中，所述nosql数据库具有大数据存储量的特性。
8.在一实施例中，关系型数据库包括mysql，k-v数据库包括redis，nosql数据库包括clickhouse。
9.在一实施例中，dcim系统分别直接与mysql、redis及clickhouse连通进行数据处理。
10.在一实施例中，mysql存储的基础信息不会随着设备的实时运行数据变化而变化。
11.在一实施例中，redis存储的设备测点的实时运行数据，供dcim系统进行查询展示；clickhouse存储的设备测点的历史运行数据，供dcim系统进行后续数据分析统计。
12.在一实施例中，clickhouse中记录设备测点的id、时间和运行数据。
13.在一实施例中，clickhouse中存储代表mysql存储的设备基础信息的关键数据，clickhouse与mysql结合得到设备的完整信息供dcim系统查询。
14.第二方面，本发明还提供了一种基于dcim系统的数据分层管理存储系统，包括：关系型数据库，用于存储设备的基础信息；
15.k-v数据库，用于存储设备测点的实时数据；
16.nosql数据库，用于存储设备测点的历史数据。
17.第三方面，本发明还提供一种计算机设备包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行基于dcim系统的数据分层管理存储方法。
18.第四方面，本发明还提供一种计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行基于dcim系统的数据分层管理存储方法。
19.本发明技术方案，具有如下优点：
20.本发明将dcim系统中设备的基础信息存储于关系型数据库中，将dcim功能的数据从逻辑上拆分开来，将dcim系统中设备测点的实时数据存储于k-v数据库中，将dcim系统中设备测点的历史数据存储于nosql数据库中。本发明所使用的存储底座都是免费且社区强大的，同时避免了人为干预造成数据不完整的风险，采用分层结构，保证数据查询的实时性，又可以保证对数据的有效存储利用。
附图说明
21.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明实施例提出的基于dcim系统的数据分层管理存储方法流程图。
23.图2是本发明实施例提出的基于dcim系统的数据分层管理存储系统的一个示例的结构示意图。
24.图3是本发明实施例提出的基于dcim系统的数据分层管理存储系统的技术架构图。
25.图4是本发明实施例提出的一种计算机设备的硬件结构示意图。
具体实施方式
26.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.目前现有技术为实现数据的存储，会采用高性能的数据库如oracle来做数据存储底座，并且采用人工干预的方式，隔一段时间手动将数据做一次备份，以确保实际使用的数据控制在一个合理的范围内。然而一般高性能数据库需要付费，并且需要定期对设备进行备份，不利于对整体运行状态的把控。
28.为解决上述问题，本发明实施例中提供一种基于dcim系统的数据分层管理存储方法，用于计算机设备中。下述方法实施例中，均以执行主体是计算机设备为例来进行说明。
29.图1是根据本发明实施例提出的一种基于dcim系统的数据分层管理存储方法。如图1所示，基于dcim系统的数据分层管理存储方法包括如下步骤s1至s3：
30.步骤s1，将dcim系统中设备的基础信息存储于关系型数据库中，所述关系型数据
库具有操作简单及存储数据不易出错的特性。
31.dcim系统在实际运行过程中，会接入不同的子系统，如动力与环境系统、安防系统、消防系统等，这些子系统会检测实际设备的运行参数。dcim需要将所有接入的子系统采集的数据进行汇总存储，将dcim系统中设备的基础信息存储于关系型数据库中。
32.在本发明实施例中，关系型数据库包括mysql；所述关系型数据库包括mysql仅作为例，不以此为限。dcim系统直接与mysql连通进行数据处理，如图3所示，dcim系统读取mysql数据，查询基础信息。
33.在本发明实施例中，mysql存储的基础信息包括设备信息、设备模板和告警阈值等信息，mysql存储的基础信息不会随着设备的实施运行数据变化而变化。
34.步骤s2，将dcim系统中设备测点的实时数据存储于k-v数据库中，所述k-v数据库具有大吞吐量和读写速度快的特性。
35.在本发明实施例中，k-v数据库包括redis；所述k-v数据库包括redis仅作为举例，不以此为限。dcim系统直接与redis连通进行数据处理，保证了数据读取的实时性。
36.在本发明实施例中，dcim系统可以查询redis中的实时数据进行实时展示。
37.在本发明实施例中，如图3所示，dcim系统应用于有告警阈值计算需求的领域，会查看redis中的实时运行数据与mysql中的告警阈值进行比较判断设备测点是否异常。
38.步骤s3，将dcim系统中设备测点的历史数据存储于nosql数据库中，所述nosql数据库具有大数据存储量的特性。
39.在本发明实施例中，nosql数据库包括clickhouse，所述nosql数据库包括clickhouse仅作为举例，不以此为限。clickhouse直接与dcim系统连通进行数据处理，保证了可以存储更多的数据。
40.在本发明实施例中，clickhouse存储设备测点的历史运行数据，以及记录设备测点的id、时间和运行数据，供dcim系统进行后续数据分析统计。
41.在本发明实施例中，clickhouse中存储能代表mysql存储的设备基础信息的关键数据；clickhouse与mysql结合得到设备的完整信息供dcim系统查询。
42.在本发明实施例中，clickhouse中存储的关键数据能够代表mysql中除设备测点的其他信息，dcim系统在查询clickhouse的数据时，可以查询到设备的完整信息。
43.如图2所示，本发明实施例提供的基于dcim系统的数据分层管理存储系统，包括：关系型数据库、k-v数据库和nosql数据库，其中：
44.关系型数据库，用于存储dcim系统中设备的基础信息，具有操作简单且存储数据不易出错的特性；
45.l-v数据库，用于存储dcim系统中设备测点的实时数据，具有大吞吐量和读写速度快的特性；
46.nosql数据库，用于存储dcim系统中设备测点的历史数据，具有大数据存储量的特性。
47.上述基于dcim系统的数据分层存储管理系统的具体限定以及有效效果可以参见上文中对于基于dcim系统的数据分层存储管理方法的限定，在此不再赘述，上述各个数据库可全部或部分通过软件、硬件及其组合来实现，上述各数据库可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以
便于处理器调用执行以上各个模块对应的操作。
48.图4是根据本发明实施例提出的一种计算机设备的硬件结构示意图。如图4所示，该设备包括一个或多个处理器310以及存储器320，存储器320包括持久内存、易失内存和硬盘，图4中以一个处理器310为例。该设备还可以包括：输入装置330和输出装置340。
49.处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图4中以通过总线连接为例。
50.处理器310可以为中央处理器(central processing unit，cpu)。处理器310还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
51.存储器320作为一种非暂态计算机可读存储介质，包括持久内存、易失内存和硬盘，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本技术实施例中的分层管理存储方法对应的程序指令/模块。处理器310通过运行存储在存储器320中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述任意一种主题名称方法。
52.存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据、需要使用的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器320可选包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
53.输入装置330可接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
54.一个或者多个模块存储在存储器320中，当被一个或者多个处理器310执行时，执行如图1所示的基于dcim系统的数据分层管理存储方法。
55.上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1所示的实施例中的相关描述。
56.本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的分层管理存储方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
57.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或
变动仍处于本发明创造的保护范围之中。