数据存储方法、查询方法及装置的制造方法

文档序号:10553054阅读:899来源:国知局
数据存储方法、查询方法及装置的制造方法
【专利摘要】本申请公开了数据存储方法、查询方法及装置。所述数据存储方法的一【具体实施方式】包括:采集对数据中心进行监控所生成的监控数据;将所采集的监控数据存储在预设的键值型内存数据库中;将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。该实施方式同时保证了实时性数据的访问时效性,也降低了数据库部署成本。
【专利说明】
数据存储方法、查询方法及装置
技术领域
[0001 ]本申请涉及计算机技术领域,具体涉及数据中心监控技术领域,尤其涉及数据存储方法、查询方法及装置。
【背景技术】
[0002]随着数据中心的规模越来越大,基础设施(动力环境系统和冷水自控系统)监控的数据也越来越庞大,所监控的数据在平台上进行统一存储和展示。
[0003]对于用户而言,平台中监控数据展示的时效性非常重要,因此需要进一步提高监控数据展示的实时性。

【发明内容】

[0004]本申请的目的在于提出一种改进的数据存储、查询方法和装置,来解决以上【背景技术】部分提到的技术问题。
[0005]第一方面,本申请提供了一种数据查询方法,所述方法包括:采集对数据中心进行监控所生成的监控数据;将所采集的监控数据存储在预设的键值型内存数据库中;将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。
[0006]在一些实施例中,所述将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库,包括:以预设周期将所述键值型内存数据库中存储时间达到所述预设时长阈值的监控数据转存到所述关系型磁盘数据库。
[0007]在一些实施例中,所述监控数据是监控设备对所述数据中心进行监控生成的;以及所述采集对数据中心进行监控所生成的监控数据是通过以下任一方式采集的:监控设备周期性获取设备采集点对所述数据中心进行检测所获取的检测值,当本周期获取的检测值与上一周期获取的检测值的变化量或变化率达到预设变化量阈值或变化率阈值时,上传用于表示检测值的监控数据;监控设备周期性将获取的监控数据进行全量上传;按照预设的订阅信息中所指示的订阅周期定时从监控设备拉取数据。
[0008]在一些实施例中,所述监控设备为多个监控设备,且各个监控设备在统一的时间同步服务器的控制下进行操作。
[0009]在一些实施例中,所述将所采集的监控数据存储在预设的键值型内存数据库中,包括:对从不同监控设备采集到的同类型监控数据,以统一的存储格式进行存储。
[0010]在一些实施例中,在所述从数据中心的监控设备采集监控数据之后,所述方法还包括:
[0011]使用与所述数据中心的监控设备所上传监控数据的数据格式匹配的报文协议对采集到的监控数据进行解析。
[0012]在一些实施例中,所述采集对数据中心进行监控所生成的监控数据以及所述使用与所述数据中心的监控设备所上传监控数据的数据格式匹配的报文协议对采集到的监控数据进行解析,包括:通过线程池方式采集和解析监控数据。
[0013]在一些实施例中,所述监控数据包括多种类型的监控数据,且不同类型的监控数据分别采用不同的任务队列存放以实现异步执行,所述监控数据的类型至少包括实时状态监控数据和告警数据。
[0014]在一些实施例中,所述键值型内存数据库部署在处于异地的至少两个内存级存储介质上,以及所述将所采集的监控数据存储在预设的键值型内存数据库中,包括:将同一监控数据分别在所述至少两个内存级存储介质中。
[0015]第二方面,本申请提供了一种数据查询方法,所述方法包括:接收客户端对监控数据的查询请求,其中所述监控数据是对数据中心的设备进行监控所生成的数据,所述查询请求包括用于指示查询实时监控数据或历史监控数据的参数;若所述查询请求包括的参数指示查询实时监控数据时,从键值型内存数据库中获取监控数据并反馈给所述客户端进行展示;若所述查询请求包括的参数指示查询历史监控数据,在关系型磁盘数据库中获取监控数据并反馈给所述客户端进行展示;其中,所述键值型内存数据库用于在对监控数据进行采集时存储所采集的监控数据,所述关系型磁盘数据库用于在对所述键值型内存数据库中存储时间达到预设时长的监控数据进行转存时存储所转存的监控数据。
[0016]第三方面,本申请提供了一种数据存储装置,所述装置包括:采集单元,用于采集对数据中心进行监控所生成的监控数据;存储单元,用于将所采集的监控数据存储在预设的键值型内存数据库中;转存单元,用于将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。
[0017]第四方面,本申请提供了一种数据查询装置,所述装置包括:采集单元,用于采集对数据中心进行监控所生成的监控数据;存储单元,用于将所采集的监控数据存储在预设的键值型内存数据库中;转存单元,用于将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。
[0018]本申请提供的数据存储、查询方法和装置,通过将预设时长阈值内的数据中心监控数据存储在键值型内存数据库中,而将超过预设时长阈值的数据中心监控数据存放在传统的关系型内存数据库中,同时保证了实时性数据的访问时效性,也降低了数据库部署成本。
【附图说明】
[0019]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
[0020]图1是本申请可以应用于其中的示例性系统架构图;
[0021 ]图2是根据本申请的数据存储方法的一个实施例的流程图;
[0022]图3是根据本申请的数据查询方法的一个实施例的流程图;
[0023]图4是根据本申请的数据存储装置的一个实施例的结构示意图;
[0024]图5是根据本申请的数据查询装置的一个实施例的结构示意图;
[0025]图6是适于用来实现本申请实施例的数据平台服务器或展示设备的计算机系统的结构示意图。
【具体实施方式】
[0026]下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
[0027]需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0028]图1示出了可以应用本申请的数据存储方法、查询方法及装置的实施例的示例性系统架构100。
[0029]如图1所示,系统架构100可以包括数据监控设备101、102、103,网络104、106、数据平台服务器105和展示设备107。网络104、106分别用以在数据监控设备101、102、103和数据平台服务器105之间以及数据平台服务器105和展示设备107之间提供通信链路的介质。网络104、106可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
[0030]用户可以使用展示设备107通过网络104与数据平台服务器105交互,以接收或发送消息等。展示设备101、102、103可以是具有显示屏或者其他用于进行信息展示的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExperts Group Aud1 Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Aud1 Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
[0031]数据平台服务器105可以是用于为展示设备107提供数据支持的服务器,数据平台服务器105中的数据可以是通过数据监控设备101、102以及103对数据中心中的设备进行监控而上传的数据。此外,数据中心服务器105可以包括多个服务器,数据中心服务器105中可以安装有类型不同的多个数据库应用,不同的数据库应用可以部署在相应的具体服务器上。
[0032]需要说明的是,本申请实施例所提供的数据存储方法、查询方法一般由数据平台服务器101执行,相应地,数据存储方法、查询装置一般设置于数据平台服务器101中。
[0033]应该理解,图1中的数据监控设备、网络、数据平台服务器和展示设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的数据监控设备、数据平台服务器和展示设备。
[0034]继续参考图2,示出了根据本申请的数据存储方法的一个实施例的流程200。所述的数据存储方法,包括以下步骤:
[0035]步骤201,采集对数据中心进行监控所生成的监控数据。
[0036]在本实施例中,数据存储方法运行于其上的电子设备(例如图1所示的数据平台服务器)可以通过有线连接方式或者无线连接方式采集监控数据。该监控数据可以是对数据中心进行监控所生成的数据。实践中,可以是对数据中心的动力环境系统中、冷水自控系统等不同系统中的设备进行监控所形成的数据。需要说明的是,监控数据可以是实现状态数据,例如电压、电流、功率等。
[0037]需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
[0038]步骤202,将所采集的监控数据存储在预设的键值型内存数据库中。
[0039]在本实施例中,电子设备(例如图1中的数据平台服务器)可以包括多个用于存储数据的数据库服务器。这些数据库服务器可以包括用于部署键值型内存数据库的服务器,也可以包括用于部署关系型磁盘数据库的服务器。内存数据库,是将数据放在内存中直接操作的数据库。相对于磁盘,内存的数据读写速度要高出几个数量级,因此将数据保存在内存数据库中相比从磁盘上访问能够极大地提高应用的性能。内存数据库从范型上可以分为关系型内存数据库和键值型内存数据库,其中键值型内存数据库更加易于使用,性能和可扩展性更好,因此在应用上比关系型的内存数据库使用更多。键值型内存数据库可以是FastDB、Memcached、Redis以及其他键值型内存数据库。可选的,该键值型内存数据库可以选用Redis数据库。关系型磁盘数据库可以是建立在关系模型基础上的数据库,且存储介质为磁盘的数据库,例如MySQL数据库、Oracle数据库等。
[0040]对于通过步骤201采集到的监控数据,电子设备可以将该监控服务器存储在部署键值型内存数据库中。
[0041 ]步骤203,将键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。
[0042]在本实施例中,数据存储方法运行于其上的电子设备上可以对键值型内存数据库中的监控数据进行检测。当这些监控数据在内存数据库中的存储时间达到预设时长阈值时,电子设备可以将这些数据从键值型内存数据库转存到预设的关系型磁盘数据库中。
[0043]在本实施例的一些可选实现方式中,步骤203中,可以以预设周期将键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到关系型磁盘数据库。通过这种方法,电子设备可以周期性地每隔一段时间转存一次,避免不断地转存数据造成存储介质的读写操作过多,从而增加存储介质的使用寿命。
[0044]在本实施例的一些可选实现方式中,上述监控数据是监控设备(例如图1中的数据监控设备)对数据中心进行监控生成的,以及步骤201中采集对数据中心进行监控所生成的监控数据是通过以下任一方式采集的:(I)监控设备周期性获取设备采集点对数据中心进行检测所获取的检测值,当本周期获取的检测值与上一周期获取的检测值的变化量或变化率达到预设变化量阈值或变化率阈值时,上传用于表示检测值的监控数据。这种方式中,监控设备在监控数据发生显著变化时,才进行上传,有利于减小数据传输量,减小网络负荷。
(2)监控设备周期性将获取的监控数据进行全量上。这种方式对每次检测到的监控数据全量上传,有利于提高监控数据的完整度。(3)按照预设的订阅信息中所指示的订阅周期定时从监控设备拉取数据。在该方式中,针对不同的业务可以采用不同的订阅周期,比如对于计算电源使用效率(PUE,Power Usage Effectiveness)相关点位的数据,时效性要求极高,可以采用更短的订阅周期。
[0045]在本实施例的一些可选实现方式中,上述监控设备为多个监控设备,且各个监控设备在统一的时间同步服务器的控制下进行操作。时间同步服务器从GPS卫星上获取标准时钟信号信息,将这些信息在网络中传输,网络中需要时间信号的设备如计算机,控制器等设备就可以与标准时间源同步。该实现方式中,可以使用时间同步服务器对各个监控设备提供统一的时间同步服务,以减小网络通信的延迟产生的影响,进一步保证数据的时效性和数据的准确性。
[0046]在本实施例的一些可选实现方式中,步骤202进一步包括:对从不同监控设备采集到的同类型监控数据,以统一的存储格式进行存储。在本实施例中,监控数据的类型可以是实时状态数据,可以是告警数据,也可以是其他类型。对于相同类型的数据,例如实时状态数据,存储上可以将所有数据内容抽象为键值形式进行存储。表的结构可以设置为较为简单的结构,例如存储四个字段:1d (标识符),key (键),vaI (值),createt ime (创建时间)。又例如,对于告警数据,也可以设计统一存储结构,统一从各个监控系统采集到告警信息的告警等级、告警信息等字段的存储方式。存储数据时,以统一的存储格式存储同类数据,可以实现设备通信协议对上层应用的透明,保证上层应用调用接口的归一化,有利于与上层应用模块进行适配。
[0047]在本实施例的一些可选实现方式中,在步骤201之后,上述数据存储方法进一步包括:使用与数据中心的监控设备所上传监控数据的数据格式匹配的报文协议对采集到的监控数据进行解析。在该实现方式中,对于采集到是二进制数据,电子设备根据不同的报文协议而采用不同方式进行解析。所采用的报文协议可以与监控数据来自的监控设备预先建立关联,从而报文协议可用于与该监控设备所上传的数据的数据格式匹配。
[0048]在本实施例的一些可选实现方式中,上述采集对数据中心进行监控所生成的监控数据以及使用与数据中心的监控设备所上传监控数据的数据格式匹配的报文协议对采集到的监控数据进行解析,可以通过线程池方式采集和监控数据。通过线程池方式,可以提高数据采集效率和报文解析效率。
[0049]在本实施例的一些可选实现方式中,监控数据包括多种类型的监控数据,且不同类型的监控数据分别采用不同的任务队列存放以实现异步执行。其中,监控数据的类型至少包括实时状态监控数据和告警数据。在本实现方式中,不同类型的数据。采用不同的任务队列存放不同类型的数据,各个队列异步执行,可以进一步提高数据采集效率和报文解析效率。
[0050]在本实施例的一些可选实现方式中,键值型内存数据库部署在处于异地的至少两个内存级存储介质上,以及上述步骤202包括:将同一监控数据分别在至少两个内存级存储介质中。在该实现方式中,通过对键值型内存数据库中的数据进行异地的备份存储,有利于提高监控数据的容灾性能。
[0051]本申请的上述实施例提供的方法通过将预设时长阈值内的数据中心监控数据存储在键值型内存数据库中,而将超过预设时长阈值的数据中心监控数据存放在传统的关系型内存数据库中,同时保证了实时性数据的访问时效性,也降低了数据库部署成本。
[0052]进一步参考图3,其示出了数据查询方法的一个实施例的流程300。该数据查询方法的流程300,包括以下步骤:
[0053]步骤301,接收客户端对监控数据的查询请求。
[0054]在本实施例中,数据查询方法运行于其上的电子设备(例如图1所示的数据平台服务器)可以包括多个用于存储数据的数据库服务器。这些数据库服务器可以包括用于部署键值型内存数据库的服务器,也可以包括用于部署关系型磁盘数据库的服务器。其中键值型内存数据库用于在对监控数据进行采集时存储所采集的监控数据,关系型磁盘数据库用于在对键值型内存数据库中存储时间达到预设时长的监控数据进行转存时存储所转存的监控数据。键值型内存数据库以及关系型磁盘数据库中数据的存储方法可以参考图2对应实施例,这里不再赘述。
[0055]电子设备可以通过有线连接方式或者无线连接方式接收客户端(例如图1中的展示设备)对监控数据的查询请求。其中,查询请求包括用于指示查询实时监控数据或历史监控数据的参数。该参数可以供用户设置不同的值,相应的值分别与查询实时监控数据和与查询历史监控数据相对应。
[0056]步骤302,若查询请求包括的参数指示查询实时监控数据时,从键值型内存数据库中获取监控数据并反馈给客户端进行展示。
[0057]在本实施例中,基于步骤301所接收的查询请求,电子设备可以对该查询请求中的参数进行判断。当该参数指示查询实时监控数据时,电子设备可以从键值型内存数据库中获取相应的监控数据并反馈给客户端进行展示。
[0058]步骤303,若查询请求包括的参数指示查询历史监控数据,在关系型磁盘数据库中获取监控数据并反馈给客户端进行展示。
[0059]在本实施例中,若电子设备判断上述参数指示查询历史监控数据,则电子设备可以在关系型磁盘数据库中获取相应的监控数据并反馈给客户端进行展示。
[0060]从图3中可以看出,本申请的上述实施例提供的方法在接收查询请求时,可以区分对实时数据的查询和对历史数据的查询,对于前者可以从键值型内存数据库读取数据,对于后者则从关系型数据库中读取数据。由此,本实施例描述的方案可以保证了实时性数据的访问时效性,也降低了数据库部署成本。
[0061]进一步参考图4,作为对上述图2所示方法的实现,本申请提供了一种数据存储装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种数据平台服务器中。
[0062]如图4所示,本实施例所述的数据存储装置400包括:采集单元401、存储单元402、转存单元403。其中,采集单元401用于采集对数据中心进行监控所生成的监控数据;存储单元402用于将所采集的监控数据存储在预设的键值型内存数据库中;转存单元403用于将键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。
[0063]在本实施例中,数据存储装置400的采集单元401、存储单元402、转存单元403的具体处理可以参考图2对应实施例的步骤201、步骤202以及步骤203,这里不再赘述。
[0064]在本实施例的一些可选实现方式中,转存单元403可以进一步用于:以预设周期将键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到关系型磁盘数据库。具体处理可以参考图2实施例中对应的实现方式,这里不再赘述。
[0065]在本实施例的一些可选实现方式中,监控数据是监控设备对数据中心进行监控生成的,以及采集单元401可以是通过以下任一方式采集监控数据的:监控设备周期性获取设备采集点对数据中心进行检测所获取的检测值,当本周期获取的检测值与上一周期获取的检测值的变化量或变化率达到预设变化量阈值或变化率阈值时,上传用于表示检测值的监控数据;监控设备周期性将获取的监控数据进行全量上传;按照预设的订阅信息中所指示的订阅周期定时从监控设备拉取数据。
[0066]在本实施例的一些可选实现方式中,监控设备为多个监控设备,且各个监控设备在统一的时间同步服务器的控制下进行操作。
[0067]在本实施例的一些可选实现方式中,存储单元402进一步用于:对从不同监控设备采集到的同类型监控数据,以统一的存储格式进行存储。
[0068]在本实施例的一些可选实现方式中,上述数据存储装置还包括解析单元,用于在从数据中心的监控设备采集监控数据之后,使用与数据中心的监控设备所上传监控数据的数据格式匹配的报文协议对采集到的监控数据进行解析。
[0069]在本实施例的一些可选实现方式中,上述数据采集单元401和数据解析单元可以进一步用于通过线程池方式采集和解析监控数据。
[0070]在本实施例的一些可选实现方式中,上述监控数据包括多种类型的监控数据,且不同类型的监控数据分别采用不同的任务队列存放以实现异步执行,监控数据的类型至少包括实时状态监控数据和告警数据。
[0071]在本实施例的一些可选实现方式中,键值型内存数据库部署在处于异地的至少两个内存级存储介质上,以及存储单元402进一步用于:将同一监控数据分别在至少两个内存级存储介质中。
[0072]进一步参考图5,作为对上述图3所示方法的实现,本申请提供了一种数据查询装置的一个实施例,该装置实施例与图3所示的方法实施例相对应,该装置具体可以应用于各种数据平台服务器中。
[0073]如图5所示,本实施例所述的数据存储装置500包括:接收单元501、实时监控数据查询单元502、历史监控数据查询单元503。其中,接收单元501用于接收客户端对监控数据的查询请求,其中监控数据是对数据中心的设备进行监控所生成的数据,该查询请求包括用于指示查询实时监控数据或历史监控数据的参数;实时监控数据查询单元502用于若查询请求包括的参数指示查询实时监控数据时,从键值型内存数据库中获取监控数据并反馈给客户端进行展示;历史监控数据查询单元503用于若查询请求包括的参数指示查询历史监控数据,在关系型磁盘数据库中获取监控数据并反馈给客户端进行展示。
[0074]在本实施例中,数据查询装置500的接收单元501、实时监控数据查询单元502、历史监控数据查询单元503的具体处理可以参考图3对应实施例的步骤301、步骤302以及步骤303,这里不再赘述。
[0075]下面参考图6,其示出了适于用来实现本申请实施例的数据平台服务器或展示设备的计算机系统600的结构示意图。
[0076]如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(R0M)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 60KROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线 604。
[0077]以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606 ;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口 605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0078]特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。
[0079]附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0080]描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括采集单元、存储单元、转存单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,采集单元还可以被描述为“采集对数据中心进行监控所生成的监控数据的单元”。
[0081]作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:采集对数据中心进行监控所生成的监控数据;将所采集的监控数据存储在预设的键值型内存数据库中;将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。或者,上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:接收客户端对监控数据的查询请求,其中所述监控数据是对数据中心的设备进行监控所生成的数据,所述查询请求包括用于指示查询实时监控数据或历史监控数据的参数;若所述查询请求包括的参数指示查询实时监控数据时,从键值型内存数据库中获取监控数据并反馈给所述客户端进行展示;若所述查询请求包括的参数指示查询历史监控数据,在关系型磁盘数据库中获取监控数据并反馈给所述客户端进行展示;其中,所述键值型内存数据库用于在对监控数据进行采集时存储所采集的监控数据,所述关系型磁盘数据库用于在对所述键值型内存数据库中存储时间达到预设时长的监控数据进行转存时存储所转存的监控数据。
[0082]以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
【主权项】
1.一种数据存储方法,其特征在于,所述方法包括: 采集对数据中心进行监控所生成的监控数据; 将所采集的监控数据存储在预设的键值型内存数据库中; 将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。2.根据权利要求1所述的方法,其特征在于,所述将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库,包括: 以预设周期将所述键值型内存数据库中存储时间达到所述预设时长阈值的监控数据转存到所述关系型磁盘数据库。3.根据权利要求1所述的方法,其特征在于,所述监控数据是监控设备对所述数据中心进行监控生成的;以及 所述采集对数据中心进行监控所生成的监控数据是通过以下任一方式采集的: 监控设备周期性获取设备采集点对所述数据中心进行检测所获取的检测值,当本周期获取的检测值与上一周期获取的检测值的变化量或变化率达到预设变化量阈值或变化率阈值时,上传用于表示检测值的监控数据; 监控设备周期性将获取的监控数据进行全量上传; 按照预设的订阅信息中所指示的订阅周期定时从监控设备拉取数据。4.根据权利要求3所述的方法,其特征在于,所述监控设备为多个监控设备,且各个监控设备在统一的时间同步服务器的控制下进行操作。5.根据权利要求4所述的方法,其特征在于,所述将所采集的监控数据存储在预设的键值型内存数据库中,包括: 对从不同监控设备采集到的同类型监控数据,以统一的存储格式进行存储。6.根据权利要求1所述的方法,其特征在于,在所述从数据中心的监控设备采集监控数据之后,所述方法还包括: 使用与所述数据中心的监控设备所上传监控数据的数据格式匹配的报文协议对采集到的监控数据进行解析。7.根据权利要求6所述的方法,其特征在于,所述采集对数据中心进行监控所生成的监控数据以及所述使用与所述数据中心的监控设备所上传监控数据的数据格式匹配的报文协议对采集到的监控数据进行解析,包括: 通过线程池方式采集和解析监控数据。8.根据权利要求7所述的方法,其特征在于,所述监控数据包括多种类型的监控数据,且不同类型的监控数据分别采用不同的任务队列存放以实现异步执行,所述监控数据的类型至少包括实时状态监控数据和告警数据。9.根据权利要求1所述的方法,其特征在于,所述键值型内存数据库部署在处于异地的至少两个内存级存储介质上,以及 所述将所采集的监控数据存储在预设的键值型内存数据库中,包括: 将同一监控数据分别在所述至少两个内存级存储介质中。10.一种数据查询方法,其特征在于,所述方法还包括: 接收客户端对监控数据的查询请求,其中所述监控数据是对数据中心的设备进行监控所生成的数据,所述查询请求包括用于指示查询实时监控数据或历史监控数据的参数;若所述查询请求包括的参数指示查询实时监控数据时,从键值型内存数据库中获取监控数据并反馈给所述客户端进行展示; 若所述查询请求包括的参数指示查询历史监控数据,在关系型磁盘数据库中获取监控数据并反馈给所述客户端进行展示; 其中,所述键值型内存数据库用于在对监控数据进行采集时存储所采集的监控数据,所述关系型磁盘数据库用于在对所述键值型内存数据库中存储时间达到预设时长的监控数据进行转存时存储所转存的监控数据。11.一种数据存储装置,其特征在于,所述装置包括: 采集单元,用于采集对数据中心进行监控所生成的监控数据; 存储单元,用于将所采集的监控数据存储在预设的键值型内存数据库中; 转存单元,用于将所述键值型内存数据库中存储时间达到预设时长阈值的监控数据转存到预设的关系型磁盘数据库中。12.一种数据查询装置,其特征在于,所述装置还包括: 接收单元,用于接收客户端对监控数据的查询请求,其中所述监控数据是对数据中心的设备进行监控所生成的数据,所述查询请求包括用于指示查询实时监控数据或历史监控数据的参数; 实时监控数据获取单元,用于若所述查询请求包括的参数指示查询实时监控数据时,从键值型内存数据库中获取监控数据并反馈给所述客户端进行展示; 历史监控数据获取单元,用于若所述查询请求包括的参数指示查询历史监控数据,在关系型磁盘数据库中获取监控数据并反馈给所述客户端进行展示; 其中,所述键值型内存数据库用于在对监控数据进行采集时存储所采集的监控数据,所述关系型磁盘数据库用于在对所述键值型内存数据库中存储时间达到预设时长的监控数据进行转存时存储所转存的监控数据。
【文档编号】G06F17/30GK105912703SQ201610267040
【公开日】2016年8月31日
【申请日】2016年4月26日
【发明人】胡在斌, 李博
【申请人】北京百度网讯科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1