监控数据的处理方法及装置的制造方法_4

文档序号:9523921阅读:来源:国知局
避免直接把监控数据写入磁盘数据库时产生的磁盘I/O读写速度瓶颈。
[0079]步骤S507:定时保存于磁盘数据库。
[0080]具体地,以定时事务方式提交数据至磁盘数据库。定时以事务的方式把内存数据库中的监控数据写入磁盘数据库,由于内存数据库中的监控数据已经是经过压缩的,在很大程度上减少了监控数据的规模,同时,事务方式能有效提升磁盘数据库的读写速度。内存数据库加磁盘数据库的数据保存方式能解决保存大规模实时监控数据产生磁盘I/O读写瓶颈的问题,同时能在很大程度上减少数据存储的磁盘空间。
[0081]具体地,针对地址(即上述实施例的访问标识)可以使运用上述实施例的监控数据处理方法的系统的上层业务逻辑与底层的数据采集分离,增大了本方案实施的灵活性;对监控点的数据进行两次过滤,使用内存数据库作为监控数据的缓存区,内存的I/o速度极快,不会成为数据保存的瓶颈;定时将内存数据库中的数据以事务(事务能有效减少I/o次数)的方式保存到磁盘数据库,以便于查询历史数据(因为内存中保存的经过2次过滤的数据,所以数据量相对要小很多,因为大部分监控点的数据基本上是不会高速变化的);同时对外提供数据访问接口,以便进行其他二次开发。
[0082]根据本发明实施例的另一方面,还提供了一种监控数据的处理装置,如图6所示,该处理装置包括:第一获取模块10、过滤模块30以及保存模块50。
[0083]第一获取模块10,用于获取各个监控点的第一监控数据;过滤模块30,用于分别对各个监控点的第一监控数据进行过滤,得到第二监控数据;保存模块50,用于保存第二监控数据至数据库。
[0084]采用本发明上述实施例,在通过第一获取模块获取各个监控点的第一监控数据后,通过过滤模块分别对各个监控点的第一监控数据进行过滤,得到过滤后的第二监控数据,再通过保存模块保存第二监控数据至数据库,避免了将全部的监控数据同时存入数据库导致的存储效率过低的现象,通过上述实施例,解决了保存大规模监控数据时存储效率低的问题,从而实现了对大规模监控数据进行高效存储的效果。
[0085]可选地,过滤模块包括:第二获取模块和过滤子模块。
[0086]第二获取模块,用于获取各个监控点的预设过滤条件,其中,预设过滤条件基于对应的监控点对应的数据类型而预先设置的;过滤子模块,用于分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤,得到第二监控数据。
[0087]在上述实施例中,在获取各个监控点的第一监控数据之后,获取各个监控点对应的预设过滤条件(该预设过滤条件与监控点所监控数据的数据类型有关),然后分别使用这些过滤条件对各个监控点的第一监控数据进行过滤,从而得到第二监控数据,再保存这些第二监控数据至数据库。通过上述实施例,根据各个监控点的安全属性的不同,对各个监控点的数据进行区别对待,避免了安全属性较高的监控点的监控数据的丢失和安全属性较低的监控点的监控数据的不必要的存储,从而实现了在保证安全属性较高的监控点的监控数据不损失的条件下,对监控数据的高效存储。
[0088]可选地,过滤子模块包括:第一判断模块、第二判断模块以及第三判断模块。
[0089]第一判断模块,用于判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同,其中,当前时刻与上一时刻间隔预设时间;第二判断模块,用于若当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同,判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值;第三判断模块,用于若当前时刻的第一监控数据与上一时刻的第一监控数据的差值大于预设阈值,判断出当前时刻的第一监控数据满足监控点的预设过滤条件,保留当前时刻的第一监控数据得到第二监控数据。
[0090]在上述实施例中,在获取各个监控点的第一监控数据后,通过判断监控点的当前时刻的第一监控数据的值与上一时刻的第一监控数据的值是否不同,将当前时刻的第一监控数据的值与上一时刻的第一监控数据的值不同的监控点的第一监控数据过滤掉,在过滤后的该第一监控数据中,判断当前时刻的第一监控数据与上一时刻的第一监控数据的差值是否大于监控点的预设阈值,将当前时刻的第一监控数据与上一时刻的第一监控数据的差值小于监控点的预设阈值的部分第一监控数据过滤掉,从而得到第二监控数据,然后对第二监控数据进行存储。采用上述实施例,通过对第一监控数据的两次数据过滤,能够在很大程度上减少保存的监控数据量,从而实现节省存储空间的效果。
[0091]可选地,处理装置还包括:第三获取模块和第一设置模块。
[0092]第三获取模块,用于在获取各个监控点的预设过滤条件之前,获取各个监控点对应的数据类型,其中,监控点对应的数据类型用于指示监控点所采集数据的重要级别;第一设置模块,用于基于各个监控点对应的数据类型设置各个监控点的预设过滤条件,其中,数据类型相同的监控点的预设过滤条件相同,若第一监控点对应的数据类型所指示的重要级别高于第二监控点对应的数据类型所指示的重要级别,则设置给第一监控点的预设过滤条件中的预设阈值小于设置给第二监控点的预设过滤条件中的预设阈值,监控点包括第一监控点和第二监控点。
[0093]其中上述的重要级别包括:非常重要、重要、比较重要和不重要;该重要级别也可以为:很重要、重要、一般和不重要。该重要级别的上述表现方式仅作示例说明。
[0094]在上述实施例中,在获取各个监控点的第一监控数据后,获取各个监控点对应的数据类型,并获取各个数据类型所指示的重要级别,对属于同样重要级别的监控点设置相同的预设过滤条件,对不同安全级别的监控点(如,第一监控点和第二监控点),为第一监控点和第二监控点中对应的数据类型所指示的重要级别较高的监控点设置预设阈值较小的预设过滤条件,再分别使用各个监控点的预设过滤条件对各个监控点的第一监控数据进行过滤,得到过滤后的第二监控数据,然后将其保存至数据库。通过上述实施例,可以实现对监控不同重要级别的数据的监控点进行区别对待,使重要级别较高的监控数据保存更多数据,避免存储重要级别低的监控数据,从而节省了存储空间,提高了监控数据的存储的效果Ο
[0095]可选地,处理装置包括:第二设置模块和记录模块。
[0096]其中,第二设置模块,用于基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之前,设置各个监控点的访问标识;记录模块,用于基于各个监控点对应的数据类型设置各个监控点的预设过滤条件之后,记录各个监控点、监控点的访问标识以及监控点的预设过滤条件之间的对应关系。
[0097]在上述实施例中,根据地址(即访问标识)对各个监控点进行单独管理,能消除监控点数据操作时的相互影响,消除了数据之间的关联性,消除上层业务逻辑与数据的直接关系,能对更多的监控点进行管理。
[0098]可选地,保存模块包括:第一保存子模块和第二保存子模块。
[0099]第一保存子模块,用于将第二监控数据保存入内存数据库;第二保存子模块,用于每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。
[0100]在上述实施例中,在获取各个监控点的第一监控数据之后,分别对各个监控点的第一监控数据进行过滤得到第二监控数据,将该过滤后的第二监控数据先保存入内存数据库,然后每隔预设时间段以事务的方式将内存数据库中存储的数据存入磁盘数据库。通过上述实施例,在存储第二监控数据时,使用内存数据库作为监控数据的缓存区,可以使内存的I/o速度极快,从而避免了成为数据保存的瓶颈,通过定时将内存数据库中的第二监控数据以事务的方式保存到磁盘数据库,可以有效减少数据的存储和读取的次数。
[0101]可选地,处理装置还包括:第一输出模块和第二输出模块。
[0102]第一输出模块,用于在获取各个监控点的第一监控数据之后,在接收到第一访问请求之后,输出第一监控数据;第二输出模块,用于在得到第二监控数据之后,在接收到第二访问请求之后,输出第二监控数据。
[0103]在上述实施例中,在获取各个监控点的第一监控数据后,若接收到第一访问请求之后,则输出第一监控数据,然后分别对各个监控点的第一监控数据进行过滤,得到第二监控数据,若接收到第二访问请求,则输出第二监控数据,然后保存第二监控数据至数据库。通过本发明上述实施例,在对各个监控点的监控数据进行获取并存储的同时,可以对外提供数据访问接口,以便进行其他二次开发。
[0104]上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0105]在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0106]在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1