一种存储系统的日志管理方法和系统与流程

本发明涉及数据存储技术领域，特别是涉及一种存储系统的日志管理方法和系统。

背景技术：

随着科技的进步，大数据时代逐步来临，而存储系统应用越来越广泛。在存储系统中，应用软件运行时会产生大量的日志数据，这些日志数据对分析存储系统的稳定性、可靠性和性能有着至关重要的作用，而且日志分析也是解决存储系统故障的主要手段。

目前存储系统中日志的产生可以分为两种情况：一种在日志中只是输出极少数的错误信息，这样对存储性能几乎没有什么影响，但是无法根据日志数据分析存储系统的稳定性、可靠性和性能；另一种是在日志中输出尽可能全面的数据信息，但是由于存储空间有限，当日志达到一定大小的时候，只能循环覆盖较早时间产生的日志，这时一些重复的日志数据可能会覆盖掉之前比较重要的日志数据，从而影响日志分析的准确性和全面性。

因此，如何对日志进行有效的管理，使得既能通过日志数据对存储系统的稳定性、可靠性及性能进行准确有效的分析，又不对存储性能产生影响，是本领域技术人员目前需要解决的技术问题。

技术实现要素：

本发明的目的是提供一种存储系统的日志管理方法和系统，能够对日志进行有效的管理，使得既能通过日志数据对存储系统的稳定性、可靠性及性能进行准确有效的分析，又不对存储性能产生影响。

为解决上述技术问题，本发明提供了如下技术方案：

一种存储系统的日志管理方法，包括：

实时获取存储系统中生成的日志信息；

对所述日志信息进行分析，获取所述日志信息中各日志的优先级；

在所述存储系统中的历史日志信息的存储量超过预设阈值时，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各所述历史日志。

优选地，还包括：

当所述历史日志信息中的至少两个历史日志的优先级相同，且按照优先级由低至高的覆盖顺序需要对该优先级的各历史日志进行覆盖时，按照存储时间的先后顺序依次覆盖该优先级的各历史日志。

优选地，所述对所述日志信息进行分析，获取所述日志信息中各日志的优先级，包括：

根据所述日志信息，获取生成各所述日志的对应程序子模块的信息；

根据各所述程序子模块的特性对各自生成的日志划分日志类型；

提取各日志类型中错误日志的数量，按照错误日志数量由少至多的顺序定义各日志类型的优先级，其中，错误日志数量越少的日志类型的优先级越低。

优选地，在所述获取所述日志信息中各日志的优先级之后，还包括：

判断各日志的优先级是否超过预设优先级阈值；

若是，则控制对该优先级超过预设优先级阈值的日志进行增量输出；

若否，则控制对该优先级未超过预设优先级阈值的日志进行减量输出。

优选地，在控制对该优先级超过预设优先级阈值的日志进行增量输出之后，还包括：

对相同日志类型的日志按照关键字进行归并。

一种存储系统的日志管理系统，包括：

日志生成模块，用于生成日志信息；

日志处理模块，用于实时获取所述日志信息，并对所述日志信息进行分析，提取所述日志信息中各日志的优先级；

日志覆盖模块，用于在存储系统中的历史日志信息的存储量超过预设阈值时，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各所述历史日志。

优选地，所述日志处理模块包括：

子模块提取单元，用于根据所述日志信息，获取所述日志生成模块中生成各所述日志的对应程序子模块的信息；

类型划分单元，用于根据各所述程序子模块的特性对各自生成的日志划分日志类型；

优先级定义单元，用于提取各日志类型中错误日志的数量，按照错误日志数量由少至多的顺序定义各日志类型的优先级，其中，错误日志数量越少的日志类型的优先级越低。

优选地，所述日志处理模块还包括反馈单元，用于反馈各日志的优先级信息至所述日志生成模块；所述日志生成模块还用于对优先级达到预设优先级阈值的日志进行增量输出，对优先级低于所述预设优先级阈值的日志进行减量输出。

优选地，还包括：

日志归并模块，用于在所述日志生成模块对优先级达到预设优先级阈值的日志进行增量输出时，对相同日志类型的日志按照关键字进行归并。

优选地，所述日志覆盖模块还用于在所述历史日志信息中的至少两个历史日志的优先级相同，且按照优先级由低至高的覆盖顺序需要对该优先级的各历史日志进行覆盖时，按照存储时间的先后顺序依次覆盖该优先级的各历史日志。

与现有技术相比，上述技术方案具有以下优点：

本发明所提供的一种存储系统的日志管理方法，包括：实时获取存储系统中生成的日志信息；对日志信息进行分析，获取日志信息中各日志的优先级；在存储系统中的历史日志信息的存储量超过预设阈值时，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各历史日志。本发明所提供的日志管理方法，对大量日志信息进行覆盖时，采用逐级覆盖的策略，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各历史日志，保留最有价值的日志信息，避免因日志覆盖造成重要信息的丢失，对日志进行了有效的管理，使得既能通过日志数据对存储系统的稳定性、可靠性及性能进行准确有效的分析，又不对存储性能产生影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种具体实施方式所提供的存储系统的日志管理方法流程图；

图2为本发明一种具体实施方式所提供的存储系统的日志管理系统结构示意图；

图3为本发明另一种具体实施方式所提供的存储系统的日志管理系统结构示意图。

具体实施方式

本发明的核心是提供一种存储系统的日志管理方法和系统，能够对日志进行有效的管理，使得既能通过日志数据对存储系统的稳定性、可靠性及性能进行准确有效的分析，又不对存储性能产生影响。

为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。

请参考图1，图1为本发明一种具体实施方式所提供的存储系统的日志管理方法流程图。

本发明的一种具体实施方式提供了一种存储系统的日志管理方法，包括：

S11：实时获取存储系统中生成的日志信息。

S12：对日志信息进行分析，获取日志信息中各日志的优先级。

在本发明的一种实施方式中，对各日志的优先级进行了具体说明。即对日志信息进行分析，获取日志信息中各日志的优先级，包括：根据日志信息，获取生成各日志的对应程序子模块的信息；根据各程序子模块的特性对各自生成的日志划分日志类型；提取各日志类型中错误日志的数量，按照错误日志数量由少至多的顺序定义各日志类型的优先级，其中，错误日志数量越少的日志类型的优先级越低。

在存储系统中，所有的日志信息都来自于不同的程序子模块，根据生成日志的程序子模块的不同来划分日志类型，按照日志类型的不同定义不同的优先级。提取错误日志的数量，根据错误日志的数量对日志类型设置优先级，错误日志数量多的日志类型拥有较高的优先级，错误日志数量相对较少的日志类型拥有较低的优先级。

S13：在存储系统中的历史日志信息的存储量超过预设阈值时，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各历史日志。

进一步地，除却按照优先级由低至高的顺序依次覆盖各历史日志之外，还包括：当历史日志信息中的至少两个历史日志的优先级相同，且按照优先级由低至高的覆盖顺序需要对该优先级的各历史日志进行覆盖时，按照存储时间的先后顺序依次覆盖该优先级的各历史日志。

在本实施方式中，对大量日志信息进行覆盖时，通过提取各日志的优先级，采用逐级覆盖的策略，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各历史日志，即依次先覆盖优先级较低的日志信息，进一步地，在覆盖时覆盖较早时间段的日志信息，从而保留最有价值的日志信息，避免因日志覆盖造成重要信息的丢失，对日志进行了有效的管理，使得既能通过日志数据对存储系统的稳定性、可靠性及性能进行准确有效的分析，又不对存储性能产生影响。

在本发明的一种实施方式中，在获取日志信息中各日志的优先级之后，还包括：

判断各日志的优先级是否超过预设优先级阈值；

若是，则控制对该优先级超过预设优先级阈值的日志进行增量输出；

若否，则控制对该优先级未超过预设优先级阈值的日志进行减量输出。

进一步地，在控制对该优先级超过预设优先级阈值的日志进行增量输出之后，还包括：对相同日志类型的日志按照关键字进行归并。

在本实施方式中，对高优先级的日志进行增量输出，对低优先级的日志进行减量输出，这样可以对出错程序模块输出更详细的日志记录。然而在对高优先级的日志类型进行增量输出后，难免会生成大量的重复日志信息，因此，为了在有限的存储空间存储最有价值的日志，则对日志信息进行归并。在对日志信息进行归并时，采取统一日志类型内进行归并，即对相同日志类型的信息按照关键字进行归并，常用的关键字可以是程序模块的函数名。通过对相同日志类型的日志进行归并处理，可以有效避免重复日志信息占用大量的存储空间。

请参考图2，图2为本发明一种具体实施方式所提供的存储系统的日志管理系统结构示意图。

相应地，本发明一种实施方式还提供了一种存储系统的日志管理系统，包括：

日志生成模块1，用于生成日志信息；

日志处理模块2，用于实时获取日志信息，并对日志信息进行分析，提取日志信息中各日志的优先级；

日志覆盖模块3，用于在存储系统中的历史日志信息的存储量超过预设阈值时，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各历史日志。

对大量日志信息进行覆盖时，采用逐级覆盖的策略，根据各历史日志的优先级，按照优先级由低至高的顺序依次覆盖各历史日志，保留最有价值的日志信息，避免因日志覆盖造成重要信息的丢失，对日志进行了有效的管理，使得既能通过日志数据对存储系统的稳定性、可靠性及性能进行准确有效的分析，又不对存储性能产生影响。

在上述实施方式的基础上，本发明一种实施方式中，日志处理模块包括：子模块提取单元，用于根据日志信息，获取日志生成模块中生成各日志的对应程序子模块的信息；类型划分单元，用于根据各程序子模块的特性对各自生成的日志划分日志类型；优先级定义单元，用于提取各日志类型中错误日志的数量，按照错误日志数量由少至多的顺序定义各日志类型的优先级，其中，错误日志数量越少的日志类型的优先级越低。

所有的日志信息都来自于不同的程序子模块，根据生成日志的程序子模块的不同来划分日志类型，按照日志类型的不同定义不同的优先级。提取错误日志的数量，根据错误日志的数量对日志类型设置优先级，错误日志数量多的日志类型拥有较高的优先级，错误日志数量相对较少的日志类型拥有较低的优先级。

请参考图3，图3为本发明另一种具体实施方式所提供的存储系统的日志管理系统结构示意图。

在本发明的一种实施方式中，日志处理模块2还包括反馈单元，用于反馈各日志的优先级信息至日志生成模块；日志生成模块1还用于对优先级达到预设优先级阈值的日志进行增量输出，对优先级低于预设优先级阈值的日志进行减量输出。

进一步地，该系统还包括：

日志归并模块4，用于在日志生成模块对优先级达到预设优先级阈值的日志进行增量输出时，对相同日志类型的日志按照关键字进行归并。

在本实施方式中，对高优先级的日志进行增量输出，对低优先级的日志进行减量输出，这样可以对出错程序模块输出更详细的日志记录。然而在对高优先级的日志类型进行增量输出后，难免会生成大量的重复日志信息，因此，为了在有限的存储空间存储最有价值的日志，则对日志信息进行归并。在对日志信息进行归并时，采取统一日志类型内进行归并，即对相同日志类型的信息按照关键字进行归并，常用的关键字可以是程序模块的函数名。通过对相同日志类型的日志进行归并处理，可以有效避免重复日志信息占用大量的存储空间。

在上述任一实施方式的基础上，日志覆盖模块还用于在历史日志信息中的至少两个历史日志的优先级相同，且按照优先级由低至高的覆盖顺序需要对该优先级的各历史日志进行覆盖时，按照存储时间的先后顺序依次覆盖该优先级的各历史日志。能够进一步保留最有价值的日志信息，避免日志覆盖造成重要信息的丢失。

综上所述，本发明所提供的存储系统的日志管理方法和系统，通过对存储系统中日志信息进行自反馈调节和逐级覆盖，不仅可以根据反馈的日志信息输出更详细的日志记录，还可以通过逐级覆盖保留最有兼职的日志信息，避免因日志覆盖造成重要的信息的丢失。从而实现了对日志进行有效的管理，使得既能通过日志数据对存储系统的稳定性、可靠性及性能进行准确有效的分析，又不对存储性能产生影响。

以上对本发明所提供的一种存储系统的日志管理方法和系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。