一种基于大数据的日志优化模型与方法与流程

本技术涉及日志管理，具体而言，涉及一种基于大数据的日志优化方法。

背景技术：

1、应用程序在运行的过程中会对自身的运行进行监控，并记录下实时运行状况下的各种事件。一方面便于利用日志对当时发生的状况进行数据的追溯，了解程序运行的具体情况，另一方面也能够形成应用程序的运行分析数据，便于对运行程序的优化和开发提供数据支持。

2、但当下对运行程序的日志记录主要还是直接进行程序事件的描述，其所产生的日志数据并没有进行整理和简化，致使随着日志记录越来越多，日志记录所占用的存储空间越来越大，反而成为应用程序运行的负担，大大降低程序运行的效率，也极大的浪费了存储空间。

3、因此，设计一种基于大数据的日志优化模型与方法能够对日志数据进行合理的优化，以使其降低对存储空间的占有率，同时能够使日志数据记录更加高效，是目前亟待解决的问题。

技术实现思路

1、本技术的目的在于提供一种基于大数据的日志优化方法，通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。

2、本技术的目的还在于提供一种基于大数据的日志优化模型，通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。

3、第一方面，本技术提供一种基于大数据的日志优化方法，包括获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库；结合日志编号检索表，将历史日志内容信息根据历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库；获取历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库；结合日志处理检索表，并根据历史参考日志数据中的历史日志处理时间信息，对历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库；获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录。

4、在本技术中，该方法通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。

5、作为一种可能的实现方式，获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库，包括：获取历史日志内容信息，并对历史日志内容信息中的每条日志内容进行碎片化以及变量与非变量的划分，形成初始单元日志内容组；对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，结合所有结果单元日志内容组，形成结果单元日志内容组集；提取结果单元日志内容组集中所有结果单元日志内容组中的非变量，对非变量进行数量占比分析，并根据数量占比结果分析对非变量进行顺序排列，形成历史日志内容库；根据历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成日志编号检索表。

6、在本技术中，在进行日志内容的优化时，考虑通常日志内容较为冗杂，为了更加简洁的反应所记录事件的情况，首先对日志内容进行碎片化，去除冗杂的记录描述，诸如分隔不同对象的分隔符号、不同代码之间的区分字符等。这样可以一定程度上降低后续所形成日志内容库的存储量。对于碎片化后的日志内容进行基于事件对象的分组，形成初始的单元日志内容组。再对初始单元日志内容组进行非变量的同类合并，进而将合并后形成结果单元日志内容组进行整理归纳形成历史日志内容库。这里，对非变量进行编号进而形成日志标号检索表主要考虑非变量为事件记录中最基础的固定参量，能够准确的表达具体的事件情况，而对于变量来说只是对非变量的程度描述，因而将非变量作为编号化的基础参量能够保留对事件具体情况的记录。另外，对于初始单元日志内容组的确定是根据每条日志记录内容中不同的记录对象来进行的。可以知道，在某一记录时间点上，可能会针对不同的对象进行同时记录，并一起存储形成这个记录时间点上的日志记录内容。而由于记录对象的不同所反映出的非变量和变量也完全不同，并且这些非变量和变量之间并不存在绝对的关联性，因此基于记录对象进行划分形成初始单元日志内容可以将具有高度关联性的参数进行合理的归类，为后续的数据分析和编号检索提供便利。

7、作为一种可能的实现方式，对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，包括：对初始单元日志内容组进行以下逻辑分析，并将同时满足以下逻辑分析条件的不同初始单元日志内容组进行合并：不同初始单元日志内容组中非变量的记录对象相同；不同初始单元日志内容组中非变量记录的事件相同；不同初始单元日志内容组中非变量对应的变量反应相同的事件状态；将合并后形成的单元日志内容组以及不需要进行合并的初始单元日志内容组确定为结果单元日志内容组。

8、在本技术中，为了保证所形成的历史日志内容记录库中不会出现相同的记录内容，在获取初始单元日志内容组后基于对象进行逻辑进行的判断分析，将初始单元日志内容组中描述相同对象的相同时间情况进行合并，一方面可能进一步的优化历史日志内容记录库中的数据，另一方面也进一步的降低了历史日志内容记录库的存储占比量。当然，对于基于对象的逻辑分析主要考虑三个方面，即确定对象是否相同，确定所记录的事件是否相同，对于反应非变量程度的具体情况的变量是否可以认为是相同的情况。尤其对于变量的相同性判断，所考虑的方面着重于变量可以在数值上表现不同，但反应的特征以及对应进行处理的信息是相同的。这样也有利于后续在进行日志处理内容的对应时能够得到很好的匹配，降低日志内容与日志处理信息之间匹配的复杂性。

9、作为一种可能的实现方式，根据历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成日志编号检索表，包括：遍历历史日志内容库中非变量的总数，根据总数确定编号位数，并对非变量按顺序进行编号，且编号为非连续编号；对于进行合并形成的结果单元日志内容组，将合并前的多个初始单元日志内容组中的变量确定为结果单元日志内容组中非变量对应的变量的选择项；结合非变量、非变量对应的变量以及非变量对应的编号，形成日志编号检索表。

10、在本技术中，对于日志编号检索表的排序，本技术通过根据非变量在总数下的占比大小来进行排序。排序后进行编号时考虑后续的数据可能会有新的日志内容加入，所以编号为非连续编号，这样也能起到对不同日志内容在编号上的区分辨识。当然，为了进一步提高日志编号检索表的数据合理性，还可以针对记录对象进行序号分段的编号，即分别确定不同的编号段作为不同对象上产生的日志内容的编号，并将对应的对象上不同的现有日志内容赋予编号段上的编号，这样基于对象进行编号，能够简单快速的根据编号确定日志内容所记录的对象，使日志编号检索表得到进一步的数据优化，同时也为数据分析提供良好的编号引导。

11、作为一种可能的实现方式，结合日志编号检索表，将历史日志内容信息根据历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库，包括：获取历史日志时间信息，确定每个日志记录时间点上包含的结果单元日志内容组，并结合日志编号检索表按照时间顺序确定每个日志记录时间点上的编号组合信息：，其中，t为按照时间顺序所确定的日志记录时间点的顺序号，t为非零自然数，an表示在日志记录时间点上记录的第n个非变量编号，bn表示日志记录时间点上第n个非变量对应的变量取值；按照时间顺序将所有编号组合信息进行排列，形成历史日志内容记录库。

12、在本技术中，日志编号检索表和历史日志内容库是基于历史日志数据所形成的针对日志内容的基础编号数据库，所记录的历史日志都能够在历史日志内容库中找到，并根据日志编号检索表确定对应的编号。这样就形成了日志记录的数据基础。基于历史日志时间信息，将每个日志记录时间点上的日志记录内容根据历史日志内容库和日志编号检索表进行编号话后表达，形成时间维度上的日志记录数据，即形成历史日志内容记录库。由于每个日志记录时间点上非变量对应的变量可能有变化，所以对于变量则利用数值化的数据进行表达，即形成了完整的优化数据记录。相比于原始的内容记录，一方面大大降低了相同内容重复性记录对存储空间的过度占用，同时也简化了记录的方式，进一步降低日志记录的存储占有空间，另一方面也对日志记录进行了合理的优化，将日志内容进行基于对象的合并和划分，有利于对日志内容的数据分析，同时也完整保留了初始的日志数据信息。

13、作为一种可能的实现方式，获取历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库，包括：获取历史日志处理信息，并对历史日志处理信息进行单元处理操作的识别，形成初始单元处理日志条；对所有初始单元处理日志条进行基于处理效果的分析，形成结果单元处理日志条，结合所有结果单元处理日志条，形成结果单元处理日志条集；对结果单元处理日志条集中所有的结果单元处理日志条进行数量占比的分析，并根据数量占比分析结果对结果单元处理日志条进行排列，形成历史日志处理内容库；根据历史日志处理内容库中结果单元处理日志条的顺序进行编号，形成日志处理检索表。

14、在本技术中，针对进行问题记录的日志内容，同样会记录对应的处理信息。所以为了保证对这类日志内容进行完整且合理的优化，本技术通过将历史日志处理信息同样进行合理的编号化并同历史日志内容记录库中的日志内容进行对应匹配形成完整的日志内容与对应日志处理信息编号列。对历史日志处理信息的编号化同样进行同类合并以减少历史日志处理信息的存储占用量。当然，这里对于历史日志处理信息所划分出的单元日志处理条由于是同日志内容进行匹配，所以对单元日志处理条的划分是基于日志内容组的划分来确定的，能够为后续进行单元日志处理条同日志内容组的匹配提供方便。在形成结果单元日志处理条后，对结果单元日志处理条进行整理便形成对应于历史日志处理信息的历史日志处理内容库和日志处理检索表。为进行处理信息与日志内容的编号匹配提供数据基础。

15、作为一种可能的实现方式，结合日志处理检索表，并根据历史参考日志数据中的历史日志处理时间信息，对历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库，包括：根据历史日志处理时间信息，确定每个日志记录时间点上采用的结果单元处理日志条，并结合日志处理检索表和历史日志内容记录库中每个日志记录时间点对应的编号组合信息，对每个编号组合信息进行丰富，形成日志记录编号信息：，其中，表示日志记录时间点上第n个非变量和变量对应的结果单元处理日志条的编号；按照时间顺序将日志记录编号信息进行排列，形成历史日志记录及处理库。

16、在本技术中，单元日志处理条编号化后通过与对应的日志内容建立编号对应关系进而完成对历史日志内容记录库的丰富，形成日志数据完整的历史日志记录及处理库。

17、作为一种可能的实现方式，获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录，包括：获取实时日志数据中的实时日志内容信息，并将实时日志内容信息在历史日志内容库中进行对比确认，若历史日志内容库中存在与实时日志内容相同的非变量和变量，则：根据历史日志内容库中相同的非变量和变量在日志编号检索表上确定实时日志内容信息的编号信息；根据实时日志内容信息的编号信息，在历史日志记录及处理库中按照实时日志时间信息进行记录。

18、在本技术中，对于实时获取的日志数据，在基于大数据进行日志记录的优化后，就需要将其按照同样的优化方式进行记录，保证日志记录形式的统一性。这里考虑实时获取的日志数据的日志内容为大数据中现有的，则通过在历史日志内容库中进行对比确认即可确定实时日志数据的日志内容的相应编号，进而按照时间维度将实时日志数据库记录在历史日志记录及处理库中。

19、作为一种可能的实现方式，获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录，包括：获取实时日志数据中的实时日志内容信息，并将实时日志内容信息在历史日志内容库中进行对比确认，若历史日志内容库中不存在与实时日志内容相同的非变量和变量，则：将实时日志内容信息中新的非变量和变量加入到历史日志内容库中，并在日志编号检索表中加入新的非变量和变量，获取实时日志内容信息的编号信息；获取实时日志数据中的实时日志处理信息，将实时日志处理信息纳入历史日志处理内容库并在日志处理检索表中新增实时日志处理信息的编号；结合实时日志内容信息的编号和对应的实时日志处理信息的编号，在历史日志记录及处理库中按照实时日志时间信息进行记录。

20、在本技术中，当然，实时日志数据也会存在日志内容是全新的事件情况，这样就需要将实时日志的内容加入到历史日志内容库中，同时为日志内容提供新的编号，并将编号记录在日志编号检索表中。根据实时日志内容的新编号以时间维度为记录顺序将新编号加入到历史日志内容记录库中。可以理解的是，新的日志内容往往对应的日志处理信息也是全新的，因此对日志处理信息也是将其新加入到历史日志处理内容库中形成日志处理检索表。并且使用实时日志处理信息对应的编号丰富历史日志记录及处理库。

21、第二方面，本技术提供一种基于大数据的日志优化模型，采用第一方面的基于大数据的日志优化方法，包括数据采集单元，用于获取同类型存储数据库的历史日志数据，形成历史参考日志数据；日志优化单元，用于将数据采集单元中的历史参考日志进行优化分析，分别形成日志编号检索表、历史日志内容库、历史日志内容记录库、日志处理检索表、历史日志处理内容库以及历史日志记录及处理库；实时采集单元，用于采集实时日志数据，并将实时日志数据提供给日志优化单元进行日志优化的存储分析。

22、在本技术中，通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。

23、本发明提供的一种基于大数据的日志优化模型与方法的有益效果有：

24、该方法通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。

25、该模型通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。