日志压缩方法、装置、电子设备及计算机可读存储介质与流程

本发明涉及日志处理技术领域，更具体地，涉及一种日志压缩方法、一种日志压缩装置、一种电子设备以及一种计算机可读存储介质。

背景技术：

随着云计算、大数据时代到来，各式各样的日志(例如，访问日志、系统日志、程序日志)的种类和规模大大增加，使得存储超大规模的日志的成本越来越大。

日志在存储之前，利用通用压缩算法逐一对各日志进行压缩处理。这种压缩方式，并没有针对日志本身的特性进行压缩，导致日志的压缩效率低和日志的压缩率低，进而增加了日志的存储成本。

技术实现要素：

本发明实施例的一个目的是提供一种日志压缩方法的新技术方案。

根据本发明的第一方面，提供了一种日志压缩方法，包括：

从每一原始日志中提取设定特征的特征信息；

对于每一所述设定特征，压缩对应的特征信息得到对应设定特征的压缩数据；

根据每一所述设定特征的压缩数据，生成日志压缩数据。

可选地，所述对于每一所述设定特征，压缩对应的特征信息得到对应设定特征的压缩数据，包括：

对于每一设定特征，获得特征信息的数据特性信息；

利用与所述数据特性信息对应的压缩方式压缩对应的特征信息，得到对应设定特征的压缩数据。

可选地，所述从每一原始日志中提取设定特征的特征信息，包括：

从每一原始日志中提取日志生成时间，作为时间特征的特征信息；

所述对于每一所述设定特征，压缩对应的特征信息得到对应设定特征的压缩数据，包括：

压缩所有原始日志的日志生成时间，得到时间特征的压缩数据。

可选地，所述压缩所有原始日志的日志生成时间，得到时间特征的压缩数据，包括：

将所述所有原始日志的日志生成时间转换为时间戳信息；

利用数字列压缩方式压缩所述时间戳信息，得到所述时间特征的压缩数据。

可选地，所述从每一原始日志中提取设定特征的特征信息，包括：

从每一原始日志中提取日志位置信息，作为位置特征的特征信息；

所述对于每一所述设定特征，压缩对应的特征信息得到对应设定特征的压缩数据，包括：

压缩所有原始日志的日志位置信息，得到所述位置特征的压缩数据。

可选地，所述原始日志的日志位置信息为原始日志在所有原始日志中的序号信息，其中，所述压缩所有原始日志的日志位置信息，得到位置特征的压缩数据，包括：

利用数字列压缩方式压缩所述各原始日志在所有原始日志中的序号信息，得到所述位置特征的压缩数据。

可选地，所述从每一原始日志中提取设定特征的特征信息，包括：

对所有原始日志进行分类，得到至少一个日志类，其中，同一日志类中的各原始日志具有相同的公共模式信息；

对于每一日志类，从所述公共模式信息中提取每一原始日志中的变量信息，作为变量特征的特征信息；

所述对于每一所述设定特征，压缩对应的特征信息得到对应设定特征的压缩数据，包括：

对于每一日志类，压缩每一原始日志的变量信息，得到变量特征的压缩数据。

可选地，所述对于每一日志类，从所述公共模式信息中提取每一原始日志中的变量信息，作为变量特征的特征信息，包括：

获取所述公共模式信息中的常量信息；

利用所述常量信息，从所述公共模式信息中查询得到每一原始日志中的变量信息，作为变量特征的特征信息。

可选地，所述对于每一日志类，压缩所有原始日志的变量信息，得到变量特征的压缩数据，包括：

获得所述变量信息的数据特性信息；

根据所述变量信息的数据特性信息，采用与所述数据特性信息对应的压缩方式压缩所述变量信息，得到变量特征的压缩数据。

可选地，所述根据变量信息的数据特性信息，采用与所述数据特性信息对应的压缩方式压缩所述变量信息，得到变量特征的压缩数据，包括：

在所述变量信息的数据特性信息为数字格式的情况下，利用数字列压缩方式压缩所述变量信息，得到变量特征的压缩数据；

在所述变量信息的数据特性信息为字符串格式的情况下，确定所述变量信息中的不同字符串的数量；

在所述变量信息中的不同字符串的数量未超过预设数量的情况下，将所述变量信息中的各字符串转化为数字内容，并利用数字列压缩方式压缩所述数字内容，得到所述变量特征的压缩数据；

在所述变量信息中的不同字符串的数量超过所述预设数量的情况下，利用字符串压缩方式压缩所述字符串，得到所述变量特征的压缩数据。

根据本发明的第二方面，提供了一种日志压缩方法，包括：

获取原始日志；

从每一原始日志中提取设定特征的特征信息；

对于每一所述设定特征，压缩对应的特征信息得到对应设定特征的压缩数据；

根据每一所述设定特征的压缩数据，生成日志压缩数据；

将所述日志压缩数据发送至电子设备。

根据本发明的第三方面，提供了一种日志压缩装置，包括：

提取模块，用于从每一原始日志中提取设定特征的特征信息；

压缩模块，用于对于每一所述设定特征，压缩对应的特征信息得到对应设定特征的压缩数据；

生成模块，用于根据每一所述设定特征的压缩数据，生成日志压缩数据。

根据本发明的第四方面，提供了一种电子设备，包括存储器和处理器，所述存储器用于存储可执行的指令；所述处理器用于根据所述指令的控制执行根据第一方面中任意一项所述的方法。

根据本发明的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据第一方面中任意一项所述的方法。

本发明实施例提供的日志压缩方法，基于原始日志各部分数据所具有的特征出发，从原始日志中提取出设定特征的特征信息，对于每一设定特征，压缩对应的特征信息得到对应设定特征的压缩数据，根据每一设定特征的压缩数据，生成日志压缩数据，提高日志压缩的压缩效率和压缩比。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是可用于实现本发明任意实施例的日志压缩方法的电子设备的硬件配置的框图。

图2是根据本发明另一个实施例的日志压缩方法的处理流程图。

图3是根据本发明另一个实施例的日志压缩方法的处理流程图。

图4是根据本发明一个实施例的日志压缩和解压的过程示意图。

图5为根据本发明实施例的日志压缩装置的原理框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例涉及的原始日志包括日志生成时间和日志内容。日志生成时间是用字符串表示的。对于不同类型的日志，日志具有不同的公共模式，日志内容包括公共模式中的常量信息和变量信息。常量信息是用字符串表示的。某些变量信息是用字符串表示的，某些变量信息是用数字表示的。由此得到，组成原始日志各部分数据具有不同特征。

现有的通用压缩算法，通过滑动窗口的方式，在之前的日志中查询是否出现过当前字符串。如果在之前的日志中出现当前字符串时，使用之前日志中出现的字符串的位置和长度来替换当前字符串。如果在之前的日志中未出现当前字符串时，保留当前字符串。

现有的通用压缩算法未从原始日志中提取出具有不同特征的数据，也没有针对具有不同特征的数据分别进行压缩处理，使得压缩效率低、压缩率低。

针对这一技术问题，本发明实施例提供了一种日志压缩方法，从原始日志中提取具有不同特征的数据，并分别对各部分数据进行压缩处理，以提高压缩效率和压缩率。

<硬件配置>

图1是可用于实现本发明任意实施例的日志压缩方法的电子设备的硬件配置的框图。

在一个实施例中，电子设备1000可以是服务器，也可以是终端设备。

例如，服务器在对日志进行存储之前，利用本发明实施例提供的日志压缩方法压缩各日志，以提高压缩效率和压缩率，降低存储成本。

例如，终端设备在将其产生的日志发送至后台服务器之前，利用本发明实施例提供的日志压缩方法压缩各日志，以提高压缩效率和压缩率，进而缩短传输时间，提高传输效率。

服务器提供处理、数据库、通讯设施的业务点。服务器可以是整体式服务器或是跨多计算机或计算机数据中心的分散式服务器。服务器可以是各种类型的，例如但不限于，网络服务器，新闻服务器，邮件服务器，消息服务器，广告服务器，文件服务器，应用服务器，交互服务器，数据库服务器，或代理服务器。在一些实施例中，每个服务器可以包括硬件，软件，或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。例如，服务器例如刀片服务器、云端服务器等，或者可以是由多台服务器组成的服务器群组，可以包括上述类型的服务器中的一种或多种等等。

终端设备可以是手机、平板电脑、笔记本电脑中任一种。

在一个例子中，电子设备1000可以如图1所示，包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。

其中，处理器1100例如可以是中央处理器cpu、微处理器mcu等。存储器1200例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括usb接口、串行接口、红外接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、led显示屏触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。

尽管在图1中对电子设备1000均示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如，电子设备1000只涉及存储器1200和处理器1100。

应用于本发明的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100执行本发明实施例提供的日志压缩方法。

在上述描述中，技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

<方法实施例>

图2是根据本发明一个实施例的日志压缩方法的处理流程图。该方法可以由图1中所示的电子设备1000实施。

根据图2所示，该日志压缩方法可以包括以下步骤s2100-s2300。

步骤s2100，从每一原始日志中提取设定特征的特征信息。

本发明实施例提供的日志压缩方法，电子设备1000可以分别基于原始日志的日志生成时间、日志位置信息和公共模式信息中的变量信息，提取对应的设定特征的特征信息。

当电子设备1000基于原始日志的日志生成时间提取对应的设定特征的特征信息时，步骤s2100进一步包括：从每一原始日志中提取日志生成时间，作为时间特征的特征信息。

当电子设备1000基于原始日志的日志位置信息提取对应的设定特征的特征信息时，步骤s2100进一步包括：从每一原始日志中提取日志位置信息，作为位置特征的特征信息。

原始日志的日志位置信息可以是该原始日志位于所有原始日志中的序号信息。

当电子设备1000基于原始日志的公共模式信息中的变量信息，提取对应的设定特征的特征信息时，步骤s2100进一步包括以下步骤s2110-s2120。

步骤s2110，对所有原始日志进行分类，得到至少一个日志类，其中，同一日志类中的各原始日志具有相同的公共模式信息。

在一个实施例中，利用日志聚类算法对所有原始日志进行分类，得到至少一个日志类。日志聚类算法包括但不限于k-means算法(k均值算法)、k-medoids算法(k中心点算法)、clarans算法(基于随机选择的聚类算法)。

同一日志类的公共模式信息包括常量信息和变量信息。

例如，下面列举了属于同一日志类的5个原始日志的部分数据内容，

su:pam_unix(su:session):sessionopenedforuserroot

su:pam_unix(su:session):sessionopenedforuseradmin

su:pam_unix(su:session):sessionclosedforuserroot

su:pam_unix(su:session):sessionclosedforuseradmin

su:pam_unix(su:session):sessionopenedforusernobody

其中，“su:pam_unix(su:session):session*foruser*”为各原始日志共有的数据内容，该部分数据内容为该日志类的常量信息。“*”对应的数据内容在各原始日志中可能会出现不同，该部分数据内容为该日志类的变量信息。

步骤s2120，对于每一日志类，从公共模式信息提取每一原始日志中的变量信息，作为变量特征的特征信息。

对于每一日志类，获取公共模式信息中的常量信息，并利用该常量信息，从公共模式信息中查询得到每一原始日志中的变量信息，作为变量特征的特征信息。

以上述列举出的5个原始日志为例，该5个原始日志所属日志类的常量信息为su:pam_unix(su:session):session*foruser*。利用*将该日志类的常量信息切分成多个部分常量信息。每一部分常量信息均可在该日志类中的各原始日志中出现。基于每一原始日志，从头开始查询每一部分常量信息，相邻两部分常量信息之间的信息为该原始日志的变量信息。

需要说明地是，从每一原始日志中提取日志位置信息，作为位置特征的特征信息的步骤可以在所有原始日志分类之前进行，也可以在所有原始日志分类之后进行。

步骤s2200，对于每一设定特征，压缩对应的特征信息得到对应设定特征的压缩数据。

对于每一设定特征，获得特征信息的数据特性信息，并利用与数据特性信息对应的压缩方式压缩对应的特征信息，得到对应设定特征的压缩数据。基于特征信息的数据特性信息，采用适用该特征信息的压缩方式压缩特征信息，可以提高压缩效率和压缩率。

例如，当特征信息的数据特性信息为字符串格式时，可以采用通用字符串压缩方式压缩对应的特征信息。当特征信息的数据特性信息为数字格式时，可以采用数字压缩方式压缩对应的特征信息。

电子设备1000基于原始日志的日志生成时间提取到时间特征的特征信息后，压缩所有原始日志的日志生成时间，得到时间特征的压缩数据。

原始日志的日志生成时间的数据特性信息为字符串格式，可以采用通用字符串压缩方式进行压缩。或者，将所有原始日志的日志生成时间转换为时间戳信息。时间戳信息是从格林威治时间1970年01月01日08时00分00秒起至日志生成时间的总秒数。该时间戳信息是数字格式。利用数字列压缩方式压缩时间戳信息，得到时间特征的压缩数据。

电子设备1000基于原始日志的日志位置信息提取到位置特征的特征信息后，压缩所有原始日志的日志位置信息，得到位置特征的压缩数据。

例如，原始日志的日志位置信息为原始日志在所有原始日志中的序号信息。该序号信息为数字格式。利用数字列压缩方式压缩各原始日志在所有原始日志中的序号信息，得到位置特征的压缩数据。

电子设备1000基于原始日志的公共模式信息中的变量信息，提取到变量特征的特征信息后，对于每一日志类，压缩每一原始日志的变量信息，得到变量特征的压缩数据。

变量信息的数据特性信息并不唯一，有些变量信息是数字格式，有些变量信息是字符串格式。这样，在电子设备100针对每一日志类提取到各原始日志的变量信息后，首先获得变量信息的数据特性信息，然后根据变量信息的数据特性信息，采用与数据特性信息对应的压缩方式压缩变量信息，得到变量特征的压缩数据。

基于变量信息的数据特性信息，采用适用该变量信息的压缩方式压缩特征信息，可以提高压缩效率和压缩率。

例如，在变量信息的数据特性信息为数字格式的情况下，利用数字列压缩方式压缩变量信息，得到变量特征的压缩数据。

又例如，在变量信息的数据特性信息为字符串格式的情况下，确定变量信息中的不同字符串的数量。在变量信息中的不同字符串的数量未超过预设数量的情况下，将变量信息中的各字符串转化为数字内容，并利用数字列压缩方式压缩数字内容，得到变量特征的压缩数据。在变量信息中的不同字符串的数量超过预设数量的情况下，利用字符串压缩方式压缩字符串，得到变量特征的压缩数据。

步骤s2300，根据每一设定特征的压缩数据，生成日志压缩数据。

电子设备1000在得到时间特征的压缩数据、位置特征的压缩数据和变量特征的压缩数据后，将时间特征的压缩数据、位置特征的压缩数据、各日志类的公共模式信息的常量信息和各日志类的变量特征的压缩数据进行拼接，生成日志压缩数据。

需要说明地是，日志压缩数据还包括时间特征的压缩数据、位置特征的压缩数据、各日志类的变量特征的压缩数据和各日志类的常量信息的对应关系，以保证解压还原为原始日志。

基于同一发明构思，本发明的另一实施例提供了一种日志压缩方法。

图3是根据本发明实施例的日志压缩方法的处理流程图。该方法可以由终端设备实施。

根据图3所示，该日志压缩方法可以包括以下步骤s3100-s3500。

步骤s3100，获取原始日志。

步骤s3200，从每一原始日志中提取设定特征的特征信息。

终端设备可以分别基于原始日志的日志生成时间、日志位置信息和公共模式信息中的变量信息，提取对应的设定特征的特征信息。具体提取步骤可以参见上述任一实施例。

步骤s3300，对于每一设定特征，压缩对应的特征信息得到对应设定特征的压缩数据。

对于每一设定特征，获得特征信息的数据特性信息，并利用与数据特性信息对应的压缩方式压缩对应的特征信息，得到对应设定特征的压缩数据。基于特征信息的数据特性信息，采用适用该特征信息的压缩方式压缩特征信息，可以提高压缩效率和压缩率。

例如，当特征信息的数据特性信息为字符串格式时，可以采用通用字符串压缩方式压缩对应的特征信息。当特征信息的数据特性信息为数字格式时，可以采用数字压缩方式压缩对应的特征信息。

终端设备对时间特征的特征信息、位置信息的特征信息和变量特征的特征信息的压缩步骤可以参见上述任一实施例。

步骤s3400，根据每一设定特征的压缩数据，生成日志压缩数据。

终端设备在得到时间特征的压缩数据、位置特征的压缩数据和变量特征的压缩数据后，将时间特征的压缩数据、位置特征的压缩数据、各日志类的公共模式信息的常量信息和各日志类的变量特征的压缩数据进行拼接，生成日志压缩数据。

步骤s3500，将日志压缩数据发送至电子设备。

该电子设备可以是服务器，也可以是终端设备。

当该电子设备接收到日志压缩数据后，对该日志压缩数据进行解压操作，还原得到各原始日志，并基于各原始日志执行后续操作。

本发明实施例提供的日志压缩方法，基于原始日志各部分数据所具有的特征出发，从原始日志中提取出设定特征的特征信息，对于每一设定特征，压缩对应的特征信息得到对应设定特征的压缩数据，根据每一设定特征的压缩数据，生成日志压缩数据，提高日志压缩的压缩效率和压缩比。

<例子>

在本例子中，在终端设备将其产生的100条原始日志发送至后台服务器之前，利用本例子提供的日志压缩方法对该100条日志进行压缩处理，得到日志压缩数据，之后将日志压缩数据发送至后台服务器。后台服务器接收到日志压缩数据后，对该日志压缩数据进行解压操作，还原得到各原始日志，并基于各原始日志执行后续操作。

本例子涉及的日志的压缩和解压方法可以包括以下步骤s401-s412。步骤s401-s407涉及的操作均由终端设备执行。步骤s408-s412涉及的操作均由服务器执行。

步骤s401，获取各原始日志。

图4示出了该100条原始日志中的5条原始日志。

根据图4所示，原始日志包括日志位置信息、日志生成时间和日志内容。

本例子中的日志位置信息为原始日志在所有原始日志中的序号信息。

对于不同类型的日志，日志具有不同的公共模式。日志内容包括公共模式中的常量信息和变量信息。

步骤s402，从每一原始日志中提取日志生成时间，作为时间特征的特征信息。

步骤s403，对去掉日志生成时间的原始日志进行分类，得到至少一个日志类，其中，同一日志类中的各原始日志具有相同的公共模式信息，对于每一日志类，从公共模式信息提取每一原始日志中的变量信息，作为变量特征的特征信息。

步骤s404，对于每一日志类，从每一原始日志中提取序号信息，作为位置特征的特征信息。

根据图4所示，终端设备从该100条原始日志中提取出时间特征的特征信息，从每一日志类提取出变量特征的特征信息和位置特征的特征信息。

步骤s405，对于各特征信息，采用对应的压缩方式压缩对应的特征信息，得到对应的压缩数据。

在对时间特征的特征信息压缩之前，将所有原始日志的日志生成时间转换为时间戳信息。该时间戳信息是数字格式。利用数字列压缩方式压缩时间戳信息，得到时间特征的压缩数据。

原始日志的日志位置信息为原始日志在所有原始日志中的序号信息。该序号信息为数字格式。利用数字列压缩方式压缩每一日志类中各原始日志在所有原始日志中的序号信息，得到位置特征的压缩数据。

在本例子中，图4示出的日志类中各原始日志包括两个变量信息。该两个变量信息均为字符串格式。采用适用字符串格式的列压缩方式压缩变量信息。具体地，基于图4示出的日志类中各原始日志的第一个变量信息，利用列压缩方式压缩变量信息，基于图4示出的日志类中各原始日志的第二个变量信息，利用列压缩方式压缩变量信息。

步骤s406，将时间特征的压缩数据、各日志类的位置特征的压缩数据、各日志类的公共模式信息的常量信息和各日志类的变量特征的压缩数据进行拼接，生成日志压缩数据。

需要说明地是，日志压缩数据还包括各日志类的公共模式信息的常量信息和各日志类的变量特征的压缩数据的对应关系，以保证解压得到的变量信息代入对应的公共模式信息中。

日志压缩数据还包括各日志类的变量特征的压缩数据和位置特征的压缩数据的对应关系，以保证解压得到的包括有常量信息和变量信息的日志内容与位置信息一一对应。

日志压缩数据还包括时间特征的压缩数据和位置特征的压缩数据的对应关系，以保证解压得到的日志生成时间和位于各位置的原始日志能够一一对应。

步骤s407，将日志压缩数据发送至后台服务器。

步骤s408，接收日志压缩数据。

步骤s409，分别对时间特征的压缩数据、各日志类的位置特征的压缩数据和各日志类的变量特征的压缩数据进行解压，得到对应的解压数据。具体参见图4。

步骤s410，基于每一日志类，将解压得到的变量特征的特征信息还原至对应的公共模式信息中，得到原始日志的日志内容。具体参见图4。

步骤s411，基于每一日志类，将解压得到的序号信息与原始日志的日志内容进行拼接，得到各原始日志的序号信息和日志内容。具体参见图4。

步骤s412，将各原始日志的序号信息、日志内容分别与对应的日志生成时间一一对应，还原得到原始日志。具体参见图4。

<装置实施例>

图5为根据本发明实施例的日志压缩装置的原理框图。

根据图5所示，本实施例的压缩装置5000可以包括提取模块5100、压缩模块5200、生成模块5300。

提取模块5100用于从每一原始日志中提取设定特征的特征信息。

提取模块5100进一步用于从每一原始日志中提取日志生成时间，作为时间特征的特征信息。

提取模块5100还可进一步用于从每一原始日志中提取日志位置信息，作为位置特征的特征信息。

提取模块5100还可以进一步用于对所有原始日志进行分类，得到至少一个日志类，其中，同一日志类中的各原始日志具有相同的公共模式信息；对于每一日志类，从公共模式信息提取每一原始日志中的变量信息，作为变量特征的特征信息。例如，对于每一日志类，获取公共模式信息中的常量信息，并利用该常量信息，从公共模式信息中查询得到每一原始日志中的变量信息，作为变量特征的特征信息。

压缩模块5200用于对于每一设定特征，压缩对应的特征信息得到对应设定特征的压缩数据。

压缩模块5200进一步用于对于每一设定特征，获得特征信息的数据特性信息，并利用与数据特性信息对应的压缩方式压缩对应的特征信息，得到对应设定特征的压缩数据。

例如，当特征信息的数据特性信息为字符串格式时，可以采用通用字符串压缩方式压缩对应的特征信息。当特征信息的数据特性信息为数字格式时，可以采用数字压缩方式压缩对应的特征信息。

压缩模块5200可基于原始日志的日志生成时间提取到时间特征的特征信息后，压缩所有原始日志的日志生成时间，得到时间特征的压缩数据。

压缩模块5200可基于原始日志的日志位置信息提取到位置特征的特征信息后，压缩所有原始日志的日志位置信息，得到位置特征的压缩数据。

压缩模块5200可基于原始日志的公共模式信息中的变量信息，提取到变量特征的特征信息后，对于每一日志类，压缩每一原始日志的变量信息，得到变量特征的压缩数据。

生成模块5300用于根据每一设定特征的压缩数据，生成日志压缩数据。

例如，生成模块5300将时间特征的压缩数据、位置特征的压缩数据、各日志类的公共模式信息的常量信息和各日志类的变量特征的压缩数据进行拼接，生成日志压缩数据。

<电子设备实施例>

在一个实施例中，电子设备1000可以包括根据本发明任意实施例的日志压缩装置5000，用于实施本发明任意实施例的日志压缩方法。

在另一个实施例中，电子设备1000可以包括处理器1100和存储器1200。该存储器1200用于存储可执行的指令，该处理器1100用于根据指令的控制运行电子设备1000执行根据本发明任意实施例的日志压缩方法。

<计算机可读存储介质>

在本实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时实现如本发明任意实施例的日志压缩方法。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。