日志处理方法、装置及计算机可读存储介质与流程

1.本发明涉及物联网技术领域，尤其涉及一种日志处理方法、装置及计算机可读存储介质。


背景技术：

2.随着物联网技术的发展，各式各样的硬件设备应用于实际生活中。在常见的互联网服务器和app开发中都会有专门的日志收集通道和处理服务平台，因为日志是定位问题的有效方法和手段，同样的，对于物联网市场也有同样的需求。
3.但是在物联网和嵌入式系统中，对于不联网的设备可能由于单片机本地存储空间小，无法存储大量日志，对于可以联网的设备可能由于功耗考虑，不允许上传大量的日志，这样只能选择部分日志可以被生成或者提取，导致上述问题的根本问题在于物联网设备生成的日志文件太大。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种日志处理方法、装置及计算机可读存储介质，旨在达成缩小物联网设备生成的日志数据大小的效果。
6.为实现上述目的，本发明提供一种日志处理方法所述日志处理方法包括以下步骤：
7.通过日志接口获取物联网设备的运行日志数据；
8.根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码；
9.确定目标日志编码。
10.可选地，所述通过日志接口获取物联网设备的运行日志数据的步骤之前，还包括：
11.通过日志接口获取所述物联网设备的编译日志数据；
12.根据所述编译日志数据的各个编译日志行对应文件名、行号、日志内容确定每一所述编译日志行对应的日志编码；
13.根据所述编译日志数据的所有所述编译日志行对应的日志编码生成全量日志特征文件；
14.将所述物联网设备和所述全量日志特征文件关联保存。
15.可选地，所述将所述物联网设备和所述全量日志特征文件关联保存的步骤包括：
16.获取所述物联网设备的设备标识；
17.将所述设备标识与所述全量日志特征文件关联保存在本地存储器；和/或
18.将所述设备标识与所述全量日志特征文件发送至服务器，所述服务器将所述设备标识与所述全量日志特征文件关联保存。
19.可选地，所述确定目标日志编码的步骤包括：
20.当检测到所述物联网设备运行异常时，确定所述异常发生时间前和/或后预设时段内生成日志编码为目标日志编码。
21.可选地，所述确定目标日志编码的步骤之后，还包括：
22.根据全量日志特征文件确定与所述目标日志编码对应的所述目标日志数据；或
23.将所述目标日志编码发送至服务器，以使所述服务器根据全量日志特征文件确定与所述目标日志编码对应的所述目标日志数据。
24.可选地，所述根据全量日志特征文件和所述目标日志编码确定目标日志数据的步骤之后，还包括：
25.根据所述目标日志数据确定所述物联网设备中软件程序的运行情况。
26.可选地，所述通过日志接口获取物联网设备的运行日志数据的步骤之前，还包括：
27.获取项目信息，所述项目信息是指所述物联网设备的相关信息；
28.根据所述项目信息确定日志参数，所述日志参数包括日志类型，最大日志条数；
29.根据所述日志参数设置所述日志接口。
30.此外，为实现上述目的，本发明还提供一种日志处理装置，所述日志处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志处理程序，所述日志处理程序被所述处理器执行时实现如上所述的日志处理方法的步骤。
31.此外，为实现上述目的，本发明还提供一种日志处理装置，所述日志处理装置包括：
32.获取模块，用于通过日志接口获取物联网设备的运行日志数据；
33.编码模块，用于根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码；
34.确定模块，用于确定目标日志编码。
35.本发明实施例提出的一种日志处理方法、装置及计算机可读存储介质，先通过日志接口获取物联网设备的运行日志数据；根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码；确定目标日志编码。这样通过日志接口获取物联网设备在运行程序时的运行日志数据，并将运行日志数据的每一日志行对应的进行编码，日志编码的存储大小小于原始的编译日志数据，因此缩小了物联网设备生成日志存储大小。
附图说明
36.图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
37.图2为本发明日志处理方法的一实施例的流程示意图；
38.图3为本发明日志处理方法的另一实施例的流程示意图；
39.图4为本发明实施例涉及的日志处理装置架构简图。
40.本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
41.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
42.由于在相关技术中，物联网设备出于管理的需求，会生成日志文件，对于不联网的设备可能由于单片机本地存储空间小，无法存储大量日志，对于可以联网的设备可能由于功耗考虑，不允许上传大量的日志，导致上述问题的根本问题在于物联网设备的日志文件太大。
43.为了缩小物联网设备的日志文件的大小，本发明实施例提出一种日志处理方法、装置及计算机可读存储介质，其中，所述方法的主要步骤包括：
44.通过日志接口获取物联网设备的运行日志数据；
45.根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码；
46.确定目标日志编码。
47.这样通过日志接口获取物联网设备在运行程序时的运行日志数据，并将运行日志数据的每一日志行对应的进行编码，日志编码的存储大小小于原始的编译日志数据，因此缩小了物联网设备生成日志存储大小，解决了存储、传输等问题。
48.以下结合附图对本发明权利要求要求保护的内容进行详细说明。
49.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
50.本发明实施例终端可以是日志处理装置。
51.如图1所示，该终端可以包括：处理器1001，例如cpu，存储器1003，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。存储器1003可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1003可选的还可以是独立于前述处理器1001的存储装置。
52.本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
53.如图1所示，作为一种计算机存储介质的存储器1003中可以包括操作系统以及日志处理程序。
54.在图1所示的终端中，处理器1001可以用于调用存储器1003中存储的日志处理程序，并执行以下操作：
55.通过日志接口获取物联网设备的运行日志数据；
56.根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码；
57.确定目标日志编码。
58.进一步地，处理器1001可以调用存储器1003中存储的日志处理程序，还执行以下操作：
59.通过日志接口获取所述物联网设备的编译日志数据；
60.根据所述编译日志数据的各个编译日志行对应文件名、行号、日志内容确定每一所述编译日志行对应的日志编码；
61.根据所述编译日志数据的所有所述编译日志行对应的日志编码生成全量日志特征文件；
62.将所述物联网设备和所述全量日志特征文件关联保存。
63.进一步地，处理器1001可以调用存储器1003中存储的日志处理程序，还执行以下
操作：
64.获取所述物联网设备的设备标识；
65.将所述设备标识与所述全量日志特征文件关联保存在本地存储器；和/或
66.将所述设备标识与所述全量日志特征文件发送至服务器，所述服务器将所述设备标识与所述全量日志特征文件关联保存。
67.进一步地，处理器1001可以调用存储器1003中存储的日志处理程序，还执行以下操作：
68.当检测到所述物联网设备运行异常时，确定所述异常发生时间前和/或后预设时段内生成日志编码为目标日志编码。
69.进一步地，处理器1001可以调用存储器1003中存储的日志处理程序，还执行以下操作：
70.根据全量日志特征文件确定与所述目标日志编码对应的所述目标日志数据；或
71.将所述目标日志编码发送至服务器，以使所述服务器根据全量日志特征文件确定与所述目标日志编码对应的所述目标日志数据。
72.进一步地，处理器1001可以调用存储器1003中存储的日志处理程序，还执行以下操作：
73.根据所述目标日志数据确定所述物联网设备中软件程序的运行情况。
74.进一步地，处理器1001可以调用存储器1003中存储的日志处理程序，还执行以下操作：
75.获取项目信息，所述项目信息是指所述物联网设备的相关信息；
76.根据所述项目信息确定日志参数，所述日志参数包括日志类型，最大日志条数；
77.根据所述日志参数设置所述日志接口。
78.物联网是指通过信息传感设备，按约定的协议，将任何物体与网络相连接，物体通过信息传播媒介进行信息交换和通信，以实现智能化识别、定位、跟踪、监管等功能。与互联网不同，物联网是终端不再是计算机(pc、服务器)，而是嵌入式计算机系统及其配套的传感器。
79.随着物联网技术的发展，各式各样的硬件设备应用于实际生活中，在常见的互联网服务器和app开发中都会有专门的日志收集通道和处理服务平台，因为日志是定位问题的有效方法和手段，同样的，对于物联网市场也有同样的需求。
80.但是在物联网和嵌入式系统中，对于不联网的设备可能由于单片机本地存储空间小，无法存储大量日志，对于wifi联网的设备可能由于功耗考虑，不允许上传大量的日志，对于2g/4g类物联网设备，不仅功耗要求高，而且每月受sim套餐数据流量的限制，基本也不太可能上传大量的日志，这样只能选择部分日志可以被生成或者提取，导致上述问题的根本问题在于物联网设备生成的日志文件太大。
81.由此可见，在相关日志处理方法中，存在上述缺陷。本发明实施例为解决上述缺陷，提出了一种日志处理方法，旨在达成将运行日志数据每一个日志行对应的生成日志编码，实现了缩小物联网设备的日志文件大小的效果。
82.以下，通过具体示例性方案对本发明权利要求要求保护的内容，进行解释说明，以便本领域技术人员更好地理解本发明权利要求的保护范围。可以理解的是，以下示例性方
案不对本发明的保护范围进行限定，仅用于解释本发明。
83.示例性地，参照图2，在本发明日志处理方法的一实施例中，所述日志处理方法包括以下步骤：
84.步骤s10、通过日志接口获取物联网设备的运行日志数据；
85.在本实施例中，物联网设备是物联网中的终端设备，对物联网的简单理解是物物相连的互联网，所以物联网设备大多是硬件设备，物联网设备上会有软件程序，对于一个物联网设备来说，其具有两个阶段，一是将软件程序在电脑上编译后烧录到物联网设备上，二是在物联网设备上运行软件程序，两个阶段都会根据项目要求生成日志数据，日志数据是根据软件程序代码生成的，由于第一阶段涉及的软件程序包括了第二阶段中运行的软件程序，所以第一阶段生成的日志数据范围大于第二阶段生成的日志数据范围。第一阶段生成的日志数据称为编译日志数据，第二阶段生成的日志数据称为运行日志数据，日志数据包括了若干日志行，一般主要是错误日志，用于分析定位问题，或者关键运行日志，用于了解设备运行状态。
86.可选地，为了获取物联网设备的运行日志数据，需要设置一个日志接口，有特殊的格式和字符串封装，便于运行过程中触发运行日志的编码过程，通过该日志接口获取到的运行日志数据会进入日志编码的流程。
87.进一步地，获取项目信息，所述项目信息是指所述物联网设备的相关信息；根据所述项目信息确定日志参数，所述日志参数包括日志类型，最大日志条数；根据所述日志参数设置所述日志接口。通过该日志接口可以获取到符合日志参数的运行日志数据。项目信息是指物联网设备的相关信息，在设计和配置物联网设备时，会配置项目信息，指示物联网设备的硬件安装要求和软件运行需求，根据项目信息可以确定物联网设备软件程序的日志生成需求，根据日志生成需求确定日志参数，日志参数可以包括日志类型(告警日志、错误日志以及特定的日志输出开关)和最大日志条数等，根据日志参数设置日志接口，可以过滤出具有实际需要日志特征的日志数据，减少了日志数据编码的计算。
88.步骤s20、根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码。
89.在本实施例中，需要通过日志接口获取到的运行日志数据进行编码处理，该处理过程可以通过sdk(软件开发工具包)完成，在软件程序运行后过程中，生成的运行日志数据是一行一行的，所以对日志数据的编码处理也是按照每行来编码，每一个编译日志行对应的编译日志数据会对应的生成一个日志编码，每一个编译日志行通过编码算法将文件名、行号、日志内容对应生成一个唯一的日志编码，日志编码大小可以是4个字节，可以根据具体的项目信息进行调整，比如单片机设备由于程序短，编码算法可以进行调节，编码大小可以设置为2个字节，节约内存空间，减少计算量。编码算法可以根据项目信息进行确定，可以是自定义的md5，hash，crc，求和等算法。
90.可以理解的是，一般日志数据主要有用的是出错时的错误日志和告警日志，在实际的代码工程中，一般出错的日志行都是不同层次的调用函数打印的函数，实际的源码调用层次不会嵌套太多，即使有更多的错误，对定位最有用的也是最接近出错点的10条左右日志。假如一个项目有10000条不同的日志(错误和普通一起算)，但是对于4字节的表示范围(2的32次方)，碰撞概率仍然是很低的。其次考虑到特定编码算法本身的碰撞，比如
crc32，其在10000条的数量下，碰撞概率也小于1/100，在碰撞概率如此小的情况下，可以认为对应一个物理网设备来说，其运行日志数据的每个编译日志行生成的日志编码不会发送碰撞。
91.可选地，记录运行日志数据的每一个运行日志行对应的日志编码生成时间，超过限制后删除，节约存储空间。
92.可选地，若日志编码超过预设编码数量或存储量，则删除一部分在先生成的日志编码，节约存储空间。
93.步骤s30、确定目标日志编码；
94.在本实施例中，运行日志数据包括若干运行日志行，每一行运行日志行都会生成一个对应的日志编码，根据实际需求，可以确定目标日志编码，根据目标日志编码可以确定运行日志数据中的目标运行日志行，根据目标日志编码可以确定运行日志数据中目标运行日志行对应的目标日志数据，可以理解的是，目标日志编码可以正向确定，也可以逆向确定，即确定目标运行日志数据；确定所述运行日志数据对应的运行日志行为目标运行日志行；将各个目标运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码，该日志编码即为目标日志编码。
95.可选地，当检测到所述物联网设备运行异常时，确定所述异常发生时间前和/或后预设时段内生成日志编码为目标日志编码。当物联网设备运行异常时，可以通过运行日志数据判断代码运行情况，由于运行日志数据已经处理为日志编码，所以将异常发生前和/或后的预设时间(比如十分钟)内生成的日志编码为目标日志编码。将目标日志编码文件存储到本地存器或者发送到服务器，通过目标日志编码可以确定异常发生原因。
96.可选地，根据全量日志特征文件确定与所述目标日志编码文件对应的所述目标日志数据；或将所述目标日志编码文件发送至服务器，以使所述服务器根据全量日志特征文件确定与所述目标日志编码文件对应的所述目标日志数据。全量日志特征文件是在编译物联网设备的软件程序过程中生成的所有日志编码和原始的编译日志数据关联保存的文件，在确定一个日志编码后，根据日志编码的编码值匹配全量日志特征文件，索引到原始日志数据的文件名，行号，日志内容，可以理解的是，该原始日志数据是编译日志数据，但编译日志数据与目标日志代码对应的运行日志数据相同，所以在确定目标日志编码后，根据全量日志特征文件确定的目标日志数据可以用于查看软件程序的运行情况。
97.进一步地，确定全量日志特征文件的保存位置，保存位置可以是本地存储器或服务器，本地服务器是执行日志处理方法主体中的存储器，如果保存位置本地存储器，则可以直接调用全量日志特征文件，根据全量日志特征文件确定与目标日志编码文件对应的目标日志数据；如果保存位置是服务器，则将目标日志编码文件发送至服务器，以使服务器根据全量日志特征文件确定与目标日志编码文件对应的目标日志数据，由于物联网设备的项目信息不同，全量日志特征文件的保存位置也不同，为了适应不同的物联网设备，提出了不同的目标日志数据确定方式。
98.进一步地，根据目标日志数据可以确定物联网设备中软件程序的运行情况，根据软件程序的运行情况，确定代码漏洞。
99.在本实施例公开的技术方案中，通过日志接口获取物联网设备的运行日志数据；根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行
日志行对应的日志编码；确定目标日志编码。通过日志接口获取运行日志数据，将运行日志数据转换为日志编码，确定目标日志编码，可以通过全量日志特征文件确定目标日志数据，这样在需要得到日志数据时，只需要获取目标日志编码，目标日志编码的存储大小小于原始日志数据，达成了缩小物联网设备生成日志大小的效果，日志编码不仅占用的存储空间小，在传输时还具有效率高，耗时短，节约了传输资源等优势。
100.可选地，参照图3，基于上述任一实施例，在本发明日志处理方法的另一实施例中，所述日志处理方法还包括：
101.步骤s40、通过日志接口获取所述物联网设备的编译日志数据；
102.在本实施例中，编译日志数据是编译软件程序时生成的日志数据，对于物联网设备来说，其具有将软件程序在电脑上编译后烧录到物联网设备上，以及在物联网设备上运行软件程序两个可以生成日志数据阶段，需要注意的是，在第一阶段中，即在编译软件程序的过程中通过特别配置的日志接口获取业务编译日志数据也是属于本发明实施例的重要改进点。与运行软件程序阶段不同的是，运行软件程序时是按条件执行物联网设备上的软件程序的代码，而编译软件程序会涉及全部软件代码所以在运行软件程序时生成的运行日志数据范围小于编译软件程序时生成的编译日志数据范围。
103.可以理解的是，物联网设备上编译烧录软件程序后才能运行软件程序，生成编译日志数据的日志接口与生成运行日志数据时的日志接口不一定相同，但是生成编译日志数据的日志接口的过滤机制(或生成机制)应相对于生成运行日志数据时的日志接口较松，才能保证编译日志数据全部包含运行日志数据。
104.步骤s50、根据所述编译日志数据的各个编译日志行对应文件名、行号、日志内容确定每一所述编译日志行对应的日志编码；
105.在本实施例中，需要对通过日志接口获取到的编译日志数据进行编码处理，编码算法应与运行日志数据的编码算法相同，该处理过程可以通过sdk(软件开发工具包)完成，在编译软件程序的阶段中，生成的日志数据是一行一行的，所以对日志数据的编码处理是按照每行来编码，每一个运行日志行对应的运行日志数据会对应的生成一个日志编码，每一个运行日志行通过编码算法将文件名、行号、日志内容对应生成一个唯一的日志编码。需要注意的是，本步骤中编译日志数据的编码流程与上述运行日志数据的编码流程相同。
106.步骤s60、根据所述编译日志数据的所有所述编译日志行对应的日志编码生成全量日志特征文件；
107.在本实施例中，每一行编译日志行都会生成一个对应的日志编码，由于编译日志数据是硬件设备在编译软件程序过程中生成的，运行阶段是根据条件运行软件程序，所以编译阶段生成的日志数据范围覆盖了运行阶段的日志数据范围，所以根据编译日志数据生成的日志编码生成的日志特征文件可以称为全量日志特征文件。
108.可选地，将所有的日志编码和对应的原始的编译日志数据关联保存，生成全量日志特征文件。
109.可以理解的是，全量日志特征文件并不一定是物联网设备的全部编译日志数据，根据日志接口的设置，全量日志特征文件对应的可以是告警日志数据，也可以是错误日志数据，这个由日志sdk的配置文件决定。
110.步骤s70、将所述物联网设备和所述全量日志特征文件关联保存。
111.在本实施例中，生成的全日志特征文件可以用于在运行阶段生成的运行日志编码的对照，所以需要将物联网设备和所述全量日志特征文件关联保存，可以理解的是，全量日志特征文件是一个具体的编译物联网设备软件程序时生成的，所以应当将编译物联网设备与全量日志特征文件关联保存。
112.可选地，可以根据物联网设备的项目信息确定保存位置和保存方式。
113.进一步地，获取所述物联网设备的设备标识；将所述设备标识与所述全量日志特征文件关联保存在本地存储器；和/或将所述设备标识与所述全量日志特征文件发送至服务器，所述服务器将所述设备标识与所述全量日志特征文件关联保存。
114.根据项目信息确定的保存位置和保存方式，可以确定全量日志特征文件的保存位置事是本地存储器和/或服务器，设备标识可以是物联网设备的唯一身份标识，可以是sn码(serial number产品)，确定设备标识后可以确定属于它的全量特征文件，在物联网设备运行软件程序时生成的目标日志编码可以在确定物联网设备标识后调用对应的全量特征文件，匹配目标日志数据。此外，还可以将全量日志特征文件的生成时间与全量日志特征文件、设备标识关联保存，对应一个物联网设备来说，会有升级软件程序等额外的编译过程，产生新的编译日志数据，对应的也会产生新的全量特征文件，所以需要确定全量特征文件的生成时间，以实现对物联网设备的全量特征文件的更新。
115.在本实施例公开的技术方案中，通过日志接口获取所述物联网设备的编译日志数据；根据所述编译日志数据的各个编译日志行对应文件名、行号、日志内容确定每一所述编译日志行对应的日志编码；根据所述编译日志数据的所有所述编译日志行对应的日志编码生成全量日志特征文件；将所述物联网设备和所述全量日志特征文件关联保存。这样通过日志接口后生成编译物联网设备软件程序时生成的编译日志数据每一编译日志行对应的日志编码，根据日志编码可以生成全量日志文件。该过程编码算法与运行日志数据编码算法一致，编译程序时的日志编码范围大于运行程序时的日志编码，所以目标日志编码可以根据全量日志文件索引到原始运行日志数据，实现了物联网设备的运行日志数据可以缩小为日志编码进行存储、传输的效果，也提高了用户确定物理网设备运行情况的效率。
116.此外，本发明实施例还提出一种日志处理装置，所述日志处理装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的日志处理程序，所述日志处理程序被所述处理器执行时实现如上各个实施例所述的日志处理方法的步骤。
117.此外，本发明实施例还提出一种日志处理装置，示例性地，参照图4所述日志处理装置100包括：
118.获取模块101、编码模块102和确定模块103，其中，获取模块101，用于通过日志接口获取物联网设备的运行日志数据；编码模块102，用于根据所述运行日志数据的各个运行日志行对应文件名、行号、日志内容确定每一所述运行日志行对应的日志编码；确定模块103，用于确定目标日志编码。
119.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有日志处理程序，所述日志处理程序被处理器执行时实现如上各个实施例所述的日志处理方法的步骤。
120.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而
且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
121.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
122.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现；当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得日志处理装置执行本发明各个实施例所述的方法。
123.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。