一种节点日志下载方法、装置、设备及介质与流程

1.本技术涉及分布式存储技术领域，特别是涉及一种节点日志下载方法、装置、设备及介质。


背景技术：

2.随着与日剧增的计算机数据量，在现有的分布式存储技术的存储管理方案中，服务端中只有主节点能够支持web服务。在用户需要下载非主节点(一般也成为子节点)上记录的日志时，需要将非主节点上的日志拷贝至主节点，在主节点将收集到的非主节点的压缩为一个日志，再通过主节点的web服务将压缩后的日志下载至客户端。此时，导致主节点处理日志的负载压力过大，同时日志的下载时间过长，降低用户使用体验感。
3.鉴于上述存在的问题，寻求如何提升用户体验感是本领域技术人员竭力解决的问题。


技术实现要素：

4.本技术的目的是提供一种节点日志下载方法、装置、设备及介质，用于降低主节点过大的负载压力，消除将全部日志收集在主节点并压缩的处理时间，提升用户使用体验感。
5.为解决上述技术问题，本技术提供一种节点日志下载方法，应用于服务端，包括：
6.接收下载请求；
7.根据下载请求确定待下载日志的节点列表，其中节点列表中存储待下载日志对应的子节点；
8.根据节点列表开启子节点的web服务；
9.通过web服务下载待下载日志。
10.优选地，在根据下载请求确定待下载日志的节点列表之后，在根据节点列表开启子节点的web服务之前，还包括：
11.根据节点列表中存储的子节点建立下载任务；
12.判断是否成功建立下载任务；
13.若是，则生成日志汇总目录，日志汇总目录用于存储全部待下载日志；
14.若否，则返回至根据下载请求确定待下载日志的节点列表的步骤。
15.优选地，在生成日志汇总目录之后，还包括：
16.压缩日志汇总目录。
17.优选地，在根据节点列表开启子节点的web服务之后，在通过web服务下载待下载日志之前，还包括：
18.设置下载任务的预设进度；
19.判断下载任务的进度是否达到预设进度；
20.若是，则进入通过web服务下载待下载日志的步骤；
21.若否，则结束。
22.优选地，在通过web服务下载待下载日志之后，还包括：
23.判断待下载日志是否下载完成；
24.若是，则关闭web服务；
25.若否，则返回至通过web服务下载待下载日志的步骤。
26.为解决上述技术问题，本技术还提供了一种节点日志下载方法，应用于客户端，包括：
27.发送下载请求，用于根据下载请求确定待下载日志的节点列表，以便于根据节点列表开启子节点的web服务，其中节点列表中存储待下载日志对应的子节点；
28.接收通过web服务下载的待下载日志。
29.为解决上述技术问题，本技术还提供了一种节点日志下载装置，应用于服务端，包括：
30.第一接收模块，用于接收下载请求；
31.确定模块，用于根据下载请求确定待下载日志的节点列表，其中节点列表中存储待下载日志对应的子节点；
32.开启模块，用于根据节点列表开启子节点的web服务；
33.下载模块，用于通过web服务下载待下载日志。
34.此外，应用于服务端的节点日志下载装置还包括以下模块：
35.建立模块，用于根据节点列表中存储的子节点建立下载任务；
36.第一判断模块，用于判断是否成功建立下载任务；
37.若是，则进入生成模块，用于生成日志汇总目录，日志汇总目录用于存储全部待下载日志；
38.若否，则返回至确定模块。
39.压缩模块，用于压缩日志汇总目录。
40.设置模块，用于设置下载任务的预设进度；
41.第二判断模块，用于判断下载任务的进度是否达到预设进度；
42.若是，则进入下载模块；
43.若否，则结束。
44.第三判断模块，用于判断待下载日志是否下载完成；
45.若是，则进入关闭模块，用于关闭web服务；
46.若否，则返回至下载模块。
47.为解决上述技术问题，本技术还提供了一种节点日志下载装置，应用于客户端，包括：
48.发送模块，用于发送下载请求，用于根据下载请求确定待下载日志的节点列表，以便于根据节点列表开启子节点的web服务，其中节点列表中存储待下载日志对应的子节点；
49.第二接收模块，用于接收通过web服务下载的待下载日志。
50.为解决上述技术问题，本技术还提供了一种节点日志下载设备，包括：
51.存储器，用于存储计算机程序；
52.处理器，用于指向计算机程序，实现节点日志下载方法的步骤。
53.为解决上述技术问题，本技术还提供了一种计算机可读存储介质，该计算机可读
存储介质上存储有计算机程序，计算机程序被处理器执行时，实现上述全部节点日志下载方法的步骤。
54.本技术所提供的一种节点日志下载方法，应用于服务端，包括：接收下载请求；根据下载请求确定待下载日志的节点列表，其中节点列表中存储待下载日志对应的子节点；根据节点列表开启子节点的web服务；通过web服务下载待下载日志。由于下载节点日志只能通过web服务进行下载，因此通过节点列表开启子节点的web服务，实现了直接通过子节点下载对应子节点的待下载日志，将主节点处理日志的负载压力分散到各子节点上，以此实现了降低主节点过大的负载压力，同时消除了将全部日志收集在主节点并压缩的处理时间，提升用户使用体验感。
55.本技术还提供了一种节点日志下载装置、设备和介质，效果同上。
附图说明
56.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1为本技术实施例所提供的一种应用于服务端的节点日志下载方法流程图；
58.图2为本技术实施例所提供的一种应用于客户端的节点日志下载方法流程图；
59.图3为本技术实施例所提供的一种应用于服务端的节点日志下载装置结构图；
60.图4为本技术实施例所提供的一种应用于客户端的节点日志下载装置结构图；
61.图5为本技术实施例所提供的一种节点日志下载设备结构图。
具体实施方式
62.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本技术保护范围。
63.本技术的核心是提供一种节点日志下载方法、装置、设备及介质，其能够降低主节点过大的负载压力，消除将全部日志收集在主节点并压缩的处理时间，提升用户使用体验感。
64.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。
65.图1为本技术实施例所提供的一种应用于服务端的节点日志下载方法流程图。如图1所示，该节点日志下载方法，应用于服务端，包括：
66.s10：接收下载请求。
67.需要说明的是，下载请求可以一次性建立多个下载请求，也可以是一次性只建立一个下载请求。但下载请求只可以建立一次，若想要增加下载请求的个数，则需要从头来过。本实施例中的下载请求可以通过二进制数据来表示，对于二进制的位数不作限定，可以是1位、2位、4位、8位等等；还可以通过文字形式表示，可以是“下载成功”、“开始下载”等等字样。其中，当用二进制数据来表示下载请求时，按照上述二进制数据的描述位数的顺序，
可以依次为“0”、“01”、“0110”、“11011001”等等，需要说明的是，上述列出的二进制数据以及文字形式仅为众多实施例中的几种表现形式，并不对下载请求的表示方法做出限定，可根据具体实施场景确定其实施方式。
68.s11：根据下载请求确定待下载日志的节点列表。
69.其中节点列表中存储待下载日志对应的子节点。与上述提及的下载请求想类似，节点列表可以通过枚举的方式记录子节点，还可以通过摘选的方式记录子节点。子节点可以通过二进制数据来表示，对于二进制的位数不作限定，可以是2位、4位、8位等等；还可以通过文字形式表示，可以是“第一子节点”、“待下载日志的子节点”等等字样。其中，当用二进制数据来表示下载请求时，按照上述二进制数据的描述位数的顺序，可以依次为“11”、“0110”、“11011001”等等，可以理解的是，当子节点数量较少且使用二进制数据表示子节点时，2位的二进制数据只能表示4个子节点，n位的二进制数据能表示
2n
个子节点。需要说明的是，上述列出的二进制数据以及文字形式仅为众多实施例中的几种表现形式，并不对记录子节点的方式做出限定，可根据具体实施场景确定其实施方式。
70.s12：根据节点列表开启子节点的web服务。
71.在本技术中，关于开启子节点的信息，可以通过二进制数据来触发，对于二进制的位数不作限定，可以是1位、2位、4位、8位等等；还可以通过文字形式表示，可以是“开启”、“启动”等等字样。其中，当用二进制数据来表示下载请求时，按照上述二进制数据的描述位数的顺序，可以依次为“0”、“01”、“0110”、“11011001”等等，需要说明的是，上述列出的二进制数据以及文字形式仅为众多实施例中的几种表现形式，并不对开启子节点的信息做出限定，可根据具体实施场景确定其实施方式。
72.s13：通过web服务下载待下载日志。
73.本技术所提供的一种节点日志下载方法，应用于服务端，包括：接收下载请求；根据下载请求确定待下载日志的节点列表，其中节点列表中存储待下载日志对应的子节点；根据节点列表开启子节点的web服务；通过web服务下载待下载日志。由于下载节点日志只能通过web服务进行下载，因此通过节点列表开启子节点的web服务，实现了直接通过子节点下载对应子节点的待下载日志，将主节点处理日志的负载压力分散到各子节点上，以此实现了降低主节点过大的负载压力，同时消除了将全部日志收集在主节点并压缩的处理时间，提升用户使用体验感。需要说明的是，本技术所提供的节点日志下载方法可以多个子节点并行下载节点日志。
74.在上述实施例的基础上，作为一种更优选的实施例，在根据下载请求确定待下载日志的节点列表之后，在根据节点列表开启子节点的web服务之前，还包括：
75.根据节点列表中存储的子节点建立下载任务；
76.判断是否成功建立下载任务；
77.若是，则生成日志汇总目录，日志汇总目录用于存储全部待下载日志；
78.若否，则返回至根据下载请求确定待下载日志的节点列表的步骤。
79.在本实施例中，将节点列表中存储的子节点，建立下载任务，而不是全部的子节点都建立下载任务，是为了节约存储空间以及减少资源消耗。其次，通过判断是否成功建立下载任务，能够避免在未成功建立下载任务的情况下，对资源的浪费。还需要说明的是，为了便于管理多个子节点对应的下载任务，可以将多个下载任务收集到一个任务组中。日志汇
总目录还可以存储全部待下载日志的ip信息，根据ip信息开启子节点的web服务。
80.在上述实施例的基础上，作为一种更优选的实施例，在生成日志汇总目录之后，还包括：
81.压缩日志汇总目录。
82.由于最终的目标是需要下载节点日志，为了给节点日志留下更多的存储空间，因此需要将日志汇总目录压缩。避免由于未压缩日志汇总目录，进而导致节点日志存储空间不足，不能获取节点日志，也就意味着不能下载节点日志的情况。
83.在上述实施例的基础上，作为一种更优选的实施例，在根据节点列表开启子节点的web服务之后，在通过web服务下载待下载日志之前，还包括：
84.设置下载任务的预设进度；
85.判断下载任务的进度是否达到预设进度；
86.若是，则进入通过web服务下载待下载日志的步骤；
87.若否，则结束。
88.为了使用户直观的了解下载任务进行进度，设置了预设进度。需要说明的是，以预设进度为40％为例，前40％的任务是在收集个子节点的节点日志，并将节点日志进行压缩。无论节点日志的容量大还是小，都有40％的任务对节点日志进行压缩。为了使得较大的节点日志也能完成压缩，可以预先计算全部子节点中最大的节点日志，以最大的节点日志的容量设置预设进度。
89.在上述实施例的基础上，作为一种更优选的实施例，在通过web服务下载待下载日志之后，还包括：
90.判断待下载日志是否下载完成；
91.若是，则关闭web服务；
92.若否，则返回至通过web服务下载待下载日志的步骤。
93.在本实施例中，为了降低下载日过程中的功率消耗，需要判断待下载日志是否下载完成。可以理解的是，可以通过设置预设时间，以轮询的方式判断待下载日志是否下载完成；还能以实时判断的方式判断下载是否完成。需要说明的是，预设时间可以设置为1s、1min等等，上述提及的预设时间仅为众多实施例中的几种，对于预设时间并不起到限定作用，可根据具体实施场景确定其实施方式。同时，关闭web服务也就表示，即使还有需要下载的节点日志，因为web服务关闭，也不能继续下载。
94.此外，当出现故障情况为：web服务关闭不能继续下载节点日志，但还有部分节点日志未下载完成，此时，可以记录下载进度，待故障完善后，继续按照之前的进度继续下载。
95.图2为本技术实施例所提供的一种应用于客户端的节点日志下载方法流程图。如图2所示，该节点日志下载方法，应用于客户端，包括：
96.s20：发送下载请求。
97.根据下载请求确定待下载日志的节点列表，以便于根据节点列表开启子节点的web服务，其中节点列表中存储待下载日志对应的子节点。需要说明的是，本实施例中的下载请求可以通过二进制数据来表示，对于二进制的位数不作限定，可以是1位、2位、4位、8位等等；还可以通过文字形式表示，可以是“下载成功”、“开始下载”等等字样。其中，当用二进制数据来表示下载请求时，按照上述二进制数据的描述位数的顺序，可以依次为“0”、“01”、“0110”、“11011001”等等，需要说明的是，上述列出的二进制数据以及文字形式仅为众多实施例中的几种表现形式，并不对下载请求的表示方法做出限定，可根据具体实施场景确定其实施方式。
98.其中节点列表中存储待下载日志对应的子节点。与上述提及的下载请求想类似，节点列表可以通过枚举的方式记录子节点，还可以通过摘选的方式记录子节点。子节点可以通过二进制数据来表示，对于二进制的位数不作限定，可以是2位、4位、8位等等；还可以通过文字形式表示，可以是“第一子节点”、“待下载日志的子节点”等等字样。其中，当用二进制数据来表示下载请求时，按照上述二进制数据的描述位数的顺序，可以依次为“11”、“0110”、“11011001”等等，可以理解的是，当子节点数量较少且使用二进制数据表示子节点时，2位的二进制数据只能表示4个子节点，n位的二进制数据能表示
2n
个子节点。需要说明的是，上述列出的二进制数据以及文字形式仅为众多实施例中的几种表现形式，并不对记录子节点的方式做出限定，可根据具体实施场景确定其实施方式。
99.在本技术中，关于开启子节点的信息，可以通过二进制数据来触发，对于二进制的位数不作限定，可以是1位、2位、4位、8位等等；还可以通过文字形式表示，可以是“开启”、“启动”等等字样。其中，当用二进制数据来表示下载请求时，按照上述二进制数据的描述位数的顺序，可以依次为“0”、“01”、“0110”、“11011001”等等，需要说明的是，上述列出的二进制数据以及文字形式仅为众多实施例中的几种表现形式，并不对开启子节点的信息做出限定，可根据具体实施场景确定其实施方式。
100.s21：接收通过web服务下载的待下载日志。
101.本技术所提供的一种节点日志下载方法，应用于客户端，包括：发送下载请求，用于根据下载请求确定待下载日志的节点列表，以便于根据节点列表开启子节点的web服务，其中节点列表中存储待下载日志对应的子节点；接收通过web服务下载的待下载日志。由于下载节点日志只能通过web服务进行下载，因此通过节点列表开启子节点的web服务，实现了直接通过子节点下载对应子节点的待下载日志，将主节点处理日志的负载压力分散到各子节点上，以此实现了降低主节点过大的负载压力，同时消除了将全部日志收集在主节点并压缩的处理时间，提升用户使用体验感。
102.在上述实施例中，对于节点日志下载方法进行了详细描述，本技术还提供节点日志下载装置对应的实施例。需要说明的是，本技术从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
103.图3为本技术实施例所提供的一种应用于服务端的节点日志下载装置结构图。如图3所示，本技术还提供了一种节点日志下载装置，应用于服务端，包括：
104.第一接收模块30，用于接收下载请求；
105.确定模块31，用于根据下载请求确定待下载日志的节点列表，其中节点列表中存储待下载日志对应的子节点；
106.开启模块32，用于根据节点列表开启子节点的web服务；
107.下载模块33，用于通过web服务下载待下载日志。
108.此外，节点日志下载装置还包括以下模块：
109.建立模块，用于根据节点列表中存储的子节点建立下载任务；
110.第一判断模块，用于判断是否成功建立下载任务；
processing unit，cpu)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器51可以集成有图像处理器(graphics processing unit，gpu)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器51还可以包括人工智能(artificial intelligence，ai)处理器，该ai处理器用于处理有关机器学习的计算操作。
132.存储器50可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器50还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器50至少用于存储以下计算机程序，其中，该计算机程序被处理器51加载并执行之后，能够实现前述任意一个实施例公开的节点日志下载方法的相关步骤。另外，存储器50所存储的资源还可以包括操作系统和数据等，存储方式可以是短暂存储或者永久存储。其中，操作系统可以包括windows、unix、linux等。数据可以包括但不限于节点日志下载方法等。
133.在一些实施例中，节点日志下载设备还可包括有显示屏、输入输出接口、通信接口、电源以及通信总线。
134.本领域技术人员可以理解，图5中示出的结构并不构成对节点日志下载设备的限定，可以包括比图示更多或更少的组件。
135.本技术实施例提供的节点日志下载设备，包括存储器50和处理器51，处理器51在执行存储器50存储的程序时，能够实现节点日志下载方法。
136.最后，本技术还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述方法实施例，可以是服务端对应的方法、也可以是客户端对应的方法，还可以是服务端和客户端对应的方法中记载的步骤。
137.可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory)，rom、随机存取存储器(randomaccess memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
138.以上对本技术所提供的一种节点日志下载方法、装置、设备及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
139.还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。