MapReduce的日志处理方法、装置、存储介质以及电子设备与流程

本申请涉及计算机领域，尤其涉及一种mapreduce的日志处理方法、装置、存储介质以及电子设备。

背景技术：

1、现有技术中，编程模型mapreduce的作业执行情况的展示和日志清理可以由历史数据处理服务器mr history server来完成。但是，现有技术中，mr history server只能在一个节点上部署，如果部署mr history server的节点异常，则无法为mapreduce展示作业执行情况和清理日志。

技术实现思路

1、本申请提供了一种mapreduce的日志处理方法、装置、存储介质以及电子设备，以解决mr history server所在节点异常则无法展示mapreduce作业与清理mapreduce日志的技术问题。

2、第一方面，本申请提供了一种mapreduce的日志处理方法，包括：为上述mapreduce注册多个历史数据处理服务，其中，上述多个历史数据处理服务中的每一个服务位于目标集群中的一个节点上，上述多个历史数据处理服务所位于的节点中一个节点为主节点，其余节点为从节点；由上述主节点对上述mapreduce的日志进行处理与展示且由上述从节点对上述mapreduce的日志进行展示；在上述主节点异常的情况下，从上述从节点中选择一个节点作为新的主节点。

3、第二方面，本申请提供了一种mapreduce的日志处理装置，包括：注册模块，用于为上述mapreduce注册多个历史数据处理服务，其中，上述多个历史数据处理服务中的每一个服务位于目标集群中的一个节点上，上述多个历史数据处理服务所位于的节点中一个节点为主节点，其余节点为从节点；处理模块，用于由上述主节点对上述mapreduce的日志进行处理与展示且由上述从节点对上述mapreduce的日志进行展示；选择模块，用于在上述主节点异常的情况下，从上述从节点中选择一个节点作为新的主节点。

4、作为一种可选的示例，上述注册模块包括：注册单元，用于在上述目标集群中注册上述多个历史数据处理服务；将最先注册到上述目标集群中的上述历史数据处理服务所在的节点确定为上述主节点；将后注册到上述目标集群中的上述历史数据处理服务所在的节点确定为上述从节点。

5、作为一种可选的示例，上述处理模块包括：处理单元，用于由上述主节点扫描第一目录下的日志，其中，上述第一目录用于存放待处理的日志；在扫描到上述第一目录下包括日志的情况下，从内存中获取上述第一目录下的日志的日志标签，且获取上述第一目录下的日志的存储状态，其中，上述日志标签用于标记第一目录下的日志是否成功存储到第二目录下，上述存储状态用于指示上述第二目录下是否包括上述第一目录下的日志，上述第二目录用于存放处理后的日志；根据上述日志标签和上述存储状态，确定对上述第一目录下的日志执行复制操作或者删除操作。

6、作为一种可选的示例，上述处理单元包括：第一处理子单元，用于由上述主节点扫描上述第一目录下的每一个文件；在扫描的当前文件的后缀名为日志后缀的情况下，确定上述当前文件为一个日志文件。

7、作为一种可选的示例，上述处理单元包括：第二处理子单元，用于在上述日志标签标记上述第一目录下的日志被成功存储到上述第二目录，或者上述日志标签标记上述第一目录下的日志未被成功存储到上述第二目录但上述存储状态指示上述第二目录下存在上述第一目录下的日志的情况下，获取上述第一目录下的日志的已保留时长；在上述已保留时长大于应保留时长的情况下，删除上述第一目录下的日志；将上述日志标签标记为上述第一目录下的日志被成功存储到上述第二目录。

8、作为一种可选的示例，上述处理单元包括：第三处理子单元，用于在上述日志标签标记上述第一目录下的日志未被成功存储到上述第二目录且上述存储状态指示上述第二目录下不存在上述第一目录下的日志的情况下，将上述第一目录下的日志复制到上述第二目录下；在复制成功的情况下，将上述日志标签设置为标记上述第一目录下的日志被成功存储到上述第二目录下；在复制失败的情况下，删除上述第一目录下的日志，且将上述日志标签设置为标记上述第一目录下的日志被成功存储到上述第二目录下。

9、作为一种可选的示例，上述选择模块包括：确定单元，用于获取上述从节点的注册上述历史数据处理服务的时间点；将最早的上述时间点对应的从节点确定为新的主节点；或者，将上述从节点中，负载最小的节点确定为新的主节点。

10、第三方面，本申请提供了一种电子设备，包括：至少一个通信接口；与上述至少一个通信接口相连接的至少一个总线；与上述至少一个总线相连接的至少一个处理器；与上述至少一个总线相连接的至少一个存储器，其中，上述存储器存储有计算机程序，上述处理器被配置为执行上述计算机程序时实现上述任一项上述的mapreduce的日志处理方法。

11、第四方面，本申请还提供了一种计算机存储介质，存储有计算机可执行指令，上述计算机可执行指令用于执行本申请上述任一项上述的mapreduce的日志处理方法。

12、本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方案，可以注册多个历史数据处理服务，每一个服务位于目标集群中的一个节点上，通过主节点上的服务来展示和清理日志，如果主节点异常，则在从节点中选择一个节点作为主节点，不会影响到日志的清理。

技术特征：

1.一种mapreduce的日志处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述为所述mapreduce注册多个历史数据处理服务包括：

3.根据权利要求1所述的方法，其特征在于，由所述主节点对所述mapreduce的日志进行处理包括：

4.根据权利要求3所述的方法，其特征在于，所述由所述主节点扫描第一目录下的日志包括：

5.根据权利要求3所述的方法，其特征在于，所述根据所述日志标签和所述存储状态，确定对所述第一目录下的日志执行复制操作或者删除操作包括：

6.根据权利要求3所述的方法，其特征在于，所述根据所述日志标签和所述存储状态，确定对所述第一目录下的日志执行复制操作或者删除操作包括：

7.根据权利要求1所述的方法，其特征在于，所述在所述主节点异常的情况下，从所述从节点中选择一个节点作为新的主节点包括：

8.一种mapreduce的日志处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：至少一个通信接口；与所述至少一个通信接口相连接的至少一个总线；与所述至少一个总线相连接的至少一个处理器；与所述至少一个总线相连接的至少一个存储器，其中，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任意一项中所述的方法。

10.一种计算机可读的存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行本申请上述权利要求1至7任一项所述的方法。

技术总结
本申请涉及一种MapReduce的日志处理方法、装置、存储介质以及电子设备。该方法包括：为MapReduce注册多个历史数据处理服务，其中，多个历史数据处理服务中的每一个服务位于目标集群中的一个节点上，多个历史数据处理服务所位于的节点中一个节点为主节点，其余节点为从节点；由主节点对MapReduce的日志进行处理与展示且由从节点对MapReduce的日志进行展示；在主节点异常的情况下，从从节点中选择一个节点作为新的主节点。本申请解决了MR History Server所在节点异常则无法展示MapReduce作业与清理MapReduce日志的技术问题。

技术研发人员：范育萍
受保护的技术使用者：北京金山云网络技术有限公司
技术研发日：
技术公布日：2024/3/21