一种日志文件输出的方法、系统、设备及可读存储介质与流程

本申请涉及日志文件输出领域，特别涉及一种日志文件输出的方法、系统、设备及可读存储介质。

背景技术：

随着人工智能的快速发展，众多机构都在ai平台上进行深度模型训练，能够有效降低企业的成本，提高企业资源的利用率。然而，在对模型进行训练过程中，由于模型本身的参数配置复杂，且数据样本的规模较大，导致训练周期一般较长，此时部分任务会产生较大的模型日志。工作人员在对模型训练过程进行查看时(进行日志查看时，可视化迭代过程展示等操作)，如果日志文件较大，会造成ai平台显示超时，并导致集群读写io较高，这会对其他模型的正常训练造成影响，也会影响到ai平台中其它模块的使用。

因此，如何降低日志文件输出对ai平台io资源的占用是本领域技术人员目前需要解决的技术问题。

技术实现要素：

本申请的目的是提供一种日志文件输出的方法、系统、设备及可读存储介质，用于降低日志文件输出对ai平台io资源的占用。

为解决上述技术问题，本申请提供一种日志文件输出的方法，该方法包括：

接收日志文件输出命令，并根据所述日志文件输出命令获取对应的日志文件；

判断所述日志文件的大小是否大于阈值；

若是，则确定所述日志文件输出命令的类型；其中，所述日志文件输出命令的类型包括可视化输出类型；

当所述日志文件输出命令的类型为所述可视化输出类型时，对所述日志文件进行粒度放大处理；

将经过粒度放大处理后的所述日志文件转换为可视化格式，并输出所述可视化格式的日志文件。

可选的，所述日志文件输出命令的类型包括全输出类型，当所述日志文件输出命令的类型为所述全输出类型时，还包括：

将所述日志文件划分为多个预设大小的日志子文件；

按照时间顺序依次输出每个所述日志子文件。

可选的，当所述日志文件的大小小于或等于所述阈值时，还包括：

输出所述日志文件。

可选的，对所述日志文件进行粒度放大处理，包括：

对所述日志文件进行时间粒度放大处理。

可选的，对所述日志文件进行粒度放大处理，包括：

对所述日志文件进行迭代步数粒度放大处理。

本申请还提供一种日志文件输出的系统，该系统包括：

接收模块，用于接收日志文件输出命令，并根据所述日志文件输出命令获取对应的日志文件；

判断模块，用于判断所述日志文件的大小是否大于阈值；

确定模块，用于当所述日志文件的大小大于阈值时，确定所述日志文件输出命令的类型；其中，所述日志文件输出命令的类型包括可视化输出类型；

粒度放大模块，用于当所述日志文件输出命令的类型为所述可视化输出类型时，对所述日志文件进行粒度放大处理；

第一输出模块，用于将经过粒度放大处理后的所述日志文件转换为可视化格式，并输出所述可视化格式的日志文件。

可选的，还包括：

获取模块，用于当所述日志文件输出命令的类型为所述全输出类型时，将所述日志文件划分为多个预设大小的日志子文件；

第二输出模块，用于按照时间顺序依次输出每个所述日志子文件。

可选的，还包括：

第三输出模块，用于当所述日志文件的大小小于或等于所述阈值时，输出所述日志文件。

本申请还提供一种日志文件输出设备，该日志文件输出设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述日志文件输出的方法的步骤。

本申请还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述日志文件输出的方法的步骤。

本申请所提供日志文件输出的方法，包括：接收日志文件输出命令，并根据日志文件输出命令获取对应的日志文件；判断日志文件的大小是否大于阈值；若是，则确定日志文件输出命令的类型；当日志文件输出命令的类型为可视化输出类型时，对日志文件进行粒度放大处理；将经过粒度放大处理后的日志文件转换为可视化格式，并输出可视化格式的日志文件。

本申请所提供的技术方案，在接收到可视化输出类型的日志文件输出命令时，通过对大于阈值的日志文件进行粒度放大处理，使得得到的日志文件数据量更小，进而在进行可视化展示时降低了对ai平台io资源的占用，使得模型训练过程更加方便高效，并提高了ai平台的使用效果。本申请同时还提供了一种日志文件输出的系统、设备及可读存储介质，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种日志文件输出的方法的流程图；

图2为本申请实施例所提供的一种日志文件输出的系统的结构图；

图3为本申请实施例所提供的另一种日志文件输出的系统的结构图；

图4为本申请实施例所提供的一种日志文件输出设备的结构图。

具体实施方式

本申请的核心是提供一种日志文件输出的方法、系统、设备及可读存储介质，用于降低日志文件输出对ai平台io资源的占用。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种日志文件输出的方法的流程图。

其具体包括如下步骤：

s101：接收日志文件输出命令，并根据日志文件输出命令获取对应的日志文件；

基于现有技术中，目前涉及模型训练的ai平台的业务平台不太成熟，传统的非ai业务的平台，未对gb、tb级的日志文件进行分析与展示。若对较大的日志文件进行分析，会出现服务进程卡死等情况，造成ai平台系统崩溃，目前现有的技术可以利用缓存以及其它框架的方法，保证ai平台系统不足以崩溃，且能保证系统正常运行，但是集群io较高的问题并未解决，对其它任务的模型训练的速度影响很大，使得算法人员在平台使用过程中有较差的体验；故本申请提供了一种日志文件输出的方法，用于解决上述问题；

这里提到的根据日志文件输出命令获取对应的日志文件，其具体可以为依据日志文件输出命令获取对应某一时间段内的日志文件。

s102：判断日志文件的大小是否大于阈值；

若是，则进入步骤s103；

当日志文件的大小大于阈值时，则表明该日志文件的输出可能会造成ai平台显示超时，并导致集群读写io较高，这会对其他模型的正常训练造成影响，也会影响到ai平台中其它模块的使用，此时进入步骤s103中；

可选的，当日志文件的大小小于或等于阈值时，则证明该日志文件不会造成ai平台显示超时，也不会导致集群读写io较高，此时还可以直接输出该日志文件；

这里提到的阈值即为不影响ai平台正常运行所允许的最大日志文件大小，例如，在ai平台对正在运行的模型日志文件进行处理时，需要对日志文件大小进行校验，本申请根据ai平台使用规模(算法人员数，训练任务数)，设置文件大小的阈值为10g，可根据实际情况进行调整，对日志文件进行处理时，如果日志文件不大于10g，不对日志文件进行处理，即不造成对ai平台io的影响，超出10g进行日志文件的处理。

s103：确定日志文件输出命令的类型；

这里提到的日志文件输出命令的类型包括可视化输出类型，可视化输出类型即将日志文件以折线图、柱状图、饼状图或数据表等可视化形式进行输出，能够更加直观的对日志文件进行展示，以使非技术人员也能够直观了解；

优选的，该日志文件输出命令的类型还可以包括全输出类型，全输出类型即直接将该日志文件进行输出，方便工作人员对日志内容进行查看。

进一步的，当日志文件输出命令的类型为全输出类型时，还包括：

将日志文件划分为多个预设大小的日志子文件；

按照时间顺序依次输出每个日志子文件。

基于上述实施例，本申请在日志文件输出命令的类型为全输出类型时，对日志文件划分，将大文件分割成小文件，读取小文件的日志内容，最后将读取出的日志按照时间进行合并，进行日志内容的实时展示，不进行实际的物理分割。

s104：当日志文件输出命令的类型为可视化输出类型时，对日志文件进行粒度放大处理；

当日志文件输出命令的类型为可视化输出类型时，则表明不需要全部输出日志文件的细节，保证输出的日志文件具有较为明显的变化即可，此时对日志文件进行粒度放大处理，粒度是数据库名词，计算机领域中粒度指系统内存扩展增量的最小值。粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大，也就是说，经过粒度放大处理的日志文件的数据量会得到减小，进而实现降低日志文件输出对ai平台io资源的占用的目的。

优选的，这里提到的对日志文件进行粒度放大处理，其具体可以为：

对日志文件进行时间粒度放大处理。

这里提到的时间粒度(temporalgranularity，tg)即为由事物单元的时间尺度决定的粒度，例如，可以将日志文件的输出粒度由每秒钟输出一次变成每分钟输出一次，这样可以实现一定时间内日志文件的数据量的降低。

优选的，这里提到的对日志文件进行粒度放大处理，其具体可以为：

对日志文件进行迭代步数粒度放大处理。

这里提到的迭代步数粒度即为由模型的迭代步数决定的粒度，例如，可以将模型的训练粒度由每分钟迭代5000次放大为每分钟迭代500次，这样可以实现一定时间内日志文件的数据量的降低。

s105：将经过粒度放大处理后的日志文件转换为可视化格式，并输出可视化格式的日志文件。

基于上述技术方案，本申请所提供的一种日志文件输出的方法，在接收到可视化输出类型的日志文件输出命令时，通过对大于阈值的日志文件进行粒度放大处理，使得得到的日志文件数据量更小，进而在进行可视化展示时降低了对ai平台io资源的占用，使得模型训练过程更加方便高效，并提高了ai平台的使用效果。

请参考图2，图2为本申请实施例所提供的一种日志文件输出的系统的结构图。

该系统可以包括：

接收模块100，用于接收日志文件输出命令，并根据日志文件输出命令获取对应的日志文件；

判断模块200，用于判断日志文件的大小是否大于阈值；

确定模块300，用于当日志文件的大小大于阈值时，确定日志文件输出命令的类型；其中，日志文件输出命令的类型包括可视化输出类型；

粒度放大模块400，用于当日志文件输出命令的类型为可视化输出类型时，对日志文件进行粒度放大处理；

第一输出模块500，用于将经过粒度放大处理后的日志文件转换为可视化格式，并输出可视化格式的日志文件。

请参考图3，图3为本申请实施例所提供的另一种日志文件输出的系统的结构图。

该系统还可以包括：

获取模块，用于当日志文件输出命令的类型为全输出类型时，将日志文件划分为多个预设大小的日志子文件；

第二输出模块，用于按照时间顺序依次输出每个日志子文件。

该系统还可以包括：

第三输出模块，用于当日志文件的大小小于或等于阈值时，输出日志文件。

该粒度放大模块400可以包括：

时间粒度放大子模块，用于对日志文件进行时间粒度放大处理。

该粒度放大模块400可以包括：

迭代粒度放大子模块，用于对日志文件进行迭代步数粒度放大处理。

由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

请参考图4，图4为本申请实施例所提供的一种日志文件输出设备的结构图。

该日志文件输出设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，cpu)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对装置中的一系列指令操作。更进一步地，处理器622可以设置为与存储介质630通信，在日志文件输出设备600上执行存储介质630中的一系列指令操作。

日志文件输出设备600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm等等。

上述图1所描述的日志文件输出的方法中的步骤由日志文件输出设备基于该图4所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请所提供的一种日志文件输出的方法、系统、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。