本发明涉及互联网大数据收集技术领域，尤其涉及一种用于检测日志收集稳定性的可视化展示方法及系统。
背景技术：
随着移动终端数量的增加，移动终端用户收集的数据量越来越大，对于数据收集量的稳定需求也随着数据的重要性而越来越高。现有技术中用户终端日志数据是存储于大数据架构hadoop中，通过在hdfs和hive分区的方式存储。然而在对用户终端日志数据记录的收集稳定性检测时采用的是hive语句查询，然后将查询结构导入excel报表中，以t+1的形式进行提报，即只能得到前一天以及以往历史数据的稳定性检测结果，其日志数据收集记录的稳定性检测结果必然存在滞后性，时效性差的问题，且人工进行处理的成本较高，实用性较差。
公开号为cn106936860a的中国发明专利公开了一种基于终端设备的监控系统及方法，该系统包括：终端设备装置，用于采集终端设备的日志信息；云服务器，其通过网络连接至终端设备装置，用于接收终端设备的日志信息，并存储及分析日志信息以将对应的处理策略下发至终端设备装置。该专利中是通过将所采集的终端设备的日志信息发送至云服务器，进而通过云服务器对终端设备的日志信息进行分析以检测终端设备的运行稳定性，进而可实现对终端设备进行远程监控预警管理以避免出现潜在的故障。
上述现有技术中仅涉及如何将所收集的终端设备的日志信息发送至云服务器并且对所收集的日志信息进行分析后采用对应的策略下发至终端设备以检测设备产品的运行稳定性。但是，其并未解决现有技术中对于终端设备的稳定性检测过程中由于所采集的日志数据存在滞后性，时效性差而导致终端设备日志收集记录的收集稳定性的检测数据可靠性较低的问题。
技术实现要素：
针对上述问题，本发明公开了一种用于检测日志收集稳定性的可视化展示方法，该展示方法包括如下步骤：
s1：获取用户终端的日志数据，并根据日志数据构建日志文件；
s2：基于日志文件，构建数据表；
s3：获取检测时间段；
s4：根据数据表，计算获取检测时间段的检测数据；
s5：可视化展示检测数据。
进一步的，上述步骤s1包括：
s11：获取用户终端的日志数据；
s12：分发存储日志数据并生成日志存储信息；
s13：将日志存储信息记录于日志文件内。
进一步的，上述步骤s2包括：
s21：制定数据表结构；
s22：根据日志文件，获取记录行数据；
s23：将记录行数据插入数据表。
上述数据表的结构至少包括终端配置信息、日期、时刻、地域编码等字段信息。
进一步的，上述步骤s22包括步骤：
获取定时读取时间；
根据定时读取时间，定时读取日志文件以获取预设时间间隔内的记录行数据。
进一步的，上述步骤s4包括：
s41：根据数据表，获取检测时间段内的目标记录行数据；
s42：根据目标记录行数据进行计算得到检测时间段的检测数据。
基于本发明所公开的一种用于检测日志收集稳定性的可视化展示方法，本发明还提供了一种用于检测日志收集稳定性的可视化展示系统，该展示系统包括：
第一构建模块，用于获取用户终端的日志数据并根据日志数据构建日志文件；
第二构建模块，用于根据日志文件构建数据表；
第一获取模块，用于获取检测时间段；
计算模块，用于根据数据表，计算获取检测时间段的检测数据；
展示模块，用于可视化展示检测数据。
进一步的，上述第一构建模块包括：
第二获取模块，用于获取用户终端的日志数据；
分发存储模块，用于分发存储日志数据并生成日志存储信息；
数据记录模块，用于将日志存储信息记录于日志文件内。
进一步的，上述第二构建模块包括：
结构制定模块，用于制定数据表结构；
第三获取模块，用于根据日志文件，获取记录行数据；
数据插入模块，用于将记录行数据插入数据表。
其中，结构制定模块所制定的数据表中至少包括：终端配置信息、日期、时刻及地域编码。
进一步的，上述第三获取模块包括：
第四获取模块，用于获取定时读取时间；
定时读取模块，根据定时读取时间，定时读取日志文件以获取预设时间间隔内的记录行数据。
进一步的，上述计算模块包括：
第五获取模块，用于根据数据表获取检测时间段内的目标记录行数据；
计算获取模块，用于根据目标记录行数据进行计算得到检测时间段的检测数据。
本发明的有益效果在于：
本发明所提供的一种用于检测日志收集稳定性的可视化展示方法及系统，是在构建日志文件、数据表的基础上，进行定时读取记录行数据并根据所读取的记录行数据计算得到检测数据，以便于能够通过系统所展示的检测数据更加直观快速的对用户终端日志数据收集记录的稳定性进行监控，以有效提高对于终端日志收集记录的收集稳定性检测的效率。另外，本发明的技术方案还通过定时读取日志文件记录行数据以有效提高记录行数据的时效性，进而有效提高对终端日志收集记录的收集稳定性检测的检测数据的可靠性。
附图说明
图1为实施例一中的一种用于检测日志收集稳定性的可视化展示方法流程图；
图2为实施例一中的数据表的构建流程图；
图3为实施例一中的一种用于检测日志收集稳定性的可视化展示系统组成图；
图4为实施例一中的第二构建模块的模块组成图；
图5为实施例二中的一种用于检测日志收集稳定性的可视化展示方法流程图；
图6为实施例二中的一种用于检测日志收集稳定性的可视化展示系统组成图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
实施例一
参照图1，本实施例提供了一种用于检测日志收集稳定性的可视化展示方法，该展示方法包括如下步骤：
s1：获取用户终端的日志数据，并根据日志数据构建日志文件；
s2：基于日志文件，构建数据表；
s3：获取检测时间段；
s4：根据数据表，计算获取检测时间段的检测数据；
s5：可视化展示检测数据。
其中，参照图2，步骤s2中数据表的构建步骤包括：
s21：制定数据表结构；
s22：根据日志文件，获取记录行数据；
s23：将记录行数据插入数据表内，以构建得到含有记录行数据的数据表。
其中，所制定的数据表结构至少包括终端配置信息、日期、时刻、地域编码等字段信息。
其中，对于步骤s22中记录行数据的获取过程包括：
获取定时读取时间；
根据定时读取时间，定时读取日志文件以获取预设时间间隔内的记录行数据。
定时读取时间包括：分钟、小时、日期、月份、年份等字段信息，例如：当定时读取时间为2018-1-29，14:15时，则将定时读取日志文件以获取日期为2018-1-29，时刻为13的所有记录行数据，此时的预设间隔时间为该定时读取时间之前的1小时内的所有记录行数据。本实施例通过设置定时读取时间以读取该定时读取时间之前预设时间间隔内的记录行数据，能够有效的保证所读取的记录行数据的时效性，以解决现有技术中只能读取前一天以及以往的历史数据而导致数据滞后、时效性差的问题。
其中，对于步骤s3中检测时间段的获取过程，是基于用户对终端日志收集记录的收集稳定性检测的实际需求而进行自主设定的所检测的时间范围，如用户需要获取终端的日活跃情况，则可具体设定到某日以获取该日内的全部数据。
其中，所获取的检测数据是用于反映检测时间段内终端日志收集记录的收集稳定性的数据，例如：设置检测时间段为2018-1-26至2018-1-29,则提取数据表内日期为2018-1-26至2018-1-29的全部记录行数据，从而根据所提取的全部记录行数据获取到该检测时间段内每天所对应的每小时内的终端活跃数，所获取到的检测时间段内的各个小时内的终端活跃数即检测数据；进而根据检测时间段内所获得各个小时内的终端活跃数，以获得用户终端日志收集记录的收集稳定性。其中，该检测数据可采用变化曲线图的形式进行可视化展示于系统展示窗口，进而能够通过该曲线图观察到数据的变化曲线，从而用户可通过观察该检测数据的变化曲线图的变化曲线而直观得到检测时间段内的终端日志收集记录的收集稳定性的检测情况。
基于本实施例所提供的一种用于检测日志收集稳定性的可视化展示方法，相应的，本实施例还提供了一种用于检测日志收集稳定性的可视化展示系统，参照图3，该展示系统包括：第一构建模块100、第二构建模块200、第一获取模块300、计算模块400及展示模块500。
第一构建模块100，用于获取用户终端的日志数据并根据日志数据构建日志文件。
第二构建模块200，用于根据日志文件构建数据表。其中，参照图4，该第二构建模块200包括：结构制定模块210，用于制定数据表结构；第三获取模块220，用于根据日志文件，获取记录行数据；数据插入模块230，用于将记录行数据插入数据表内以构建得到包含记录行数据的数据表。
其中,第三获取模块220包括：第四获取模块221，用于获取定时读取时间；定时读取模块222，根据定时读取时间，定时读取日志文件以获取预设时间间隔内的记录行数据。
第一获取模块300，用于获取检测时间段。该检测时间段，可根据用户的实际检测需求进行自主设置。
计算模块400，用于根据数据表，计算获取检测时间段的检测数据。
展示模块500，用于展示检测数据。具体的，该可视化展示系统上设置一展示窗口以展示所计算得到检测数据以便于用户观察该检测数据；同时，相应的设置有展示按钮以便于用户根据实际需要设置检测时间段并展示该检测时间段的检测数据，且该检测数据可以变化曲线图的形式进行可视化展示。
本实施例所提供的一种用于检测日志收集稳定性的可视化展示方法及系统，是在构建日志文件、数据表的基础上，进行定时读取记录行数据并根据所读取的记录行数据计算得到检测数据，以便于能够通过系统所展示的检测数据更加直观快速得到用户终端日志数据收集记录的收集稳定性的检测结果。另外，本实施例的技术方案还通过定时读取日志文件记录行数据以有效提高记录行数据的时效性，进而有效提高对终端日志收集记录的收集稳定性检测的检测数据的可靠性，具有较好的实用性。
实施例二
参照图5，本实施例提供了一种用于检测日志收集稳定性的可视化展示方法，该展示方法包括如下步骤：
s1：获取用户终端的日志数据，并根据日志数据构建日志文件；
s2：基于日志文件，构建数据表；
s3：获取检测时间段；
s4：根据数据表，计算获取检测时间段的检测数据；
s5：可视化展示检测数据。
其中，步骤s1包括如下步骤：
s11：获取用户终端的日志数据；
s12：分发存储日志数据并生成日志存储信息；
s13：将日志存储信息记录于日志文件，以构建得到含有日志存储信息的日志文件。
步骤s1中日志文件的构建具体实现过程可为：1、通过nginx收集用户终端所发送的日志数据；2、nginx将所收集的日志数据分发至各个flume，flume将所收到的日志数据存储至对应的存储服务器中；在进行存储过程中，会相应的生成与所存储的日志数据相对应的日志存储信息；3、将该日志存储信息以记录行的形式记录于log.log日志文件内，以达到构建日志文件的目的。
其中，步骤s2中数据表的构建步骤包括：
s21：制定数据表结构；
s22：根据日志文件，获取记录行数据；
s23：将记录行数据插入数据表内，以构建得到包含记录行数据的数据表。
其中，所制定的数据表结构至少包括终端配置信息、日期、时刻、地域编码等字段信息。
其中，日志存储信息是基于所分发存储的日志数据而生成的，且日志存储信息是以记录行的形式记录在日志文件内以形成相应的记录行数据，进而在日志数据、日志存储信息及记录行数据三者之间相互构成了一日志信息体系，即通过记录行数据能够得到相应的日志存储信息，通过日志存储信息能够得到对应的日志数据。
其中，对于步骤s22中记录行数据的获取过程包括：
获取定时读取时间；
根据定时读取时间，定时读取日志文件以获取预设时间间隔内的记录行数据。
定时读取时间包括：分钟、小时、日期、月份、年份等字段信息，例如：当定时读取时间为2018-1-29，14:15时，则将定时读取日志文件以获取日期为2018-1-29，时刻为13的所有记录行数据，此时的预设间隔时间为该定时读取时间之前的1小时内的所有记录行数据。本实施通过设置定时读取时间以读取该定时读取时间之前预设时间间隔内的记录行数据，能够有效的保证所读取的记录行数据的时效性，以解决现有技术中只能读取前一天以及以往的历史数据而导致数据滞后的问题。
其中，对于步骤s3中检测时间段的获取过程，是基于用户对于终端日志收集记录的收集稳定性检测的实际需求进行自主设定的所检测的时间范围，如用户需要获取终端的日活跃情况，则可具体设定到某日以获取该日内的全部数据。
其中，步骤s4具体包括如下步骤：
s41：根据数据表，获取检测时间段内的目标记录行数据；
s42：根据目标记录行数据进行计算得到检测时间段的检测数据。
其中，所获取的检测数据是用于反映检测时间段内终端日志收集记录的收集稳定性的数据，例如，设置检测时间段为2018-1-26至2018-1-29,则提取数据表内日期为2018-1-26至2018-1-29的全部记录行数据，从而根据所提取的全部记录行数据获取到该检测时间段内每天所对应的每小时内的终端活跃数，所获取到的检测时间段内的各个小时内的终端活跃数即检测数据；进而根据检测时间段内所获得各个小时内的终端活跃数，以获得用户终端日志收集记录的收集稳定性。该检测数据可采用变化曲线图的形式进行可视化展示于系统展示窗口，进而能够通过该曲线图观察到数据的变化曲线，从而用户可通过观察该检测数据的变化曲线图的变化曲线而直观得到检测时间段内的终端日志收集记录的收集稳定性的检测情况。
基于本实施例所提供的一种用于检测日志收集稳定性的可视化展示方法，相应的，本实施例还提供了一种用于检测日志收集稳定性的可视化展示系统，参照图6，该展示系统包括：第一构建模块100、第二构建模块200、第一获取模块300、计算模块400及展示模块500。
第一构建模块100，用于获取用户终端的日志数据并根据日志数据构建日志文件。其中，该第一构建模块100包括：第二获取模块110，用于获取用户终端的日志数据；分发存储模块120，用于分发存储日志数据并生成日志存储信息；数据记录模块130，用于将日志存储信息记录于日志文件内以构建得到包含日志存储信息的日志文件。
第二构建模块200，用于根据日志文件构建数据表。其中，该第二构建模块200包括：结构制定模块210，用于制定数据表结构；第三获取模块220，用于根据日志文件，获取记录行数据；数据插入模块230，用于将记录行数据插入数据表内。
其中，第三获取模块220包括：第四获取模块221，用于获取定时读取时间；定时读取模块222，根据定时读取时间，定时读取日志文件以获取预设时间间隔内的记录行数据。
第一获取模块300，用于获取检测时间段。该检测时间段，可根据用户的实际检测需求进行自主设置。
计算模块400，用于根据数据表，计算获取检测时间段的检测数据。
其中，该计算模块400包括：第五获取模块410，用于根据数据表获取检测时间段内的目标记录行数据；计算获取模块420，用于根据目标记录行数据进行计算得到检测数据。
展示模块500，用于可视化展示检测数据。具体的，该可视化展示系统上设置一展示窗口以展示所计算得到检测数据，该检测数据以变化曲线图的形式进行展示；同时，相应的设置有展示按钮以便于用户根据实际需要设置检测时间段并展示该检测时间段的检测数据。
本实施例所提供的一种用于检测日志收集稳定性的可视化展示方法及系统，是在构建日志文件、数据表的基础上，进行定时读取记录行数据并根据所读取的记录行数据计算得到检测数据，以便于能够通过系统所展示的检测数据更加直观快速得到用户终端日志数据收集记录的稳定性的检测结果。另外，本实施例的技术方案还通过定时读取日志文件记录行数据以有效提高记录行数据的时效性，进而有效提高对终端日志收集记录的收集稳定性检测的检测数据的可靠性，具有较好的实用性。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。