终端设备活跃度统计装置及方法与流程

本发明涉及通信技术领域，尤其涉及一种终端设备活跃度统计装置及方法。

背景技术：

随着数字时代的到来，智能设备逐步渗透到人们的日常生活，人们对各类设备的使用也越来越依赖。虽然智能设备的使用极大程度的提高了人们的工作效率，但随着人们要求的越来越高，对设备性能的要求也越来越高，很多终端设备每天要处理海量的日志文件，无疑给设备本身带来了极大的挑战。活跃度是对设备性能评价的一个重要指标，根据该指标能够及时了解设备的使用情况，对其性能做出一个综合的判断，便于用户对于该设备的后续使用和维护。但是，目前对于设备活跃度的统计方法都要耗费大量的时间，占用大量的资源。

技术实现要素：

本发明的目的是提供一种终端设备活跃度统计装置及方法，有效解决现有技术中对终端设备活跃度统计耗费时间长的技术问题。

本发明提供的技术方案如下：

一种终端设备活跃度统计装置，包括：

日志文件集读入模块，用于读入预先生成的日志文件集，所述日志文件集由终端设备生成的日志文件得到，且每条日志文件对应一条日志记录，每条日志记录中包括日志文件生成的时间戳及生成该日志文件的设备id；

记录读取模块，与所述日志文件集读入模块连接，用于依次读取日志文件集中的日志记录，根据日志记录中的时间戳信息定位到预设时间段内生成的日志文件；

日志文件定位模块，与所述记录读取模块连接，用于在预设时间段内生成的日志文件中，根据设备id定位找到指定终端设备生成的日志文件；

活跃度统计模块，与所述日志文件定位模块连接，用于统计日志文件定位模块查找到的日志文件得到该终端设备在预设时间段内的活跃度。

在本技术方案中，在对终端设备的活跃度进行统计之前，读入日志文件生成过程中统计得到的日志文件集，以此根据该日志文件集快速实现指定时间段指定终端设备活跃度的统计，节约大量时间的同时节约系统资源，减少了内存资源的消耗。

进一步优选地，所述终端设备活跃度统计装置中还包括：

日志收集系统，用于在文件生成并存储的过程中，记录每个日志文件生成的时间戳及生成该日志文件的设备id；

日志文件集生成模块，与所述日志收集系统连接，用于根据日志收集系统收集到的时间戳和设备id生成对应的日志记录进而得到日志文件集并存储。

进一步优选地，在文件生成并存储的过程中，采用flume收集系统记录每个日志文件生成的时间戳及生成该日志文件的设备id。

在本技术方案中，采用flume收集系统对生成的海量原始日志文件生成的时间戳及生成该日志文件的设备id，便于后续根据该日志文件集中的日志记录实现终端设备活跃度的统计，简单方便。

进一步优选地，所述终端设备活跃度统计装置中还包括分别与所述日志文件定位模块和活跃度统计模块连接的去重模块，用于对日志文件定位模块查找到的日志文件进行去重操作。

在本技术方案中，为了保证统计的活跃度的精确性，对得到的日志文件进行去重操作。

进一步优选地，所述终端设备活跃度统计装置中还包括：

日志合并模块，与所述去重模块连接，用于将去重后得到的日志文件合并入新的日志文件集中；

文件导入模块，与所述日志合并模块连接，用于将得到的新的日志集文件导入数据库中存储，便于查询统计。

在本技术方案中，将针对不同的终端设备生成的新的日志文件集导入到数据库中，便于对终端设备活跃度统计的更加全面。

本发明还提供了一种终端设备活跃度统计方法，包括：

读入预先生成的日志文件集，所述日志文件集由终端设备生成的日志文件得到，且每条日志文件对应一条日志记录，每条日志记录中包括日志文件生成的时间戳及生成该日志文件的设备id；

依次读取日志文件集中的日志记录，根据日志记录中的时间戳信息定位到预设时间段内生成的日志文件；

在预设时间段内生成的日志文件中，根据设备id定位找到指定终端设备生成的日志文件；

统计查找到的日志文件得到该终端设备在预设时间段内的活跃度。

在本技术方案中，在对终端设备的活跃度进行统计之前，读入日志文件生成过程中统计得到的日志文件集，以此根据该日志文件集快速实现指定时间段指定终端设备活跃度的统计，节约大量时间的同时节约系统资源。

进一步优选地，在步骤读入预先生成的日志文件集之前，还包括：

在日志文件生成的过程中，采用预先设定的日志收集系统记录每个日志文件生成的时间戳及生成该日志文件的设备id；

根据日志收集系统收集到的时间戳和设备id生成对应的日志记录进而得到日志文件集并存储。

进一步优选地，在步骤采用预先设定的日志收集系统记录每个日志文件生成的时间戳及生成该日志文件的设备id中，具体为：采用flume收集系统记录每个日志文件生成的时间戳及生成该日志文件的设备id。

在本技术方案中，采用flume收集系统对生成的海量原始日志文件生成的时间戳及生成该日志文件的设备id，便于后续根据该日志文件集中的日志记录实现终端设备活跃度的统计，简单方便。

进一步优选地，在步骤在预设时间段内生成的日志文件中，根据设备id定位找到指定终端设备生成的日志文件之后，还包括：

对查找到的日志文件进行去重操作。

在本技术方案中，为了保证统计的活跃度的精确性，对得到的日志文件进行去重操作。

进一步优选地，在步骤对查找到的日志文件进行去重操作之后，还包括：

将去重后得到的日志文件合并入新的日志文件集中；

将得到的新的日志集文件导入数据库中存储，便于查询统计。

在本技术方案中，将针对不同的终端设备生成的新的日志文件集导入到数据库中，便于对终端设备活跃度统计的更加全面。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明中终端设备活跃度统计装置一种实施方式示意图；

图2为本发明中终端设备活跃度统计装置另一种实施方式示意图；

图3为本发明中终端设备活跃度统计装置另一种实施方式示意图；

图4为本发明中终端设备活跃度统计方法一种实施方式流程示意图；

图5为本发明中终端设备活跃度统计方法另一种实施方式流程示意图；

图6为本发明中终端设备活跃度统计方法另一种实施方式流程示意图；。

附图标号说明：

100-终端设备活跃度统计装置，110-日志文件集读入模块，120-记录读取模块，130-日志文件定位模块，140-活跃度统计模块，150-去重模块，160-日志合并文件，170-文件导入模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中的只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。

由在现有技术中对终端设备活跃度的统计存在效率低下的技术问题，因而本发明提供了一种全新的终端设备活跃度统计装置100。如图1所示，在该终端设备活跃度统计装置100中包括：日志文件集读入模块110、记录读取模块120、日志文件定位模块130以及活跃度统计模块140，其中，记录读取模块120与日志文件集读入模块110连接，日志文件定位模块130与记录读取模块120连接，活跃度统计模块140与日志文件定位模块130连接。

在本实施方式中，海量日志文件存储在终端设备的磁盘中，根据海量日志文件预先生成的日志文件集同样存储在磁盘中。在对终端设备的活跃度进行统计之前，日志收集系统记录每个日志文件生成的时间戳及生成该日志文件的设备id，以此日志文件集生成模块根据日志收集系统收集到的时间戳和设备id生成对应的日志记录进而得到日志文件集并存储。具体，该日志文件集由日志记录构成，其中，每条日志文件对应一条日志记录，每条日志记录中包括日志文件生成的时间戳、生成该日志文件的设备id、日志文件存储的绝对路径、终端设备版本号等，日志文件的文件名中包括生成的时间戳和设备id，以此能够根据该日志文件集快速实现指定时间段指定终端设备活跃度的统计。这里的终端设备可以为任意的智能设备。

在根据该海量日志文件对终端设备的活跃度进行统计时，日志文件集读入模块110先将生成的日志文件集读取到内存中，之后记录读取模块120根据日志文件中的时间戳信息定位到预设时间段内的日志文件，接着日志文件定位模块130根据设备id定位到指定终端设备在该预设时间段内生成的日志文件。这里的预设时间段可以根据实际情况进行设定，如可以设定为某一天、某一天内的几个小时等，这里不做具体限定。另外，在本实施方式中，为了高效率的得到日志文件集，采用预先配置好的flume收集系统(一种高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统)记录流过的海量日志文件，进而根据记录的信息生成每条日志文件对应的日志记录，得到日志文件集。

在一实例中，采用flume收集系统记录每个日志文件生成的时间戳及生成该日志文件的设备id。具体，使用org.apache.log4j.logger类，即logger.info(filename)，生成日志文件集logset.log，其中，filename中包括日志文件(data文件)生成的时间(年-月-日-时)/文件绝对路径/文件名等信息，文件名中包括日志文件生成的时间戳和设备id。

之后，统计的过程中，先将日志文件集logset.log读入内存，根据时间戳定位到一天的日志记录，并从中提取指定的设备id，对应终端设备一天中生成的日志文件的日志记录，进而得到该终端设备在该天的活跃度。

对上述实施方式进行改进得到本实施方式，如图2所示，在本实施方式中，在该终端设备活跃度统计装置100中包括：日志文件集读入模块110、记录读取模块120、日志文件定位模块130以及活跃度统计模块140之外，还包括分别与日志文件定位模块130和活跃度统计模块140连接的去重模块150，用于对日志文件定位模块130查找到的日志文件进行去重操作。

在本实施方式中，日志收集系统和日志文件集生成模块对终端设备生成的日志文件进行统计得到日志文件集之后，根据该海量日志文件对终端设备的活跃度进行统计时，日志文件集读入模块110将磁盘中的日志文件集读取到内存中，之后记录读取模块120根据日志文件中的时间戳信息定位到预设时间段内的日志文件，接着日志文件定位模块130根据设备id定位到指定终端设备在该预设时间段内生成的日志文件；之后，为了避免出现重复的日志文件，去重模块150对其进行去重操作(由断电等情况的出现，会生成重复的日志文件)，以此活跃度统计模块140能够根据去重后的日志文件得到更加精确的终端设备的活跃度信息。在本实施方式中，为了高效率的得到日志文件集，采用预先配置好的flume收集系统记录流过的海量日志文件，进而根据记录的信息生成每条日志文件对应的日志记录，得到日志文件集。

对上述实施方式进行改进得到本实施方式，如图3所示，在本实施方式中，该终端设备活跃度统计装置100中包括：日志文件集读入模块110、记录读取模块120、日志文件定位模块130、活跃度统计模块140以及去重模块150之外，还包括日志合并模块160和文件导入模块170，其中，日志合并模块160与去重模块150连接，文件导入模块170与日志合并模块160连接。

在本实施方式中，对终端设备生成的日志文件进行统计得到日志文件集之后，根据该海量日志文件对终端设备的活跃度进行统计时，先将生成的日志文件集读取到内存中，之后根据日志文件中的时间戳信息定位到预设时间段内的日志文件，接着根据设备id定位到指定终端设备在该预设时间段内生成的日志文件；之后，为了避免出现重复的日志文件，去重模块150对其进行去重操作(由断电等情况的出现，会生成重复的日志文件)后通过日志合并模块160将其添加入该预设时间段的日志文件集中，得到新的日志文件集(txt文件)。之后，通过文件导入模块170将生成的新的日志文件集导入到数据库中，以此，后续能够根据导入的新的日志文件集对一段时间内的活跃度进行统计，简单方便。

在一实例中，采用flume收集系统记录每个日志文件生成的时间戳及生成该日志文件的设备id。具体，使用org.apache.log4j.logger类，即logger.info(filename)，生成日志文件集logset.log，其中，filename中包括日志文件(data文件)生成的时间(年-月-日-时)/文件绝对路径/文件名等信息，文件名中包括日志文件生成的时间戳和设备id。

之后，统计的过程中，先将日志文件集logset.log读入内存，根据时间戳定位到一天的日志记录，从中提取指定的设备id后执行去重操作，得到该终端设备在该天的活跃度。

之后，将采用上述方法统计得到的每天的日活记录集导入到hive数据库(基于hadoop的数据仓库)中，具体，在hive数据库中分为三个分区：ds，vs及id，其中，ds表示日期(年-月-日)，vs表示终端设备版本号，id表示终端设备硬件id。以此，后续在hive数据库中，通过hive条件查询语句，就可以在十几秒的时间内将日活/周活/月活等设备活跃度信息统计出来。

本发明还提供了一种终端设备活跃度统计方法，在一种实施方式中，该终端设备活跃度统计方法中包括：

s10读入预先生成的日志文件集，日志文件集由终端设备生成的日志文件得到，且每条日志文件对应一条日志记录，每条日志记录中包括日志文件生成的时间戳及生成该日志文件的设备id；

s20依次读取日志文件集中的日志记录，根据日志记录中的时间戳信息定位到预设时间段内生成的日志文件；

s30在预设时间段内生成的日志文件中，根据设备id定位找到指定终端设备生成的日志文件；

s40统计查找到的日志文件得到该终端设备在预设时间段内的活跃度。

在本实施方式中，海量日志文件存储在终端设备的磁盘中，根据海量日志文件预先生成的日志文件集同样存储在磁盘中。在对终端设备的活跃度进行统计之前，对终端设备生成的日志文件进行统计得到日志文件集。具体，该日志文件集由日志记录构成，其中，每条日志文件对应一条日志记录，每条日志记录中包括日志文件生成的时间戳、生成该日志文件的设备id、日志文件存储的绝对路径、终端设备版本号等，日志文件的文件名中包括生成的时间戳和设备id，以此能够根据该日志文件集快速实现指定时间段指定终端设备活跃度的统计。这里的终端设备可以为任意的智能设备。

在根据该海量日志文件对终端设备的活跃度进行统计时，先将生成的日志文件集读取到内存中，之后根据日志文件中的时间戳信息定位到预设时间段内的日志文件，接着根据设备id定位到指定终端设备在该预设时间段内生成的日志文件。这里的预设时间段可以根据实际情况进行设定，如可以设定为某一天、某一天内的几个小时等，这里不做具体限定。另外，在本实施方式中，为了高效率的得到日志文件集，采用预先配置好的flume收集系统(一种高可用的、高可靠的，分布式的海量日志采集、聚合和传输的系统)记录流过的海量日志文件，进而根据记录的信息生成每条日志文件对应的日志记录，得到日志文件集。

对上述实施方式进行改进得到本实施方式，如图5所示，该终端设备活跃度统计方法中包括：

s10读入预先生成的日志文件集，日志文件集由终端设备生成的日志文件得到，且每条日志文件对应一条日志记录，每条日志记录中包括日志文件生成的时间戳及生成该日志文件的设备id；

s20依次读取日志文件集中的日志记录，根据日志记录中的时间戳信息定位到预设时间段内生成的日志文件；

s30在预设时间段内生成的日志文件中，根据设备id定位找到指定终端设备生成的日志文件；

s50对查找到的日志文件进行去重操作；

s40统计查找到的日志文件得到该终端设备在预设时间段内的活跃度。

在本实施方式中，对终端设备生成的日志文件进行统计得到日志文件集之后，根据该海量日志文件对终端设备的活跃度进行统计时，先将生成的日志文件集读取到内存中，之后根据日志文件中的时间戳信息定位到预设时间段内的日志文件，接着根据设备id定位到指定终端设备在该预设时间段内生成的日志文件；之后，为了避免出现重复的日志文件，对其进行去重操作(由断电等情况的出现，会生成重复的日志文件)，得到更加精确的活跃度信息。在本实施方式中，为了高效率的得到日志文件集，采用预先配置好的flume记录流过的海量日志文件，进而根据记录的信息生成每条日志文件对应的日志记录，得到日志文件集。

对上述实施方式进行改进得到本实施方式，如图6所示，在本实施方式中，该终端设备活跃度统计方法中包括：

s10读入预先生成的日志文件集，日志文件集由终端设备生成的日志文件得到，且每条日志文件对应一条日志记录，每条日志记录中包括日志文件生成的时间戳及生成该日志文件的设备id；

s20依次读取日志文件集中的日志记录，根据日志记录中的时间戳信息定位到预设时间段内生成的日志文件；

s30在预设时间段内生成的日志文件中，根据设备id定位找到指定终端设备生成的日志文件；

s50对查找到的日志文件进行去重操作；

s60将去重后得到的日志文件合并入新的日志文件集中；

s70将得到的新的日志集文件导入数据库中存储，便于查询统计。

在本实施方式中，对终端设备生成的日志文件进行统计得到日志文件集之后，根据该海量日志文件对终端设备的活跃度进行统计时，先将生成的日志文件集读取到内存中，之后根据日志文件中的时间戳信息定位到预设时间段内的日志文件，接着根据设备id定位到指定终端设备在该预设时间段内生成的日志文件；之后，为了避免出现重复的日志文件，对其进行去重操作(由断电等情况的出现，会生成重复的日志文件)后将其添加入该预设时间段的日志文件集中，得到新的日志文件集(txt文件)。之后，将生成的新的日志文件集导入到数据库中，以此，后续能够根据导入的新的日志文件集对一段时间内的活跃度进行统计，简单方便。

在一实例中，新的日志文件集由终端设备一天生成的日志文件合并而来，将其导入hive数据库进行存储之后，可以很方便的统计出终端设备某日的活跃度、某周的活跃度、某月的活跃度等，节约了时间的同时节约了内存资源。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。