技术总结
本申请公开一种日志文件中的数据收集的方法，其能够实现实时收集日志文件中的数据，支持断点续传，日志滚动时不丢失数据。其包括步骤：(1)定期检查日志目录下的日志文件的信息，信息包括：日志文件名称、日志文件长度、日志文件的inode值；(2)实时收集：收集日志，新产生的文件消费偏移量为0，消费之后记录该文件的inode值、消费偏移量到元数据文件；(3)断点续传：如果日志收集进程异常退出，重新启动日志收集进程的时候，载入消费偏移量，从该消费偏移量点继续消费。还提供了一种日志文件中的数据收集的系统。
技术研发人员：范卫卫;张翼;温宗臣;崔晶晶;林佳婕
受保护的技术使用者：北京集奥聚合科技有限公司
文档号码：201610624316
技术研发日：2016.08.02
技术公布日：2016.12.21