技术特征:
技术总结
本申请实施例公开了流式计算系统及其日志处理方法。流式计算系统包括:日志采集模块,采集日志产出端产出的日志数据并发送至消息系统;消息系统,将日志数据存储在消息队列中;状态监控模块,监控日志产出端的状态并上报至进度监控模块;日志处理模块,从消息系统获取日志数据并解析出产出日志数据的日志产出端的标识及与日志产出端的标识关联的日志数据产出时间,将日志产出端的标识和关联的日志数据产出时间上报至进度监控模块;进度监控模块,根据日志产出端的标识和关联的日志数据产出时间、以及日志产出端的状态,确定流式计算系统中未被处理的日志数据的最早产出时间。该流式计算系统实现了全局水位的自动推进。
技术研发人员:邢越;赵得润;詹洋;汪婷
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2019.06.19
技术公布日:2019.09.17