技术特征：
技术总结
本发明提供了一种数据处理系统及方法，该系统包括分布式调度器、数据处理设备以及具有多个预置数据库的存储组件，其中，分布式调度器，适于获取待处理的离线日志，从离线日志中提取日志元数据，将离线日志和日志元数据传送至数据处理设备中；数据处理设备，适于将接收到的离线日志进行归类合并生成相应的虚拟表，并对日志元数据进行统计得到相应的统计信息；数据处理设备，还适于将虚拟表和统计信息存储至包含有多个预置数据库的存储组件中。本发明不仅实现了日志的集中索引，也提高了日志的搜索效率，并且还可以直接获取日志的各个维度特征数据，大大节约了分析人员分析日志的流程。
技术研发人员：王志超;王肖磊;杨东;高其林;李敬轩;王旭东;刘陟
受保护的技术使用者：北京奇虎科技有限公司
技术研发日：2018.06.28
技术公布日：2018.12.11