技术总结
本发明涉及一种海量日志数据的高效低成本处理方法，包括：并行处理临时表初始化，删除临时数据；并行导入日志文件数据到临时表；并行计算临时表数据，执行数据清洗，合并各路数据，生成最终的日志表数据；根据最终的日志表数据并行计算，获得日志统计分析报表。与现有技术相比，本发明通过并行处理方式，有效的解决了海量日志数据的处理时间问题，同时避免了采用Hadoop、Hive对技术要求，开发维护成本高的问题，为中小型公司降低开发成本提供了解决方案。
技术研发人员：冯谧
受保护的技术使用者：上海全成通信技术有限公司
技术研发日：2017.12.29
技术公布日：2018.06.29