技术总结
本发明提供了一种基于流式计算的数据监控方法及装置，数据监控方法包括：通过分布式发布订阅消息系统KAFKA获取服务被调用的日志信息；采用分布式流式处理方法Spark streaming对日志信息进行分析处理，获得日志明细信息和日志汇总信息；将所述日志明细信息写入到分布式文件系统HDFS中，并将所述日志汇总信息存储至关系型数据库管理系统MYSQL中。本发明提供的基于流式计算的数据监控方法及装置，有效地解决了现有技术中存在的会对MySQL数据库造成巨大的压力，同时也会减缓计算速度和数据的显示速度的问题，提高了数据处理效率，同时减缓了对MySQL数据库造成的数据压力，进而提高了该数据监控方法应用的稳定可靠性，有利于市场的推广与应用。
技术研发人员：李鹏;于洋;郭振强
受保护的技术使用者：北京五八信息技术有限公司
文档号码：201611154103
技术研发日：2016.12.14
技术公布日：2017.05.10