基于SparkStreaming的广告点击异常检测系统及检测方法与流程

文档序号:11155275阅读:来源:国知局
技术总结
本发明请求保护一种基于Spark Streaming的广告点击异常检测系统及检测方法,涉及计算机技术应用领域,在用户点击网站广告时进行日志收集,对实时收集的数据进行清洗,标准化数据字段格式,然后将标准化数据由Flume传输给Kafka数据消息系统,Spark Streaming通过KNN邻近算法对数据进行分类,可以得到三大类数据异常数据、嫌疑数据、正常数据。对于异常数据和正常数据存储于数据库中,嫌疑数据发送给Kafka数据消息系统,然后通过异常数据训练朴素贝叶斯分类器,使用分类器可得到嫌疑数据的分类情况,数据保存于数据库中。最后,通过正常数据量合理收取广告商费用,同时可以分析得到各个广告的热门度,给广告商提供行业发展方向,提供用户全国分布情况等信息。

技术研发人员:刘群;谭敢锋;戴大祥
受保护的技术使用者:重庆邮电大学
文档号码:201610915505
技术研发日:2016.10.20
技术公布日:2017.05.10

当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1