高效处理IP地址区域定位的方法和系统与流程

文档序号:11286476阅读:来源:国知局

技术特征:

技术总结
本发明涉及一种高效处理IP地址区域定位的方法和系统,其方法包括:S1:通过日志文件收集单元收集包括IP地址的日志文件数据并存入文件池;S2:通过部署在Hadoop中的ETL对步骤S1中收集到的数据进行包括过滤动作的预处理,并将预处理好的数据收集到Hadoop集群中并再次通过ETL对数据进行压缩处理;S3:通过hive的UDF功能对步骤S2中提取到的数据进行进一步提取并进行分析处理以获取IP地址定位信息。优点在于:通过利用hive调用Hadoop进行分布式计算,将IP地址定位功能通过hive的UDF功能开发集成,完成对IP地址区域定位的高效处理,提高IP地址的提取效率,降低资源的消耗。

技术研发人员:欧阳涛
受保护的技术使用者:上海斐讯数据通信技术有限公司
技术研发日:2017.05.11
技术公布日:2017.09.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1