一种针对半结构化大数据的提取统计方法及系统与流程

文档序号:11234140阅读:来源:国知局

技术特征:

技术总结
本发明涉及一种针对半结构化大数据的提取统计方法及系统,属于大数据提取统计领域,解决了对半结构化大数据提取统计时过程比较繁琐和容易造成数据冗余的问题。本发明通过提供客户端让用户输入针对半结构化大数据进行提取和统计的操作语句,将操作语句同步到解析转换模块,解析转换模块对操作语句进行解析并将解析结果转换成配置规则;客户端调用应用引擎模块根据配置规则生成作业任务,将作业任务提交到底层框架;底层框架将作业任务拆分成多个子任务分配到集群上执行,并将执行后获取的结果数据返回给客户端展示给用户。用于提高对半结构化大数据的提取统计的可维护性和自动化可视化水平,减少数据冗余,简便可靠。

技术研发人员:方辉盛
受保护的技术使用者:北京思特奇信息技术股份有限公司
技术研发日:2017.04.18
技术公布日:2017.09.12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1