基于数据分析的分布式数据清洗系统及方法与流程

文档序号:12825018阅读:来源:国知局

技术特征:

技术总结
本发明属于数据处理技术领域,提供了一种基于数据分析的分布式数据清洗系统及方法。该系统包括:传感器网络,包括多个传感器;数据采集节点,包括数据清洗引擎和数据清洗规则库;数据服务器,包括数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块。该方法包括:通过传感器网络中的多个传感器采集第一数据;在数据采集节点中根据第一数据生成第二数据;在数据服务器中,根据第二数据,利用数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块完成数据清洗。本发明的系统和方法能够自适应地调整数据清洗规则,提高分布式传感器网络部署的效率,并及时消除新产生的干扰对采集系统的影响。

技术研发人员:刘星;张春宏;侯鑫;潘庆东;阳忠平;杨晓斌
受保护的技术使用者:北京华安普惠高新技术有限公司
技术研发日:2017.02.24
技术公布日:2017.07.07
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1