技术总结
本发明公开了具有数据清洗的海量数据系统，包括：数据采集模块：从各类数据源收集数据到数据处理中心，数据处理模块：针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，数据清洗模块：首先完成数据分析、定义错误类型，其次完成搜索、识别错误记录，最后修正错误；数据存储管理模块：对经过所述数据处理模块加工处理之后的数据进行存储管理；数据服务模块：实现客户对数据的访问需求，数据监控模块：对所述数据采集模块、数据处理模块、数据服务模块中的数据进行监控记录和处理。本发明能发现结构级错误和记录级错误并修正，解决值缺失、值错误、重复记录以及数据源内部与数据源之间不一致性的错误。
技术研发人员：朱焰冰
受保护的技术使用者：成都卡莱博尔信息技术股份有限公司
文档号码：201610700697
技术研发日：2016.08.23
技术公布日：2017.01.25