技术编号：14609573
提示：您尚未登录，请点 登 陆 后下载，如果您还没有账户请点 注 册 ，登陆完成后，请刷新本页查看技术详细信息。本发明实施例涉及数据处理技术领域，尤其涉及一种数据去重方法、系统、中心服务器及分布式服务器。背景技术数据去重是大数据数据预处理领域的一个重要组成部分，数据去重的性能和数据去重的准确性会直接影响数据预处理以及后期的数据挖掘、清洗、分析、存储等众多模块的性能、资源和数据准确性。目前的数据去重是基于Redis内存的布隆过滤器(Bloomfilter)对数据进行去重。由于Bloomfilter和Redis内存均支持比特位的数据存储格式，因此可以将Redis内存与Bloomfilter的过滤功能结合。具体...
注意：该技术已申请专利，请尊重研发人员的辛勤研发付出，在未取得专利权人授权前，仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考，增加技术思路，做技术知识储备，不适合论文引用。
请注意，此类技术没有源代码，用于学习研究技术思路。