技术特征：
技术总结
本发明公开了一种数据处理方法，通过本发明的技术方案，可知本发明该方法利用关键字段字符的区位码对数据集进行排序及分组,提高了算法的运行效率和检测精度，并且通过选出分组中具有代表性的字段,删除无关字段,减少了相似重复记录检测时的字段匹配次数,进而减少了记录匹配的运行时间，能够有效地解决大数据量的相似重复记录检测问题，并且具有清理数据源的垃圾数据的效果。
技术研发人员：郝波;柯炯亮
受保护的技术使用者：福建中经汇通有限责任公司
技术研发日：2017.06.06
技术公布日：2017.10.27