本发明属于互联网数据消重方法技术领域，尤其涉及一种基于rpc实现的ES全局数据消重方法。
背景技术：
随着互联网数据的急剧增长，挖掘数据的价值成为时下热门的话题和研究方向。ElasticSearch以其开源、稳定、可靠、快速的特性，成为大数据实时搜索的利器。为了保证ES的搜索速度，路由和分库成为必要的设计。在分库的环境下能否返回按指定字段消重后的结果，越来越成为提高数据质量的重要指标。
技术实现要素：
本发明提供一种基于rpc实现的ES全局数据消重方法，以解决上述背景技术中提出的问题。
本发明所解决的技术问题采用以下技术方案来实现：本发明提供一种基于rpc实现的ES全局数据消重方法，消重的步骤如下：
第一步：用户向客户端发起请求；
第二步：新增消重节点，加入已有ES集群，消重节点与集群间用rpc进行通信；
第三步：添加ES查询过滤器，在过滤器中调用Iucene API进行数据查询，对消重字段值取crc操作，收集各分片下数据结果集；
第四步：以请求session为维度，对需要消重数据进行哈希路由，均衡的发往消重服务器节点，并行高效的进行数据消重。
本发明的有益效果为：通过开发ES的插件，改变ES数据查询的流程，增加全局消重步骤，实现按指定字段进行数据消重。
附图说明
图1是本发明的系统流程图。
具体实施方式
以下结合附图对本发明做进一步描述：一种基于rpc实现的ES全局数据消重方法，消重的步骤如下：
第一步：用户向客户端发起请求；
第二步：新增消重节点，加入已有ES集群，消重节点与集群间用rpc进行通信；
第三步：添加ES查询过滤器，在过滤器中调用Iucene API进行数据查询，对消重字段值取crc操作，收集各分片下数据结果集；
第四步：以请求session为维度，对需要消重数据进行哈希路由，均衡的发往消重服务器节点，并行高效的进行数据消重。
通过开发ES的插件，改变ES数据查询的流程，增加全局消重步骤，实现按指定字段进行数据消重。
最后说明的是，选取上述实施例并对其进行了详细的说明和描述是为了更好的说明本发明专利的技术方案，并不是想要局限于所示的细节。本领域的技术人员对本发明的技术方案进行修改或同等替换，而不脱离本发明技术方案的宗旨和范围的，均应涵盖在本发明的权利要求范围当中。