对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统的制作方法
【专利摘要】本发明提供一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，所述系统包括：公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块；通过公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块的互相交互，完成了对分布式搜索SolrCloud进行可视化集群应用搭建和维护。本发明简化SolrCloud集群应用的实施维护，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性。
【专利说明】对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统
【技术领域】
[0001]本发明涉及计算机通讯【技术领域】,尤其涉及一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统。
【背景技术】
[0002]Solr是一个流行、快速的开源搜索服务器,它起源于Web服务器软件Apache的开放源码程式库Lucene项目。开源搜索服务器Solr主要的特色包括:强大的全文搜索能力，高亮突出显示关键词，动态集群化，数据库集成，富文本搜索(例如，Word、pdf文档等)等。
[0003]Zookeeper是一个开源分布式的服务，它提供了分布式协作，分布式同步，配置管理等功能。其实现的功能与互联网搜索引擎google的粗粒度锁服务的文件系统chubby基本一致。
[0004]SolrCloud是基于开源搜索服务器Solr和分布式的服务Zookeeper的分布式搜索方案，是Solr4.0以后引入的核心组件之一，它的主要思想是使用Zooke印er作为集群的配置信息中心。它有几个特色功能:(I)集中式的配置信息；(2)自动容错；(3)近实时搜索；
[4]领导选举；(5)查询时自动负载均衡。SolrCloud环境中有“核core”、“分区shard”、“集合collection”的逻辑实体,核core指的是运行在java虚拟机上的一个开源搜索服务器Solr实例，多个core在逻辑上可以组成一个shard,而多个shard又在逻辑上组成一个collection。整个Solrcloud环境就是由一个collection或多个collection构成。Solrcloud环境构成了分布式搜索SolrCloud组织结构。
[0005]在分布式搜索方案SolrCloud出现之前，通过Solr来搭建一个分布式搜索集群应用，需要业务应用程序编写大量的代码来处理负载均衡、数据同步、并发等各种复杂的底层技术问题。在Solr4.0以后，引入了 SolrCloud组件,使用Zookeeper作为集群的配置信息中心，简化了分布式搜索集群应用搭建和集群环境维护的复杂度，目前SolrCloud已经成熟，可以支持分布式搜索、分布式索引等，但是企业在实际实施时，仍然需要面临纵多的细节问题，如集合collection的创建、分区shard创建、核core的创建、各结点的配置、各结点应用部署等。现有这种非可视化的开发，实施、维护比较复杂。
【发明内容】
[0006]本发明要解决的技术问题，在于提供一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，简化SolrCloud集群应用的实施维护，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性。
[0007]本发明是这样实现的:一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，所述系统包括:公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块；
[0008]所述公共资源库管理模块，用于提供系统中集群各结点所需的资源；且提供用户上传的入口，供用户上传最新的资源；并能更新系统中集群各结点，将上传的新资源更新到系统中集群各结点；所述资源包括=Zooke^er部署包、Solr部署包以及Solr配置模版；所述系统中集群各结点包括有Zookeeper集群的各结点和SolrCloud集群的各结点；
[0009]所述Zooke印er集群管理模块，提供系统中Zooke印er集群的管理；从所述公共资源库管理模块中获取所述Zooke印er部署包和Solr配置模版的资源，根据获取到的资源来实施Zookeeper集群各结点的部署；对Zookeeper集群各结点Ip地址、网络端口、存储路径进行管理；并能控制启动或停止Zookeeper集群各结点；
[0010]所述Zookeeper客户端工具,用于对存储在所述分布式的服务Zookeeper集群管理模块中的内容进行管理；
[0011]所述SolrCloud集群管理模块，用于对系统的分布式搜索SolrCloud组织结构的管理；对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理；对各个核core下的开源搜索服务器Solr实例的发布；以及对各个核core下的开源搜索服务器Solr实例的启动和停止管理。
[0012]本发明具有如下优点:本发明通过公共资源库管理模块、Zookeeper集群管理模块、Zooke^er客户端工具以及SolrCloud集群管理模块的互相交互，完成了对分布式搜索SolrCloud进行可视化集群应用搭建和维护，简化SolrCloud集群应用的实施维护，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性；为企业节省人力成本和时间成本，最终节省企业经营成本。
【专利附图】
【附图说明】
[0013]图1为本发明系 统的框架原理图。
[0014]图2为本发明集群应用搭建的一具体实例示意图。
【具体实施方式】
[0015]本发明为一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，所述系统包括:公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块；
[0016]所述公共资源库管理模块，用于提供系统中集群各结点所需的资源；且提供用户上传的入口，供用户上传最新的资源；并能更新系统中集群各结点，将上传的新资源更新到系统中集群各结点；所述资源包括=Zooke印er部署包、Solr部署包以及Solr配置模版；所述系统中集群各结点包括有Zookeeper集群的各结点和SolrCloud集群的各结点；本发明的系统实现的可视化是即要实现对zoomkeeper集群的管理，也要实现对SolrCloud集群的管理。
[0017]所述Zooke印er集群管理模块，提供系统中Zooke印er集群的管理；从所述公共资源库管理模块中获取所述Zooke印er部署包和Solr配置模版的资源，根据获取到的资源来实施Zookeeper集群各结点的部署；Zookeeper集群各结点Ip地址、网络端口、存储路径进行管理；并能控制启动或停止Zookeeper集群各结点；
[0018]所述Zookeeper客户端工具,用于对存储在所述Zookeeper集群管理模块中的内容进行管理；且Zooke^er客户端工具将以图形界面的方式实现zkCl1.cmd中的功能；所述zkCl1.cmd是Zookeeper发布的用于维护Zookeeper服务端内容的命令行工具；该工具能上传配置文件到所述分布式的服务Zookeeper集群管理模块中，对Zookeeper集群管理模块中的内容进行修改，删除操作；
[0019]所述SolrCloud集群管理模块,用于对系统的分布式搜索SolrCloud组织结构的管理；对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理；对各个核core下的开源搜索服务器Solr实例的发布；以及对各个核core下的开源搜索服务器Solr实例的启动和停止管理。
[0020]其中，对系统的分布式搜索SolrCloud组织结构的管理具体包括:分布式搜索SolrCloud环境中集合collection的创建、集合collection下各个分区shard的创建、分区shard下各个核core的创建；各个核core的创建是为每个核core分配ip地址、网络端口、存储路径以及名称。
[0021]对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理，具体为:从所述公共资源库管理模块中获取Solr部署包到系统中相应的应用服务器中，修改相关配置，创建每个核core对应的部署包，从而实现对核core下的开源搜索服务器Solr实例内容的管理。
[0022]所述对各个核core下的开源搜索服务器Solr实例的发布，具体为:将开源搜索服务器Solr实例与系统中应用服务器进行集成，将开源搜索服务器Solr应用程序包发布到对应的应用服务器的容器中；该容器如:基于Javaee架构的中间件weblogic或Web应用服务器 tomcat。
[0023]这里需要说明的是:
[0024]公共资源库管理模块是其它部分的基础，为后续其它模块的创建提供资源。Zookeeper客户端工具维护分布式的服务Zookeeper集群管理模块上存储的内容。SolrCloud集群管理模块需要从公共资源库管理模块中获取solr部署包，同时需要引用保存在分布式的服务Zookeeper集群管理模块上的Solr配置模版。
[0025]如图2所示，通过本发明系统对集群应用搭建的一具体实例:图中包括了一集合 mycollection,该集合下有三个分区，分别为:shard_f jdl_0、shard_shdl_0、shard_P_GWBB_0分区；每个分区下均对应有两个核core，核对应的IP地址和网络端口。
[0026]总之，本发明为可视化(图形化)配置维护搭建SolrCloud集群搜索应用，提供了实现设计的思路；随着产品的深化，各项功能不断完善，使SolrCloud集群搜索应用的运维变得更加方便，对用户屏蔽了实现细节，使用企业从规划建设集群搜索应用到最终落实成本实现一条流水线操作，降低了对实施人员的要求，节省了实施时间，同时提高了集群搜索应用的可维护性，为企业节省人力成本和时间成本，最终节省企业经营成本。
[0027]以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【权利要求】
1.一种对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于:所述系统包括:公共资源库管理模块、Zookeeper集群管理模块、Zookeeper客户端工具以及SolrCloud集群管理模块； 所述公共资源库管理模块，用于提供系统中集群各结点所需的资源；且提供用户上传的入口，供用户上传最新的资源；并能更新系统中集群各结点，将上传的新资源更新到系统中集群各结点；所述资源包括=Zooke^er部署包、Solr部署包以及Solr配置模版；所述系统中集群各结点包括有Zookeeper集群的各结点和SolrCloud集群的各结点； 所述Zooke印er集群管理模块，提供系统中Zookeeper集群的管理；从所述公共资源库管理模块中获取所述Zookeeper部署包和Solr配置模版的资源，根据获取到的资源来实施Zookeeper集群各结点的部署；对Zookeeper集群各结点Ip地址、网络端口、存储路径进行管理；并能控制启动或停止Zookeeper集群各结点； 所述Zookeeper客户端工具,用于对存储在Zookeeper集群管理模块中的内容进行管理； 所述SolrCloud集群管理模块，用于对系统的分布式搜索SolrCloud组织结构的管理；对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理；对各个核core下的开源搜索服务器Solr实例的发布；以及对各个核core下的开源搜索服务器Solr实例的启动和停止管理。
2.根据权利要求1所述的对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于:所述Zookeeper客户端工具将以图形界面的方式实现zkCl1.cmd中的功能；所述zkCl1.cmd是Zookeeper发布的用于维护Zookeeper服务端内容的命令行工具；该工具能上传配置文件到所`述分布式的服务Zookeeper集群管理模块中，对分布式的服务Zookeeper集群管理模块中的内容进行修改，删除操作。
3.根据权利要求1所述的对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于:对系统的分布式搜索SolrCloud组织结构的管理具体包括:分布式搜索SolrCloud环境中集合collection的创建、集合collection下各个分区shard的创建、分区shard下各个核core的创建；各个核core的创建是为每个核core分配ip地址、网络端口、存储路径以及名称。
4.根据权利要求1所述的对分布式搜索SolrCloud进行可视化集群应用搭建和维护的系统，其特征在于:对系统的分布式搜索SolrCloud环境中各个核core下的开源搜索服务器Solr实例的管理，具体为:从所述公共资源库管理模块中获取Solr部署包到系统中相应的应用服务器中，修改相关配置，创建每个核core对应的部署包，从而实现对核core下的开源搜索服务器Solr实例内容的管理。
5.根据权利要求1所述的对分布式搜索SolrCloud进行可视化集群应用搭建和集群环境维护的系统，其特征在于:对各个核core下的开源搜索服务器Solr实例的发布，具体为:将开源搜索服务器Solr实例与系统中应用服务器进行集成，将开源搜索服务器Solr应用程序包发布到对应的应用服务器的容器中。
【文档编号】H04L12/24GK103701633SQ201310660947
【公开日】2014年4月2日 申请日期:2013年12月9日 优先权日:2013年12月9日
【发明者】倪时龙, 林振天, 吕君玉, 陈天宇, 张望华 申请人:国家电网公司, 福建亿榕信息技术有限公司