基于Elasticsearch框架的分布式搜索系统的制作方法

本发明属于大数据基础架构领域，涉及一种分布式搜索系统，尤其涉及一种基于elasticsearch框架的分布式搜索系统。

背景技术：

elasticsearch是目前主流的全文检索框架，解决了大数据量条件下的实时全文检索问题，并且支持基于get/post方法的json参数接口以及多种可视化插件和分词器，使搜索技术更容易的被应用于it应用系统当中。

然而，elasticsearch仅提供了数据导入及搜索的接口，并没有解决从数据源到应用端的一系列问题，而且elasticsearch原生的搜索接口比较复杂，学习成本比较高，对于开发人员的掌握有一定困难，开发难度大。现有检索数据仅支持单一数据库，无法适用多种数据库。

技术实现要素：

本发明解决现有技术不足提供一种适用范围广、开发难度低、实施便捷的基于elasticsearch框架的分布式搜索系统。

为解决上述技术问题本发明采用如下技术方案：

基于elasticsearch框架的分布式搜索系统，包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为web应用程序，所述支撑连接层为api接口，所述数据聚合层为elasticsearch搜索服务器，所述源数据层为hadoop、hive、oracle和mysql数据库；elasticsearch搜索服务器通过api接口与web应用程序连接。

所述api接口通过java数据库与elasticsearch搜索服务器连接。

所述基于elasticsearch框架的分布式搜索系统，其特征在于所述web应用程序为java语言架构编辑。

所述基于elasticsearch框架的分布式搜索系统，其特征在于所述web应用程序录入检索字段，检索字段通过java数据库和elasticsearch搜索服务器调用源数据层。

所述源数据层为hadoop、hive、oracle和mysql数据库的一种或几种。

本发明的有益效果为：

本发明提出的基于elasticsearch框架的分布式搜索系统解决了大数据量条件下的实时搜索查询问题。数据导入java数据库和api接口与外部配置文件，对数据源、目标集群及索引进行灵活搭配，达到了通用性和易维护性。源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接，经测试上述连接极大提升数据导入性能，数据导入速度达到每小时2500万条左右。采用api接口使搜索接口更贴近于具体业务并且使web端开发与elasticsearch解耦，降低了学习成本大大提高了开发效率。

附图说明

图1为本发明的结构示意图。

具体实施方式

基于elasticsearch框架的分布式搜索系统，包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为web应用程序，所述支撑连接层为api接口，所述数据聚合层为elasticsearch搜索服务器，所述源数据层为hadoop、hive、oracle和mysql数据库；elasticsearch搜索服务器通过api接口与web应用程序连接。

所述api接口通过java数据库与elasticsearch搜索服务器连接。所述web应用程序为java语言架构编辑。所述web应用程序录入检索字段，检索字段通过java数据库和elasticsearch搜索服务器调用源数据层。所述源数据层为hadoop、hive、oracle和mysql数据库的一种或几种。

实施例1

系统包括如下模块：

hive数据源，为上层服务提供数据来源和支撑。

数据导入java数据库，负责将数据源的数据导入到elasticsearch集群中。连接hive数据源并调用api接口将数据导入到特定的索引中。

elasticsearch集群，提供基础的检索服务。

web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。

实施例2

系统包括如下模块：

oracle数据源，为上层服务提供数据来源和支撑。

数据导入java数据库，负责将数据源的数据导入到elasticsearch集群中。连接oracle数据源并调用api接口将数据导入到特定的索引中。

elasticsearch集群，提供基础的检索服务。

web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。

实施例3

系统包括如下模块：

hadoop、hive、oracle和mysql数据库，为上层服务提供数据来源和支撑。

数据导入java数据库，负责将数据源的数据导入到elasticsearch集群中。同时连接hadoop、hive、oracle和mysql数据库并调用api接口将数据导入到特定的索引中。

elasticsearch集群，提供基础的检索服务。

web应用，负责调用搜索服务接口实现可视化的系统业务使用界面。

技术特征：

1.基于elasticsearch框架的分布式搜索系统，其特征在于包括数据应用层、支撑连接层、数据聚合层和源数据层；源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接；所述数据应用层为web应用程序，所述支撑连接层为api接口，所述数据聚合层为elasticsearch搜索服务器，所述源数据层为hadoop、hive、oracle和mysql数据库；elasticsearch搜索服务器通过api接口与web应用程序连接。

2.根据权利要求1所述基于elasticsearch框架的分布式搜索系统，其特征在于所述api接口通过java数据库与elasticsearch搜索服务器连接。

3.根据权利要求1所述基于elasticsearch框架的分布式搜索系统，其特征在于所述web应用程序为java语言架构编辑。

4.根据权利要求3所述基于elasticsearch框架的分布式搜索系统，其特征在于所述web应用程序录入检索字段，检索字段通过java数据库和elasticsearch搜索服务器调用源数据层。

5.根据权利要求4所述基于elasticsearch框架的分布式搜索系统，其特征在于所述源数据层为hadoop、hive、oracle和mysql数据库的一种或几种。

技术总结
本发明属于大数据基础架构领域，涉及一种分布式搜索系统，尤其涉及一种基于Elasticsearch框架的分布式搜索系统。本发明提出的基于Elasticsearch框架的分布式搜索系统解决了大数据量条件下的实时搜索查询问题。数据导入Java数据库和API接口与外部配置文件，对数据源、目标集群及索引进行灵活搭配，达到了通用性和易维护性。源数据层通过数据聚合层与支撑连接层连接，支撑连接层与数据应用层连接，经测试上述连接极大提升数据导入性能，数据导入速度达到每小时2500万条左右。采用API接口使搜索接口更贴近于具体业务并且使web端开发与Elasticsearch解耦，降低了学习成本大大提高了开发效率。

技术研发人员：王志鹏;吕伟
受保护的技术使用者：甘肃万维信息技术有限责任公司
技术研发日：2018.03.31
技术公布日：2019.12.10