一种服务网关日志记录及检索方法与流程

本发明涉及数据检索分析技术领域，特别涉及一种基于elasticsearch的服务网关日志记录及检索方法。

背景技术：

异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的dbms。异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。

异构数据库系统的异构性主要体现在以下几个方面：

(一)计算机体系结构的异构

各个参与的数据库可以分别运行在大型机、小型机、工作站、pc或嵌入式系统中。

(二)基础操作系统的异构

各个数据库系统的基础操作系统可以是unix、windowsnt、linux等。

(三)dbms本身的异构

可以是同为关系型数据库系统的oracle、sqlserver等，也可以是不同数据模型的数据库，如关系、模式、层次、网络、面向对象，函数型数据库共同组成一个异构数据库系统。

异构数据库系统的目标在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。其中关键的一点就是以局部数据库模式为基础，建立全局的数据模式或全局外视图。这种全局模式对于建立高级的决策支持系统尤为重要。

大型机构在许多地点都有分支机构，每个子机构的数据库中都有着自己的信息数据，而决策制订人员一般只关心宏观的、为全局模式所描述的信息。建立在数据仓库技术基础上的异构数据库全局模式的描述是一种好的解决方案。数据仓库可以从异构数据库系统中的多个数据库中收集信息，并建立统一的全局模式，同时收集的数据还支持对历史数据的访问，用户通过数据仓库提供的统一的数据接口进行决策支持的查询。

对于异构数据库系统，实现数据共享应当达到两点：一是实现数据库转换；二是实现数据的透明访问。但是目前还没有一种广泛使用的数据定义模型和数据查询语言，实现数据的透明访问可以采用多对一转换、双向的中间件等技术。开放式数据库互连(opendatabaseconnectivity，简称odbc)是一种用来在相关或不相关的数据库管理系统中存取数据的标准应用程序接口(api)。odbc为应用程序提供了一套高层调用接口规范和基于动态链接库的运行支持环境。

在信息系统建设的过程中，总是存在异构系统之间的接口对接，两两系统之间的频繁对接，不仅带来了繁重的重复开发工作，也成为了数据跨区域，跨行业，跨部门流转共享的障碍。

于是，建立统一的数据分发平台，把原来系统对接模式的网状结构变为星形结构，保证只与我对接一次的对接模式。从而大大减少系统对接中的工作量，并成为一种趋势。为满足这种业务场景的需求，建设统一的服务管理平台成为必然，构建统一的服务调用网关，实现对网关请求日志的记录，检索，聚合和分析，成为保障服务稳定运行的重要手段。

为了全方位的检索，监控和分析网关请求数据的服务调用情况，及时发现系统运行中潜在的问题，挖掘数据的价值，保持系统运行的稳定。本发明提出了一种基于elasticsearch的服务网关日志记录及检索方法。

技术实现要素：

本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于elasticsearch的服务网关日志记录及检索方法。

本发明是通过如下技术方案实现的：

一种服务网关日志记录及检索方法，其特征在于：首先，全方位的记录服务调用过程中产生的信息，合理定义日志结构，为日志索引奠定基础；然后对日志索引进行合理定义及切分，实现对日志数据合理索引，从而能够精确分析日志信息；最后构建分析模型，对日志记录进行分析统计，以实现对通过网关发送请求获取数据的行为的日志记录。

所述合理定义日志结构是指为了全方位的记录接口调用过程日志，在服务调用之前明确日志记录内容，定义日志记录信息。

日志记录是一个持续增加的过程，在记录日志之前需要明确日志存储的方式，所述对日志索引进行合理定义及切分是以日期为切分依据，并辅助以模板版本定义日志存储规则。

所述对日志记录进行分析统计是以web形式监控服务调用情况，在服务调用过程中，随着日志的产生，通过可视化的界面实时监控网关服务情况。

本发明服务网关日志记录及检索方法，对服务调用全流程的日志进行定义，本着信息冗余的原则，对服务调用的全方位信息进行记录。

本发明服务网关日志记录及检索方法，借助kafka消息队列，实现对日志产生的发送和消费记录过程，保证日志记录的完成性；合理估量日志产生的数量级，定义日志记录的索引模板，依托elasticsearch的实时性，稳定性及横向扩展能力，对日志按照月度进行切分，实现对日志数据的合理存储。

本发明服务网关日志记录及检索方法，对日志数据进行合理的建模，构建丰富的统计模型，对网关调用服务的情况进行实时准确的反应。

本发明服务网关日志记录及检索方法，具体步骤如下：

(1)请求数据，网关响应并记录日志发送到kafka中，消费端从kafka中批量拉取数据，发送到elasticsearch和本地数据库中保存；

(2)本地数据库中数据留作备份，elasticsearch中数据基于通过统一的索引模板，以日期(yyyymm)进行切分索引保存，合理分配数据存储，从而实现统一的数据检索，数据分析。

本发明的有益效果是：该服务网关日志记录及检索方法，借助kafka、elasticsearch等大数据技术，全方位的检索，监控和分析网关请求数据的服务调用情况，实现了对网关调用日志的分布式记录，进而实现了网关使用情况的实时监控，能够及时发现系统运行中潜在的问题，挖掘数据的价值，保持系统运行的稳定，提高了系统使用中的可控性。

附图说明

附图1为本发明服务网关日志记录及检索方法示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

该服务网关日志记录及检索方法，首先，全方位的记录服务调用过程中产生的信息，合理定义日志结构，为日志索引奠定基础；然后对日志索引进行合理定义及切分，实现对日志数据合理索引，从而能够精确分析日志信息；最后构建分析模型，对日志记录进行分析统计，以实现对通过网关发送请求获取数据的行为的日志记录。

所述合理定义日志结构是指为了全方位的记录接口调用过程日志，在服务调用之前明确日志记录内容，定义日志记录信息。

日志记录是一个持续增加的过程，在记录日志之前需要明确日志存储的方式，所述对日志索引进行合理定义及切分是以日期为切分依据，并辅助以模板版本定义日志存储规则。

所述对日志记录进行分析统计是以web形式监控服务调用情况，在服务调用过程中，随着日志的产生，通过可视化的界面实时监控网关服务情况。

该服务网关日志记录及检索方法，对服务调用全流程的日志进行定义，本着信息冗余的原则，对服务调用的全方位信息进行记录。

该服务网关日志记录及检索方法，借助kafka消息队列，实现对日志产生的发送和消费记录过程，保证日志记录的完成性；合理估量日志产生的数量级，定义日志记录的索引模板，依托elasticsearch的实时性，稳定性及横向扩展能力，对日志按照月度进行切分，实现对日志数据的合理存储。

该服务网关日志记录及检索方法，对日志数据进行合理的建模，构建丰富的统计模型，对网关调用服务的情况进行实时准确的反应。

该服务网关日志记录及检索方法，具体步骤如下：

(1)请求数据，网关响应并记录日志发送到kafka中，消费端从kafka中批量拉取数据，发送到elasticsearch和本地数据库中保存；

(2)本地数据库中数据留作备份，elasticsearch中数据基于通过统一的索引模板，以日期(yyyymm)进行切分索引保存，合理分配数据存储，从而实现统一的数据检索，数据分析。

该服务网关日志记录及检索方法，借助kafka、elasticsearch等大数据技术，全方位的检索，监控和分析网关请求数据的服务调用情况，实现了对网关调用日志的分布式记录，进而实现了网关使用情况的实时监控，能够及时发现系统运行中潜在的问题，挖掘数据的价值，保持系统运行的稳定，提高了系统使用中的可控性。