一种基于ElasticSearch支持深度跳页查询的云审计方法与流程

一种基于elasticsearch支持深度跳页查询的云审计方法
技术领域
1.本发明涉及云计算技术领域，尤其涉及一种基于elasticsearch支持深度跳页查询的云审计方法。


背景技术：

2.云计算是一种全新的结合it技术和互联网实现超级计算和高存储能力的领先信息技术，推动云计算兴起的动力是高速互联网、虚拟化技术、更加廉价且功能强劲的芯片及硬盘以及数据中心等技术的发展。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化以及负载均衡等传统计算机和网络技术发展融合的产物。云计算的兴起产生了巨量资料，涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。根据权威的nist定义，现有的云计算主要分为三种服务模式，分别是iaas(infrastructure as aservice)基础设施即服务，主要为用户提供基础设施服务，包括计算机、服务器、防火墙、存储设备和网络设备等；paas(platform as a service)平台即服务，主要为用户提供应用程序开发、测试和部署平台，即是将一个完整的系统平台，包括应用设计、应用开发、应用测试、应用部署和应用托管，都作为一种服务提供给用户；saas(software as a service)软件即服务，主要是为用户提供应用程序等软件。
3.对于云平台大数据的审计工作量巨大，用户的操作数据被审计的不够全面，因此目前的审计系统根本无法完成云平台用户操作审计的需求。


技术实现要素：

4.为了解决以上技术问题，本发明提供了一种一种基于elasticsearch支持深度跳页查询的云审计方法，向用户提供针对云资源操作180天内记录实时检索服务，提供深度跳页查询数据支持。
5.本发明的技术方案是：
6.一种基于elasticsearch支持深度跳页查询的云审计方法，，用elasticsearch打造操作记录数据的数据仓库与索引，提供深度跳页查询功能服务。
7.进一步的，使用自研算法提供深度跳页查询功能，主要包括如下几个步骤：
8.步骤一：读取配置文件中配置的默认检索步长；
9.步骤二：读取配置文件中配置的开启深度跳页查询的最小数据条数，下称最小数据；
10.步骤三：根据查询的当前页、每页数据大小和最小数据对比判断是否需要开启深度查询；
11.步骤四：如果不需要开启深度查询则直接调用elasticsearch的api进行查询并返回查询结果，否则进入步骤五；
12.步骤五：先调用elasticsearch的api查询检索步长条数据，判断如果总数据量小
于检索步长，则直接返回空，否则进入步骤六；
13.步骤六：获取最后一条数据的下标，使用游标方式查询，查询数据量使用如下算法获取：
14.(a)判断如果当前下标大于等于(当前页
‑
1)*每页数据大小，则使用每页数据大小作为数据量；
15.(b)((当前页
‑
1)*每页数据大小
‑
当前下标)模除检索步长大于0，则使用检索步长作为数据量，否则使用((当前页
‑
1)*每页数据大小
‑
当前下标)结果作为数据量；
16.步骤七：递归调用步骤六进行查询，直至查到数据量为每页数据大小时，递归结束将结果返回。
17.本发明的有益效果是
18.满足了用户对一段时间内(180天)的操作记录实时深度跳页检索需求，与传统只提供7天日志记录检索相比，时间范围扩大了近26倍。传统云审计系统使用elasticsearch做索引不支持跳页查询，只能滚动查询，本发明云审计方法弥补了这一缺憾。
附图说明
19.图1是本发明的调用检索的时序示意图；
20.图2是检索功能的工作流程图。
具体实施方式
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.本发明的一种基于elasticsearch支持深度跳页查询的云审计系统使用elasticsearch创建索引，操作日志索引按月创建，并删除6个月之前的操作日志索引。众所周知，elasticsearch不提供深度跳页查询功能，我们的操作审计系统提供了一种可以在线优化查询速度的深度跳页检索方法。该方法的工作流程如下：
23.(1)读取配置文件中配置的默认检索步长；
24.(2)读取配置文件中配置的开启深度跳页查询的最小数据条数，下称最小数据；
25.(3)根据查询的当前页、每页数据大小和最小数据对比判断是否需要开启深度查询；
26.(4)如果不需要开启深度查询则直接调用elasticsearch的api进行查询并返回查询结果，否则进入第五步；
27.(5)先调用elasticsearch的api查询检索步长条数据，判断如果总数据量小于检索步长，则直接返回空，否则进入第六步；
28.(6)获取最后一条数据的下标，使用游标方式查询，查询数据量使用如下算法获取：
29.(a)判断如果当前下标大于等于(当前页
‑
1)*每页数据大小，则使用每页数据大小作为数据量；
30.(b)((当前页
‑
1)*每页数据大小
‑
当前下标)模除检索步长大于0，则使用检索步长作为数据量，否则使用((当前页
‑
1)*每页数据大小
‑
当前下标)结果作为数据量；
31.(7)递归调用第六步进行查询，直至查到数据量为每页数据大小时，递归结束将结果返回。
32.流程图如附图2所示。
33.主要伪代码如下：
[0034][0035][0036]
同时系统提供在线调试检索步长的功能，可以动态调整检索步长以适应当前集群索引数据量规模。
[0037]
通过本发明可以为租户创建、修改、删除云资源等操作提供索引与展示服务。
[0038]
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。