一种数据层分页查询模型以及查询方法与流程

本发明属于数据查询技术领域，具体涉及一种数据层分页查询模型以及查询方法。

背景技术：

在软件开发中，大数据量的查询是一个常见的问题，经常会遇到对大量数据进行查询的场景，常见的对大数据量查询的解决方案有以下两种：1、将全部数据先查询到内存中，然后在内存中进行分页，这种方式对内存占用较大，必须限制一次查询的数据量；2、采用存储过程在数据库中进行分页，这种方式对数据库的依赖较大，不同的数据库实现机制不通，并且查询效率不够理想。以上两种方式对用户来说都不够友好。而现有的开发软件，如java仅支持mysql、oracle等关系型数据库查询，仅支持solr，lucene等搜索引擎数据检索，针对不同数据源需要封装不同的查询对象，由于分页条件不统一，难以规范查询标准，对于上层业务，需要根据数据源做对应的调整时，则涉及面较广，数据量大，无法准确做到数据路由，负载均衡，业务分离，最终查询结果集较多，无法做到灵活转换。

技术实现要素：

根据上述阐述，本发明的目的在于提供一种数据层分页查询模型以及查询方法，通过规范化封装底层逻辑，统一数据层查询条件，简化接口调用。

本发明提供的技术方案：

一种数据层分页查询模型，包括：近线web应用端、清洗模块、适配模块、统一检索模块和数据源，所述近线web应用端、清洗模块、适配模块数据进行顺序传输，统一检索模块设置api接口，所述统一检索模块包括并行的检索模块、装配模块，所述检索模块、装配模块分别连接数据源，数据源包括solr、elasticsearch、mysql和oracle。

一种数据层分页查询方法，步骤如下：

q1、通过线web应用端获取查询条件；

q2、清洗模块进行分类客户端查询条件与动作，统一为标准分页查询条件；

q3、适配模块将标准查询条件转换为后端查询条件；

q4、将标准查询条件转入统一检索模块的检索模块，检索模块在数据源中查询，并将返回的查询结果返回到装配模块与后端查询条件匹配，将最终结果通过api接口输出。

本发明通过统一分页查询条件，将不同数据源的数据进行统一检索，通过封装前端分页逻辑，统一化分页操作，封装数据层查询逻辑，增强系统安全，实现分页数据小数据量的精确查找，本发明的模型具有易于扩展，易于分发特点，查询方法统一的数据层查询条件，简化接口调用，具有较高的使用价值。

附图说明

图1本发明的结构示意图；

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据图1所示，一种数据层分页查询模型，包括：近线web应用端、清洗模块、适配模块、统一检索模块和数据源，所述近线web应用端、清洗模块、适配模块数据进行顺序传输，统一检索模块设置api接口，所述统一检索模块包括并行的检索模块、装配模块，所述检索模块、装配模块分别连接数据源，数据源包括solr、elasticsearch、mysql和oracle。

一种数据层分页查询方法，步骤如下：

q1、通过线web应用端获取查询条件；

q2、清洗模块进行分类客户端查询条件与动作，统一为标准分页查询条件；

q3、适配模块将标准查询条件转换为后端查询条件；

q4、将标准查询条件转入统一检索模块的检索模块，检索模块在数据源中查询，并将返回的查询结果返回到装配模块与后端查询条件匹配，将最终结果通过api接口输出。

以上描述了本发明的基本原理和优点。本行业的技术人员应该了解，本发明不受上述实施案例的限制，上述实施案例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明的要求保护范围由所附的权利要求书及其等效物界定。

技术特征：

技术总结
本发明提供了一种数据层分页查询模型以及查询方法，模型包括近线WEB应用端、清洗模块、适配模块、统一检索模块和数据源，本发明通过统一分页查询条件，将不同数据源的数据进行统一检索，通过封装前端分页逻辑，统一化分页操作，封装数据层查询逻辑，增强系统安全，实现分页数据小数据量的精确查找，本发明的模型具有易于扩展，易于分发特点，查询方法统一的数据层查询条件，简化接口调用，具有较高的使用价值。

技术研发人员：宋国徽
受保护的技术使用者：北京中科梧桐网络科技有限公司
技术研发日：2018.08.16
技术公布日：2019.01.11