一种大数据的快速查询系统的制作方法

文档序号:14990839发布日期:2018-07-20 22:11阅读:3386来源:国知局

本发明涉及电子技术领域,尤其涉及一种大数据的快速查询系统。



背景技术:

随着社会工业化、信息化水平的不断提高,如今数据已取代计算成为信息计算的中心,云计算、大数据正在成为一种趋势和潮流,包括存储容量、可用性、i/o性能、数据安全性、可扩展性等诸多方面。大数据是规模非常巨大和复杂的数据集。大数据有4v:volume(大量),数据量持续快速增加;velocity(高速),数据i/o速度更快;variety(多样),数据类型和来源多样化;value(价值),其存在各方面的可用价值。如何从海量的数据中提取、获得想要的知识或感兴趣的信息,这是利用好大数据,进而更好地服务于社会发展的要求。因此,数据挖掘方法应运而生。

数据挖掘是作为一门学科诞生于20世纪80年代,从技术的角度看就是从大量复杂的、不规则的、随机的、模糊的数据中获取隐含的、人们事先没有发觉的、有潜在价值的信息和知识的过程。在大数据应用领域,往往可以根据用户的各种行为特征将用户群体划分成若干类,以便于针对用户群的特征进行精准式、个性化的服务。聚类是对用户群体进行划分一种方式。聚类是将数据对象分成类的过程,使同一个类中的对象具有很高的相似度,而使不同类中的对象高度相异。相异度通常使用距离来进行度量。

但是,聚类操作中针对用户行为特征对用户群体进行划分的效果在很大程度上依赖于基础数据的质量,现有的基于聚类算法的用户群体划分往往不能够很好的反映用户的行为特征,存在聚类不准确的问题,难以利用聚类结果对用户群进行精准式、个性化的服务。



技术实现要素:

本发明实施例的目的在于提供一种大数据的快速查询系统,解决了传统数据处理方法实时性、高效性和交互性较差的问题,帮助用户实时地感知企业情况,从而提高企业管理效率和业务处理水平。

为了达到上述目的,本发明实施例公开了一种大数据的快速查询系统,所述系统包括:

解析模块,当接收到用户经由web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个维度向量;

获取模块,当所述维度数组满足第一预设条件时,获取所述维度数组中各个维度向量的差值范围;划分模块,依据所述各个差值范围,按预设的划分规则,将目标大数据划分为多个数据块;

查询模块,依据所述各个维度向量,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。

可选的,所述获取模块包括:比较单元,将所述维度数组与已存储的各个历史维度数组进行逐一比较。

可选的,所述获取模块包括:判断单元,判断是否存在目标历史维度数组,所述目标历史维度数组中的各个维度向量均包含在当前所述维度数组中。

可选的,所述判断单元包括:

第一判断子单元,依据所述各个维度向量的维度属性,获取所述维度数组中各个维度向量的差值范围,判断所述目标历史维度数组中的维度向量的数量是否与所述当前维度数组中的维度向量的数量相同;

可选的,所述判断单元包括:

第二判断子单元,判断是否调用目标历史维度数组,若所述目标历史维度数组中的维度向量的数量与所述当前维度数组中的维度向量的数量相同,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据。

可选的,所述目标历史维度数组中的维度向量的数量与所述当前维度数组中的维度向量的数量不相同,按预设的划分规则,将所述历史查询数据划分为多个数据块,依据所述各个维度向量,分别对每一个数据块进行查询。

可选的,所述划分模块包括:确定单元,确定各个差值范围的优先级;分块单元,依据优先级最高的差值范围,将所述目标大数据划分为多个数据块。

本发明实施例提供的大数据的快速查询系统,与现有技术相比,本发明有如下优点:

1、处理速度快:系统架构方案采用大数据技术对计算、存储任务进行合理调度,可以充分发挥系统中每一个集群节点的运算能力;业务需求增长时,能够方便地通过添加集群节点来扩展系统规模、提升系统性能。

2、用户体验较好:系统支持多种终端运行,支持各级校情指标的实时可视化,提供简单直观的交互方式;

3、灵活度高:可以根据本企业的实际情况灵活创建、配置分析模型;系统采用分层设计,易于部署实施、升级维护。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的大数据的快速查询系统的第一种结构示意图。

图2为本发明实施例提供的大数据的快速查询系统的第二种结构示意图。

图3为本发明实施例提供的大数据的快速查询系统的第三种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1至图3所示,为本发明实施例提供的大数据的快速查询系统的结构示意图,以下分别进行详细说明。

解析模块601,获取模块602,划分模块603,查询模块604。

其中:

所述解析模块601,当接收到用户经由web页面发送的查询请求时,解析所述查询请求中的维度数组,所述维度数组中包含至少一个维度向量;

所述获取模块602,当所述维度数组满足第一预设条件时,获取所述维度数组中各个维度向量的差值范围;

所述划分模块603,依据所述各个差值范围,按预设的划分规则,将目标大数据划分为多个数据块;

所述查询模块604,依据所述各个维度向量,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。

本发明实施例提供了一种大数据查询系统,解析模块需要对用户经由web页面发送的查询请求进行解析,解析所述查询请求中的维度数组,所述维度数组中包含至少一个维度向量;获取模块需要当所述维度数组满足第一预设条件时,获取所述维度数组中各个维度向量的差值范围;划分模块需要依据所述各个差值范围,按预设的划分规则,将目标大数据划分为多个数据块;查询模块需要依据所述各个维度向量,分别对每一个所述数据块进行数据查询,并将各个查询结果进行汇总,获得目标查询数据。避免了现有技术中对大数据整体进行查询,做到快速准确定位目标数据。

需要说明的是,所述大数据查询系统,是一个完整的系统,可以单独使用也可以与其它系统配合使用。

在图1的基础上,参考图2,图2示出了本发明实施例提供的系统的又一结构图,所述获取模块601,包括:

比较单元605和判断单元606。

其中:

所述比较单元605,将所述维度数组与已存储的各个历史维度数组进行逐一比较;

所述判断单元606,判断是否存在目标历史维度数组,所述目标历史维度数组中的各个维度向量均包含在当前所述维度数组中。

在图2的基础上,参考图3,图3示出了本发明实施例提供的系统的又一结构图,所述判断单元,包括:

第一判断子单元和第二判断子单元。

其中:

所述第一判断子单元,依据所述各个维度向量的维度属性,获取所述维度数组中各个维度向量的差值范围。判断所述目标历史维度数组中的维度向量的数量是否与所述当前维度数组中的维度向量的数量相同;

所述第二判断子单元,判断是否调用目标历史维度数组,若所述目标历史维度数组中的维度向量的数量与所述当前维度数组中的维度向量的数量相同,直接调用所述目标历史维度数组所查询的历史查询数据,将所述历史查询结果作为目标查询数据;若不相同,按预设的划分规则,将所述历史查询数据划分为多个数据块,依据所述各个维度向量,分别对每一个数据块进行查询

在图3的基础上,参考,示出了本发明实施例提供的系统的又一结构图,所述划分模块703,包括:

确定单元709和分块单元710。

其中:

所述确定单元709,确定各个差值范围的优先级;

所述分块单元710,依据优先级最高的差值范围,将所述目标大数据划分为多个数据块。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素。以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1