一种大数据条件下的数据查询展示系统及方法

文档序号:8223487阅读:324来源:国知局
一种大数据条件下的数据查询展示系统及方法
【技术领域】
[0001]本发明涉及计算机技术领域,尤其涉及一种大数据条件下的数据查询展示系统及方法。
【背景技术】
[0002]移动通讯设备的日益普及给电信运营商带来了庞大的用户群体,基于电信业务的复杂特性,业务运营支撑系统中会记录大量的业务记录数据。运营商的工作人员在日常工作中,为了了解业务开展情况、给用户提供准确的数据,会需要实时的业务统计信息。例如,某政企客户需要本企业在运营商中所有的签约成员,以及成员的用户、账户信息等。
[0003]一些规模较大的政企客户在省级运营商中的签约成员就会达到数万,基于Web框架的业务运营支撑系统从服务端接收到请求进行数据统计、数据组织、数据传输给浏览器客户端的过程,经常会遇到会话超时的情况,并且客户端浏览器在这个过程中会占用客户端PC较多的资源,影响工作人员的其他操作。

【发明内容】

[0004]本发明所要解决的技术问题是针对现有技术的不足,提供一种大数据条件下的数据查询展示系统及方法。
[0005]本发明解决上述技术问题的技术方案如下:一种大数据条件下的数据查询展示系统,其特征在于,包括客户端、Web服务器、后台服务器和数据库服务器;
[0006]所述客户端,其用于生产数据查询请求并发送给Web服务器,并接收返回的查询数据;
[0007]所述Web服务器,其用于将接收的数据查询请求发送给后台服务器,并将后台服务器返回的查询数据发送给客户端;
[0008]所述后台服务器,其用于将接收的数据查询请求放入消息队列中,根据队列机制从数据库服务器中获取数据,根据数据配置规则对获取的数据进行存储管理;
[0009]所述数据库服务器,其用于存储所需数据。
[0010]本发明的有益效果是:
[0011]1.能够稳定的处理大批量数据的查询请求,改变原方式大批量数据统计查询成功率低的情况;
[0012]2.能够支撑多种查询口径的大批量业务数据统计;
[0013]3.客户端将查询请求提交后,数据组织和数据文件生成过程阶段,不占用客户端PC的资源;
[0014]4.采用消息队列机制,合理的编排、处理客户端发送的数据查询请求;
[0015]5.动态分配服务端生成数据程序的进程数,高效处理“数据组织”和“数据文件生成”任务;
[0016]本发明解决在大数据条件下数据查询展示成功率低、对客户端PC主机资源占用大的问题,本发明采用动态分配进程的数据处理方式和高效的消息队列机制保障数据查询效率的准实时特性,稳定可靠的文件管理功能,可以保障敏感信息的安全性。
[0017]在上述技术方案的基础上,本发明还可以做如下改进。
[0018]进一步,所述后台服务器包括消息队列模块、数据处理模块、规则配置模块和文件管理模块;
[0019]所述消息队列模块,其用于接收数据查询请求,并对数据查询请求进行编排,依次将数据查询请求发送给数据处理模块,还用于向客户端发送任务完成提示信息,使客户端根据提示信息从文件管理模块中获取所需数据;
[0020]所述数据处理模块,其用于接收消息队列中的数据查询请求,根据数据查询请求的业务类型从数据库服务器中获取数据,从配置配置模块中读取数据配置规则,根据数据配置规则将获取的数据组成生成大数据查询文件,并将大数据查询文件存储在文件管理模块中;
[0021]所述规则配置模块,其用于基于不同的业务请求类型,配置数据配置规则;
[0022]所述文件管理模块,其用于管理生成的大数据查询文件。
[0023]进一步,所述数据配置规则包括数据组织规则、数据文件命名规则和数据文件管理规则。
[0024]本发明解决上述技术问题的另一技术方案如下:一种大数据条件下的数据查询展示方法,包括如下步骤:
[0025]步骤1,客户端生产数据查询请求并发送给Web服务器;
[0026]步骤2,Web服务器将接收的数据查询请求发送给后台服务器;
[0027]步骤3,后台服务器将接收的数据查询请求放入消息队列中,根据队列机制从数据库服务器中获取数据,根据数据配置规则对获取的数据进行存储管理;
[0028]步骤4,通过消息队列将任务完成提示信息通知到客户端;
[0029]步骤5,客户端根据得到的提示信息获取所需的数据文件。
[0030]在上述技术方案的基础上,本发明还可以做如下改进。
[0031]进一步,所述步骤3的具体实现为:
[0032]步骤31,接收数据查询请求,并对数据查询请求进行编排,依次将数据查询请求发送给数据处理模块;
[0033]步骤32,接收消息队列发送的数据查询请求,根据数据查询请求的业务类型从数据库服务器中获取数据;
[0034]步骤33,读取数据配置规则,根据数据配置规则将获取的数据组成生成大数据查询文件,将大数据查询文件存储在文件管理模块中。
[0035]进一步,所述数据配置规则包括数据组织规则、数据文件命名规则和数据文件管理规则。
【附图说明】
[0036]图1为本发明所述一种大数据条件下的数据查询展示系统框图;
[0037]图2为本发明所述一种大数据条件下的数据查询展示流程图。
[0038]附图中,各标号所代表的部件列表如下:
[0039]1、客户端,2、Web服务器,3、后台服务器,4、数据库服务器,31、消息队列模块,32、数据处理模块,33、规则配置模块,34、文件管理模块。
【具体实施方式】
[0040]以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
[0041]如图1所示,一种大数据条件下的数据查询展示系统,包括客户端l、Web服务器2、后台服务器3和数据库服务器4 ;所述客户端1,其用于生产数据查询请求并发送给Web服务器,并接收返回的查询数据;所述Web服务器2,其用于将接收的数据查询请求发送给后台服务器,并将后台服务器返回的查询数据发送给客户端;所述后台服务器3,其用于将接收的数据查询请求放入队列中,根据队列机制从数据库服务器中获取数据,根据数据配置规则对获取的数据进行存储管理;所述数据库服务器4,其用于存储所需数据。
[0042]其中,所述后台服务器3包括消息队列模块31、数据处理模块32、规则配置模块33和文件管理模块34 ;所述消息队列模块31,其用于接收数据查询请求,并对数据查询请求进行编排,依次将数据查询请求发送给数据处理模块,还用于向客户端发送任务完成提示信息,使客户端根据提示信息从文件管理模块中获取所需数据;所述数据处理模块32,其用于接收消息队列中的数据查询请求,根据数据查询请求的业务类型从数据库服务器中获取数据,从配置配置模块中读取数据配置规则,根据数据配置规则将获取的数据组成生成大数据查询文件,并将大数据查询文件存储在文件管理模块中;所述规则配置模块33,其用于基于不同的业务请
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1