一种基于采集数据统计以及前台展现的方法
【专利摘要】本发明提供一种基于采集数据统计以及前台展现的方法，该技术适用于后台数据的页面展现。目前，在大数据、云计算的广泛应用下，服务器采集的数据都需要对各种类型、区域、行业、时间等众多条件进行种种分类，加大了对数据库的查询量，如有更加模糊的查询条件会对数据库造成无法估计的影响，这就需要大量的人工和硬件配置来支撑该操作。通过该数据统计的方法，可减轻数据库的统计压力以及人工的工作量，又可避免因操作问题造成对工作以及硬件的影响。
【专利说明】一种基于采集数据统计以及前台展现的方法
【技术领域】
[0001]本发明涉及计算机应用领域，具体地说是一种基于采集数据统计以及前台展现的方法。本方案适用于对数据的统计、分析和对客户的展现，涉及到Oracle数据库。
【背景技术】
[0002]随着数据量的增长，对数据的整理、查询、统计分析的需求增加，大数据应用的发展，数据库面临的压力和挑战与日俱增。随之而来的是，如何让所管理的数据库能承受因需求增长而带来的压力，以及如何能更好地管理数据库，更好地优化等等这方面工作已经成为大数据中最棘手的问题。以Oracle数据库为例，如今面临CPU瓶颈、较小的内存、I/O吞吐能力差、时常短暂的性能下降等问题，在程序方面，应用程序和页面实时展示方面都面临瓶颈。在此背景之下，该方案能够解决针对数据量大、分项种类多的统计以及展现时间长、速度慢的问题。
【发明内容】
[0003]本发明的目的是提供一种基于采集数据统计以及前台展现的方法。
[0004]本发明的目的是按以下方式实现的，数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗，程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表，具体步骤如下:
O配置数据库:通过配置jdbc连接数据库，创建索引专用的表空间，根据系统用户数量、用户并发量，调整表空间大小、数据库processes和sess1ns值，同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间；
2)创建字段索引:根据查询、统计条件创建字段索引，并将索引创建在专用表空间中；
3)数据采集:通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中；
4)数据清洗:使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据的整理，并将整理后的数据进行分类储存；
5)页面展示:前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。
[0005]本发明的有益效果是:该技术适用于后台数据的页面展现。目前，在大数据、云计算的广泛应用下，服务器采集的数据都需要对各种类型、区域、行业、时间等众多条件进行种种分类，加大了对数据库的查询量，如有更加模糊的查询条件会对数据库造成无法估计的影响，这就需要大量的人工和硬件配置来支撑该操作。通过该数据统计的方法，可减轻数据库的统计压力以及人工的工作量，又可避免因操作问题造成对工作以及硬件的影响。
【专利附图】
【附图说明】
[0006]图1是本发明的原理图；
图2是系统结构不意图；
图3是系统流程图。
【具体实施方式】
[0007]参照说明书附图对本发明的方法作以下详细地说明。
[0008]数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗等。
[0009]程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表。具体步骤如下:
1)配置数据库:通过配置jdbc连接数据库，创建索引专用的表空间，调整表空间大小、数据库processes和sess1ns值(根据系统用户数量、用户并发量)，同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间；
2)创建字段索引:根据查询、统计条件创建字段索引，并将索引创建在专用表空间中；
3)数据采集:通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中；
4)数据清洗:使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据等整理，并将整理后的数据进行分类储存；
5)页面展示:前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。
实施例
[0010]第一步，通过jdbc连接数据库，配置数据库相关参数、创建索引表空间。根据查询、统计条件在相关表中建立字段索引。
[0011]第二步，通过采集系统对各个网站的信息进行数据采集，并将采集后的数据通过jdbc连接存储到数据库临时表中。
[0012]第三步，数据清洗程序对采集的数据进行格式、异常、冗余等处理后进行整理，将相关数据在数据库中按照统计条件分类生成表并保存，使用索引进行相关统计和报表的生成。
[0013]第四步，前台页面可通过jdbc连接数据库查询相应的表并进行快速的展现，从而实现快速展现和统计。
[0014]除说明书所述的技术特征外，均为本专业技术人员的已知技术。
【权利要求】
1.一种基于采集数据统计以及前台展现的方法，其特征在于数据采集主要是通过对数据库配置后，对各个网站的采集程序进行定时操作，包括对软件登录、软件中各个模块的数据采集并清洗，程序将数据采集清洗后，数据库定时任务会按时将数据进行分类汇总并生成相关表，确保在统计查询时能够及时响应页面并给与反馈，提供详细的数据分析报表和图表，具体步骤如下: O配置数据库:通过配置jdbc连接数据库，创建索引专用的表空间，根据系统用户数量、用户并发量，调整表空间大小、数据库processes和sess1ns值，同时需注意表空间不宜一次创建过大，可根据磁盘可用空间与数据量增长速度进行估算，设置自动扩展空间； 2)创建字段索引:根据查询、统计条件创建字段索引，并将索引创建在专用表空间中； 3)数据采集:通过手工方式或定时任务TimeTask来进行对各个网站的信息进行数据采集，并将采集的数据保存在Temp临时表中； 4)数据清洗:使用SQL脚本对采集的数据进行数据清洗，主要包括格式、冗余数据、异常数据的整理，并将整理后的数据进行分类储存； 5)页面展示:前台页面可通过查询功能对应的表进行快速的展现，解决了报表生成时间长、速度慢，同时对数据库的I/O压力有所减轻。
【文档编号】G06F17/30GK104361022SQ201410564773
【公开日】2015年2月18日 申请日期:2014年10月22日 优先权日:2014年10月22日
【发明者】何嘉, 王传超, 徐宏伟 申请人:浪潮软件集团有限公司