专利名称：一种海量数据的整合方法
技术领域：
本发明属于信息技术领域，尤其涉及一种海量数据的整合方法。
背景技术：
随着社会信息化的日益发展，数据库技术已得到了广泛的应用。在企业的日常业务处理中，数据的分析相当重要。可以得出系统运行状况，并为下一步的决策打好基础。目前，在容量庞大的数据库系统中，由于后台数据表的设计缺乏合理性，统计数据的提取往往比较慢，严重影响了操作人员的工作效率，同样也造成了服务器资源的浪费。
发明内容
本发明提供一种海量数据的整合方法以解决上述问题。本发明提供一种海量数据的整合方法，包括以下步骤。将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。相较于先前技术，根据本发明提供的海量数据的整合方法，将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。如此，有效提高了统计数据的提取速度。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:图1所示为根据本发明的较佳实施例提供的海量数据的整合方法的流程图。
具体实施例方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。图1所示为根据本发明的较佳实施例提供的海量数据的整合方法的流程图。如图1所示，本发明的较佳实施例提供的海量数据的整合方法包括步骤IOf 104。步骤101:将用户行为记录到日志表中。具体而言，所述用户行为，包括对数据库的查询、修改、添加及删除操作。步骤102:获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。具体而言，所述第一汇总表，可存储一天或指定天数的满足所述第一预设条件的数据。步骤103:设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。具体而言，当所述第一汇总表中数据量达到预警值时，设置所述第二预设条件。所述第二预设条件，可以与所述第一预设条件在相同方面作限制，也可以于其它方面作不同限制，对此本发明并不作限定。于本实施例中，所述第一汇总表及第二汇总表存储预设天数的所述导出数据。步骤104:将所述第一汇总表及第二汇总表合并到merge表中。具体而言，根据系统管理员的查询命令，若需查询某天的用户行为统计信息，则系统在所述第一汇总表或第二汇总表中查询。若需查询指定时间段的用户行为统计信息，则系统在所述merge表中查询。于本实施例中，周期性对所述第一汇总表、第二汇总表及merge表进行备份及删除。于其它实施例中，可自行设置所述第一汇总表、第二汇总表及merge表的备份方式,对此本发明并不作限定。举例而言，若2012年5月4日的日志表表名为:user_action_log_20120504，所述日志表中存在age及grade字段。第一预设条件为age>10，且第一汇总表的数据量预警值为I万条。系统获取所述日志表中age>10的数据，导出到第一汇总表中。当所述第一汇总表中数据量达到I万条时，设置第二预设条件为grade>3，并将所述grade>3的数据导出到第二汇总表中。于本实施例中，系统每天将所述第一及第二汇总表中前一天的数据汇总到merge表中，并将所述第一及第二汇总表中前一天的导出数据删除，以便于所述第一及第二汇总表继续存储接下来的导出数据。若系统接收到的查询指令中包含的日期为所述第一及第二汇总表当前数据的对应日期，则到所述第一及第二汇总表中查询。若所述查询指令中包含的日期为指定指定时间段，则系统到merge表中查询。综上所述，根据本发明较佳实施例提供的海量数据的整合方法，将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。如此，有效提高了统计数据的提取速度。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种海量数据的整合方法，其特征在于，包括以下步骤: 将用户行为记录到日志表中； 获取日志表中满足第一预设条件的数据，并导出到第一汇总表中； 设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中； 将所述第一汇总表及第二汇总表合并到merge表中。
2.根据权利要求1所述的方法，其特征在于，当所述第一汇总表中数据量达到预警值时，设置所述第二预设条件。
3.根据权利要求1所述的方法，其特征在于，所述第一汇总表及第二汇总表存储预设天数的所述导出数据。
4.根据权利要求1所述的方法，其特征在于，若需查询某天的用户行为统计信息，则到所述第一汇总表或第二汇总表中查询。
5.根据权利要求1所述的方法，其特征在于，若需查询指定时间段的用户行为统计信息，则到所述merge表中查询。
6.根据权利要求1所述的方法，其特征在于，周期性对所述第一汇总表、第二汇总表及merge表进行备份及删除。
全文摘要
本发明提供一种海量数据的整合方法，包括以下步骤。将用户行为记录到日志表中。获取日志表中满足第一预设条件的数据，并导出到第一汇总表中。设置第二预设条件，并获取所述日志表中满足第二预设条件的数据，导出到第二汇总表中。将所述第一汇总表及第二汇总表合并到merge表中。
文档编号G06F17/30GK103218426SQ201310116968
公开日2013年7月24日 申请日期2013年4月5日 优先权日2013年4月5日
发明者不公告发明人 申请人:苏州联讯达软件有限公司