据抽取到大数据平台中，并将抽取信息发送给所述更新单元；
[0084] 所述更新单元405,用于更新所述数据抽取记录表，并将更新后的所述数据抽取记 录表发送给响应单元；
[0085] 所述响应单元406,用于在获取到统计指令时，根据所述数据抽取记录表响应所述 统计指令。
[00化]进一步地，
[0087] 所述满足所述目标条件，包括:到达设定时间段，和/或，所述至少一个关系型数据 库中任意一个或多个关系型数据库中具有目标数据量的增量数据。
[0088] 进一步地，
[0089]所述数据抽取记录表包括jowk巧项W及该rowkey项对应的数据量；其中，所述 rowkey项包括：{表名字}、{表名字}间隔符{时间}、{时间}间隔符{表名字}中的任意一项或 多项。
[0090] 进一步地，所述响应单元，具体用于根据所述数据抽取记录表中的rowkey项，统计 至少一个表名字的数据量、至少一个表名字在第一时间段内的数据量、在第二时间段内至 少一个表名字的数据量，W实现对所述统计指令的响应。
[0091] 进一步地，
[0092] 所述抽取工具包括:Sqoop工具、Kettle工具、F1皿e工具或化uwa工具。
[0093] 综上，本发明实施例至少可W实现如下有益效果：
[0094] 1、在本发明实施例中，在将关系型数据库中的数据抽取到大数据平台之后，对数 据抽取记录表进行更新，在对大数据平台中的数据进行统计时，可W利用该数据抽取记录 表进行响应，无需对大数据平台中所有数据进行遍历，从而可w提高统计效率，节省了大量 的计算、网络资源。
[0095] 2、在本发明实施例中，为了能够利用该数据抽取记录表来实现对大数据平台中数 据量的统计，需要对数据抽取记录表中所记录的信息进行设计，由于大数据平台是皿ase数 据库，因此对于大数据平台中该数据抽取记录表的设计可W包括:rowk巧项W及该rowkey 项对应的数据量。其中，对于rowkey(行主键）的设计可W包括：{表名字}、{表名字}间隔符 附间}、{时间}间隔符{表名字忡的任意一项或多项。
[0096] 上述设备内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施 例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再寶述。
[0097] 需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体 或者操作与另一个实体或操作区分开来，而不一定要求或者暗示运些实体或操作之间存在 任何运种实际的关系或者顺序。而且，术语"包括"、"包含"或者其任何其他变体意在涵盖非 排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素， 而且还包括没有明确列出的其他要素，或者是还包括为运种过程、方法、物品或者设备所固 有的要素。在没有更多限制的情况下，由语句"包括一个限定的要素，并不排除在包 括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
[0098] 本领域普通技术人员可W理解:实现上述方法实施例的全部或部分步骤可W通过 程序指令相关的硬件来完成，前述的程序可W存储在计算机可读取的存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤;而前述的存储介质包括:R〇M、RAM、磁碟或者光 盘等各种可W存储程序代码的介质中。
[0099] 最后需要说明的是：W上所述仅为本发明的较佳实施例，仅用于说明本发明的技 术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、 等同替换、改进等，均包含在本发明的保护范围内。
【主权项】
1. 一种数据统计方法，其特征在于，预先创建数据抽取记录表，以及预先设置目标条 件，包括： 监测与大数据平台相连接的至少一个关系型数据库； 在满足所述目标条件时，将具有增量数据的关系型数据库中的增量数据抽取到大数据 平台中； 更新所述数据抽取记录表； 在获取到统计指令时，根据所述数据抽取记录表响应所述统计指令。2. 根据权利要求1所述的方法，其特征在于， 所述满足所述目标条件，包括:到达设定时间段，和/或，所述至少一个关系型数据库中 任意一个或多个关系型数据库中具有目标数据量的增量数据。3. 根据权利要求1所述的方法，其特征在于， 所述数据抽取记录表包括:rowkey项以及该rowkey项对应的数据量;其中，所述rowkey 项包括：{表名字}、{表名字}间隔符{时间}、{时间}间隔符{:表名字冲的任意一项或多项。4. 根据权利要求3所述的方法，其特征在于，所述根据所述数据抽取记录表响应所述统 计指令，包括:根据所述数据抽取记录表中的rowkey项，统计至少一个表名字的数据量、至 少一个表名字在第一时间段内的数据量、在第二时间段内至少一个表名字的数据量，以实 现对所述统计指令的响应。5. 根据权利要求1-4中任一所述的方法，其特征在于， 执行所述将目标关系型数据库中的增量数据抽取到大数据平台中的工具包括:Sqoop 工具、Kettle工具、Flume工具或Chuwa工具。6. -种数据统计系统，其特征在于，包括： 创建单元，用于创建数据抽取记录表，并将所述数据抽取记录表发送给更新单元； 存储单元，用于存储目标条件，并将所述目标条件发送给抽取工具； 监测单元，用于监测与大数据平台相连接的至少一个关系型数据库，并将监测信息发 送给所述抽取工具； 所述抽取工具，用于在满足所述目标条件时，将具有增量数据的关系型数据库中的增 量数据抽取到大数据平台中，并将抽取信息发送给所述更新单元； 所述更新单元，用于更新所述数据抽取记录表，并将更新后的所述数据抽取记录表发 送给响应单元； 所述响应单元，用于在获取到统计指令时，根据所述数据抽取记录表响应所述统计指 令。7. 根据权利要求6所述的数据统计系统，其特征在于， 所述满足所述目标条件，包括:到达设定时间段，和/或，所述至少一个关系型数据库中 任意一个或多个关系型数据库中具有目标数据量的增量数据。8. 根据权利要求7所述的数据统计系统，其特征在于， 所述数据抽取记录表包括:rowkey项以及该rowkey项对应的数据量;其中，所述rowkey 项包括：{表名字}、{表名字}间隔符{时间}、{时间}间隔符{:表名字冲的任意一项或多项。9. 根据权利要求8所述的数据统计系统，其特征在于，所述响应单元，具体用于根据所 述数据抽取记录表中的rowkey项，统计至少一个表名字的数据量、至少一个表名字在第一 时间段内的数据量、在第二时间段内至少一个表名字的数据量，以实现对所述统计指令的 响应。10.根据权利要求6-9中任一所述的数据统计系统，其特征在于， 所述抽取工具包括：Sqoop工具、Kettle工具、Flume工具或Chuwa工具。
【专利摘要】本发明提供一种数据统计方法及系统，方法包括：预先创建数据抽取记录表，以及预先设置目标条件，监测与大数据平台相连接的至少一个关系型数据库；在满足所述目标条件时，将具有增量数据的关系型数据库中的增量数据抽取到大数据平台中；更新所述数据抽取记录表；在获取到统计指令时，根据所述数据抽取记录表响应所述统计指令。根据本方案，在将关系型数据库中的数据抽取到大数据平台之后，对数据抽取记录表进行更新，在对大数据平台中的数据进行统计时，可以利用该数据抽取记录表进行响应，无需对大数据平台中所有数据进行遍历，从而可以提高统计效率，节省了大量的计算、网络资源。
【IPC分类】G06F17/30
【公开号】CN105630934
【申请号】CN201510975554
【发明人】臧勇真, 赵明超, 周正德, 牛硕, 刘安
【申请人】浪潮电子信息产业股份有限公司
【公开日】2016年6月1日
【申请日】2015年12月23日