基于调度平台的数据汇总方法及数据汇总装置的制造方法
【技术领域】
[0001] 本发明涉及数据的处理领域，尤其是一种基于调度平台的数据汇总方法W及数据 汇总装置。
【背景技术】
[0002] 人们在日常生活、工作中经常需要对各种各样的数据进行汇总、分析、处理，尤其 在现代企业中，集团总部和各子公司的各种凭证、单据及其他业务数据量非常庞大，要想在 送些海量的数据中查询统计数据或出具报表，工作量非常巨大。
[0003] 现在的大部分企业使用数据汇总、分析软件对大量的数据进行汇总、分析，然而， 由于企业需要处理的数据量过于巨大，送些数据汇总、分析的软件在性能上形成了瓶颈，未 能满足数据分析的要求。并且，从海量大数据中分析统计数据同时也给数据库及应用服务 带来相当大的压力，从而影响甚至拖璋整个系统性能。因此，如何快速响应查询、统计、分析 及出具报表等就成了数据汇总软件必须解决的重大问题。
[0004] 现有的一些数据汇总系统，如联机分析处理（On-Line Anal}ftical Processing, OLA巧等系统的应用推进了用于提取对企业决策分析有用的信息的数据仓库，数据仓库技 术在数据统计分析上优势相当大，但由于其需要预处理后数据才可使用，送样的方式无法 满足信息管理系统中实时性要求相当高的特点，因此送类的数据处理方式方法并不适合现 代的信息管理系统。
[0005] 此外，现代的信息管理系统中并发录入数据的可能性相当大，数据汇总的过程中 往往需要根据汇总统计规则把录入的数据统计后更新到汇总相关表，相关表如果不做加锁 处理，则有可能由于脏数据等原因导致数据不正确，因此做送类的数据处理，需要采用加锁 方式实现。通常，加锁方式可采用服务端加锁或数据库端对数据进行加锁等，但送些加锁方 式都可能会带来资源竞争及导致程序复杂度相当高，不便于后续的开发维护等处理。因此， 需要考虑一套合理的方案来简单有效地解决加锁问题。
【发明内容】
[0006] 本发明的主要目的是提供一种数据处理量较少的基于调度平台的数据汇总方法。
[0007] 本发明的另一目的是提供一种数据处理性能较好的基于调度平台的数据汇总装 置。
[0008] 为了实现上述的主要目的，本发明提供的基于调度平台的数据汇总方法包括汇总 调度平台单元轮询触发汇总入口进程，并在接收到触发信息后扫描任务队列，根据多个汇 总任务的优先级别依次执行任务队列中的汇总任务；执行汇总任务时，清除先前的汇总结 果W及备份表中的所有数据，并从原始数据中提取符合当前汇总条件的数据到中转表，将 中转表中的数据备份至备份表；从备份表及原始数据表中提取需要实时汇总处理的数据， 并根据备份表的数据W及原始数据表的数据采用退旧加新的方法将变更后的数据汇总至 汇总表中。
[0009] 由上述方案可见，数据汇总时通过预先提取符合条件的数据到备份表中，避免W 原始数据作为基础汇总数据，数据的处理量较少。并且，由于数据汇总方法能够在全量汇总 的基础上实现实时汇总，即使汇总的数据量庞大，也能及时地实现实时数据汇总，提升数据 汇总的性能。此外，通过汇总调度平台单元对多个汇总任务进行调度，实现对多个汇总任务 的调度，使数据汇总处理更加高效。
[0010] 一个优选的方案是，汇总调度平台单元扫描任务队列前，接收创建汇总任务的命 令和/或调整汇总任务执行优先等级的命令，并在任务队列中创建汇总任务和/或调整汇 总任务的执行优先等级。
[0011] 由此可见，汇总调度平台单元能够根据接收的命令调节各个汇总任务的处理优先 顺序或者创建汇总任务，数据汇总操作更加灵活。
[0012] 另一个优选的方案是，汇总调度平台单元在汇总任务完成后，判断所完成的汇总 任务为周期性任务时，设定该任务的下次执行时间，并将该汇总任务保留在任务队列中。
[0013] 可见，通过查询数据汇总的周期性可W设置周期性的汇总任务的周期性操作时 间，方便周期性的汇总任务的执行。
[0014] 再一个优选的方案是，执行实时汇总任务时，所采用的退旧加新的方法是；将备份 表中的数据乘W-1，然后与原始数据表的数据相加计算差额数据，将差额数据汇总至汇总 表中。
[0015] 由此可见，采用退旧加新的方法对数据进行汇总，而不是采用直接将新的数据替 代备份数据，送样可W增加汇总数据的准确性。
[0016] 为实现上述的另一目的，本发明提供的基于调度平台的数据汇总装置包括汇总调 度模块、全量汇总模块W及实时汇总模块，汇总调度模块使用汇总调度平台单元轮询触发 汇总入口进程，并在接收到触发信息后扫描任务队列，根据多个汇总任务的优先级别依次 执行任务队列中的汇总任务；全量汇总模块用于清除先前的汇总结果W及备份表中的所有 数据，并从原始数据中提取符合当前汇总条件的数据到中转表，将中转表中的数据备份至 备份表；实时汇总模块用于从备份表及原始数据表中提取需要实时汇总处理的数据，并根 据备份表的数据W及原始数据表的数据采用退旧加新的方法将变更后的数据汇总至汇总 表中。
[0017] 由上述方案可见，通过汇总调度平台单元对多个汇总任务的调度，提高对汇总任 务的处理效率。此外，数据汇总装置能够实现全量汇总、实时汇总等功能，提升数据汇总装 置的性能，满足企业对大量数据进行实施汇总的要求。此外，由于数据汇总装置不需要对数 据进行预处理，只需要对原始数据提取后进行汇总，数据汇总的运算量较少，提高数据汇总 的效率。
【附图说明】
[0018] 图1是本发明数据汇总装置实施例的结构框图。
[0019] 图2是本发明数据汇总方法实施例中的汇总调度步骤的流程图。
[0020] 图3是本发明数据汇总方法实施例中的全量汇总步骤的流程图。
[0021] 图4是本发明数据汇总方法实施例中的实时汇总步骤的流程图。
[0022] W下结合附图及实施例对本发明作进一步说明。
【具体实施方式】
[0023] 本发明的数据汇总方法用于对大量的数据进行汇总、分析，数据汇总装置是应用 上述方法实现对数据汇总分析的装置。
[0024] 参见图1，本实施例的数据汇总装置包括汇总配置模块10、汇总调度模块11、全量 汇总模块15 W及实时汇总模块16,汇总调度模块11内设有周期性执行模块12。
[0025] 汇总配置模块10用于对汇总任务的汇总方案进行配置，即根据汇总的任务需求 配置汇总的方案，由此形成汇总方案主表W及汇总方案明细表，方案主表用于描述汇总方 案及表示方案是否停用，方案明细表用于描述汇总方案的维度、统计项及能参与汇总处理 的数据条件表达式。
[0026] 汇总调度模块11应用汇总调度平台单元对汇总任务进行调度，如接收触发信息， 并根据触发信必扫描汇总任务队列，并执行任务队列中的汇总任务。同时，根据汇总任务的 执行情况决定是否需要删除汇总任务，对于周期性执行的汇总任务，还需要确定该周期性 执行的任务下次执行时间等等。周期性汇总任务的执行由周期性执行模块12控制汇总任 务的执行时间、执行间隙等。
[0027] 全量汇总模块15用于对数据进行全量汇总，采样全清全汇的方式对原始数据进 行统计汇总处理，并将汇总的数据保存至汇总表中。实时汇总模块16用于对数据进行实时 汇总处理，从海量的原始数据中获取需要汇总的数据，并将需要汇总的数据提取后，根据汇 总的需要采用退旧加新的方式得到汇总后的数据，将汇总后的数据保持至汇总表中。
[0028] 汇总调度模块11是由汇总调度平台单元通过汇总管理工具管理汇总任务的调 度、汇总任务及与调度相关参数设置，并通过汇总管理工具创建汇总任务调度来触发处理 提交到汇总任务调度队列中的汇总任务。汇总调度平台单元也会扫描汇总任务配置表中的 周期性任务，如在任务配置表中存在但任务执行队列里面不存在该任务，汇总调度平台单 元将把该任务增加到汇总任务队列，并通过调度周期性地执行该周期任务。汇总调度平台 单元由汇总任务类型配置表、汇总调度作业单元及汇总工具共同组成。
[0029] 汇总任务类型配置表中的一条记录描述了一种汇总任务类型，该任务描述表示了 汇总调度平台单元触发了送种汇总任务后调用的过程、过程执行的节点及调用的周期等。 其中，汇总任务类型配置表主要包括：任务类别、任务描述、任务周期（任务周期，可表示一 次性任务或者是W分钟为单位的周期性任务）、任务处理过程名称、线程优先级W及运行节 点等。
[0030] 汇总调度作业单元可W使oracle job任务调度实现，汇总调度平台单元可通过汇 总管理工具创建job任务调度，也可W通过工具删除job任务调度。通过汇总工具也可W 设置汇总线程数，该汇总线程数对应的是在oracle数据库中创建的汇总任务调度个数，设 置多少个便可W创建多少个调度。基于数据库压力及性能考虑，最多可支持5条线程。送 些线程调度同时启动的情况下可同时并行执行处理不同的汇总任务类型，从而达到多类型 汇总并行计算处理的效果。
[0031] 下面结合图2说明汇总调度模块11的工作流程。
[0032] 首先，汇总调度模块11接收配置汇总方案的信息，也就是执行步骤S1，配置汇总 方案的信息由汇总配置模块10发出，配置汇总方案的信息包含是否创建汇总任务的信息、 调整汇总任务执行的优先等级的信息。
[0033] 然后，汇总调度模块11执行步骤S2,由化acle job调度轮询触发汇总入口过程， 判断是否接收到触发信息。如在调度触发汇总入口过程后，即接收到触发信息后，RUN_J0B 将扫描任务队配置表及汇总任务对列表，判断任务队列中是否有需要执行的汇