一种对特定数据逐层边剔除边汇总的方法
【技术领域】
[0001] 本发明设及企业信息管理系统领域化RP)数据处理技术领域，尤其设及一种对特 定数据逐层边剔除边汇总的方法。
【背景技术】
[0002] 事务型系统往往只存储最细粒度的数据，经常需要按一个维度向多层级汇总数 据。在逐层汇总过程中，需要根据特定规则识别并剔除部分数据然后再加和。规则是可变 的;而每个层级、特定数据的规则不相同。如果数据量较大，设及的层级多，那么实时汇总将 会遇到性能和时效性问题。
[0003] 例如，现有公司资金监控系统的模式为，各分公司服务器与金融机构服务器直接 进行银企互联，从金融机构获取资金数据，然后将监控采集的数据传递至总部服务器，由总 部服务器对全公司资金数据进行实时掌控。由于从金融机构获取的数据为实际发生的交 易，对于总部服务器而言，不能简单的对所有交易数据直接进行汇总，因为各分公司之间的 往来不属于资金的外流，只有对外收支才属于全公司的净收支情况。由于公司一般存在很 多分公司，分公司间有层级关系，因此存在按公司层级进行资金数据合并抵消的问题。但 是，服务器无法分辨资金数据是否属于内部交易，需要剔除运些内部交易从而真实的展示 对上一级公司有意义的交易数据。
[0004] 由于上述方法设及多个复杂的数据处理环节，需设计出一种能够快速有效的进行 数据汇总的方法，更容易被测试，更容易发现各个环节的问题。
【发明内容】
[0005] 鉴于上述的分析，本发明旨在提供一种对特定数据逐层边剔除边汇总的方法，用 W解决现有系统中存在的性能和时效性的问题。
[0006] 本发明的目的主要是通过W下技术方案实现的：
[0007] -种对特定数据逐层边剔除边汇总的方法，其特征在于，包括：
[000引建立服务器之间的关系表；
[0009] 将所述关系表与最细粒度数据表进行关联，确定各层服务器所需参与汇总的数 据；
[0010] 各层服务器按照预设的剔除规则将部分数据剔除后参与汇总，并将结果存储到数 据表中。
[0011] 其特征在于，所述建立服务器之间的关系表包括：
[0012] 根据树形组织结构图，W每层单位为根节点，建立各层服务器之间的关系表。
[0013] 其特征在于，所述关系表定期进行更新，或当组织结构发生变化时进行更新。
[0014] 其特征在于，所述各层服务器要按照预设的剔除规则将部分数据剔除后参与汇 总，并将结果存储到数据表中包括：
[0015] 底层服务器将需参与汇总的数据发送给上一层服务器；
[0016] 上一层服务器按照预设的剔除规则将部分数据剔除或者取不同的度量值参与汇 总，并将汇总结果数据存储到数据表中；
[0017] 上一层服务器将汇总结果数据发送给再上一层服务器进行汇总；
[0018] 重复上述步骤直至顶层服务器完成汇总。
[0019] 其特征在于，所述将部分数据剔除包括：
[0020] 根据剔除规则，将需要剔除的数据进行标记，再根据此数据来完成边剔除边汇总。
[0021] -种对特定数据逐层边剔除边汇总的系统，其特征在于，包括：
[0022] 各层服务器的关系表建立模块，建立服务器之间的关系表；
[0023] 各层服务器将所述关系表与最细粒度数据表进行关联，确定各层服务器所需参与 汇总的数据；
[0024] 各层服务器按照预设的剔除规则将部分数据剔除后参与汇总，并将结果存储到数 据表中。
[0025] 其特征在于，所述各层服务器的关系表建立模块，建立服务器之间的关系表包括：
[0026] 根据树形组织结构图，W每层单位为根节点，建立各层服务器之间的关系表。
[0027] 其特征在于，所述关系表定期进行更新，或当组织结构发生变化时进行更新。
[0028] 其特征在于，所述各层服务器要按照预设的剔除规则将部分数据剔除或者取不同 的度量值参与汇总，并将结果存储到数据表中包括：
[0029] 底层服务器将需参与汇总的数据发送给上一层服务器；
[0030] 上一层服务器按照预设的剔除规则将部分数据剔除后参与汇总，并将汇总结果数 据存储到数据表中；
[0031 ]上一层服务器将汇总结果数据发送给再上一层服务器进行汇总；
[0032] 重复上述步骤直至顶层服务器完成汇总。
[0033] 其特征在于，所述各层服务器按照预设的剔除规则将部分数据剔除后参与汇总包 括：
[0034] 各层服务器的自动标记模块，根据预设的剔除规则，将需要剔除的数据进行标记；
[0035] 各层服务器的转存模块，将标记后的交易数据剔除；
[0036] 各层服务器的汇总模块，对经过剔除后的数据进行汇总，将汇总后的数据存储到 数据表中。
[0037] 本发明有益效果如下：
[0038] 所述方法可W运用在事务性系统的多维度多层次的逐层数据汇总中，不依赖于明 细数据的变化，可W事先处理，处理过程无需关联明细数据，从而保证了良好的性能；
[0039] 所述方法中的剔除规则抽象到数据字典，更好地适应了需求的变化，结合多层数 据关系可W很好地解决实际业务需求;例如，在财务数据合并抵消、集团可用余额计算等应 用中大量使用此专利；
[0040] 所述方法中，多层数据关系和剔除规则被单独储存，使得白盒测试过程中，很容易 地实现分步测试，而在生产环境中发现并解决问题也更加简单。
[0041] 本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明 书、权利要求书、W及附图中所特别指出的结构来实现和获得。
【附图说明】
[0042] 附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图 中，相同的参考符号表示相同的部件。
[0043] 图1为服务器间的上下层关系示意图；
[0044] 图2为服务器关系表示意图；
[0045] 图3为本发明具体实施例的方法流程图。
【具体实施方式】
[0046] 下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并 与本发明的实施例一起用于阐释本发明的原理。
[0047] 如图1所示，组织机构间的上下级关系形成了一颗多层级树。而实际的业务发生在 树的叶子节点(底层单位)上，也就是系统只存储了底层单位的数据。
[0048] 基于单位及账号关系的平铺算法得到的单位、账号关系，根据剔除规则，将需要剔 除的数据打标，再根据此数据来完成边剔除边汇总。如何实现在数据逐层汇总过程中按规 则剔除。
[0049] 本发明公开了一种对特定数据进行标记并从数据表中删除的方法，如图3所示，包 括W下步骤：
[0050] 顶层服务器根据树形组织结构图，W每层单位为根节点，建立并存储各层服务器 之间的关系表;其中，所述关系表定期进行更新，或当组织结构发生变化时进行更新。
[0051] 各底层服务器建立最细粒度数据表并发送给上一层服务器并转发至上层服务器 直至顶层服务器；
[0052] 各层服务器将所述关系表和最细粒度数据表进行关联，确定其下层服务器所需参 与汇总的数据；
[0053] 底层服务器将需参与汇总的数据通过加密传输方式发送给上一层服务器；
[0054] 上一层服务器按照预设的剔除规则将部分数据剔除或者取不同的度量值参与汇 总，并将汇总结果数据存储到数据表中；其中，
[0055] 所述将部分数据剔除包括:根据剔除规则，将需要剔除的数据进行标记，再根据此 数据来完成边剔除边汇总;所述剔除规则为:规则类型+规则识别方法+对应单位;剔除规则 形成规则字典单独存储在顶层服务器中，而不是固化在数据识别的算法当中。
[0056] 上一层服务器将汇总结果数据发送给再上一层服务器进行汇总；
[0057] 重复上述步骤直至顶层服务器完成汇总。
[0058] 在实际应用中，所述剔除规则针对基础数据，例如:银行账号的性质决定了否应该 易Ij除，如表1所示，内部往来交易都是需要剔除的数据。
[0060] 表1
[0061] 所述根据预先设置的剔除规则对交易数据进行匹配，包括W下步骤：
[0062] 首先，确定交易数据是否属于集团内单位间转账交易；
[0063] 根据交易双方集团账号的属性，W及具体交易的摘要内容与系统建立的规则字典 进行匹配，确定是否属于集团内单位间转账交易；
[0064] 解析交易数据中交易双方集团账号属性、摘要内容；
[0065] 确定为集团账号后，根据具体交易数据的摘要内容与系统建立的规则字典进行匹 配，最后过滤出结果，比如"实归收款"、"自下归集"等则被识别为内部的归集交易，需要作 为内部交易被剔除掉；
[0066] 如果所述交易数据不属于集团内单位间转账交易，则进一步判断所