专利名称：一种银行数据的并行批量处理系统的制作方法
技术领域：
本实用新型关于数据处理技术，特别是关于银行海量数据处理技术，具体的讲是一种银行数据的并行批量处理系统。
技术背景 目前，各大银行均将全行的数据集中进行统一处理，以在此基础上建立统一的业务功能和技术服务。银行集中处理的数据量非常庞大，对于银行数据进行的集中处理过程，如核算处理、报表处理，结息处理等，往往有严格的时间限制，通常在银行停止营业的夜间开始处理，并需要在第二天银行营业开门前处理完毕，对海量数据处理的效率要求极高。传统的串行处理方式无法满足银行海量数据处理的要求，因此现有技术中各个银行均采用并行处理的方式进行数据处理。并行处理方式是将银行的海量数据按照一定规则划分为多个批次，然后并行运行多个批次的批量处理技术。现有技术中的并行批量处理技术，在将银行海量数据拆分后并行运行时，其批次的划分原则相对固定，诸如按行政地区拆分或按照业务类型划分，这种划分方式一旦确定后，每次批量都按照该原则划分为固定的批次，并对划分后的批次进行批量处理。上述的并行处理方式，其固定的拆分原则存在很大的缺陷，往往无法做到对数据量的自适应，无法控制每个批次处理数据量的大小，导致实际划分出来的各批次数据不均衡，在此基础上进行的并行批量处理各批次的结束时间有先后，如此造成了如下缺陷(I)系统的空闲资源无法得到有效利用，造成整个数据处理的效率低下；(2)批量处理的整体结束时间较长，因此当银行数据量较大时会产生无法在银行营业开门前处理完毕的风险，严重影响银行生产活动的正常运行；(3)由于划分方式是固定的，对大数据库表和小数据库表采取同样的并行度，大数据库表的处理速度往往无法保证；(4)固定划分批次的系统如果根据实际的使用需要调整其批次划分原则时，其风险较高，而且工程实施规模庞大，不易操作。
实用新型内容本实用新型实施例提供了一种银行数据的并行批量处理系统，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题。本实用新型的目的是，提供一种银行数据的并行批量处理系统，所述的系统包括银行核心数据库，与所述的数据处理装置相连接，存储银行处理业务时输出的数据；数据处理装置，具体包括数据输入接口，与所述的银行核心数据库相连接，接收银行业务系统处理银行业务时输出的数据；数据存储器，与所述的数据输入接口相连接，将所述的数据按顺序进行存储；顺序号存储器，与所述的数据存储器相连接，记录所述的数据存储后对应的顺序号，并将所述的顺序号存储；分批控制表输出接口，与所述的顺序号存储器相连接，根据控制参数表输出所述的数据对应的分批控制表；作业输出接口，与所述的分批控制表输出接口相连接，根据所述的分批控制表以及预设的作业运行模板输出作业运行实体；作业处理器，与所述的作业输出接口相连接，根据控制顺序运行所述的作业运行实体。本实用新型的有益效果在于，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题，通过为具体数据量提供最优的处理方案，提高了系统资源的利用率，同时也提高了系统的处理效率，能自动处理数据变化所带来的影响，确保系统持续稳定并不断优化。
为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前 提下，还可以根据这些附图获得其他的附图。图I为本实用新型实施例提供的一种银行数据的并行批量处理系统的结构示意图；图2为本实用新型实施例提供的一种银行数据的并行批量处理系统的实施方式二的结构示意图；图3为本实用新型实施例中将数据按顺序存储后的数据表的示意图；图4为本实用新型实施例中控制参数表的实例图；图5为本实用新型实施例中分批控制表的实例图；图6为本实用新型实施例中运行统计表的实例图。
具体实施方式
下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。图I为本实用新型实施例提供的一种银行数据的并行批量处理系统的结构框图，由图I可知，该系统包括银行业务系统100，包括柜面交易系统102、网上银行交易系统101、自助交易系统103、批处理系统104，与银行核心数据库相连接，处理银行业务同时输出数据。即银行业务系统负责在每日运营期间处理银行各种业务，包括柜面交易、网上银行交易、各种自助渠道交易以及批处理业务等，从而产生数据。即本实用新型中的处理对象主要是商业银行核心数据库的海量数据。银行核心数据库200，与所述的数据处理装置相连接，存储所述的银行业务系统处理银行业务时输出的数据；数据处理装置，具体包括数据输入接口 301，与所述的银行核心数据库相连接，接收银行业务系统处理银行业务时输出的数据。数据存储器302，与所述的数据输入接口 301相连接，将所述的数据按顺序进行存储。将等待批量处理的数据从银行核心数据库中提取，根据每张数据库表的数据情况，自动生成当前数据的顺序号，用以标识该数据在数据表中的位置，并控制所有数据严格按照顺序号的先后按顺序存放。图3为将数据按顺序存储后的数据表的示意图，由图3可知，数据连续存放，中间不留空的顺序号。在本实用新型的其他实施方式中，在将数据按顺序进行存储之后还可包括监控实际数据库表的物理存储情况。定期计算空记录占总记录的比例，因为当空记录比例超过10%时，将会对后续的分批处理结果产生较大影响，破坏了分批的均衡性，因此此时需及时进行数据重组，确保后续步骤的顺利进行。具体包括当数据表中间未存在任何空记录时，则直接在最大顺序号上加I返回；当数据库表中间存在空记录时，并且所有空记录占总记录的比例不超过10%时，则返回最小的空记录所对应的顺序号；当所有空记录占总记录的比例 超过10%时，进行数据重组，确保所有记录连续存放，并重新计算所有记录的顺序号，返回最大顺序号加I。顺序号存储器303，与所述的数据存储器302相连接，记录所述的数据存储后对应的顺序号，并将所述的顺序号存储；分批控制表输出接口 304，与所述的顺序号存储器相连接，根据控制参数表输出所述的数据对应的分批控制表。每张数据表根据其处理的复杂度(分为复杂度高、中、低等)和业务分类(对公业务、对私业务、客户信息、核算业务等)对应一个控制参数表，该控制参数表是作为后续步骤批次划分的依据，主要包含表分类、业务分类、分批数据量等参数字段。其中“表分类”字段用于标识各数据表的数据处理的复杂度，例如可以分为复杂度低、复杂度中、复杂度高三个等级。“业务分类”字段用于标识各数据表大概对应的具体业务场景，例如可分为对公业务、对私业务、客户信息、核算业务等。图4为本实用新型实施例中控制参数表的实例图。控制参数表首次使用时需进行初始化设定，实际投入使用后，则可根据后续的步骤重新进行优化配置。该步骤用于根据数据对应的控制参数表以及数据存储的实际情况(包括数据的类型，以及实际数据量大小等)详细计算拆分批次时每个批次的最小顺序号和最大顺序号。图5为本实用新型实施例中分批控制表的实例图。当控制参数表中的表分类为复杂度高的数据表时，对数据进行分批时每批的数据量的参数对应的值要偏小，例如核心账户信息、核心批量业务信息等表；当控制参数表中的表分类为复杂度低的数据表时，对数据进行分批时每批的数据量的参数值则设置偏大，例如业务统计表、临时工作表等；复杂度中的则取两者中间。“业务分类”字段用于标识各数据表大概对应的具体业务场景，例如可分为对公业务、对私业务、客户信息、核算业务等。因为每种业务生成的数据都有其特殊性，针对不同的业务分类进行不同的数据量划分，可以提高处理效率，例如对私业务数据量特别大，对数据进行分批时每批的数据量的应该偏大，否则会导致每个批次数据量小而划分的批次数过多而恶化系统资源，会有导致系统宕机的风险。对数据进行分批时每批的数据量用“分批数据量”参数进行标识。分批控制表主要包含表名，批次号，最小顺序号，最大顺序号信息。根据控制参数表的参数值，自动计算出相应数据库表的分批控制值，最后一批不满分批数据量则无论多少都单独一批，存储在分批控制表中。例如从银行核心数据库中获得“客户主表” 一共存储了 25万数据，并且该表的控制参数表中的“表分类”是处理复杂度中，“业务分类”为客户信息，根据控制参数表中的建议每个批次处理5万笔，据此计算出第I个批次处理的记录范围是第I笔到第49999笔记录，第2个批次处理的记录范围是第50000笔到第99999笔记录，直至将所有的记录数分配完毕为止，共划分为50个批处理，存储到分批控制表中，如图5所示。作业输出接口 305，与所述的分批控制表输出接口相连接，根据所述的分批控制表以及预设的作业运行模板输出作业运行实体。系统中预先存储各个批量功能模块的特定格式的作业运行模板，模板中对于需要指定批次号的地方可使用特定通配符替代。根据分批控制表中每个批次数据量的建议值，结合作业运行模板，逐一生成各具体批次的作业运行实体，最后一部分数据，无论数据量多少都单独一批；模板中的通配符用具体的批次号替代，最后存储生成的作业运行实体。不同的数据表生成的作业运行实体的数量会有不同。例如客户主表有25万数据时，按控制参数表的建议每个批次处理5万笔记录，则运行作业实体生成单元33会生成50个运行作业实体；如果客户主表数据量增长到50万，则会生成100个运行作业实体。 作业处理器306，与所述的作业输出接口相连接，根据控制顺序运行所述的作业运行实体。系统中预先存储各种作业运行的先后控制顺序，使批量作业的运行符合必要的逻辑性。例如根据实际情况将作业运行的先后顺序存储为1、更新分户处理，2、统计分户余额，3、试算平衡处理，4、总分核对处理等。按照控制顺序，依次触发各作业运行实体。图2为本实用新型实施例提供的一种银行数据的并行批量处理系统的实施方式二的结构框图，由图2可知，数据处理装置除了上述装置之外还包括运行统计表存储器307，与所述的作业处理器相连接，根据运行所述的作业运行实体时对应的运行信息生成并存储运行统计表，所述的运行信息包括数据表名、程序名、日期、每批次处理数量、分批数量、运行时间。图6为本实用新型实施例中运行统计表的实例图，由图6可知，运行统计表中包括数据表名，程序名，日期，每批处理数量，分批数量，运行时间等。此外，该系统还可根据所述的运行统计表返回修改所述的控制参数表。分析运行统计表存储器307存储的运行统计表，进而分析当前的控制参数表的设置是否最优，返回修改控制参数表，从而使运行得到持续优化。根据运行统计表存储器307存储的运行统计表中存储的信息，进而监控系统每日运行是否正常，是否存在一些急需解决的风险问题；统计一段时间(例如每月)的总体运行情况，确认运行时间是否稳定；最主要的是，通过对运行情况的历史数值、系统硬件资源可支持的最大并发度、以及每增加一个并行所带来的额外消耗等方面进行分析，确认控制参数表中的参数值是否最优，是否在风险可控的前提下，达到了以最小的代价，换取最短的总处理时间，给出参考的控制参数值。此外，如果核心银行的硬件系统发生变化，例如硬件升级导致可用资源有所提升，通过上述的分析，可以重新得出适合的控制参数值，及时将硬件的提升效果体现到实际运行当中。也可将上述重新得出的控制参数表的参考值显示给用户，接收用户指令，根据用户指令对控制参数表中的参数值进行更新和调整。综上所述，本实用新型的有益成果是提供了一种银行数据的并行批量处理系统，通过将数据表的实际数据量进行智能批次划分，解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题，将银行批量处理的处理效率提到最优，同时能自动适应后续数据量的变化情况，确保长期且稳定的高效率处理。本实用新型的优点是I.创造性地根据商业银行核心数据库的海量数据，结合各商业银行的实际硬件环境情况以及数据量的实际多少，对海量数据进行并行批量处理的最优批次划分，后续进行并行的核算处理、批量报表处理、结息批量处理等批量处理，实现了高效、省时的海量数据并行批量处理。2.创造性地根据具体的数据数量自动计算需要划分的批次数量，将批量处理划分为多个相同的批量处理批次，可以保证各批次运行结束时间大致相等，消除了由于某个批次处理时间过长导致整体批量处理效率低下的问题，提高了系统资源的使用效率。3.创造性地通过对系统运行数据的记录和分析，以确认当前处理方案是否已经最 大限度利用系统资源，是否在风险可控的前提下达到了以最小的代价换取最短的总处理时间的效果，并给出最优参考方案，从而可以不断优化本系统的处理效率。本实用新型中应用了具体实施例对本实用新型的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本实用新型的方法及其核心思想；同时，对于本领域的一般技术人员，依据本实用新型的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本实用新型的限制。
权利要求1.一种银行数据的并行批量处理系统，其特征是，所述的系统包括 银行核心数据库，与所述的数据处理装置相连接，存储银行处理业务时输出的数据； 数据处理装置，具体包括 数据输入接口，与所述的银行核心数据库相连接，接收银行业务系统处理银行业务时输出的数据； 数据存储器，与所述的数据输入接口相连接，将所述的数据按顺序进行存储； 顺序号存储器，与所述的数据存储器相连接，记录所述的数据存储后对应的顺序号，并将所述的顺序号存储； 分批控制表输出接口，与所述的顺序号存储器相连接，根据控制参数表输出所述的数据对应的分批控制表； 作业输出接口，与所述的分批控制表输出接口相连接，根据所述的分批控制表以及预设的作业运行模板输出作业运行实体； 作业处理器，与所述的作业输出接口相连接，根据控制顺序运行所述的作业运行实体。
专利摘要本实用新型实施例提供了一种银行数据的并行批量处理系统，该系统包括银行业务系统，包括柜面交易系统、网上银行交易系统、自助交易系统、批处理系统，与银行核心数据库相连接；银行核心数据库，与数据处理装置相连接；数据处理装置，具体包括数据输入接口，与所述的银行核心数据库相连接；数据存储器，与所述的数据输入接口相连接；顺序号存储器，与所述的数据存储器相连接；分批控制表输出接口，与顺序号存储器相连接；作业输出接口，与所述的分批控制表输出接口相连接；作业处理器，与所述的作业输出接口相连接。解决现有技术中固定批次的批量处理系统中各批次运行结束时间不相等，导致批量总体运行时间过长，资源利用效率低的问题。
文档编号G06F17/30GK202584217SQ20122002742
公开日2012年12月5日 申请日期2012年1月20日 优先权日2012年1月20日
发明者温建波, 王旭光, 林卫华 申请人:中国工商银行股份有限公司