专利名称：并行数据处理系统及方法
技术领域：
本发明涉及数据处理技术领域，具体涉及一种并行数据处理装置及方法。
背景技术：
随着经济的发展，银行的业务无论是种类和还是数量都在急剧增加，使得银行的各种数据处理系统都面临巨大的挑战，有些系统急需进行改进以适应处理海量数据的需求。例如，传统的信用风险计量数据处理系统包括数据存储装置、各类计量用数据生成单元、串行处理单元、各类计量处理单元和终端装置。该系统的特点是采用莫顿理论设计的违约模型，并使用蒙特卡罗模拟法计量组合经济资本，其计量方法是将信贷组合划分成若干个统计分池，然后根据统计分池的违约风险敞口、违约损失率、违约概率、客户数、信用等级、分池类型等信息，以及行业相关性(包括行业间相关性和行业内相关性)，计量出信贷组合所需占用的经济资本。蒙特卡罗模拟法又称计算机随机模拟法，是以概率和统计理论方法为基础的一种计算方法，它将所求解的问题同一定的概率模型相联系，用计算机实现统计模拟或抽样，以获得问题的近似解。该方法是一种随机模拟方法，要得到较为准确的结果必须进行非常多次的抽样模拟计算，对于上述信贷组合经济资本计量，如果要得到一个可信的结果，至少要进行上百万次甚至上千万次的模拟，计算量非常大。因此，目前的信用风险计量数据处理系统的处理速度很慢，效率很低，既浪费了系统资源，长时间的计算使得获得计算结果太长，时效性很差。
发明内容
为了克服现有技术的上述缺陷，本发明提供一种并行数据处理装置及方法，通过在系统中设置多个抽样、排序单元，运用针对于信用风险组合管理问题设计的排序方法和策略，利用多进程、多CPU并行执行，从而减少计算时间，提高时效性。本发明提供了一种并行数据处理系统，该系统包括终端装置，用于输入信用风险计量所需参数，以及开始计量信用风险的请求数据；主控单元，根据从终端装置接收的所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，根据比较结果执行相应处理；并行处理控制单元，用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给N个并行处理单元；并行处理单元，用于计算违约损失计量。本发明还提供了一种并行数据处理方法，该方法包括步骤输入信用风险计量所需参数，开始计量信用风险的请求数据；根据所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，如果小于，则生成计算池的池内相关性系数；判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给N个并行处理单元；并行处理单元根据所述池内相关性系数以及数据存储装置中存储的相关参数计算违约损失计量。 利用本发明的并行数据处理系统和方法，大大提高了信用风险组合管理计量经济资本的处理速度和效率，节省了系统资源，缩短了处理时间，能很好满足风险组合管理计量经济资本的要求。其中，计量组合经济资本的时间可成倍缩短，时效性大大提高。例如对于使用如下软硬件环境的计算系统
^Hl软件
CPU1. 2GHzX8SUN 880内存硬盘16GB 100GBSolaris 10SAS V9. 1.3完成一次包含100万次模拟的经济资本计量，在没有使用本发明的情况下需耗时约16. 5小时；使用本发明的系统和方法后，在配置8个并行单元的情况下耗时仅约2. 5小时。
图1为传统的信用风险计量数据处理系统图；图2为本发明并行数据处理系统结构图；图3为本发明违约损失计量并行处理单元结构图；图4为本发明并行数据处理方法流程图；图5为本发明并行处理单元的违约损失计量处理方法流程图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。在介绍本发明的技术方案之前，首先了解以下术语的含义。违约风险敞口(EAD) :EAD是违约风险敞口(Exposure at default)的简称。当客户未违约时，表内业务的EAD等于资产账面价值，表外业务的EAD通过信用转换系数 (credit conversion factor, CCF)进行转换，客户违约时，EAD等于债项融资余额。违约损失率(LGD) :LGD是违约损失率(Loss given default)的简称，违约损失率度量的是借款人违约后贷款损失金额占违约风险敞口的比例。违约概率(PD) :PD是违约概率(ftObability of default)的简称，指未来一段时间内借款人发生违约的可能性，与信用评级相关。预期信用损失预期信用损失即为平均信用损失，投资组合的价值必须能够弥补预期信用损失。银行预期信用损失的大小取决于违约概率、违约损失率、违约后信用风险敞信用风险经济资本在银行目标评级所代表的置信水平下预期信用损失以上的信用风险损失部分。集中度风险由于对单一债务人或相关的一群债务人的风险暴露过大而使资产组
5合额外承担的风险。图2为本发明并行数据处理系统结构图。本发明的并行数据处理系统主要运用针对于信用风险组合管理问题设计的排序方法和策略，采用了多进程、多CPU并行执行的技术手段，实现了减少运算时间，提高时效性的技术效果。参照图2，该并行数据处理系统包括数据存储装置1、并行数据处理装置2和终端装置3。并行数据处理装置2与数据存储装置1和终端装置3相连接。其中并行数据处理装置2进一步包括主控单元10、行业相关性系数生成单元11、并行处理控制单元12、归并处理单元13、经济资本计量处理单元14和并行处理单元20。数据存储装置1基于Teradata数据库，其存储了一系列股票、⑶P、工业增加值等用于计算的历史市场数据、评级系统的数据以及在整个计量过程中所产生的数据，数据存储装置1可以是Teradata服务器或者普通PC。并行数据处理装置2根据用户设定的并行数，多任务并行计算违约损失。该装置可以是PC或者服务器等。并行数据处理装置2中，主控单元10负责整个装置内部的控制和调度。当接收到终端装置3的启动数据请求后，主控单元10查询当时的CPU和内存使用状况，并从数据存储装置1读取CPU使用的百分比上限、内存使用的百分比上限，同时查看整个系统的空闲资源的使用情况，如果当时的CPU和内存使用百分比小于CPU使用的百分比上限和内存使用的百分比上限，则调用行业相关性系数生成单元11开始执行。反之，则等待资源满足CPU 和内存使用百分比要求再提交任务。当装置11执行完毕后，顺序调用装置12，装置13，装置14。行业相关性系数生成单元11从数据存储装置1读取股票市场数据或GDP市场数据或工业增加值市场数据，以一个计算池代表一个行业类型，计算两两计算池间的相关性系数，得到计算池间相关性系数。并且按如下步骤生成计算池内相关性系数1)对于“计算池” i，记第ζ个市场数据项在t时刻的数据为value (i，ζ, t)。计算“计算池” i的第ζ个市场数据项在t时刻的数值指数
权利要求
1.一种并行数据处理系统，该系统包括终端装置(3)，与主控单元相连接，用于输入信用风险计量所需参数，以及开始计量信用风险的请求数据；主控单元(10)，根据从终端装置C3)接收的所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，根据比较结果执行相应处理；并行处理控制单元(12)，用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给η个并行处理单元00)； η个并行处理单元(20)，用于计算违约损失计量； 数据存储装置(1)，与主控单元相连接，用于存储数据； 行业相关性系数生成单元(11)，用于生成计算池的池内相关性系数； 其中，如果比较结果为系统当前CPU和内存使用百分比小于CPU使用百分比上限以及内存使用百分比上限，则调用行业相关性系数生成单元(11)执行相应处理，并行处理单元 (20)根据所述池内相关性系数以及数据存储装置(1)中存储的相关参数计算违约损失计量。
2.根据权利要求1所述的数据处理系统，其特征在于，并行处理控制单元(12)从数据存储装置(1)中读取并行任务的并发个数N，如果判断当前的CPU和内存空闲状况不满足并行任务的个数需求，则根据实际资源情况，计算当前系统CPU和内存的空闲资源最大能满足的并发数，将资源平均分配给相应个数的并行处理单元(20)，调用其开始并行处理。
3.根据权利要求2所述的数据处理系统，其特征在于，并行处理单元00)中按如下规则分配任务假设总的抽样次数为Cases次，总的统计池数为m，当前系统资源允许η个并行处理单元00)同时执行并行处理，则系统将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元00)上去完成，每个并行处理单元，一旦接收到并行处理控制单元(12)的调用请求，并获得相应系统资源后，则开始进行违约损失计量。
4.根据权利要求1 3任一项所述的数据处理系统，其特征在于，该系统还包括 归并处理单元(13)，用于生成信贷组合的最终预期信用损失；经济资本计量处理单元(14)，用于生成组合的经济资本，并将其存入数据存储装置 (1)中。
5.根据权利要求4所述的数据处理系统，其特征在于，并行处理单元OO)进一步包括控制单元000)，用于当接收到并行处理控制单元(12)的并行调用请求以及抽样次数 Cases后，调用行业系统性收益随机数生成处理单元(201)，并传递抽样次数Cases给随机数生成处理单元O01)；随机数生成处理单元O01)，用于为η个行业随机抽样生成这η个行业的系统性收益随机数；条件违约概率生成处理单元Ο02)，用于根据行业内的相关系数，在各行业的系统性收益给定的情况下，计算各行业在各个信用等级下的条件违约概率；分池违约损失模拟处理单元003)，将每个计算池按照信用评级个数分成相应个数的统计池，按照统计分池的类型及客户数多少，对于每个统计分池计算每次模拟的违约损失；分池违约损失加总处理单元004)，负责从数据存储装置(1)中读取每个统计池的条件违约概率，对其进行累加，得到整个信贷组合的违约损失。
6.一种并行数据处理方法，该方法包括步骤输入违约计量所需参数和开始计量违约损失的请求数据；根据所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，如果小于，则生成计算池的池内相关性系数；判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给N个并行处理单元OO)；并行处理单元OO)根据所述池内相关性系数以及数据存储装置(1)中存储的相关参数计算违约损失计量。
7.根据权利要求6所述的方法，其特征在于，还包括从数据存储装置(1)中读取并行任务的并发个数N，如果判断当前的CPU和内存空闲状况不满足并行任务的个数需求，则根据实际资源情况，计算当前系统CPU和内存的空闲资源最大能满足的并发数，将资源平均分配给相应个数的并行处理单元(20)，调用其开始并行处理。
8.根据权利要求7所述的方法，其特征在于，并行处理单元OO)中按如下规则分配任务假设总的抽样次数为Cases次，总的统计池数为m，当前系统资源允许η个并行处理单元OO)同时执行并行处理，则系统将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元OO)上去完成，每个并行处理单元，一旦接收到调用请求，并获得相应系统资源后，则开始进行违约损失计量。
9.根据权利要求8所述的方法，其特征在于，该方法还包括为η个行业随机抽样生成这η个行业的系统性收益随机数；根据行业内的相关系数，在各行业的系统性收益给定的情况下，计算各行业在各个信用等级下的条件违约概率；将每个计算池按照信用评级个数分成相应个数的统计池，按照统计分池的类型及客户数多少，对于每个统计分池计算每次模拟的违约损失；从数据存储装置1中读取每个统计池的条件违约概率，对其进行累加，得到整个信贷组合的违约损失。
10.根据权利要求9所述的方法，其特征在于，对Cases/n个组合损失进行排序，找出最大的Cases · tol+1个值，其中tol为风险容忍度，，再对Cases/n个组合损失计算均值。
全文摘要
本发明公开了一种并行数据处理系统和方法。该系统包括终端装置，用于输入信用风险计量所需参数，以及开始计量信用风险的请求数据；主控单元，根据所述请求数据，将系统当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较，根据比较结果执行相应处理；行业相关性系数生成单元，用于生成计算池的池内相关性系数；并行处理控制单元，用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求，如果能满足，则将资源平均分配给N个并行处理单元；并行处理单元，用于根据所述池内相关性系数以及数据存储装置中存储的相关参数计算违约损失计量。利用本发明的系统和方法能够减少计算时间，提高时效性。
文档编号G06F13/42GK102393839SQ201110391848
公开日2012年3月28日 申请日期2011年11月30日 优先权日2011年11月30日
发明者叶宗睿, 朱佳宁, 王玥婷, 蔡海清 申请人:中国工商银行股份有限公司