专利名称：产生流水文件的方法和装置的制作方法
技术领域：
本发明涉及交易活动中的流水文件处理，并且尤其涉及基于交易数据的产生流水文件的方法和装置。
背景技术：
在金融服务机构与成员机构、交易各相关方的金融交易或清算结算活动中，参与交易各方需要对清算结果信息进行传输和处理，这些信息是保证及核对交易相关各方账务准确的重要媒介。这种媒介的载体是交易流水文件，也称交易明细文件。随着金融与交易活动业务种类日益增多，交易内容逐渐丰富，交易各相关方对交易明细信息量的需要不断增加。因此，交易各相关方均向共同的金融服务机构提出了获取流水文件的要求，这导致了金融服务机构系统的应用程序所处理的流水文件数量剧增，金融服务系统的处理能力越来越难以适应现状。图1是交易数据中交易机构的角色分布示意图。如图1所示，交易数据通常由多个交易记录组成，每个交易记录用交易序号标记，交易记录是关于在一次交易中所涉及的信息，通常包括参与此次交易的机构(例如，机构A、B)、该机构在交易中所扮演的角色1、 2... N(例如，发卡机构、受理机构、服务机构等)以及其它交易信息。图2示出了为图1中的机构A所产生的流水文件的结构示意图，如图所示，成员机构A所需要的流水文件由该成员机构所扮演的角色的流水文件组成。成员机构作为每一个角色的流水文件又包括多个不同类型的流水文件，例如成员机构扮演发卡机构的角色时，其角色流水文件可包括一般流水文件、发卡方差错流水文件等。每一类流水文件包括相关的交易信息。在现有技术中，通常是根据交易数据逐个角色来生成流水文件。例如，第一轮遍历所有交易数据时，找出机构A作为角色1的所有交易，并为机构A生成角色1流水文件；找出机构B作为角色1的所有交易，并为机构B生成角色1流水文件；依次类推，为所有机构生成该机构作为角色1的所有角色1流水文件。第二轮遍历所有交易数据时，找出机构A 作为角色2的所有交易，并为机构A生成角色2流水文件；找出机构B作为角色2的所有交易，并为机构B生成角色2流水文件；依次类推，为所有机构生成该机构作为角色2的所有角色2流水文件；依次，第三轮遍历数据，生成所有机构的角色3文件。如此，每获取一类角色文件就要遍历一次交易数据。因此，每增加一个成员机构，系统就需要对所有清算后的交易数据进行一次遍历读取，挑出该新增加的机构的交易信息；每增加一类流水文件，清算系统就需要对所有清算后的交易数据进行N次遍历读取(N为机构数)，逐个机构挑出其所属的该类新增加的流水文件对应的交易信息。现有技术的处理方式在理论上支持成员机构个数和流水文件种类的无限扩展性， 但是每增加一个成员机构或每增加一类流水文件，都要给系统带来巨大的数据遍历读取的耗时，严重降低了系统性能。
发明内容
为满足流水文件机构扩展性和文件种类扩展性的需求，本发明披露一种遍历读取一次所有交易数据，即可生成所有成员机构的所有流水文件的方法和装置。本发明的一个方面提供了基于交易记录产生流水文件的方法，其中，交易记录包括交易序号、参与交易的至少两个机构、至少两个机构在交易记录中所属的至少两个角色， 该方法包括下述步骤读取交易记录；根据交易记录中的第一角色将交易记录按照第一角色的流水文件格式进行转换，将转换格式后的交易记录写入与第一角色对应的第一机构的第一角色流水文件；根据交易记录中的第二角色将交易记录按照第二角色的流水文件格式进行转换，将转换格式后的交易记录写入与第二角色对应的第二机构的第二角色流水文件。本发明的另一个方面提供了基于交易数据产生流水文件的方法，其中交易数据包括多个交易记录，多个交易记录中的每一个包括交易序号、参与交易的至少两个机构、至少两个机构在交易记录中所属的至少两个角色，该方法包括下述步骤将多个交易记录分为多个块，并行处理多个块，其中，对于每个块中的每一个交易记录读取交易记录；根据交易记录中的第一角色将交易记录按照第一角色的流水文件格式进行转换，将转换格式后的交易记录写入与第一角色对应的第一机构的第一角色流水文件；根据交易记录中的第二角色将交易记录按照第二角色的流水文件格式进行转换，将转换格式后的交易记录写入与第二角色对应的第二机构的第二角色流水文件。优选地，在上述方法中，为角色的流水文件类型分配文件格式标识符，根据文件格式标识符确定角色的流水文件格式。优选地，在上述方法中，为多个交易记录中的每一个交易记录循环分配分块标识符来将多个交易记录分为多个块，并且根据分块标识符并行处理多个块的每一个块。优选地，在上述方法中，动态地记录至少两个机构的交易记录的数量，并且根据该数量动态地为至少两个机构分配权值；基于权值，将转换格式后的交易记录写入机构的角色流水文件。本发明的又一个方面提供了基于交易数据产生流水文件的装置，其中交易数据包括多个交易记录，多个交易记录中的每一个包括交易序号、参与交易至少两个的机构、至少两个机构在交易记录中所属的至少两个角色，该装置包括数据分割模块、块数据处理模块、 参数化文件格式转换模块，其中，数据分割模块被配置为将多个交易记录分为多个块；块数据处理模块被配置为并行处理多个块，其中，对于每个块中的每一个交易记录读取交易记录；
根据交易记录中的第一角色调用参数化文件格式转换模块将交易记录按照第一角色的流水文件格式进行转换，将转换格式后的交易记录写入与第一角色对应的第一机构的第一角色流水文件；根据交易记录中的第二角色调用参数化文件格式转换模块将交易记录按照第二角色的流水文件格式进行转换，将转换格式后的交易记录写入与第二角色对应的第二机构的第二角色流水文件。优选地，参数化文件格式转换模块进一步被配置成为角色的流水文件类型分配文件格式标识符，根据文件格式标识符确定角色的流水文件格式。优选地，数据分割模块为多个交易记录中的每一个交易记录循环分配分块标识符来将多个交易记录分为多个块，块数据处理模块根据分块标识符并行处理多个块的每一个块。优选地，上述装置进一步包括管理模块，管理模块被配置成动态地记录至少两个机构的交易记录的数量，并且根据该数量动态地为至少两个机构分配权值；优选地，块数据处理模块基于权值，将转换格式后的交易记录写入机构的角色流水文件。本发明的装置具有机构数量扩展性、流水种类扩展性、数据处理耗时恒定性的优
点ο
在参照附图阅读了本发明的具体实施方式
以后，将会更清楚地了解本发明的各个方面。其中，图1是交易数据中交易机构的角色分布示意图；图2示出了为图1中的机构A所产生的流水文件的结构示意图；图3是根据本发明实施例产生流水文件的示意图；图4是根据图3的产生流水文件的方法步骤示意图；图5是示出了根据本发明实施例的经过分块处理后的交易数据的结构示意图；图6是根据本发明实施例的产生流水文件的装置示意图。
具体实施例方式下面参照附图，对本发明的具体实施方式
作进一步的详细描述。由于交易数据的特点是交易数据量巨大，遍历数据的耗时为系统的主要耗时。图 1是交易数据中交易机构的角色分布示意图。如图所示，同一个成员机构在不同交易中，可以作为不同交易角色存在。同一个成员机构在一项交易中，也可以作为不同交易角色存在， 例如，在一项转账交易中，一家银行既做发卡行又做收单行。图2是图1中的机构A的流水文件的结构示意图。其中，需要为成员机构A产生其作为每一种交易角色所对应的文件，如角色1流水文件，该文件中包含了该成员机构作为角色1的所有交易记录信息，这些交易信息应被写入不同类型的流水文件中。此外，同一次交易中，同一成员机构作为不同角色出现时，也需要将该交易记录写入该机构所属的不同文件中。下面参考图3，其是根据本发明实施例产生流水文件的示意图，。如图3所示，系统根据交易序号为1的交易记录产生流水文件。其中，所述交易记录包括交易序号、参与交易的至少两个机构A和B、构A和B在交易1中分别扮演角色1和2。针对交易1，首先处理机构A所对应的角色1并且根据该角色1生成机构A的角色1流水文件，然后处理机构 B所对应的角色2，并且根据该角色生成机构B的角色2流水文件，依次类推，直到生成交易 1所涉及的所有角色所对应的机构流水文件。图4是根据图3的产生流水文件的方法步骤示意图，在步骤401中读取交易记录， 即交易1。在步骤402中，根据所述交易记录中的角色1将交易记录按照所述第一角色的流水文件格式进行转换。在步骤403中，将转换格式后的交易记录写入与角色1对应的机构 A的角色1流水文件。在步骤404中，根据交易记录中的角色2将交易记录按照所述角色2 的流水文件格式进行转换。在步骤405中，将转换格式后的交易记录写入与角色2对应的机构B的角色2流水文件。按照此顺序，处理逐条交易记录直至生成所有的流水文件。因此， 按照本发明的技术方案产生流水文件只需遍历一次交易数据，在增加新的机构或者新的文件类型时也仅仅需要读取并处理新生成的交易记录。在本发明的另一个实施例中，进一步为角色的流水文件类型分配文件格式标识符，因此，在转换文件格式时能够方便地根据所分配的文件格式标识符确定角色的流水文件格式。这样避免了根据文件内容进行判断文件类型，节约了系统资源提高了流水文件生成的速度。此外，在面对海量的交易记录时，系统可以分配多个线程来并行处理这些交易记录，从而不仅可以一次遍历产生流水文件而且大大减少了系统处理时间。作为示例，可以为交易数据中的交易记录循环分配分块标识符来将多个交易记录分为多个块，并且根据所述分块标识符并行处理所述多个块的每一个块。图5是示出了根据本发明实施例的经过分块处理后的交易数据的结构示意图。如图所示，系统总分块标识符可以为预先系统参数设定值32块，则前32条交易记录的分块标识符分别为1-32，第33条到第64条交易记录的分块标识符分别为1-32，依次循环处理。结果，每条交易记录均分配到一个分块标识符，且标识符为1-32这个32个数字其中之一。系统的每个线程根据分块标识符并行处理相应的分块。本领域的技术人员可以理解的是，还可以采用其它技术手段实现对交易记录的并行处理。为了合理分配系统资源，进一步提高系统处理性能，本发明在另一个实施例中实现了对成员机构的优先级分配。具体操作过程如下，在遍历全部交易数据源的过程中，动态地计算每家机构当前出现的交易的数量，并计算动态的权值。根据机构动态权值对成员机构所属文件句柄进行开、关处理。例如，机构B参与的交易数量较少，则为其计算权值就较小，则在系统句柄资源不足时，优先选择关闭机构B的文件句柄来释放资源。相反，若机构A参与的交易数量较多，则分配较大的权值，故机构A的文件句柄保持持续开启的几率较大。通过对与成员机构关联的文件集中管理，可以实现在系统资源允许情况下，尽可能少的进行文件的开闭操作，提高系统I/O效率。图6是根据本发明实施例的产生流水文件的装置示意图，如图所示，该装置包括数据分割模块601、块数据处理模块602、参数化文件格式转换模块603，管理模块604。其中，数据分割模块601用于将多个交易记录分为多个块。块数据处理模块602用于并行处理所述多个块，并且实现上述本发明的方法，具体的操作如下，读取每个块中的每一个交易记录，根据交易记录中的角色调用参数化文件格式转换模块603将该交易记录按照该角色的流水文件格式进行转换。参数化文件格式转换模块603可以为角色的流水文件类型分配文件格式标识符， 并且根据文件格式标识符确定角色的流水文件格式。管理模块604可以动态地记录机构的交易记录的数量，并且根据该数量动态地为机构分配权值。块数据处理模块603可以基于该权值，将转换格式后的交易记录写入机构的角色流水文件。可以理解的是，本发明的上述装置中的各个模块可以通过包含计算机程序的软件和/或硬件来实现。本领域的技术人员还可以理解本发明所提出的方法和装置可适用于其他由明细记录到海量流水文件模式的流水系统。上文参照附图描述了本发明的具体实施方式
。但是本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式
作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。
权利要求
1.一种基于交易记录产生流水文件的方法，其中，所述交易记录包括交易序号、参与交易的至少两个机构、所述至少两个机构在交易记录中所属的至少两个角色，该方法包括下述步骤读取所述交易记录；根据所述交易记录中的第一角色将所述交易记录按照所述第一角色的流水文件格式进行转换，将转换格式后的交易记录写入与所述第一角色对应的第一机构的第一角色流水文件；根据所述交易记录中的第二角色将所述交易记录按照所述第二角色的流水文件格式进行转换，将转换格式后的交易记录写入与所述第二角色对应的第二机构的第二角色流水文件。
2.一种基于交易数据产生流水文件的方法，其中所述交易数据包括多个交易记录，所述多个交易记录中的每一个包括交易序号、参与交易的至少两个机构、所述至少两个机构在交易记录中所属的至少两个角色，该方法包括下述步骤将所述多个交易记录分为多个块， 并行处理所述多个块， 其中，对于每个块中的每一个交易记录 读取所述交易记录；根据所述交易记录中的第一角色将所述交易记录按照所述第一角色的流水文件格式进行转换，将转换格式后的交易记录写入与所述第一角色对应的第一机构的第一角色流水文件；根据所述交易记录中的第二角色将所述交易记录按照所述第二角色的流水文件格式进行转换，将转换格式后的交易记录写入与所述第二角色对应的第二机构的第二角色流水文件。
3.如权利要求1或2所述的方法，其特征在于，为角色的流水文件类型分配文件格式标识符，根据所述文件格式标识符确定角色的流水文件格式。
4.如权利要求2所述的方法，其特征在于，为所述多个交易记录中的每一个交易记录循环分配分块标识符来将所述多个交易记录分为多个块，并且根据所述分块标识符并行处理所述多个块的每一个块。
5.如权利要求2所述的方法，其特征在于，动态地记录所述至少两个机构的交易记录的数量，并且根据该数量动态地为所述至少两个机构分配权值；基于所述权值，将转换格式后的交易记录写入机构的角色流水文件。
6.一种基于交易数据产生流水文件的装置，其中所述交易数据包括多个交易记录，所述多个交易记录中的每一个包括交易序号、参与交易至少两个的机构、所述至少两个机构在交易记录中所属的至少两个角色，该装置包括数据分割模块、块数据处理模块、参数化文件格式转换模块，其中，所述数据分割模块被配置为将所述多个交易记录分为多个块；所述块数据处理模块被配置为并行处理所述多个块， 其中，对于每个块中的每一个交易记录 读取所述交易记录；根据所述交易记录中的第一角色调用所述参数化文件格式转换模块将所述交易记录按照所述第一角色的流水文件格式进行转换，将转换格式后的交易记录写入与所述第一角色对应的第一机构的第一角色流水文件；根据所述交易记录中的第二角色调用所述参数化文件格式转换模块将所述交易记录按照所述第二角色的流水文件格式进行转换，将转换格式后的交易记录写入与所述第二角色对应的第二机构的第二角色流水文件。
7.如权利要求6所述的装置，其特征在于，所述参数化文件格式转换模块进一步被配置成为角色的流水文件类型分配文件格式标识符，根据所述文件格式标识符确定角色的流水文件格式。
8.如权利要求6所述的装置，其特征在于，所述数据分割模块为所述多个交易记录中的每一个交易记录循环分配分块标识符来将所述多个交易记录分为多个块，所述块数据处理模块根据所述分块标识符并行处理所述多个块的每一个块。
9.如权利要求6所述的装置，其特征在于，进一步包括管理模块，所述管理模块被配置成动态地记录所述至少两个机构的交易记录的数量，并且根据该数量动态地为所述至少两个机构分配权值；所述块数据处理模块基于所述权值，将转换格式后的交易记录写入机构的角色流水文件。
全文摘要
本发明提供一种基于交易数据的产生流水文件的方法和装置。其中针对每一个交易记录，首先处理第一机构所对应的第一角色并且根据该第一角色生成第一机构的第一角色流水文件，然后处理第二机构所对应的第二角色，并且根据该第二角色生成第二机构的第二角色流水文件，依次类推，直到生成所有交易记录所涉及的所有角色所对应的机构流水文件。
文档编号G06Q40/04GK102402551SQ201010285790
公开日2012年4月4日 申请日期2010年9月17日 优先权日2010年9月17日
发明者曹辉, 王笑, 陈逢源 申请人:中国银联股份有限公司