专利名称：对企业间交互的业务数据进行格式转换的方法及系统的制作方法
技术领域：
本发明涉及对企业间交互的业务数据进行数据处理的技木，特别涉及ー种对企业间交互的业务数据进行格式转换的方法及系统。
背景技术：
随着企业规模及其业务系统的不断发展，各个企业的业务系统在业务数据交互及数据共享方面存在的局限越来越大。传统的不同业务系统间电子业务数据交互通常是由第三方数据加工企业分别与数据发送企业和数据接收企业建立点对点的连接，将数据发送企业发送的数据进行处理后，转发给数据接收企业。主要实施过程包括如下步骤I、第三方数据加工企业，根据数据发送企业和数据接收企业的需求定制或开发ー个数据交互系统，该系统的功能主要是从数据发送企业的业务系统中按照一定的规则和时间要求采集所需的数据，对采集的数据进行数据处理后转发给数据接收企业的业务系统。这种数据交互系统主要包括安装在数据发送企业业务系统的数据采集客户端软件，和安装在第三方数据加工企业的数据接收服务器等。2、第三方数据加工企业分别与多个数据发送企业间建立点对点的信息传输链接，由数据采集客户端软件按照设定的逻辑(时间点、数据字段、范围等)搜集企业的数据。3、通过互联网数据传输途径，数据发送企业将数据采集客户端软件搜集的数据发送给第三方数据加工企业，第三方数据加工企业的数据接收服务器接收采集客户端定时上传的数据文件。4、第三方数据加工企业的数据接收服务器经过简单的判别，或者不作判别将接收上来的数据文件保存到数据库中。5、第三方数据加工企业根据数据接收企业的需求，从数据库中读取数据转发给数据接收企业。由于各企业使用的数据库产品可能来自不同的软件提供商，即使是使用相同的数据库产品，由于各个企业建立方式的不同，都会造成各个企业数据库系统在数据格式上的差异，故而如何统ー数据格式是企业间实现数据交互的关键。目前统ー数据格式主要用两种技术方法完成方案I :数据采集软件完成数据格式转换和数据规则检查在这个方案下，数据采集软件需要按照数据需求企业对数据的要求定制，采集数据时，就必须把数据处理到符合交付标准，当把数据发送到服务器端吋，只要完成一个数据的简单汇集，即可交付。整个采集、转换和交付过程是完全自动的。方案2 :服务器端后台程序完成数据格式转换和数据规则检查在这个方案下，数据接收企业和数据提供企业必须约定数据格式，数据采集软件只是按照数据需求企业约定的数据格式上传数据文件。服务器端后台程序按照事先的定义转换数据格式。整个采集、转换和交付的过程也是完全自动的，如果数据文件格式不符合约定，就不能够处理。
可见，现有技术有如下的缺陷I、在这种点对点的业务数据交换方式下，如多个数据接收企业同时需要从多个数据发送企业间获取业务数据，则需要在这些接收企业和数据提供企业之间点对点的建立多个传输通道。这种每一个数据交互就要建立一个数据传输通道的方式为应用开发和后期维护带来了很大困难，对社会资源也造成了巨大的浪费。2、由于数据采集软件是为数据需求企业定制的，所以作为数据发送企业，就存在被迫安装多个数据采集软件的可能，当出现这种情形时，数据发送企业的计算机资源将被不仅大量被占用，安全存在隐患，管理也会存在困难。3、由于数据采集软件包含了复杂的处理逻辑，这将进ー步占用数据发送企业的计算机资源。尤其在数据采集软件经过改进，为多个数据接收企业与这ー个数据发送企业交换数据吋，占用的计算机资源就会更大。4、上述技术方法，都必须和定制的数据采集软件配合。否则，当第三方数据加工企业进行数据处理，数据格式与数据质量都不够稳定时，自动运行的程序极易发生故障，数据交换的完整程度和及时程度都会受到影响。5、上述技术方法，一般都只能满足ー个数据接收企业与多个数据发送企业之间的数据转换。当需要多个数据接收企业，都与共同的ー组数据发送企业进行数据交换时，就需要安装多套这样技术方法的系统装置，造成重复建设，运营成本大幅増加。同时，由于不能采用统一的方法处理，故障率将大幅増加，完整率和准确率将大幅下降。6、上述技术方法、当需要进行海量数据的交换时，由于无法统ー处理方法，也无法统ー使用计算资源，导致无法充分利用计算资源，无法使用分布式计算能力进行交換。无法真正满足海量数据较换，交换效率低。7、由于不能采用统一的处理方法交換，每个数据接收企业都有自己的规则，也导致第三方数据加工企业进行数据处理的成本过高。
发明内容
有鉴于此，本发明的目的在于提供ー种对企业间交互的业务数据进行格式转换的方法及系统，实现将不同企业间交互的业务数据用统一的方法和系统进行格式转换。为达到上述目的的ー个方面，本发明提供了ー种对企业间交互的业务数据进行格式转换的方法，包括如下步骤A、对源业务数据文件进行解析，提取样本数据文件、生成特征数据文件，并按数据字段分拆出ー组列块数据文件。B、根据特征数据文件和样本数据文件对源业务数据文件进行识别，确定来源企业和目标企业。C、根据来源企业和目标企业，确定对应的标准字段文件格式，并识别出每个列块数据文件对应的标准字段。D、将来源企业和目标企业均相同的不同源业务数据文件中，相同数据字段分拆出的列块数据文件进行包装。
E、根据标准字段文件格式分别对包装后的列块数据文件进行修正检查。F、将经过修正检查的包装后的列块数据文件打散，按照标准字段文件格式，转换为与源业务数据文件对应的目标业务数据文件。为达到上述目的的另ー个方面，本发明提供了ー种对企业间交互的业务数据进行格式转换的系统，包括解析分拆计算単元，其对源业务数据文件进行解析，提取样本数据文件、生成特征数据文件，并按数据字段分拆出ー组列块数据文件。文件识别工作台，根据解析分拆计算単元提供的特征数据文件和样本数据文件对源业务数据文件进行识别，确定来源企业和目标企业；并根据来源企业和目标企业，确定对应的标准字段文件格式，识别出每个列块数据文件对应的标准字段。列块包装计算单元，对文件识别工作台发送的源业务数据文件和列块数据文件，将来源企业和目标企业均相同的不同源业务数据文件中，相同数据字段分拆出的列块数据文件进行包装。修正检查工作台，根据标准字段文件格式分别对列块包装计算单元发送的包装后的列块数据文件进行修正检查。文件重组计算単元，将经过修正检查的包装后的列块数据文件打散，按照标准字段文件格式，转换为与源业务数据文件对应的目标业务数据文件。由上述的技术方案可见，通过先对源业务数据文件进行解析，提取样本数据文件、生成特征数据文件，并按数据字段分拆出ー组列块数据文件；再根据特征数据文件和样本数据文件等信息识别出每个列块数据文件对应的标准字段；再将相同数据字段分拆出的列块数据文件进行包装；再根据标准字段文件格式分别对包装后的列块数据文件进行修正检查；最后按照标准字段文件格式，转换为与源业务数据文件对应的目标业务数据文件。实现了将不同企业间交互的业务数据用统一的方法和系统进行格式转换。因此，将该方法和系统用于第三方数据加工企业对企业间交互的业务数据进行数据处理，能够提高数据准确性和数据处理效率，降低系统资源浪费及成本。
图I为本发明一较佳实施例的数据格式转换方法的流程图；图2为本发明一较佳实施例的转换系统结构示意图；图3为图2所示实施例中解析分析计算单元结构示意图；图4为图2所示实施例中文件识别工作台结构示意图。
具体实施例方式本发明公开了ー种对企业间交互的业务数据进行格式转换的方法及系统，以下參照附图并举实施例对本发明进行详细说明。如图I所示，本发明ー较佳实施例的对企业间交互的业务数据进行格式转换的方法，包括如下步骤步骤101、接收企业间交互的业务数据，将接收的业务数据登记注册为源业务数据文件。
步骤102、判断该源业务数据文件是否能够被解析，如果是，则执行步骤103，否则将该源业务数据文件返回给业务数据提供者。本步骤中，可以根据源业务数据文件名称和原始文件头信息，确定源业务数据文件格式，找到匹配的解析器。如果不能直接解析，还可以再根据优先规则，在候选列表中选择其他解析器。例如可以根据文件名称的后缀是.xml还是.xls来判断是用XML解析器还是用Excel解析器。但有时在数据传输过程中，可能后缀有错，这时就需要重新选择解析器。如果经过几次选择，仍不能找到匹配的解析器，则将该源业务数据文件返回给业务数据提供者。步骤103，解析器对源业务数据文件进行解析，提取样本数据文件、生成特征数据 文件，并按数据字段分拆出ー组列块数据文件。本步骤中，采用的解析器都是现有技术已有的解析器。具体的，当文件能够解析时，先搜集并记录原始信息，由前30行样本数据生成样本数据文件，然后分析文件特征，生成文件特征数据。如果能够读出列块数据，则生成列块数据文件。文件在此步骤只是分拆成一组过程文件，供后续使用，原始数据仍然保留，不被改变。后续的所有工作台处理和计算单元处理，都是对这组过程数据的处理。这里特征数据文件的结构如表I和表2所示，其中表I是针对行列表类的文件，例如Excel文件；表2是针对结构化数据文件的，例如XML文件。
权利要求
1.一种对企业间交互的业务数据进行格式转换的方法，其特征在于，包括如下步骤 A、对源业务数据文件进行解析，提取样本数据文件、生成特征数据文件，并按数据字段分拆出一组列块数据文件； B、根据特征数据文件和样本数据文件对源业务数据文件进行识别，确定来源企业和目标企业； C、根据来源企业和目标企业，确定对应的标准字段文件格式，并识别出每个列块数据文件对应的标准字段； D、将来源企业和目标企业均相同的不同源业务数据文件中，相同数据字段分拆出的列块数据文件进行包装； E、根据标准字段文件格式分别对包装后的列块数据文件进行修正检查； F、将经过修正检查的包装后的列块数据文件打散，按照标准字段文件格式，转换为与源业务数据文件对应的目标业务数据文件。
2.如权利要求I所述的方法，其特征在于，所述步骤A之前进一步包括接收企业间交互的业务数据，将接收的业务数据登记注册为源业务数据文件。
3.如权利要求2所述的方法，其特征在于，所述步骤A包括 Al、根据源业务数据文件名称和原始文件头信息，确定源业务数据文件格式，找到匹配的解析器； A2、提取样本数据文件，并分析文件特征，生成特征数据文件； A3、将源业务数据文件中的每一个数据字段分拆出一个列块数据文件，组成一组列块数据文件。
4.如权利要求3所述的方法，其特征在于，所述特征数据文件包括文件名称、文件来源及文件标题；所述样本数据文件包括源业务数据文件中多个预定行的原始数据； 所述步骤B包括 BI、根据特征数据文件中的文件名称、文件来源及文件标题，以及样板数据文件中的原始数据,确定来源企业和目标企业； B2、对每个列块数据文件标记其来源企业和目标企业及源业务数据文件。
5.如权利要求4所述的方法，其特征在于，所述步骤C包括 Cl、根据来源企业和目标企业，从数据库中查找该来源企业和目标企业预设的标准字段文件格式； C2、根据标准字段文件格式，识别出每个列块数据文件对应的标准字段。
6.如权利要求5所述的方法，其特征在于，所述步骤D包括 D1、找出来源企业和目标企业均相同的不同源业务数据文件中，相同数据字段分拆出的列块数据文件； D2、将找出的列块数据文件按预定的数据量进行包装。
7.如权利要求6所述的方法，其特征在于，所述步骤E为由一台计算机对一个数据字段对应的包装后的列块数据文件进行修正检查。
8.如权利要求6所述的方法，其特征在于，所述步骤F包括 F1、按照每个列块数据文件标记，将包装后的列块数据文件打散； F2、按照标准字段文件格式，将各个标准字段对应的列块数据文件进行组合，转换为与源业务数据文件对应的标准字段文件格式的目标业务数据文件。
9.如权利要求8所述的方法，其特征在于，该方法进一步包括步骤G:对标准字段文件格式的目标业务数据文件进行整体质检并存入数据库。
10.如权利要求9所述的方法，其特征在于， 所述步骤B、C、E和步骤G由人工辅助计算机实现，各步骤中进一步将人工辅助仍不能处理的源业务数据文件返回给业务数据提供者。
11.一种对企业间交互的业务数据进行格式转换的系统，其特征在于，包括 解析分拆计算单元，其对源业务数据文件进行解析，提取样本数据文件、生成特征数据文件，并按数据字段分拆出一组列块数据文件； 文件识别工作台，根据解析分拆计算单元提供的特征数据文件和样本数据文件对源业 务数据文件进行识别，确定来源企业和目标企业；并根据来源企业和目标企业，确定对应的标准字段文件格式，识别出每个列块数据文件对应的标准字段； 列块包装计算单元，对文件识别工作台发送的源业务数据文件和列块数据文件，将来源企业和目标企业均相同的不同源业务数据文件中，相同数据字段分拆出的列块数据文件进行包装； 修正检查工作台，根据标准字段文件格式分别对列块包装计算单元发送的包装后的列块数据文件进行修正检查； 文件重组计算单元，将经过修正检查的包装后的列块数据文件打散，按照标准字段文件格式，转换为与源业务数据文件对应的目标业务数据文件。
12.如权利要求11所述的系统，其特征在于该系统还包括接收文件注册单元，其接收企业间交互的业务数据，将接收的业务数据登记注册为源业务数据，发送给解析分拆计算单元。
13.如权利要求12所述的系统，其特征在于，所述解析分拆计算单元包括解析器选择模块和多个解析器； 所述解析器选择模块根据源业务数据文件名称和原始文件头信息，确定源业务数据文件格式，找到匹配的解析器； 所述各个解析器提取样本数据文件、分析文件特征，生成特征数据文件，并将源业务数据文件中的每一个数据字段分拆出一个列块数据文件，组成一组列块数据文件。
14.如权利要求13所述的系统，其特征在于，所述文件识别工作台包括第一识别模块、标记模块、标准字段文件格式确定模块、标准字段文件格式数据库和第二识别模块； 所述第一识别模块，根据特征数据文件确定来源企业和目标企业； 所述标记模块，对每个列块数据文件标记其来源企业和目标企业及源业务数据文件；所述标准字段文件格式确定模块，根据来源企业和目标企业，从标准字段文件格式数据库中查找该来源企业和目标企业预设的标准字段文件格式； 所述第二识别模块，根据标准字段文件格式，识别出每个列块数据文件对应的标准字段。
15.如权利要求14所述的系统，其特征在于所述修正检查工作台由多台计算机实现，其中一台计算机对一个数据字段对应的包装后的列块数据文件进行修正检查。
16.如权利要求15所述的系统，其特征在于所述列块包装计算单元包括列数据文件查找模块，其找出来源企业和目标企业均相同的不同源业务数据文件中，相同数据字段分拆出的列块数据文件； 包装模块，其将找出的列块数据文件按预定的数据量进行包装。
17.如权利要求16所述的系统，其特征在于，所述文件重组计算单元包括 文件打散单元，其按照每个列块数据文件标记，将包装后的列块数据文件打散； 文件重组单元，按照标准字段文件格式，将各个标准字段对应的列块数据文件进行组合，转换为与源业务数据文件对应的标准字段文件格式的目标业务数据文件。
18.如权利要求17所述的系统，其特征在于该系统进一步包括整体质检工作台，其对标准字段文件格式的目标业务数据文件进行整体质检并存入数据库。
19.如权利要求18所述的系统，其特征在于所述解析分拆计算单元、文件识别工作台、列块包装计算单元、修正检查工作台、文件重组计算单元和整体质检工作台的数量均为多个； 该系统进一步包括调度台，其按照预设的规则将业务数据调度到系统的各个部分。
20.如权利要求19所述的系统，其特征在于所述文件识别工作台、修正检查工作台和整体质检工作台由人工辅助计算机实现，各个工作台进一步将人工辅助仍不能处理的源业务数据文件返回给业务数据提供者。
全文摘要
本发明公开了一种对企业间交互的业务数据进行格式转换的方法，先对源业务数据文件进行解析，提取样本数据文件、生成特征数据文件，并按数据字段分拆出一组列块数据文件；再根据特征数据文件和样本数据文件等信息识别出每个列块数据文件对应的标准字段；再将相同数据字段分拆出的列块数据文件进行包装；再根据标准字段文件格式分别对包装后的列块数据文件进行修正检查；最后按照标准字段文件格式，转换为与源业务数据文件对应的目标业务数据文件。本发明同时公开了相应的对企业间交互的业务数据进行格式转换的系统。本发明实现了将不同企业间交互的业务数据用统一的方法和系统进行格式转换，能够提高准确性和处理效率，降低系统资源浪费及成本。
文档编号G06Q10/00GK102629263SQ20121005354
公开日2012年8月8日 申请日期2012年2月29日 优先权日2012年2月29日
发明者姜华军, 张东 申请人:上海安捷力信息系统有限公司