一种可配置的数据比对方法及系统的制作方法
【专利摘要】本发明涉及一种可配置的数据比对方法及系统，其中方法包括：步骤1：将需要比对的源话单文件和目标话单文件进行格式转换，得到格式相同的源比对文件和目标比对文件；步骤2：获取当前文件格式的配置文件，并将配置文件存入内存中；步骤3：根据源比对文件和目标比对文件的文件类型名称，在配置文件中查找与此类型名称对应的配置规则，如果存在，执行步骤4；否则，发出告警，并结束；步骤4：读取源比对文件中的所有话单记录，将所有话单记录依次与目标比对文件中的话单记录进行比对，得到比对结果；步骤5：输出比对结果。本发明最大程度上提高了程序的灵活性，去除了程序的业务相关性，减少了业务调整时修改程序造成的风险。
【专利说明】
一种可配置的数据比对方法及系统
技术领域
[0001 ]本发明涉及一种可配置的数据比对方法及系统。
【背景技术】
[0002]随着电信运营商业务不断的发展，电信业务处理日益复杂，电信业务支撑系统中数据的准确性对提高电信运营商的服务品质、保障电信运营商的业务收入有着越来越深刻的影响。数据比对是提升服务质量、进行收入保障的一种较为经济有效的方法。在实际工作中，还大都采用原始的方法:通过人工比对数据形成过程中各个环节的数据来查找漏洞，弥补损失，这种方法费时费力，准确性不高，更没有系统性、全面性.在这种情况下，迫切需要有自动化的数据比对平台的出现，代替手工来完成对海量生产数据的稽核.
[0003]传统的数据比对方法一般是将数据格式定义在程序里面，这样就造成了新增数据比对时，需要对程序的修改，工作量大，风险高。
【发明内容】
[0004]本发明所要解决的技术问题是，为了应对这种业务多变性，减少修改程序造成的风险，提供一种可配置的数据比对方法，实现使用灵活的配置文件，对源数据和目标话单数据格式进行配置，去除程序和业务格式的相关性的可配置的数据比对方法及系统。
[0005]本发明解决上述技术问题的技术方案如下:一种可配置的数据比对方法，具体包括以下步骤:
[0006]步骤I:将需要比对的源话单文件和目标话单文件进行格式转换，得到格式相同的源比对文件和目标比对文件；
[0007]步骤2:获取当前文件格式的配置文件，并将配置文件存入内存中；
[0008]步骤3:根据源比对文件和目标比对文件的文件类型名称，在配置文件中查找是否存在与此类型名称对应的配置规则，如果存在，执行步骤4;否则，发出告警，并结束；
[0009]步骤4:读取源比对文件中的所有话单记录，将所有话单记录依次与目标比对文件中的话单记录进行比对，得到比对结果；
[0010]步骤5:输出比对结果。
[0011]本发明的有益效果是:本发明数据比对格式可以通过配置灵活设置，话单类型在配置文件可以随时修改增加，话单的格式和比对关键字也通过配置灵活设置，最大程度上提高了程序的灵活性，去除了程序的业务相关性，减少了业务调整时修改程序造成的风险。
[0012]在上述技术方案的基础上，本发明还可以做如下改进。
[0013]进一步，所述配置文件中包括配置规则、关键字段提取规则和比对值字段提取规则。
[0014]进一步，所述步骤4包括以下步骤:
[0015]步骤4.1:读取源比对文件中的一条话单记录为当前话单记录；
[0016]步骤4.2:根据配置文件中的关键字段提取规则和比对值字段提取规则，解析出当前话单记录的关键字字段和比对值字段；
[0017]步骤4.3:根据当前话单记录的关键字字段和比对值字段，将当前话单记录与目标比对文件进行比对，得到比对结果；
[0018]步骤4.4:判断源比对文件中是否还包括未比对的话单记录，如果是，执行步骤4.1;否则，执行步骤5。
[0019]进一步，所述步骤4.3包括以下步骤:
[0020]步骤4.3.1:根据当前话单记录的关键字字段读取目标比对文件中的话单记录，判断关键字字段是否相同，如果是，执行步骤4.3.2；否则，标记当前话单记录为无符合，执行步骤4.4;
[0021 ]步骤4.3.2:判断剩余字段是否相同，如果是，标记当前话单记录和目标话单记录为比对一致，执行步骤4.4;否则，标记当前话单记录和目标话单记录为比对有差异，执行步骤 4.4。
[0022]进一步，所述步骤4和步骤5之间还包括:读取目标比对文件中没有标记过的目标话单记录，将得到的目标话单记录标记为未匹配。
[0023]进一步，所述步骤5中还包括:输出比对结果后，进一步将比对结果生成出口文件，并根据运行和处理过程生成运行日志和处理日志并保存。
[0024]本发明解决上述技术问题的技术方案如下:一种可配置的数据比对系统，包括格式转换模块、配置模块、规则配置模块和比对模块；
[0025]所述格式转换模块用于将需要比对的源话单文件和目标话单文件进行格式转换，得到格式相同的源比对文件和目标比对文件；
[0026]所述配置模块用于获取当前文件格式的配置文件，并将配置文件存入内存中；
[0027]所述规则配置模块用于根据源比对文件和目标比对文件的文件类型名称，在配置文件中查找是否存在与此类型名称对应的配置规则，如果存在，触发比对模块;否则，发出告警，并结束；
[0028]所述比对模块用于读取源比对文件中的所有话单记录，将所有话单记录依次与目标比对文件中的话单记录进行比对，得到比对结果并输出。
[0029]本发明的有益效果是:本发明数据比对格式可以通过配置灵活设置，话单类型在配置文件可以随时修改增加，话单的格式和比对关键字也通过配置灵活设置，最大程度上提高了程序的灵活性，去除了程序的业务相关性，减少了业务调整时修改程序造成的风险。
[0030]在上述技术方案的基础上，本发明还可以做如下改进。
[0031]进一步，所述配置文件中包括配置规则、关键字段提取规则和比对值字段提取规则。
[0032]进一步，所述比对模块包括读取模块、关键字解析模块和记录比对模块；
[0033]所述读取模块用于依次读取源比对文件中的话单记录；
[0034]所述关键字解析模块用于根据配置文件中的关键字段提取规则和比对值字段提取规则，解析出话单记录的关键字字段和比对值字段；
[0035]所述记录比对模块用于根据所有话单记录的关键字字段和比对值字段，将所有话单记录依次与目标比对文件进行比对，得到比对结果并输出。
[0036]进一步，所述源比对文件中的话单记录与目标比对文件中的话单记录比对结果包括以下三种:
[0037]话单记录的关键字字段与目标比对文件中的话单记录的关键字段相同，同时剩余字段也相同，标记当前话单记录和目标话单记录为比对一致；
[0038]话单记录的关键字字段与目标比对文件中的话单记录的关键字段相同，而剩余字段不同，标记当前话单记录和目标话单记录为比对有差异；
[0039]话单记录的关键字字段与目标比对文件中的话单记录的关键字段不同，同时剩余字段也不同，标记当前话单记录和目标话单记录为无符合。
【附图说明】
[0040]图1为本发明实施例1所述的一种可配置的数据比对方法流程图；
[0041]图2为本发明实施例9所述的一种可配置的数据比对系统结构框图。
[0042]附图中，各标号所代表的部件列表如下:
[0043]1、格式转换模块，2、配置模块，3、规则配置模块，4、比对模块，41、读取模块，42、关键字解析模块，43、记录比对模块。
【具体实施方式】
[0044]以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0045]如图1所示，为本发明实施例1所述的一种可配置的数据比对方法，具体包括以下步骤:
[0046]步骤I:将需要比对的源话单文件和目标话单文件进行格式转换，得到格式相同的源比对文件和目标比对文件；
[0047]步骤2:获取当前文件格式的配置文件，并将配置文件存入内存中；
[0048]步骤3:根据源比对文件和目标比对文件的文件类型名称，在配置文件中查找是否存在与此类型名称对应的配置规则，如果存在，执行步骤4;否则，发出告警，并结束；
[0049]步骤4:读取源比对文件中的所有话单记录，将所有话单记录依次与目标比对文件中的话单记录进行比对，得到比对结果；
[0050]步骤5:输出比对结果。
[0051]本发明实施例2所述的一种可配置的数据比对方法，在实施例1的基础上，所述配置文件中包括配置规则、关键字段提取规则和比对值字段提取规则。
[0052]本发明实施例3所述的一种可配置的数据比对方法，在实施例1或2的基础上，所述步骤4包括以下步骤:
[0053]步骤4.1:读取源比对文件中的一条话单记录为当前话单记录；
[0054]步骤4.2:根据配置文件中的关键字段提取规则和比对值字段提取规则，解析出当前话单记录的关键字字段和比对值字段；
[0055]步骤4.3:根据当前话单记录的关键字字段和比对值字段，将当前话单记录与目标比对文件进行比对，得到比对结果；
[0056]步骤4.4:判断源比对文件中是否还包括未比对的话单记录，如果是，执行步骤4.1;否则，执行步骤5。
[0057]本发明实施例4所述的一种可配置的数据比对方法，在实施例3的基础上，所述步骤4.3包括以下步骤:
[0058]步骤4.3.1:根据当前话单记录的关键字字段读取目标比对文件中的话单记录，判断关键字字段是否相同，如果是，执行步骤4.3.2；否则，标记当前话单记录为无符合，执行步骤4.4;
[0059]步骤4.3.2:判断剩余字段是否相同，如果是，标记当前话单记录和目标话单记录为比对一致，执行步骤4.4;否则，标记当前话单记录和目标话单记录为比对有差异，执行步骤 4.4。
[0060]本发明实施例5所述的一种可配置的数据比对方法，在实施例1-4任一项的基础上，所述步骤4和步骤5之间还包括:读取目标比对文件中没有标记过的目标话单记录，将得到的目标话单记录标记为未匹配。
[0061]本发明实施例6所述的一种可配置的数据比对方法，在实施例1-5任一项的基础上，所述步骤5中还包括:输出比对结果后，进一步将比对结果生成出口文件，并根据运行和处理过程生成运行日志和处理日志并保存。
[0062 ]本发明具体示例所述方法，包括以下步骤:
[0063]步骤1:将需要比对源话单和目标话单文件形成格式相同的文本文件(每条字段间用分隔符竖线分隔，分隔符可配置)；
[0064]步骤2:获取数据比对格式配置文件；
[0065]步骤3:将比对格式配置文件读入内存；
[0066]步骤4:根据源比对文件和目标比对文件类型名称，在配置文件中查找与该比对类型相对应的配置规则，如果存在，则进入步骤5;否则，系统告警，并结束流程；
[0067]步骤5:从源话单文件中读取一条话单记录；
[0068]步骤6:根据配置文件，获取该话单类型的一个或多个比对关键字段；
[0069]步骤7:根据比对关键字段读取目标话单文件中的话单记录，判断关键字段是否相等，关键字段相等的话比对剩余字段，如果剩余字段完全相同则标记为源话单和目标话单此记录为比对一致;如果关键字段相等但话单的剩余字段不等则标记源话单和目标话单此记录为比对有差异F003;如果源话单中的此条记录的关键字段在目标话单中找不到，则标记源话单中此记录为F007(A有B没有)。
[0070]步骤8:重复步骤5到步骤7，直到源话单中全部记录处理完成。
[0071 ] 步骤9:读取目标话单记录中没有打过标记的话单，标识为F008(A没有B有)
[0072]步骤10:至此，源话单和目标话单全部比对完成，输出比对结果。
[0073]在步骤10之后，还可以根据需要进一步生成出口文件，并生成运行日志和处理日
V 1、1、O
[0074]如图2所示，为本发明实施例7所述的一种可配置的数据比对系统，包括格式转换模块1、配置模块2、规则配置模块3和比对模块4 ；
[0075]所述格式转换模块I用于将需要比对的源话单文件和目标话单文件进行格式转换，得到格式相同的源比对文件和目标比对文件；
[0076]所述配置模块2用于获取当前文件格式的配置文件，并将配置文件存入内存中；
[0077]所述规则配置模块3用于根据源比对文件和目标比对文件的文件类型名称，在配置文件中查找是否存在与此类型名称对应的配置规则，如果存在，触发比对模块4;否则，发出告警，并结束；
[0078]所述比对模块4用于读取源比对文件中的所有话单记录，将所有话单记录依次与目标比对文件中的话单记录进行比对，得到比对结果并输出。
[0079]本发明实施例8所述的一种可配置的数据比对系统，在实施例7的基础上，所述配置文件中包括配置规则、关键字段提取规则和比对值字段提取规则。
[0080]如图2所示，本发明实施例9所述的一种可配置的数据比对系统，在实施例7或8的基础上，所述比对模块4包括读取模块41、关键字解析模块42和记录比对模块43;
[0081]所述读取模块41用于依次读取源比对文件中的话单记录；
[0082]所述关键字解析模块42用于根据配置文件中的关键字段提取规则和比对值字段提取规则，解析出话单记录的关键字字段和比对值字段；
[0083]所述记录比对模块43用于根据所有话单记录的关键字字段和比对值字段，将所有话单记录依次与目标比对文件进行比对，得到比对结果并输出。
[0084]本发明实施例10所述的一种可配置的数据比对系统，在实施例9的基础上，所述源比对文件中的话单记录与目标比对文件中的话单记录比对结果包括以下三种:
[0085]话单记录的关键字字段与目标比对文件中的话单记录的关键字段相同，同时剩余字段也相同，标记当前话单记录和目标话单记录为比对一致；
[0086]话单记录的关键字字段与目标比对文件中的话单记录的关键字段相同，而剩余字段不同，标记当前话单记录和目标话单记录为比对有差异；
[0087]话单记录的关键字字段与目标比对文件中的话单记录的关键字段不同，同时剩余字段也不同，标记当前话单记录和目标话单记录为无符合。
[0088]举例:以下为采用本发明方法的配置文件信息，本文件配置的是一种格式的基本
?目息O
[0089]#########################配置比对业务的字段信息，关键字信息，比较字段信息;
[0090]
[0091 ] SPINF0_FIELDNAME = PROCID|OPERTYPE|TIMESTAMP|SERVTYPE|SPCODE|SPNAMESPBALTYPEISERVCODE|PR0VC0DE|BALPROV|DEVCODE|VALIDDATE|EXPIREDATE|DESCRIPT1NSPATTR I SPABBR|SPTELEPHONE|0PERM0DE|BIZTYPE|SPBALCYCLE|SPTAXQUALIFICAT1NSPTAXRATE
[0092]SPINF0_KEY_N0MUSIC_0=SERVTYPE|SPCODE|SERVCODE|VALIDDATE
[0093]SPINF0_C0MPSTR_N0MUSIC_0 = 2 I 2 | 2 111111111111111111111 2 | 2 11111111111111
[0094]SPINF0_KEY_N0MUSIC_1=SERVTYPE|SPCODE|SERVCODE|TIMESTAMP
[0095]SPINF0_C0MPSTR_N0MUSIC_1 = 2 I 2 11111111111111111111111 2 | 2 11111111111111
[0096]SPINF0_KEY_MUSIC_0=SERVTYPE|SPCODE|SERVCODE|VALIDDATE
[0097]SPINF0_C0MPSTR_MUSIC_0 = 2 I 2 | 2 111111111111111111111 2 | 2 11111111111111
[0098]SPINF0_KEY_MUSIC_1=SERVTYPE|SPCODE|SERVCODE|TIMESTAMP
[0099]SPINF0_C0MPSTR_MUSIC_1 = 2 I 2 11111111111111111111111 2 I 2 11111111111111
[0100]SPINF0_FIELDNAME配置话单的字段格式信息，SPINF0_KEY配置话单关键字段信息，SPINFO_COMPSTR配置话单的比对字段信息。
[0101]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种可配置的数据比对方法，其特征在于，具体包括以下步骤: 步骤1:将需要比对的源话单文件和目标话单文件进行格式转换，得到格式相同的源比对文件和目标比对文件； 步骤2:获取当前文件格式的配置文件，并将配置文件存入内存中； 步骤3:根据源比对文件和目标比对文件的文件类型名称，在配置文件中查找是否存在与此类型名称对应的配置规则，如果存在，执行步骤4;否则，发出告警，并结束； 步骤4:读取源比对文件中的所有话单记录，将所有话单记录依次与目标比对文件中的话单记录进行比对，得到比对结果； 步骤5:输出比对结果。2.根据权利要求1所述的一种可配置的数据比对方法，其特征在于，所述配置文件中包括配置规则、关键字段提取规则和比对值字段提取规则。3.根据权利要求2所述的一种可配置的数据比对方法，其特征在于，所述步骤4包括以下步骤: 步骤4.1:读取源比对文件中的一条话单记录为当前话单记录； 步骤4.2:根据配置文件中的关键字段提取规则和比对值字段提取规则，解析出当前话单记录的关键字字段和比对值字段； 步骤4.3:根据当前话单记录的关键字字段和比对值字段，将当前话单记录与目标比对文件进行比对，得到比对结果； 步骤4.4:判断源比对文件中是否还包括未比对的话单记录，如果是，执行步骤4.1;否贝IJ，执行步骤5。4.根据权利要求3所述的一种可配置的数据比对方法，其特征在于，所述步骤4.3包括以下步骤: 步骤4.3.1:根据当前话单记录的关键字字段读取目标比对文件中的话单记录，判断关键字字段是否相同，如果是，执行步骤4.3.2;否则，标记当前话单记录为无符合，执行步骤4.4； 步骤4.3.2:判断剩余字段是否相同，如果是，标记当前话单记录和目标话单记录为比对一致，执行步骤4.4;否则，标记当前话单记录和目标话单记录为比对有差异，执行步骤4.4。5.根据权利要求1-4任一项所述的一种可配置的数据比对方法，其特征在于，所述步骤4和步骤5之间还包括:读取目标比对文件中没有标记过的目标话单记录，将得到的目标话单记录标记为未匹配。6.根据权利要求5所述的一种可配置的数据比对方法，其特征在于，所述步骤5中还包括:输出比对结果后，进一步将比对结果生成出口文件，并根据运行和处理过程生成运行日志和处理日志并保存。7.—种可配置的数据比对系统，其特征在于，包括格式转换模块、配置模块、规则配置模块和比对模块； 所述格式转换模块用于将需要比对的源话单文件和目标话单文件进行格式转换，得到格式相同的源比对文件和目标比对文件； 所述配置模块用于获取当前文件格式的配置文件，并将配置文件存入内存中； 所述规则配置模块用于根据源比对文件和目标比对文件的文件类型名称，在配置文件中查找是否存在与此类型名称对应的配置规则，如果存在，触发比对模块;否则，发出告警，并结束； 所述比对模块用于读取源比对文件中的所有话单记录，将所有话单记录依次与目标比对文件中的话单记录进行比对，得到比对结果并输出。8.根据权利要求7所述的一种可配置的数据比对系统，其特征在于，所述配置文件中包括配置规则、关键字段提取规则和比对值字段提取规则。9.根据权利要求8所述的一种可配置的数据比对系统，其特征在于，所述比对模块包括读取模块、关键字解析模块和记录比对模块； 所述读取模块用于依次读取源比对文件中的话单记录； 所述关键字解析模块用于根据配置文件中的关键字段提取规则和比对值字段提取规贝1J，解析出话单记录的关键字字段和比对值字段； 所述记录比对模块用于根据所有话单记录的关键字字段和比对值字段，将所有话单记录依次与目标比对文件进行比对，得到比对结果并输出。10.根据权利要求9所述的一种可配置的数据比对系统，其特征在于，所述源比对文件中的话单记录与目标比对文件中的话单记录比对结果包括以下三种: 话单记录的关键字字段与目标比对文件中的话单记录的关键字段相同，同时剩余字段也相同，标记当前话单记录和目标话单记录为比对一致； 话单记录的关键字字段与目标比对文件中的话单记录的关键字段相同，而剩余字段不同，标记当前话单记录和目标话单记录为比对有差异； 话单记录的关键字字段与目标比对文件中的话单记录的关键字段不同，同时剩余字段也不同，标记当前话单记录和目标话单记录为无符合。
【文档编号】G06Q50/30GK105976302SQ201610293502
【公开日】2016年9月28日
【申请日】2016年5月5日
【发明人】廖小波
【申请人】北京思特奇信息技术股份有限公司