一种提高数据准确性的方法和装置的制造方法
【技术领域】
[0001]本发明涉及数据库管理技术，尤其涉及一种提高数据准确性的方法和装置。
【背景技术】
[0002]业务支撑系统是依据用户办理或使用电信业务对用户计费的系统，该系统包括:业务受理模块、内存数据库、异常数据处理程序、物理数据库、短信发送模块等；该系统的实现流程包括:业务受理模块接收来自办理业务终端和网元的数据并按照既定业务对接收数据进行规则处理后，将数据同时写入内存数据库和物理数据库中；在内存数据库和物理数据库完成读写操作后，将业务所需数据提交给业务受理模块的其它进程继续下一环节处理。
[0003]现有技术中，业务支撑系统完成处理一项业务需要多个应用进程串行执行，当后一步进程运行异常时，由前一步进程向内存数据库中写入的数据不能回滚，如此，就会使内存数据库不断积累错误数据，从而降低内存数据库的数据准确性。并且，由于内存数据库中错误的数据仍会被提交给业务支撑系统中的业务受理模块继续处理，这样，通常会导致两种后果，进程异常退出或进程僵死。显然，内存数据库的错误数据会对业务支撑系统的稳定性造成严重威胁。
【发明内容】
[0004]有鉴于此，本发明实施例的主要目的是提供一种提高数据准确性的方法和装置，能有效解决现有技术中因内存数据库的数据不能回滚而导致保留错误数据的问题，进而提高内存数据库中数据的准确性。
[0005]为达到上述目的，本发明的技术方案是这样实现的:
[0006]本发明实施例提供了一种提高数据准确性的方法，该方法包括:
[0007]从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；
[0008]延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
[0009]当确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。
[0010]上述方案中，所述方法还包括:
[0011]当确定所述第二差异数据的总数大于告警阈值时，发出告警信息，通知用户处理；
[0012]当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理。
[0013]上述方案中，所述告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
[0014]上述方案中，所述时间阈值为业务支撑系统中业务受理模块同时写一次内存数据库和物理数据库所需的最长时间。
[0015]本发明实施例还提供了一种提高数据准确性的装置，该装置包括:比较处理模块、延时模块、判断处理模块；其中，
[0016]所述比较处理模块，用于从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表；将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
[0017]所述延时模块，用于延迟时间阈值；
[0018]所述判断处理模块，用于确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。
[0019]上述方案中，所述判断处理模块包括判断模块、异常数据处理模块；其中，
[0020]所述判断模块，用于确定所述第二差异数据的总数不大于告警阈值且异常数据处理程序最后执行时间非设定时段时，触发异常数据处理模块；
[0021]所述异常数据处理模块，用于启动异常数据处理程序。
[0022]上述方案中，所述判断模块还用于:
[0023]当确定所述第二差异数据的总数大于告警阈值，发出告警信息，通知用户处理；
[0024]当确定所述第二差异数据的总数不大于告警阈值，且异常数据处理程序最后执行时间为设定时段时，发出告警信息，通知用户处理。
[0025]上述方案中，所述判断处理模块还包括计数模块，用于记录所述告警阈值；所述告警阈值为近三个月内存数据库因不能回滚所导致数据异常，每天需要处理的异常数据个数的平均值。
[0026]本发明实施例所提供的提高数据准确性的方法和装置，对内存数据库与物理数据库中的数据进行一次比对和二次比对，获得二次比对后的差异数据；当所述差异数据的总数不大于告警阈值、且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。如此，能有效解决现有技术中因内存数据库的数据不能回滚而导致保留错误数据的问题，从而实现了日常自动检查和处理内存数据库中错误数据的功能，进而提高了内存数据库中数据的准确性。
【附图说明】
[0027]图1为本发明实施例提高数据准确性的方法实现流程示意图；
[0028]图2为本发明实施例提高数据准确性的装置的组成结构示意图。
【具体实施方式】
[0029]在本发明实施例中:从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中数据与物理数据库中对应数据进行一次比对，得出一次比对后的第一差异数据；延迟时间阈值后，分别从内存数据库和物理数据库中读取所述第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；当所述差异数据的总数不大于告警阈值、且异常数据处理程序最后执行时间非设定时段时，启动异常数据处理程序。
[0030]这里，所述一次比对和二次比对可以是定时进行，如设置比对周期；也可以是在业务受理模块处理程序运行异常时进行。
[0031]其中，所述第一差异数据、第二差异数据均指经过比较后物理数据库和内存数据库中有哪些数据存在差异；所述定时进行可以是设置比对周期，周期长短可以根据实际需求设置，如:设置为两小时、四小时等等。
[0032]这里，所述设定时段可以根据需要进行调整，比如:对数据校准要求高时，可以将设定时段取为最近8小时或12小时；对数据校准要求不高时，可以将设定时段取为最近24小时、2天或3天。
[0033]这里，所述启动异常数据处理程序为:依据业务类型及主键为参数，从物理数据库中提取二次比对后的差异数据所对应的正确数据，替换所对应的内存数据库中的错误数据；其中，所述主键是用来区分数据库中不同数据的标识字段。
[0034]下面结合附图及具体实施例对本发明再作进一步详细的说明。
[0035]图1为本发明实施例提高数据准确性的方法实现流程示意图，如图1所示，本发明实施例提高数据准确性的方法包括:
[0036]步骤SlOO:从内存数据库中导出数据生成文本文件，将生成的文本文件导入物理数据库备份表，将物理数据库备份表中的数据与物理数据库对应数据进行一次比对，获得一次比对后的第一差异数据；
[0037]这里，所述导出数据生成文本文件包括:可以依据业务类型及时间为参数，从内存数据库中导出数据，生成多个文本文件；其中，业务类型包括用户开户、过户、优惠办理、变更名称、申请停机等。
[0038]具体地，根据物理数据库数据和内存数据库数据之间对应字段与格式的默认规则将生成的文本文件导入物理数据库备份表。
[0039]进一步的，在将生成的文本文件导入物理数据库备份表之前，需清空物理数据库备份表。
[0040]这里，以业务类型及主键为参数，将物理数据库备份表中的数据与物理数据库对应数据一一进行比对，确定第一差异数据。
[0041]步骤SlOl:延迟时间阈值后，分别从内存数据库和物理数据库中读取第一差异数据对应的数据进行二次比对，获得二次比对后的第二差异数据；
[0042]这里，所述时间阈值为业务支撑系统中业务受理模块同时写一次内存数据库和物理数据库所需的最长时间。
[0043]相应地，从内存数据库和物理数据库中读取第一差异数据对应的数据进行二次比对，同样也是以业务类型及主键为参数选择具体的数据表进行数据对应。
[0044]这里，步骤S