I条记录的话，那么至少需要做1gpQ次比较。动态数据一致性稽核需把N次比较差异集合求交集。N为需要对动态表镜像数据的次数。其中P和Q可由数据表的实际情况和允许出错概率要求得到，并计算出N。
[0046]然后，对主、备库的动态数据做N次镜像，通过对这N对数据(主、备库)比较，生成N次差异结果集合求交集，则最终的交集则为稽核不一致数据。
[0047]具体为:程序自动地、顺序从主、备库导出一份需要比对的表的数据；
[0048]第一次主、备库数据镜像间差异记录的集合，与第二次主、备库数据镜像间差异记录的集合的交集为Al ;
[0049]第二次主、备库数据镜像间差异记录的集合，与第三次主、备库数据镜像间差异记录的集合的交集为A2 ;
[0050]依次类推，第η-1次主、备库数据镜像间差异记录的集合，与第η次主、备库数据镜像间差异记录的集合的交集为An-1 ;
[0051]当η = N时，Al到An-1集合的交集，即为误报概率低于Q的差异数据集合。
[0052]在具体实施中，数学建模:
[0053]1、全省范围平均每用户GPRS业务每日约8条详单，地市F用户批量比对7月份全月的数据:3亿话单中约有101万用户，平均单用户每月不到300张话单。因此可总体认为每用户每月产生300条GPRS详单记录；
[0054]2、内存数据库导出时间最长的账单表、累积量表和资料表均不超过10分钟。因此可认为单表导出时间为(t) 10分钟；
[0055]3、内存库累计表全省全月(T是周期一个月，30天)有2.7亿记录，存放于20张独立表中；累积量表全省4亿记录，存放于16个地市库中。A地市按照总用户占全省1/3计算，A地市累积量表拆分成4张，单表记录数不多于4千万。因此可认为单表内存库记录均不大于4000万；
[0056]假设一条话单都会触发一次数据变更，比如账单表和累积量表。由上数据可知一次数据表导出过程，对于一个号码而言在此过程中发生数据变化的概率是10*60*300/(3600*24*30)，(根据模型P= (t*C)/T)即发生变化的概率约等于7%。
[0057]那么连续做两次数据导出的数据，同一个用户在这两次导出过程中都发生数据变化的概率为(％7)~2。依此，连续做η次数据导出，同一个用户在这η次导出过程中都发生数据变化的概率为7Γη。
[0058]综上，对于一张4000万的表，如果要最终比较结果确认一致性差异不多于I条记录的话，那么至少需要导出(logP Q)即1g0.070.000000025?7次。
[0059]落实在生产过程中，对内存数据库数据一致性确认过程，采用如下步骤:
[0060]1、导出一份需要比对的表的数据；
[0061]2、连续第七次导出时，即可开始启动全量比对流程；
[0062]3、将7次导出的14份数据(主库和备库的)分别一一比对，即第一次的主备库比对，然后第二次的主备库数据比对，然后第三次的主备库数据比对，等等。
[0063]4、将7对数据比对的差异结果，做一下集合减法；
[0064]关注集合减法的数据，按照上述构建的数学模型，如果主备库数据正常，则最终7对数据集合减法结果为空。如果不为空，则有超过99.999999176457%的概率是两个数据库数据是不一致的。换句话说，重点核查剩余的记录，这些记录超过99.999999176457%的概率是造成差异的数据。
[0065]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种动态数据一致性比对方法，其特征在于，包括以下步骤: 根据主数据库和备数据库中动态数据在镜像过程中的变化情况确定目标镜像次数； 分别对主数据库和备数据库中导出的包含有动态数据的待比对动态数据表进行目标镜像次数的镜像，得到目标镜像次数组镜像数据； 对每组镜像数据进行数据比对，得到至少一个差异集合； 取所有差异集合的交集，根据交集是否为空判断主数据库和备数据库中的动态数据是否一致。2.根据权利要求1所述的动态数据一致性比对方法，其特征在于，所述根据主数据库和备数据库中动态数据在镜像过程中的变化情况确定目标镜像次数具体为:根据主数据库和备数据库中的动态数据在镜像过程中发生变化的变化概率和对在镜像过程中实际并未发生变化的动态数据的误报概率计算对动态数据表的目标镜像次数。3.根据权利要求2所述的动态数据一致性比对方法，其特征在于，所述变化概率由内存数据库中动态数据表的导出时间、数量和累计存储周期确定。4.根据权利要求1所述的动态数据一致性比对方法，其特征在于，当所述交集为空时，主数据库和备数据库中的动态数据一致，否则，主数据库和备数据库中的动态数据不一致，输出不一致的动态数据。5.一种动态数据一致性比对系统，其特征在于，包括确定镜像次数模块(I)、镜像模块(2)、比对模块(3)和判断模块(4); 所述确定镜像次数模块(I)，用于根据主数据库和备数据库中动态数据在镜像过程中的变化情况确定目标镜像次数； 所述镜像模块(2)，用于分别对主数据库和备数据库中导出的包含有动态数据的待比对动态数据表进行目标镜像次数的镜像，得到目标镜像次数组镜像数据； 所述比对模块(3)，用于对每组镜像数据进行数据比对，得到至少一个差异集合； 所述判断模块(4)，用于取所有差异集合的交集，根据交集是否为空判断主数据库和备数据库中的动态数据是否一致。6.根据权利要求5所述的动态数据一致性比对系统，其特征在于，所述确定镜像次数模块(I)具体用于:根据主数据库和备数据库中的动态数据在镜像过程中发生变化的变化概率和对在镜像过程中实际并未发生变化的动态数据的误报概率计算对动态数据表的目标镜像次数。7.根据权利要求6所述的动态数据一致性比对系统，其特征在于，所述变化概率由内存数据库中动态数据表的导出时间、数量和累计存储周期确定。8.根据权利要求5所述的动态数据一致性比对系统，其特征在于，当所述交集为空时，主数据库和备数据库中的动态数据一致，否则，主数据库和备数据库中的动态数据不一致，输出不一致的动态数据。
【专利摘要】本发明涉及一种动态数据一致性比对方法及系统，包括以下步骤：根据主数据库和备数据库中动态数据在镜像过程中的变化情况确定目标镜像次数；分别对主数据库和备数据库中导出的包含有动态数据的待比对动态数据表进行目标镜像次数的镜像，得到目标镜像次数组镜像数据；对每组镜像数据进行数据比对，得到至少一个差异集合；取所有差异集合的交集，根据交集是否为空判断主数据库和备数据库中的动态数据是否一致。本发明实现动态数据的一致性稽核，为动态数据一致性提供理论依据，并为动态数据一致性的监控、告警提供基础数据。
【IPC分类】G06F17/30
【公开号】CN105117435
【申请号】CN201510485018
【发明人】张奇伟
【申请人】北京思特奇信息技术股份有限公司
【公开日】2015年12月2日
【申请日】2015年8月7日