一种数据仓库数据异常的预检测方法和设备与制造工艺

文档序号:11155162
一种数据仓库数据异常的预检测方法和设备与制造工艺
本申请涉及数据仓库领域,特别是涉及一种数据仓库数据异常的预检测方法和设备。

背景技术:
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策,所述数据仓库中的数据从产生到使用需要间隔T(Today,今天)+1一天,即今天产生的数据明天才可以使用,具体的,当所述数据仓库中存储的数据位打分规则时,服务器获取今天需要打分的对象,所述服务器在明天的时候才能使用所述数据仓库中的打分规则对获取的对象进行打分。传统数据仓库常采用T+1同步在线数据并在此基础上计算T+1的应用结果。当在线数据是一些人工配置的打分规则信息时,而基于此信息,需要进行离线计算时,如果人工配置出错,打分结果则会出现异常,且不易被发现及处理。在现有技术中,是在根据T+1打分规则产生打分结果后,再对打分规则进行效验,即今天产生的打分规则后,在明天根据今天的打分规则产生打分结果后再对今天的打分规则进行效验。在实现本申请的过程中,申请人发现现有技术至少存在以下问题:T+1的运行流程计算完毕之后,只能通过实际计算结果监控亦或是应用到实际业务中才能发现问题,发现数据异常具有严重的滞后性,数据质量问题已成事实,数据修复有一定成本,但是对对业务造成的损失有可能是无法挽回的。

技术实现要素:
本申请的目的在于提供一种数据仓库数据异常的预检测方法和设备,在当前规则配置下的在线数据和离线基础数据的对比,对数据异常进行预判,进而避免由于发现数据异常的滞后性而引起的不可挽回的损失,同时还节省了对异常数据进行修复时而产生的不必要的成本。一方面,本申请实施例提出了一种数据仓库数据异常的预检测方法,所述方法包括:服务器根据预设的同步周期,将当前的在线数据同步到数据仓库中,作为待检测的基础数据;所述服务器判断所述待检测的基础数据与上一个同步周期的基础数据是否相同;如果判断结果为否,所述服务器根据前一个打分周期的处理规则,对所述待检测的基础数据生成模拟应用数据;所述服务器判断所述模拟应用数据与所述前一个打分周期的应用数据是否相同;如果判断结果为否,所述服务器确定数据仓库数据异常。优选的,在当前的同步周期为当前的打分周期内的第一个同步周期时,所述服务器判断所述待检测的基础数据与上一个同步周期的基础数据是否相同,具体为:所述服务器使用当前打分周期的第一个同步周期的待检测的基础数据与上一个打分周期的最后一个同步周期的基础数据进行对比,判断两者是否相同。优选的,所述服务器判断所述待检测的基础数据与上一个同步周期的基础数据是否相同之后,还包括:如果判断结果为是,所述服务器确定数据仓库数据正常。优选的,所述服务器判断所述模拟应用数据与所述前一个打分周期的应用数据是否相同之后,还包括:如果判断结果为是,所述服务器确定数据仓库数据正常,并发送包含有用于告知基础数据变化情况、所述模拟应用数据与所述前一个打分周期的应 用数据的通知消息。优选的,所述服务器确定数据仓库数据异常之后,还包括:所述服务器发送数据异常的告警信息。另一方面,本申请实施例还提出了一种服务器,,包括:同步模块,用于根据预设的同步周期,将当前的在线数据同步到数据仓库中,作为待检测的基础数据;第一判断模块,用于判断所述同步模块所同步的待检测的基础数据与上一个同步周期的基础数据是否相同;生成模块,用于在所述第一判断模块的判断结果为否时,根据前一个打分周期的处理规则,对所述待检测的基础数据生成模拟应用数据;第二判断模块,用于判断所述生成模块所生成的模拟应用数据与所述前一个打分周期的应用数据是否相同;确定模块,用于在所述第二判断模块的判断结果为否时,确定数据仓库数据异常。优选的,所述第一判断模块,还用于:在在当前的同步周期为当前的打分周期内的第一个同步周期时,使用当前打分周期的第一个同步周期的待检测的基础数据与上一个打分周期的最后一个同步周期的基础数据进行对比,判断两者是否相同。优选的,所述确定模块,还用于:在所述第一判断模块的判断结果为是时,确定数据仓库数据正常。优选的,所述确定模块,还用于:在所述第二判断模块的判断结果为是时,确定数据仓库数据正常,并发送包含有用于告知基础数据变化情况、所述模拟应用数据与所述前一个打分周期的应用数据的通知消息。优选的,所述确定模块,还用于:在确定数据仓库数据异常之后,发送数据异常的告警信息。与现有技术相比,本申请实施例所提出的技术方案具有以下技术进步:通过应用本申请实施例所提出的技术方案,服务器将当前的在线数据同 步到数据仓库中作为待检测的基础数据,与之前的离线数据进行对比,并在基础数据出现变化的情况下,按照之前的处理规则生成模拟应用数据,进一步通过与之前的应用数据进行对比,来确定数据是否异常,从而,服务器可以对数据异常进行预判,而待检测的基础数据和模拟应用数据均为预生成的数据,可以有效的避免由于发现数据异常的滞后性而引起的不可挽回的损失,同时还节省了对异常数据进行修复时而产生的不必要的成本。附图说明为了更清楚地说明本申请或现有技术中的技术方案,下面将对本申请或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本申请实施例所提出的一种数据仓库数据异常的预检测方法流程图;图2为本申请实施例所提出的一种具体应用场景下的数据仓库数据异常的预检测方法流程图;图3为本申请实施例所提出的一种服务器的结构示意图。具体实施方式下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的其他实施例,都属于本申请保护的范围。本申请实施例提出了一种数据仓库数据异常的预检测方法,其流程示意图如图1所示,该方法包括以下步骤:步骤S101,服务器根据预设的同步周期,将当前的在线数据...
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1