一种数据监控方法_2

文档序号:8319295阅读:来源:国知局
直观地查看是否有异常告警。
[0050]本发明的方法的基本流程如图1所示,包括以下步骤:
[0051]S1:分别与多个数据库建立连接,以读取数据库中的数据表和数据表中的数据。
[0052]S2:根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
[0053]S3:完成监控任务后,输出监控报告。
[0054]步骤的具体内容在以下的各个实施例中进行描述。
[0055]实施例1:
[0056]一种数据监控方法,包括以下步骤:
[0057]S1:分别与多个数据库建立连接,以读取数据库中的数据表和数据表中的数据。
[0058]进一步地,管理员可对经过注册的数据表的基本信息进行编辑,例如对数据表进行中文描述,选择数据表的类型,是否为字典表等不破坏数据表结构的编辑。对于数据表中的字段,也可编辑字段的描述,即对该字段的含义进行解释。
[0059]S2:根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
[0060]设置监控任务中的监控规则是为了评估数据的精确性、完整性、一致性、有效性、唯一性和关联性等基本指标。监控规则包括同表自查规则、同表联查规则和异表联查规则,同表自查规则为对数据表中当前被选定的字段中的数据进行监控,通过监控同一数据表中单个字段值的数据类型、长度、取值范围等,以发现数据表中的错误数据;同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控,从而得到字段之间完整性约束,一致性约束,以发现数据表中的错误数据;异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控,从而得到不同数据表字段之间完整性约束或者一致性约束,以发现目标数据表中的错误数据。监控规则分为预设监控规则和自定义监控规则,预设监控规则保存于监控规则库中,使用时只需要调用即可,若预设监控规则不能满足监控任务的需求,用户可选择自定义监控规则,自定义监控规则支持sql语句和正则表达式两种规则设置方式,用户根据实际需求设定了监控规则的逻辑后,可通过测试判断该规则是否达到预期的目的。在步骤S2中,设置监控任务包括以下步骤:
[0061]S21:接收针对数据表中的字段设置监控规则的请求。
[0062]S22:将被选择的字段与被选择的监控规则进行绑定。
[0063]S23:针对绑定后的字段和监控规则生成监控任务。
[0064]以用户的角度在设置监控任务时,首先选择数据表,再选择其中的字段,然后选择具体的监控规则与字段进行绑定,便可生成监控任务。其中,同一个字段可以绑定多个监控规则,例如,以身份证字段为例,可以同时绑定多个同表自查规则、同表联查规则和异表联查规则,同表自查规则可以是数据长度检查规则和数据唯一性规则,同表联查规则可以是身份证中的出生日期码与出生日期字段一致性检查规则和身份证中的性别码与性别一致性检查规则,异表联查规则可以是异表身份证重号检查,即针对当前选择的身份证字段中的数据与另一指定的表中的身份证字段中的数据相同而对应的姓名不同的情况进行检查。
[0065]对于被选择的字段与被选择的监控规则进行绑定的步骤如下:
[0066]S221:将被选择的监控规则中的sql语句转换为相应的文字描述语句,并将文字描述语句中的参数设为可调参数,参数为字段名。
[0067]S222:接收设置可调参数的请求。
[0068]S223:将被选择的可调参数中的内容设为被选择的字段名。
[0069]S224:将经过设置可调参数的文字描述语句再转换为相应的sql语句。
[0070]上述绑定的步骤是为了将监控规则转换为让普通用户也能看懂的文字描述语句,即使不懂sql语句也可以对字段进行规则设置,其中,在每条监控规则中都预设有相应的文字描述语句,文字描述语句相当于将sql语句翻译为通俗文字。首先将规则转换为文字描述形式,在文字描述语句中将可以设置的参数设为可调参数。其中,在绑定同表自查规则时,被选择的当前字段为不可调的默认参数;在绑定同表联查规则时,除了当前被选择的当前字段外,还有相应的关联字段,则关联字段则为可调参数,点击可调参数后会列出当前数据表中的所有字段,以供用户选择,选择某一字段后则该可调参数中的内容便设为刚才选择的字段;在绑定异表联查规则时,除了当前被选择的当前字段外,还有相应的关联字段,则关联字段则为可调参数,点击可调参数后会列出所有已注册的数据表中的所有字段,以供用户选择,选择某一字段后则该可调参数中的内容便设为用户选择的字段,用户选择的字段所对应的数据表名也会被选择。经过用户对可调参数进行设置后的文字描述语句再转换为对应的sql语句,实际上是将用户选择的字段填入sql语句中对应的位置,如果用户选择的字段为另一数据表中的字段,则该字段对应的数据表名也填入sql语句中对应的位置。通过上述的监控规则绑定方法,用户可以直观地对监控规则中的相关的字段进行设置,而且通过将sql语句转换为通俗的文字描述语句,降低用户设置监控规则的难度,提高了易用性。
[0071]进一步地,在完成监控规则的参数设置后,会对该监控规则中的参数进行非空检查,若某个参数为空则会提示对应的参数未设置,若全部参数均为非空则完成监控规则的绑定。
[0072]进一步地,除了设置监控规则外,还需要对监控任务进行常规设置,该常规设置与一般的计算机任务相似,包括监控任务执行频率设置、监控任务执行次数设置和监控任务执行时间设置,还可以对监控任务中的监控规则进行启/禁用设置。
[0073]S3:每完成一次监控任务后,便输出一份监控报告。监控报告以列表的形式写在报告列表中,例如,上面针对某一字段的监控任务每天执行一次,则该字段对应的监控报告则以日期先后顺序排列在报告列表中。
[0074]进一步地,在S2中,可将监控规则标记为告警规则,当该监控规则所对应的数据不满足该监控规则时,例如,监控规则是对某字段中的数据进行非空检查,若存在数据为空的情况,则不满足该监控规则,相应地在S3中的监控报告中生成相应的告警信息。用户可以通过点击告警信息查看数据源头。
[0075]S4:根据告警信息所对应的数据表读取该数据表的负责人的联系信息,利用联系信息向负责人发送告警信息。通过该步骤可以将告警信息发送至相关负责人手上,以提醒该负责人处理告警信息所对应的问题。
[0076]实施例2:
[0077]S1:分别与多个数据库建立连接,以读取数据库中的数据表和数据表中的数据。其内容与实施例1中的SI内容相同,不再赘述。
[0078]S2:根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
[0079]该实施例中所设置的监控任务中的监控规则为监控两个数据表之间的数据量一致性,由于在实际情况中,会存在需要将一个数据表中的数据同步至另一数据表的情况,两个数据表可以是在同一数据库中,也可以是在不同数据库中,但是在同步过程中,可能会出现同步重复数据,同步数据不全和丢失等问题,导致两个数据库之间的数据不统一。因此在该步骤中,监控任务的设置包括以下步骤:
[0080]S21:接收针对两个数据表设置监控规则的请求,监控规则为对两个数据表之间的数据量一致性进行监控。
[0081]S22:将两个被选择的数据表进行绑定,两个被选择的数据表位于同一数据库或者位于不同数据库。
[0082]S23:针对绑定后的两个数据表生成监控任务。
[0083]以用户的角度设置上述监控任务时,可以通过选择第一数据库中的第一数据表和第二数据库中的第二数据表,提交后便实现将第一数据表和第二数据表绑定并开始执行监控任务。
[0084]进一步地,除了设置监控规则外,还需要对监控任务进行常规设置,该常规设置与一般的计算机任务相似,包括监控任务执行频率设置、监控任务执行次数设置、监控任务执行时间设置和监控任务结束时间设置等设置中的一种或多种。
[0085]S3:每完成一次监控任务后,便输出一份监控报告。监控报告以列表的形式写在报告列表中,监控报告中可以看出两个数据表各自的数据量。
[0086]实施例3:
[0087]S1:分别与多个数据库建立连接,以读取数据库中的数据表和数据表中的数据。其内容与实施例1中的SI内容相同,不再赘述。
[0088]S2:根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控。
[00
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1