一种数据监控方法
【技术领域】
[0001]本发明涉及数据监控技术领域。
【背景技术】
[0002]随着公安信息化工程的不断建设，以及实际应用的成效表明，数据质量至关重要。
[0003]众所周知，信息资源是开展信息化侦查最为重要的支撑条件。但是目前公安网系统里所存储的信息资源质量并不高，公安网上的犯罪信息良莠不齐，质量高的和质量低的并存。
[0004]简而言之就是信息污染较严重，即信息资源混入了干扰性、欺骗性和误导性的信息。虽然近几年公安信息化建设取得了很大进步，各地区各警种均建立各种各样的信息系统，公安工作的基础数据也在日益完善。如:常(暂)住人口信息，机动车信息，各种证照信息，旅馆业信息，以及刑侦部门收集的大量案件、人员、物品信息等。所有这些，都为信息资源的利用奠定了坚实的基础。但是，在工作中也发现大量虚假、夸大、重复、和过时的无用信息，这些垃圾信息与有效信息混杂在一起，降低了网络信息资源的可靠性和对有效信息的判断，严重影响了民警对有效信息的吸收和利用。民警为了获得有用信息，不得不花大量的时间去阅读那些无关的信息，容易导致无功而返。
[0005]主要表现如下:
[0006]1、数据录入随意性大，应采必采、当录必录的要求不严，致使缺项多、差错多。
[0007]以案件信息为例，案件信息的不报、漏报、错报问题就十分突出。如有一个抓如实立案的典型单位，一年间补立年前案件和隐漏案件就多达1000多起。
[0008]2、不严格遵循数据标准规范，或标准修订滞后，给跨地区、跨系统数据整合、清理带来很多困难，大量信息冗余。
[0009]目前，随着各单位各部门之间都开发了一些专业软件系统。但由于不严格遵循数据标准规范，数据共享性差，数据格式不同，重复和多余现象经常出现。在跨系统数据整合时会产生大量的信息冗余，这些多余重复的无用信息，非但不能给人们以新的认识，反而还成为人们认识领域的障碍，给信息的甄别带来困难，让民警在分析研判时无从着手。
[0010]3、缺乏责任机制确保数据质量的约束机制和激励机制尚不健全。
[0011]特别是前几年，“各级加快推进信息化建设，经常组织开展集中突击式的信息资源采集，在短时间内完成海量数据的采集录入，但由于部分民警的信息化应用技能较低、培训学习不够，又缺乏科学合理的约束机制、考核标准来保证信息采集的质量和信息录入的规范化，致使部分单位和个人片面追求考核指标中的数据数量指标，忽视数据质量，甚至采取一些投机取巧的办法加大数据量，在系统中录入了大量的垃圾信息；少数单位仍然存在辅警或聘用人员录入数据的情况，也可能造成录入数据与原始数据有所偏差”。
【发明内容】
[0012]为了克服现有技术的不足，本发明的目的在于提供一种数据监控方法，对多个数据库之间的数据表及其数据进行关联监控，通过具体的监控规则达到监控数据是否异常的目的，并且能在监控报告中直观地查看监控结果和是否有异常告警信息。
[0013]为解决上述问题，本发明所采用的技术方案如下:
[0014]一种数据监控方法，包括以下步骤:
[0015]步骤A:分别与多个数据库建立连接，以读取数据库中的数据表和数据表中的数据；
[0016]步骤B:根据监控任务中的监控规则对数据库中的数据表及其数据表中的数据进行监控；
[0017]步骤C:完成监控任务后，输出监控报告。
[0018]进一步地，监控任务的设置步骤如下:
[0019]接收针对数据表中的字段设置监控规则的请求；
[0020]将被选择的字段与被选择的监控规则进行绑定；
[0021]针对绑定后的字段和监控规则生成监控任务；
[0022]其中，监控规则包括同表自查规则、同表联查规则和异表联查规则中的一种或多种，同表自查规则为对数据表中当前被选定的字段中的数据进行监控，同表联查规则为对同一数据表中被选定的多个字段中的数据之间的关系进行监控，异表联查规则为对当前数据表中被选定的字段中的数据与另一数据表中被选定的字段中的数据之间的关系进行监控。
[0023]进一步地，将被选择的字段与被选择的监控规则进行绑定的步骤如下:
[0024]将被选择的监控规则中的sql语句转换为相应的文字描述语句，并将文字描述语句中的参数设为可调参数，参数为字段名；
[0025]接收设置可调参数的请求；
[0026]将被选择的可调参数中的内容设为被选择的字段名；
[0027]将经过设置可调参数的文字描述语句再转换为相应的sql语句。
[0028]进一步地，监控任务的设置步骤如下:
[0029]接收针对两个数据表设置监控规则的请求，监控规则为对两个数据表之间的数据量一致性进行监控；
[0030]将两个被选择的数据表进行绑定，两个被选择的数据表位于同一数据库或者位于不同数据库；
[0031 ] 针对绑定后的两个数据表生成监控任务。
[0032]进一步地，监控任务的设置步骤如下:
[0033]接收针对单个数据表设置监控规则的请求，监控规则为对数据表的数据增量进行监控；
[0034]根据监控规则中所设置的阈值生成监控任务。
[0035]进一步地，在步骤B中，监控任务中包括监控任务执行频率设置、监控任务执行次数设置和监控任务执行时间设置；在步骤C中，每完成一次监控任务，便输出一份监控报生口 ο
[0036]进一步地，将步骤B中的监控规则标记为告警规则，当该监控规则所对应的数据表或者数据不满足该监控规则，则在步骤C的监控报告中生成相应的告警信息。
[0037]进一步地，在步骤C之后还包括以下步骤:
[0038]步骤D:根据告警信息所对应的数据表读取该数据表的负责人的联系信息，利用联系信息向负责人发送告警信息。
[0039]进一步地，与数据库建立连接的步骤如下:
[0040]读取由用户填入的数据库连接信息；
[0041]根据数据库类型读取相应的驱动包；
[0042]利用数据库连接信息和读取的驱动包向对应的数据库发起连接；
[0043]若连接失败，则返回连接错误信息；
[0044]若连接成功，则读取该数据库中的表结构信息。
[0045]进一步地，数据库连接信息包括:数据库URL、数据库用户名和数据库密码。
[0046]相比现有技术，本发明的有益效果在于:1、支持多种类型的数据库连接，通过注册的方式将所需的数据表及其数据纳入监控范围内。2、提供三种类型的数据监控规则，分别为同表自查规则、同表联查规则和异表联查规则，通过三种规则可将所有数据库中的数据表的字段进行关联监控，使监控范围最大化。3、针对三种类型的数据监控规则设定了大量的预设监控规则，覆盖了常见的数据完整性、一致性、有效性、唯一性和关联性问题，同时也提供了自定义监控规则的方式供用户根据业务的需求进行规则的扩充和更新。4、除了针对字段的监控规则，还设有数据表之间的数据量一致性的监控规则，以及数据表的数据增量异常的监控规则。5、对于生成的监控任务可以根据实际业务需求对任务的执行频率、执行次数、执行开始时间和执行结束时间等常规设置项进行设置。6、对于被标记为告警规则的监控规则，在输出监控报告时也输出相应的告警信息，并且通过告警信息可读取问题数据源头，还可以将告警信息发送至相关的负责人，以提醒负责人核查问题数据。
【附图说明】
[0047]图1为本发明的数据监控方法的流程图。
【具体实施方式】
[0048]下面，结合附图以及【具体实施方式】，对本发明做进一步描述:
[0049]本发明的数据监控方法主要针对不同地区的不同公安部门所建立的数据系统中的数据进行关联监控，目前的公安部门所建立的数据系统中的数据均由不同的数据负责人进行录入和管理，会存在数据质量高低不平的情况，其中可能存在一些虚假、重复或者过期数据，这些数据可以理解为垃圾数据，与有效数据混在一起将大大降低数据系统的数据可靠性和有效性，严重影响了有效数据的利用率，或者有些数据并没有录入系统，因此公安人员在办案时，会出现读取不到相关数据的情况，或者需要花大量时间在混杂了垃圾数据的数据库中读取有效数据的过程。因此需要建立一个数据监控系统，利用其中的数据监控方法对多个数据库之间的数据表及其数据进行关联监控，通过具体的监控规则达到监控数据是否异常的目的，并且能在监控报告中