数据监控方法及平台与流程

本公开涉及数据处理技术领域，特别涉及数据监控方法及平台。

背景技术：

在运营商的业务发展过程中，其所积累的数据量和数据种类会越来越多，且各个数据采集源头多需实时采集和处理数据。由于数据量过大且处理流程复杂，如何对数据采集和处理过程进行实时监控，以便及时掌握数据质量并在监控出异常时发出预警成为亟需解决的问题。

应该注意，上面对技术背景的介绍只是为了方便对本公开的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本公开的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

技术实现要素：

本公开旨在至少解决现有技术中存在的技术问题之一，提出了数据监控方法及平台。

第一方面，本公开实施例提供了一种数据监控方法，包括：

采集与业务数据对应的信令数据；

对所述信令数据进行解析以得出所述业务数据的数据文件大小指标、数据文件记录数指标和lac_ci记录数指标；

分别生成所述数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值；

基于所述差异值生成数据质量指标；

当判断出所述数据质量指标小于预设阈值时，发出业务数据异常告警信号。

在一些实施例中，分别生成数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值的步骤具体包括：

根据数据文件大小指标和历史正常数据文件大小指标生成数据文件大小差异值、及根据数据文件记录数指标和历史正常数据文件记录数指标生成数据文件记录数差异值、及根据lac_ci记录数指标和历史正常lac_ci记录数指标生成lac_ci记录数差异值。

在一些实施例中，通过公式生成数据文件大小差异值，其中，δs表示数据文件大小差异值，s表示数据文件大小指标，表示历史正常数据文件大小指标；

通过公式生成数据文件记录数差异值，其中，δr表示数据文件记录数差异值，r表示数据文件记录数指标，表示历史正常数据文件记录数指标；

通过公式生成lac_ci记录数差异值，其中，δk表示lac_ci记录数差异值，k表示lac_ci记录数指标，表示历史正常lac_ci记录数指标。

在一些实施例中，基于差异值生成数据质量指标的步骤具体包括：

根据所述数据文件大小差异值和数据文件记录数差异值生成数据量指标；

根据lac_ci记录数差异值生成数据准确性指标；

对所述数据量指标和数据准确性指标分别加权后求和以生成与所述业务数据对应的数据质量指标；当所述业务数据为该业务所包括的多种业务数据中的一种时，所述数据量指标的加权系数包括所述数据量指标的权重值及所述业务数据对应的预设业务权重值，所述数据准确性指标的加权系数包括所述数据准确性指标的权重值及所述业务数据对应的预设业务权重值。

在一些实施例中，通过公式δq＝ps*δs+pr*δr生成数据量指标，其中，δq表示数据量指标，δs表示数据文件大小差异值，δr表示数据文件记录数差异值，ps表示数据文件大小差异值的权重值，pr表示数据文件记录数差异值的权重值，ps+pr＝1；

通过公式q＝σw*pi*δi生成数据质量指标，其中，q表示数据质量指标，i＝(q,k)，且σpi＝1，δq表示数据量指标，pq表示数据量指标的权重值，δk表示数据准确性指标，pk表示数据准确性指标的权重值，pq+pk＝1，w表示与业务数据对应的预设业务权重值。

在一些实施例中，所述预设阈值为60％。

第二方面，本公开实施例提供了一种数据监控平台，包括：

采集模块，用于采集与业务数据对应的信令数据；

解析模块，用于对所述信令数据进行解析以得出所述业务数据的数据文件大小指标、数据文件记录数指标和lac_ci记录数指标；

生成模块，用于分别生成所述数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值，基于所述差异值生成数据质量指标；

判断模块，用于判断所述数据质量指标是否小于预设阈值；

发出模块，用于当判断出所述数据质量指标小于预设阈值时，发出业务数据异常告警信号。

在一些实施例中，所述生成模块具体用于根据数据文件大小指标和历史正常数据文件大小指标生成数据文件大小差异值、及根据数据文件记录数指标和历史正常数据文件记录数指标生成数据文件记录数差异值、及根据lac_ci记录数指标和历史正常lac_ci记录数指标生成lac_ci记录数差异值。

在一些实施例中，所述生成模块具体用于根据所述数据文件大小差异值和数据文件记录数差异值生成数据量指标，根据lac_ci记录数差异值生成数据准确性指标，对所述数据量指标和数据准确性指标分别加权后求和以生成与所述业务数据对应的数据质量指标，当所述业务数据为该业务所包括的多种业务数据中的一种时，所述数据量指标的加权系数包括所述数据量指标的权重值及所述业务数据对应的预设业务权重值，所述数据准确性指标的加权系数包括所述数据准确性指标的权重值及所述业务数据对应的预设业务权重值。

在一些实施例中，所述生成模块具体用于通过公式δq＝ps*δs+pr*δr生成数据量指标，其中，δq表示数据量指标，δs表示数据文件大小差异值，δr表示数据文件记录数差异值，ps表示数据文件大小差异值的权重值，pr表示数据文件记录数差异值的权重值，ps+pr＝1；通过公式q＝σw*pi*δi生成数据质量指标，其中，q表示数据质量指标，i＝(q,k)，且σpi＝1，δq表示数据量指标，pq表示数据量指标的权重值，δk表示数据准确性指标，pk表示数据准确性指标的权重值，pq+pk＝1，w表示与业务数据对应的预设业务权重值。

本公开具有以下有益效果：

本公开提供的数据监控方法，采集与业务数据对应的信令数据，对信令数据进行解析以得出业务数据的数据文件大小指标、数据文件记录数指标和lac_ci记录数指标，并分别生成数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值，再基于该差异值生成数据质量指标，当判断出数据质量指标小于预设阈值时，发出业务数据异常告警信号。能够对大数据量的运营商业务数据进行实时监控，并根据业务数据的数据质量及时发出预警。

参照后文的说明和附图，详细公开了本公开的特定实施方式，指明了本公开的原理可以被采用的方式。应该理解，本公开的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本公开的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的第一种数据监控方法的流程示意图；

图2为本公开实施例提供的第二种数据监控方法的流程示意图；

图3为本公开实施例提供的数据监控平台的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

本领域技术技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。

图1为本公开实施例提供的第一种数据监控方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤101、采集与业务数据对应的信令数据。

步骤102、对信令数据进行解析以得出业务数据的数据文件大小指标、数据文件记录数指标和lac_ci记录数指标。

步骤103、分别生成数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值。

步骤104、基于差异值生成数据质量指标。

步骤105、判断数据质量指标是否小于预设阈值，若是，执行步骤106；若否，继续执行步骤101。

步骤106、发出业务数据异常告警信号。

本实施例提供的第一种数据监控方法，采集与业务数据对应的信令数据，对信令数据进行解析以得出业务数据的数据文件大小指标、数据文件记录数指标和lac_ci记录数指标，并分别生成数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值，再基于该差异值生成数据质量指标，当判断出数据质量指标小于预设阈值时，发出业务数据异常告警信号。能够对大数据量的运营商业务数据进行实时监控，并根据业务数据的数据质量及时发出预警。

图2为本公开实施例提供的第二种数据监控方法的流程示意图，如图2所示，该方法包括以下步骤：

步骤s1、采集与业务数据对应的信令数据。

优选地，本实施例中的各方法步骤由数据监控平台执行。

本实施例中的业务数据可以为运营商经基站采集的通信业务数据。与业务数据对应的信令数据可用于表征该业务数据的传输状况。

可选地，步骤s1中所采集的信令数据为预设时间段内与业务数据对应的信令数据，预设时间段内与业务数据对应的信令数据可用于表征该业务数据在预设时间段内的传输状况。

步骤s2、对信令数据进行解析以得出业务数据的数据文件大小指标、数据文件记录数指标和lac_ci记录数指标。

数据文件大小指标s用于表示所传输业务数据的大小。数据文件记录数指标r用于表示所传输业务数据的记录数多少。lac_ci记录数指标k用于表示所传输业务数据的lac_ci记录数多少，lac_ci将lac(locationareacode，位置区码)与ci(communityidentity，小区识别)结合以标识所传输业务数据对应的通信位置。

数据文件大小指标s、数据文件记录数指标r和lac_ci记录数指标k能够表征业务数据的传输状况。本实施例通过分析业务数据的传输状况，判断业务数据是否异常，从而实现数据监控。

值得说明的是，用于表征业务数据传输状况的指标可不局限于本实施例中所示出的指标，在实际使用中，还可包括其他能够表征业务数据传输状况的指标。

步骤s3、分别生成数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值。

历史正常指标包括历史正常数据文件大小指标、历史正常数据文件记录数指标和历史正常lac_ci记录数指标。对应地，差异值包括数据文件大小差异值、数据文件记录数差异值和lac_ci记录数差异值。

根据数据文件大小指标s和历史正常数据文件大小指标生成数据文件大小差异值、及根据数据文件记录数指标r和历史正常数据文件记录数指标生成数据文件记录数差异值、及根据lac_ci记录数指标k和历史正常lac_ci记录数指标生成lac_ci记录数差异值。

具体地，通过公式生成数据文件大小差异值，其中，δs表示数据文件大小差异值，s表示数据文件大小指标，表示历史正常数据文件大小指标。通过公式生成数据文件记录数差异值，其中，δr表示数据文件记录数差异值，r表示数据文件记录数指标，表示历史正常数据文件记录数指标。通过公式生成lac_ci记录数差异值，其中，δk表示lac_ci记录数差异值，k表示lac_ci记录数指标，表示历史正常lac_ci记录数指标。

历史正常数据文件大小指标历史正常数据文件记录数指标及历史正常lac_ci记录数指标均根据历史数据分析得出，用于表征业务数据传输状况的正常情况或平均情况。如：在传输状况正常的情况下，传输某业务数据的历史正常数据文件大小指标为3t、历史正常数据文件记录数指标为1400亿条、历史正常lac_ci记录数指标为7000万条。

步骤s4、基于差异值生成数据质量指标。

该步骤s4具体包括以下步骤：

步骤s41、根据数据文件大小差异值和数据文件记录数差异值生成数据量指标。

数据文件大小和数据文件记录数存在关联关系，将数据文件大小差异值与数据文件记录数差异值组合后可用于表征所传输业务数据的数据量，本实施例中通过数据量指标表征所传输业务数据的数据量。

具体地，通过公式δq＝ps*δs+pr*δr生成数据量指标，其中，δq表示数据量指标，δs表示数据文件大小差异值，δr表示数据文件记录数差异值，ps表示数据文件大小差异值的权重值，pr表示数据文件记录数差异值的权重值，ps+pr＝1。ps和pr的具体值可根据实际应用场景取值，以能够准确表征所传输业务数据的数据量为准进行设置。

步骤s42、根据lac_ci记录数差异值生成数据准确性指标。

lac_ci记录数差异值可用于表征所传输业务数据的数据准确性，本实施例中通过数据准确性指标表征所传输业务数据的数据准确性。

步骤s43、对数据量指标和数据准确性指标分别加权后求和以生成与业务数据对应的数据质量指标。

具体地，通过公式q＝σw*pi*δi生成数据质量指标，其中，q表示数据质量指标，i＝(q,k)，且σpi＝1，δq表示数据量指标，pq表示数据量指标的权重值，δk表示数据准确性指标，pk表示数据准确性指标的权重值，pq+pk＝1，w表示与业务数据对应的预设业务权重值。如：pq为0.6，pk为0.4。

本实施例中所述的业务可能包括多种业务数据，在一种可能的情况下，当业务数据为该业务所包括的多种业务数据中的一种时，数据量指标的加权系数包括数据量指标的权重值及业务数据对应的预设业务权重值，数据准确性指标的加权系数包括数据准确性指标的权重值及业务数据对应的预设业务权重值。如：某业务包括各个省份上传的lte\cs\ps三个域的业务数据，其中，lte域的业务数据比重较大，其对该业务的数据质量的影响更大，故在对lte域的业务数据进行数据监控时，预设其业务权重值w为0.4，而在对cs\ps域的业务数据进行数据监控时，预设两者的业务权重值w均为0.15。预设业务权重值的设置，能够依据业务数据对业务的数据质量的不同影响度区别化生成不同的数据质量指标，也即是通过设置优先级的方式生成不同业务数据的不同优先级数据质量指标，不同优先级数据质量指标能够提升数据监控效率。

步骤s5、判断数据质量指标是否小于预设阈值，若是，执行步骤s6；若否，执行步骤s1。

数据质量指标q能够用于反映出当前业务数据的质量，即所传输的业务数据的健康度。例如：数据质量指标q位于0.9-1.0表示业务数据为优质数据，数据质量指标q位于0.7-0.9表示业务数据为良好数据，数据质量指标q位于0.6-0.7表示业务数据为合格数据，数据质量指标q位于0.6以下表示业务数据为不合格数据。

本实施例，预设阈值为60％。当数据质量指标q位于0.6以下时，表示该数据质量指标q表征的业务数据为不合格数据，执行步骤s6。

步骤s6、发出业务数据异常告警信号。

数据异常告警信号用于表征所传输的业务数据异常。

应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本实施例提供的第二种数据监控方法，能够对大数据量的运营商业务数据进行实时监控，通过加权及求和的方式生成数据质量指标，并根据业务数据的数据质量及时发出预警，提升了运营商业务数据的监控效率。

图3为本公开实施例提供的数据监控平台的结构示意图，如图3所示，该平台包括：采集模块11、解析模块12、生成模块13、判断模块14和发出模块15。

采集模块11用于采集与业务数据对应的信令数据。解析模块12用于对所述信令数据进行解析以得出所述业务数据的数据文件大小指标、数据文件记录数指标和lac_ci记录数指标。生成模块13用于分别生成所述数据文件大小指标、数据文件记录数指标和lac_ci记录数指标与历史正常指标间的差异值，基于所述差异值生成数据质量指标。判断模块14用于判断所述数据质量指标是否小于预设阈值。发出模块15用于当判断出所述数据质量指标小于预设阈值时，发出业务数据异常告警信号。

进一步地，所述生成模块13具体用于根据数据文件大小指标和历史正常数据文件大小指标生成数据文件大小差异值、及根据数据文件记录数指标和历史正常数据文件记录数指标生成数据文件记录数差异值、及根据lac_ci记录数指标和历史正常lac_ci记录数指标生成lac_ci记录数差异值。

进一步地，所述生成模块13具体用于根据所述数据文件大小差异值和数据文件记录数差异值生成数据量指标，根据lac_ci记录数差异值生成数据准确性指标，对所述数据量指标和数据准确性指标分别加权后求和以生成与所述业务数据对应的数据质量指标，当所述业务数据为该业务所包括的多种业务数据中的一种时，所述数据量指标的加权系数包括所述数据量指标的权重值及所述业务数据对应的预设业务权重值，所述数据准确性指标的加权系数包括所述数据准确性指标的权重值及所述业务数据对应的预设业务权重值。

进一步地，所述生成模块13具体用于通过公式δq＝ps*δs+pr*δr生成数据量指标，其中，δq表示数据量指标，δs表示数据文件大小差异值，δr表示数据文件记录数差异值，ps表示数据文件大小差异值的权重值，pr表示数据文件记录数差异值的权重值，ps+pr＝1；通过公式q＝σw*pi*δi生成数据质量指标，其中，q表示数据质量指标，i＝(q,k)，且σpi＝1，δq表示数据量指标，pq表示数据量指标的权重值，δk表示数据准确性指标，pk表示数据准确性指标的权重值，pq+pk＝1，w表示与业务数据对应的预设业务权重值。

本实施例提供的数据监控平台可用于实施本实施例提供的数据监控方法。

本实施例提供的数据监控平台，能够对大数据量的运营商业务数据进行实时监控，并根据业务数据的数据质量及时发出预警。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本公开中应用了具体实施例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。