一种确认采集信息的完整程度的方法及系统与流程

本发明实施例涉及数据采集技术领域，具体涉及一种确认采集信息的完整程度的方法及系统。

背景技术：

随着运营商网络的演进和网络环境的日益复杂，以及海量的待采集数据，给数据采集的工作带来了巨大的挑战。

网络的状况决定着数据采集的质量，在某一时刻，采集不到数据是正常的，而管理人员在查看报表的时候，需要知道这张报表的数据是否完整及完整的程度，但是目前尚没有行之有效的确认数据采集完整程度的方法。

因此，如何准确确认数据采集的完整程度，成为亟须解决的问题。

技术实现要素：

针对现有技术存在的问题，本发明实施例提供一种确认采集信息的完整程度的方法及系统。

第一方面，本发明实施例提供一种确认采集信息的完整程度的方法，所述方法包括：

获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；

若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

第二方面，本发明实施例提供一种确认采集信息的完整程度的系统，所述系统包括：

获取模块，用于获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；

确认模块，用于若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

第三方面，本发明实施例提供另一种确认采集信息的完整程度的系统，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：

获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；

若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：

所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：

获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；

若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

本发明实施例提供的确认采集信息的完整程度的方法及系统，能够准确确认数据采集的完整程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例确认采集信息的完整程度的方法流程示意图；

图2为本发明实施例确认采集信息的完整程度的系统结构示意图；

图3为本发明实施例提供的系统实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例确认采集信息的完整程度的方法流程示意图，如图1所示，本发明实施例提供的一种确认采集信息的完整程度的方法，包括以下步骤：

s1：获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息。

具体的，系统获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息。系统可以包括至少一个网元，网元可以预先配置有要采集的指定信息，网元可以选用准同步数字系列(简称pdh)设备，但不作具体限定，缺失信息可以理解为采集失败的指定信息，可以是将被采集设备反馈给系统的采集失败的采集信息作为缺失信息，相应的，采集失败时刻对应的时间为缺失信息对应的时间，举例对网元预先配置有要采集的指定信息说明如下：系统包括a1、a2、a3三个网元，a1预先配置要采集a类型的信息(指定信息a)、a2预先配置要采集b类型的信息(指定信息b)、a3预先配置要采集c类型的信息(指定信息c)。指定信息可以根据信息的类型来确定，但不作具体限定。

s2：若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

具体的，系统若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。系统可以理解为负责执行信息采集任务的后台，采集信息的查询指令可以由前台发送，查询条件可以包括待查询的网元、查询的起始时间和终止时间(对应起止时间)，采集信息的完整程度可以由采集信息的完整程度参数来表示。查询条件针对的是已经完成信息采集的网元(即不包括正在进行信息采集的网元)。详细举例说明如下：前台发送的查询指令的查询条件是：2016年10月1日的22点-23点之间(起止时间)对网元a1、a2、a3三个网元(待查询的网元)进行查询，a1在22点-23点之间的缺失信息为d11、d12、d13；a2在22点-23点之间的缺失信息为d21、d22；a3在22点-23点之间的缺失信息为d31、d32、d33；(其它网元、以及不在2016年10月1日的22点-23点之间的缺失信息不在查询条件内)，将满足该查询条件的缺失信息数据作为第一缺失信息数量(d11、d12、d13、d21、d22、d31、d32、d33，共计8个)。需要说明的是：网元采集指定信息按照预设时间间隔采集每个指定信息，该预设时间间隔可以根据实际情况自主设置，这里将预设时间间隔举例为1秒，因此可以计算出a1在2016年10月1日的22点-23点之间采集的指定信息数量为3600个(1小时＝3600秒，每秒采集1个指定信息)、同理a2、a3分别采集的指定信息数量也为3600个，从而待查询的网元a1、a2、a3在2016年10月1日的22点-23点之间所要采集的指定信息总数量为3600*3＝10800个。完整程度参数＝1-第一缺失信息数量/指定信息总数量＝1-8/10800＝99.898％。同理，如果在2016年10月1日的9点-10点之间a1、a2、a3的缺失信息数据为1000个，则对应的完整程度参数＝1-第一缺失信息数量/指定信息总数量＝1-1000/10800＝90.741％，如果完整程度参数预设标准设为95％，则22点-23点之间的待查询的网元a1、a2、a3采集信息的完成程度为好(99.898％)，则9点-10点之间的待查询的网元a1、a2、a3采集信息的完成程度为差(90.741％)。

本发明实施例提供的确认采集信息的完整程度的方法，能够准确确认数据采集的完整程度。

在上述实施例的基础上，所述查询条件包括查询起止时间、待查询的网元，相应的，所述根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度，包括：

根据所述查询起止时间、所述待查询的网元、所述缺失信息的数量及所述缺失信息对应的时间，获取所述待查询的网元在所述查询起止时间内的第一缺失信息数量。

具体的，系统根据所述查询起止时间、所述待查询的网元、所述缺失信息的数量及所述缺失信息对应的时间，获取所述待查询的网元在所述查询起止时间内的第一缺失信息数量。可参照上述实施例，不再赘述。

根据所述查询起止时间、所述待查询的网元的数量和采集所述指定信息的预设时间间隔，计算所述待查询的网元在所述查询起止时间内所采集的指定信息总数量。

具体的，系统根据所述查询起止时间、所述待查询的网元的数量和采集所述指定信息的预设时间间隔，计算所述待查询的网元在所述查询起止时间内所采集的指定信息总数量。可参照上述实施例，不再赘述。

根据所述指定信息总数量和所述第一缺失信息数量，计算表示所述采集信息的完整程度参数，并根据所述完整程度参数确认所述采集信息的完整程度。

具体的，系统根据所述指定信息总数量和所述第一缺失信息数量，计算表示所述采集信息的完整程度参数，并根据所述完整程度参数确认所述采集信息的完整程度。可参照上述实施例，不再赘述。

本发明实施例提供的确认采集信息的完整程度的方法，通过计算采集信息的完整程度参数，能够更加准确确认数据采集的完整程度。

在上述实施例的基础上，所述根据所述指定信息总数量和所述第一缺失信息数量，计算表示所述采集信息的完整程度参数，包括：

根据如下公式计算所述完整程度参数：

完整程度参数＝1-第一缺失信息数量/指定信息总数量。

具体的，系统根据如下公式计算所述完整程度参数：

完整程度参数＝1-第一缺失信息数量/指定信息总数量。可参照上述实施例，不再赘述。

本发明实施例提供的确认采集信息的完整程度的方法，通过公式计算采集信息的完整程度参数，进一步能够更加准确确认数据采集的完整程度。

在上述实施例的基础上，所述获取网元在采集信息过程中的缺失信息及对应的时间步骤之后，所述方法还包括：

将所述缺失信息及对应的时间批量导入数据库表中。

具体的，系统将所述缺失信息及对应的时间批量导入数据库表中。

待批量导入完成后，发送调用指令，以调用数据质量打点程序对所述缺失信息进行质量打点。

具体的，系统待批量导入完成后，发送调用指令，以调用数据质量打点程序对所述缺失信息进行质量打点。调用指令可以通过kafka进行发送，kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。进行质量打点后的信息数据可以大幅提高信息数据被读取的响应速度。

若接收到数据汇总的指令，则终止对所述缺失信息进行质量打点的动作，并对质量打点后的所述缺失信息进行汇总。

具体的，系统若接收到数据汇总的指令，则终止对所述缺失信息进行质量打点的动作，并对质量打点后的所述缺失信息进行汇总。数据汇总的指令可以由系统中的数据处理功能模块发送，当系统中的数据质量打点程序接收到该数据汇总的指令，进行汇总，并录入进包括有网元汇总和缺失信息对应的时间汇总的数据质量打点表中。

若接收到采集信息的查询指令，根据所述查询指令的查询条件、汇总后缺失信息的数量及所述缺失信息对应的时间，确认所述采集信息的完整程度。

具体的，系统若接收到采集信息的查询指令，根据所述查询指令的查询条件、汇总后缺失信息的数量及所述缺失信息对应的时间，确认所述采集信息的完整程度。同理，可参照上述对所述缺失信息的数量及所述缺失信息对应的时间，确认所述采集信息的完整程度方法步骤的说明，不再赘述。

本发明实施例提供的确认采集信息的完整程度的方法，通过先汇总缺失信息，再计算采集信息的完整程度参数，不仅能够准确确认数据采集的完整程度，还能够提高完整程度参数计算的响应速度。

在上述实施例的基础上，所述计算表示所述采集信息的完整程度参数步骤之后，所述方法还包括：

将所述完整程度参数发送至前台显示界面，并根据所述前台显示界面显示的所述完整程度参数，确认所述采集信息的完整程度。

具体的，系统将所述完整程度参数发送至前台显示界面，并根据所述前台显示界面显示的所述完整程度参数，确认所述采集信息的完整程度。由前台显示界面显示完整程度参数，有利于管理员更加直观、方便地确认采集信息的完整程度。

本发明实施例提供的确认采集信息的完整程度的方法，通过由前台显示界面显示完整程度参数，有利于管理员更加直观、方便地确认采集信息的完整程度。

在上述实施例的基础上，所述获取网元在采集信息过程中的缺失信息及对应的时间，包括：

在网元在采集信息过程中，将接收到的被采集设备反馈的采集失败的采集信息作为缺失信息，并将采集失败时刻作为所述缺失信息对应的时间。

具体的，系统在网元在采集信息过程中，将接收到的被采集设备反馈的采集失败的采集信息作为缺失信息，并将采集失败时刻作为所述缺失信息对应的时间。需要说明的：是缺失信息及对应的时间可以是从被采集设备反馈给系统的。

本发明实施例提供的确认采集信息的完整程度的方法，能够有效地获取到缺失信息、以及对应的时间，保证了确认采集信息的完整程度能够顺利进行。

图2为本发明实施例确认采集信息的完整程度的系统结构示意图，如图2所示，本发明实施例提供了一种确认采集信息的完整程度的系统，包括获取模块1和确认模块2，其中：

获取模块1用于获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；确认模块2用于若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

具体的，获取模块1用于获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息，获取模块1将缺失信息及对应的时间发送给确认模块2；确认模块2用于若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

本发明实施例提供的确认采集信息的完整程度的系统，能够准确确认数据采集的完整程度。

在上述实施例的基础上，所述查询条件包括查询起止时间、待查询的网元，相应的，所述确认模块2具体用于：

根据所述查询起止时间、所述待查询的网元、所述缺失信息的数量及所述缺失信息对应的时间，获取所述待查询的网元在所述查询起止时间内的第一缺失信息数量；根据所述查询起止时间、所述待查询的网元的数量和采集所述指定信息的预设时间间隔，计算所述待查询的网元在所述查询起止时间内所采集的指定信息总数量；根据所述指定信息总数量和所述第一缺失信息数量，计算表示所述采集信息的完整程度参数，并根据所述完整程度参数确认所述采集信息的完整程度。

具体的，所述确认模块2具体用于：

根据所述查询起止时间、所述待查询的网元、所述缺失信息的数量及所述缺失信息对应的时间，获取所述待查询的网元在所述查询起止时间内的第一缺失信息数量；根据所述查询起止时间、所述待查询的网元的数量和采集所述指定信息的预设时间间隔，计算所述待查询的网元在所述查询起止时间内所采集的指定信息总数量；根据所述指定信息总数量和所述第一缺失信息数量，计算表示所述采集信息的完整程度参数，并根据所述完整程度参数确认所述采集信息的完整程度。

本发明实施例提供的确认采集信息的完整程度的系统，通过计算采集信息的完整程度参数，能够更加准确确认数据采集的完整程度。

本发明实施例提供的确认采集信息的完整程度的系统具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

图3为本发明实施例提供的系统实体结构示意图，如图3所示，所述系统包括：处理器(processor)301、存储器(memory)302和总线303；

其中，所述处理器301、存储器302通过总线303完成相互间的通信；

所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取网元在采集信息过程中的缺失信息及对应的时间，所述网元预先配置有要采集的指定信息；若接收到采集信息的查询指令，根据所述查询指令的查询条件、所述缺失信息及对应的时间、采集所述指定信息的预设时间间隔，确认所述采集信息的完整程度。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的系统等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。