一种基于互联网平台的数据修正方法、终端设备及介质与流程

文档序号:18163780发布日期:2019-07-13 09:28阅读:172来源:国知局
一种基于互联网平台的数据修正方法、终端设备及介质与流程

本发明属于数据修正技术领域,尤其涉及一种基于互联网平台的数据修正方法、终端设备及计算机可读存储介质。



背景技术:

随着科技发展,越来越多的领域在产品研发或者市场扩展时,都需要借助大数据的采集、处理和分析等。

目前,在对被监控设备进行测试的同时,需要模拟被监控设备的各种工作状态,使得记录的被监控设备的数据中,包括被监控设备工作在异常状态下的数据,例如,被监控设备处于宕机状态等,使得被记录的数据集合无法被直接使用。虽然现有技术中可以通过人工挑选的方式从被监控设备的数据中挑选出正常状态下数据进行数据分析,但是人工挑选数据的方式不仅容易出错,而且降低了数据的样本数量,数据的利用率较低。



技术实现要素:

有鉴于此,本发明实施例提供了一种基于互联网平台的数据修正方法、终端设备及计算机可读存储介质,可以提高数据的利用率。

本发明实施例的第一方面提供了一种基于互联网平台的数据修正方法,包括:

若接收到对被监控设备的异常数据进行修正的指令,则获取所述被监控设备对应的历史参考数据集合;

根据所述历史参考数据集合确定修正参数,并根据所述修正参数对所述异常数据进行修正,得到目标数据;

利用所述目标数据对所述待修正的数据集合中的异常数据进行替换操作,得到修正后的数据集合。

本发明实施例的第二方面提供了一种基于互联网平台的数据修正装置,包括:

第一获取单元,用于若接收到对被监控设备的异常数据进行修正的指令,则获取所述被监控设备对应的历史参考数据集合;

确定与修正单元,用于根据所述历史参考数据集合确定修正参数,并根据所述修正参数对所述异常数据进行修正,得到目标数据;

替换单元,用于利用所述目标数据对所述待修正的数据集合中的异常数据进行替换操作,得到修正后的数据集合。

本发明实施例的第三方面提供了一种终端设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机程序被处理器执行时实现上述第一方案所述方法的步骤。

本发明实施例通过在对被监控设备的异常数据进行修正时,根据被监控设备的历史参考数据集合确定相应的修正参数,进而利用修正参数对异常数据进行修正,并将修正异常数据得到的目标数据与待修正的集合中的异常数据进行替换,得到修正的数据集合,不仅避免了因人工修正数据而造成的数据误差,还提高了数据的利用率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于互联网平台的数据修正方法的实现流程示意图;

图2是本发明另一实施例提供的一种基于互联网平台的数据修正方法的实现流程示意图;

图3是本发明实施例提供的一种基于互联网平台的数据修正装置的结构示意图;

图4是本发明实施例提供的终端设备的示意图。

具体实施方式

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。

参见图1,是本发明实施例提供一种基于互联网平台的数据修正方法的实现流程图,本实施例中,数据修正方法用于对物联网中任一设备的工作数据进行修正,物联网中的设备基于互联网平台实现数据交互,互联网平台可以是配置于服务器和终端上的软件平台,数据修正方法的执行主体可以为存储数据集合的客户端或者服务器,由于数据集合的存储可以是在数据库中,或者其他形式的存储空间中,故针对数据集合的具体存储方式,本实施例中不再赘述。

如图1所示数据修正方法包括:

s11:若接收到对被监控设备的异常数据进行修正的指令,则获取所述被监控设备对应的历史参考数据集合。

在步骤s11中,被监控设备可以是物联网络中通过网络与服务器相连的设备,例如家用电器等。通过在服务器中创建用于存储被监控设备的工作数据的数据库,使得服务器能够记录并存储被监控设备的工作数据。历史参考数据集合中包括被监控设备以往在工作状态中被记录下的正常数据,也即,其中不包括历史异常数据。

在实际应用中,对被监控设备的异常数据进行修正的指令可以通过控制终端触发,或者通过向服务器中配置用于对异常数据进行修正的脚本文件,使服务器能够在固定周期内对数据库中异常数据进行修正。

需要说明的是,被监控设备的异常数据是当被监控设备处于异常工作状态时,由服务器监控到并存储的数据。历史参考数据集合中的数据则为被监控设备在以往的正常工作过程中,被服务器监控到并存储的数据。考虑到不同时段下被监控设备的工作状态可能存在不同,也即被监控设备在以往的正常工作过程中也有可能被服务器记录到相差较大的数据集合,为了提高历史参考数据集合的可用性和合理性,历史参考数据集合与异常数据之间可以为时间关联的数据,也即,服务器记录到的异常数据的发生时机,与服务器记录到的历史参考数据集合中的数据发生的时机相同。

s12:根据所述历史参考数据集合确定修正参数,并根据所述修正参数对所述异常数据进行修正,得到目标数据。

在步骤s12中,修正参数为历史参考数据集合中的最大值数据、最小值数据或者平均值数据。

需要说明的是,由于异常数据为被监控设备工作在异常状态下的数据,因此在对被监控设备的工作状体数据进行分析或者进一步利用时,异常数据则无法被采纳。而在一些特殊的数据分析场景中,为了保证数据的完整性,需要对异常数据进行修正。

以服务器中配置了数据分析工具为例,利用该数据分析工具对被监控设备的数据进行分析,数据分析工具的分析机制规定了只有完整的数据可被采纳,当需要对1分钟内的全部数据进行数据分析时,若在第20秒监控到的数据为异常数据,如果剔除该20秒的数据,则无法保证数据分析的顺利进行,因此需要对异常数据进行修正。

s13:利用所述目标数据对所述待修正的数据集合中的异常数据进行替换操作,得到修正后的数据集合。

在步骤s13中,目标数据为异常数据被修正后的数据,通过将目标数据与待修正的数据集合中的异常数据进行替换操作,可以使得修正后的数据集合中的每个数据均为被监控设备处于正常工作状态下被记录的数据。

在实际中,待修正的数据集合中包括异常数据和非异常数据,且待修正的数据集合中的数据可以为有序数据,也即相邻的两个数据之间存在序列关联因子,例如,时序关联。为了保证修正后的数据集合中的每个数据之间仍然保持原有的序列关联,在对利用目标数据对待修正的数据集合中的异常数据进行替换操作时,仅替换的是数据所表征的数值,原有的数据属性均未替换或变更。

以上可以看出,本发明实施例通过在对被监控设备的异常数据进行修正时,根据被监控设备的历史参考数据集合确定相应的修正参数,进而利用修正参数对异常数据进行修正,并将修正异常数据得到的目标数据与待修正的集合中的异常数据进行替换,得到修正的数据集合,不仅避免了因人工修正数据而造成的数据误差,还提高了数据的利用率。

参见图2,图2是本发明另一实施例提供一种基于互联网平台的数据修正方法的示意流程图。本实施例是在上一实施例的基础上,对若接收到对被监控设备的异常数据进行修正的指令,则获取所述被监控设备对应的历史参考数据集合的步骤之前做进一步地限定。如图2所示,本发明另一实施例提供的数据修正方法还包括:

s21:获取被监控设备的待修正数据集合。

s22:根据预设的异常数据筛选规则从所述待修正数据集合中筛选出异常数据,所述异常数据为所述被监控设备工作在异常状态时被监控到的数据。

在本实施例中,异常数据筛选规则可以是预先配置到服务器中,通过统计被监控设备在异常工作状态下的数据,进而设定相应的异常数据阈值,进而基于该阈值能够从数据集合中筛选出异常数据。

进一步,作为本实施例一种可能实现的方式,步骤s21具体包括:

根据预先设定的检测周期,从目标数据库中获取被监控设备的待修正数据集合;其中,所述目标数据库中的数据用于描述所述被监控设备与所述待修正数据集合之间的对应关系。

在实际应用中,服务器可以对多种被监控设备进行实时监控,针对被监控设备的种类不同,可以在服务器中创建不同的数据库用于存储被监控设备在工作过程中的数据。

需要说明的是,当被监控设备为多种或者多个时,为了避免数据库中的数据混淆,可以将不同类型的被监控设备的数据进行分开存储,也即存储在不同的数据库中,或者是在数据库中进行区分存储,也即在数据库中将被监控设备与待修正数据集合对应存储,使得目标数据库中的数据能够用于描述被监控设备与待修正数据集合之间的对应关系。

本实施例根据预设的异常数据筛选规则从待修正数据集合中筛选出异常数据,无需人工对异常数据进行挑选,避免了异常数据的遗漏,提高了异常数据的筛选效率。

作为本实施例一种可能实现的方式,目标数据库中的数据还用于描述所述被监控设备与其历史数据集合之间的对应关系;步骤s11具体可以包括:

从目标数据库中获取与所述被监控设备对应的历史数据集合,所述历史数据集合中不包括历史异常数据;从所述历史数据集合中筛选出所述被监控设备处于工作状态时的工作状态数据集合;将所述工作状态数据集合识别为所述历史参考数据集合。

需要说明的是,无论被监控设备是否工作,被监控设备相关的数据均会被记录并存储至目标数据库中,也即目标数据库中包括了被监控设备处于未工作状态和工作状态下的所有数据。同时被监控设备的异常工作状态下的数据被记录在异常数据表中,也即历史异常数据被记录在异常数据表中。

为了避免被监控设备在未工作时的数据对修正参数的影响,在获取到与被监控设备对应的历史数据集合后,通过对历史数据集合中的数据进行筛选,得到被监控设备处于工作状态时的工作状态数据集合,将该工作状态数据集合识别为历史参考数据集合,进而提高了修正参数的准确程度。

进一步,作为本实施例一种可能实现的方式,步骤s12具体包括:

测算所述历史参考数据集合的平均值,并将所述平均值识别为修正参数;利用所述修正参数对所述异常数据进行赋值,使得到目标数据。

在本实施例中,将历史参考数据集合的平均值作为修正参数对异常数据进行赋值,也即得到的目标数据对应的数值为历史参考数据集合的平均值。

需要说明的是,由于历史数据集合中不包括历史异常数据,且历史数据集合与异常数据之间存在序列关联关系,因此历史数据集合的平均值能够表征被监控设备在相应工作状态下所产生的正常数据。

作为本实施例一种可能实现的方式,步骤s12之后,还可以包括:

将所述修正参数对应所述被监控设备存储至所述目标数据库中。

若接收到新的异常数据进行修正的指令,则从所述目标数据库中获取所述修正参数;利用所述修正参数对所述新的异常数据进行修正。

在本实施例中,将修正参数对应被监控设备存储至目标数据库中,使得在下次接收到异常数据进行修正的指令,直接调用该修正参数对异常数据进行修正,进而避免再重新计算修正参数,提高了数据修正的效率。

以上可以看出,本发明实施例通过在对被监控设备的异常数据进行修正时,根据被监控设备的历史参考数据集合确定相应的修正参数,进而利用修正参数对异常数据进行修正,并将修正异常数据得到的目标数据与待修正的集合中的异常数据进行替换,得到修正的数据集合,不仅避免了因人工修正数据而造成的数据误差,还提高了数据的利用率。

参见图3,图3是本发明实施例提供的一种基于互联网平台的数据修正装置的示意性框图。本实施例的一种基于互联网平台的数据修正装置30包括的各单元用于执行图2对应的实施例中的各步骤,具体请参阅图2对应的实施例中的相关描述,此处不赘述。本实施例的一种基于互联网平台的数据修正装置30包括:第一获取单元31、确定与修正单元32以及替换单元33。具体地:

第一获取单元31,用于若接收到对被监控设备的异常数据进行修正的指令,则获取所述被监控设备对应的历史参考数据集合。

确定与修正单元32,用于根据所述历史参考数据集合确定修正参数,并根据所述修正参数对所述异常数据进行修正,得到目标数据。

替换单元33,用于利用所述目标数据对所述待修正的数据集合中的异常数据进行替换操作,得到修正后的数据集合。

进一步,基于互联网平台的数据修正装置30还包括:

第二获取单元34,用于获取被监控设备的待修正数据集合。

筛选单元35,用于根据预设的异常数据筛选规则从所述待修正数据集合中筛选出异常数据,所述异常数据为所述被监控设备工作在异常状态时被监控到的数据。

进一步,作为本实施例一种可能实现的方式,第二获取单元34具体用于,根据预先设定的检测周期,从目标数据库中获取被监控设备的待修正数据集合;其中,所述目标数据库中的数据用于描述所述被监控设备与所述待修正数据集合之间的对应关系。

进一步,作为本实施例一种可能实现的方式,所述目标数据库中的数据还用于描述所述被监控设备与其历史数据集合之间的对应关系;第一获取单元31具体用于,从目标数据库中获取与所述被监控设备对应的历史数据集合,所述历史数据集合中不包括历史异常数据;从所述历史数据集合中筛选出所述被监控设备处于工作状态时的工作状态数据集合;将所述工作状态数据集合识别为所述历史参考数据集合。

进一步,作为本实施例一种可能实现的方式,确定与修正单元32具体用于,测算所述历史参考数据集合的平均值,并将所述平均值识别为修正参数;利用所述修正参数对所述异常数据进行赋值,使得到目标数据。

进一步,作为本实施例一种可能实现的方式,基于互联网平台的数据修正装置30还包括:

存储单元,用于将所述修正参数对应所述被监控设备存储至所述目标数据库中。

进一步,作为本实施例一种可能实现的方式,基于互联网平台的数据修正装置30还包括:

接收单元,用于若接收到新的异常数据进行修正的指令,则从所述目标数据库中获取所述修正参数。

修正单元,用于利用所述修正参数对所述新的异常数据进行修正。

参见图4,是本发明另一实施例提供的一种终端设备示意框图。如图所示的本实施例中的终端设备400可以包括:一个或多个处理器401;一个或多个输入设备402,一个或多个输出设备403和存储器404。上述处理器401、输入设备402、输出设备403和存储器404通过总线405连接。存储器404用于存储,计算机程序包括指令,处理器401通过提取存储器404存储的计算机程序执行如下操作:

处理器401用于:若接收到对被监控设备的异常数据进行修正的指令,则获取所述被监控设备对应的历史参考数据集合。

处理器401用于:根据所述历史参考数据集合确定修正参数,并根据所述修正参数对所述异常数据进行修正,得到目标数据。

处理器401用于:利用所述目标数据对所述待修正的数据集合中的异常数据进行替换操作,得到修正后的数据集合。

处理器401还用于:获取被监控设备的待修正数据集合。

处理器401还用于:根据预设的异常数据筛选规则从所述待修正数据集合中筛选出异常数据,所述异常数据为所述被监控设备工作在异常状态时被监控到的数据。

处理器401具体用于:根据预先设定的检测周期,从目标数据库中获取被监控设备的待修正数据集合;其中,所述目标数据库中的数据用于描述所述被监控设备与所述待修正数据集合之间的对应关系。

作为本实施例一种可能实现的方式,所述目标数据库中的数据还用于描述所述被监控设备与其历史数据集合之间的对应关系;处理器401具体用于:从目标数据库中获取与所述被监控设备对应的历史数据集合,所述历史数据集合中不包括历史异常数据;从所述历史数据集合中筛选出所述被监控设备处于工作状态时的工作状态数据集合;将所述工作状态数据集合识别为所述历史参考数据集合。

处理器401具体用于:测算所述历史参考数据集合的平均值,并将所述平均值识别为修正参数;利用所述修正参数对所述异常数据进行赋值,使得到目标数据。

处理器401还用于:将所述修正参数对应所述被监控设备存储至所述目标数据库中。

处理器401还用于:若接收到新的异常数据进行修正的指令,则从所述目标数据库中获取所述修正参数。

处理器401还用于:利用所述修正参数对所述新的异常数据进行修正。

应当理解,在本发明实施例中,所称处理器501可以是中央处理单元(centralprocessingunit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备402可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等,输出设备403可以包括显示器(lcd等)、扬声器等。

该存储器404可以包括只读存储器和随机存取存储器,并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器。例如,存储器404还可以存储设备类型的信息。

具体实现中,本发明实施例中所描述的处理器401、输入设备402、输出设备403可执行本发明实施例提供的一种基于互联网平台的数据修正方法的第一实施例和第二实施例中所描述的实现方式,也可执行本发明实施例所描述的设备的实现方式,在此不再赘述。

在本发明的另一实施例中提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现:

若接收到对被监控设备的异常数据进行修正的指令,则获取所述被监控设备对应的历史参考数据集合;

根据所述历史参考数据集合确定修正参数,并根据所述修正参数对所述异常数据进行修正,得到目标数据;

利用所述目标数据对所述待修正的数据集合中的异常数据进行替换操作,得到修正后的数据集合。

所述计算机程序被处理器执行时还实现:

获取被监控设备的待修正数据集合;

根据预设的异常数据筛选规则从所述待修正数据集合中筛选出异常数据,所述异常数据为所述被监控设备工作在异常状态时被监控到的数据。

所述计算机程序被处理器执行时还实现:

根据预先设定的检测周期,从目标数据库中获取被监控设备的待修正数据集合;其中,所述目标数据库中的数据用于描述所述被监控设备与所述待修正数据集合之间的对应关系。

所述计算机程序被处理器执行时还实现:

从目标数据库中获取与所述被监控设备对应的历史数据集合,所述历史数据集合中不包括历史异常数据;

从所述历史数据集合中筛选出所述被监控设备处于工作状态时的工作状态数据集合;

将所述工作状态数据集合识别为所述历史参考数据集合。

所述计算机程序被处理器执行时还实现:

测算所述历史参考数据集合的平均值,并将所述平均值识别为修正参数;

利用所述修正参数对所述异常数据进行赋值,使得到目标数据。

所述计算机程序被处理器执行时还实现:

将所述修正参数对应所述被监控设备存储至所述目标数据库中。

所述计算机程序被处理器执行时还实现:

若接收到新的异常数据进行修正的指令,则从所述目标数据库中获取所述修正参数;

利用所述修正参数对所述新的异常数据进行修正。

以上可以看出,本发明实施例通过在对被监控设备的异常数据进行修正时,根据被监控设备的历史参考数据集合确定相应的修正参数,进而利用修正参数对异常数据进行修正,并将修正异常数据得到的目标数据与待修正的集合中的异常数据进行替换,得到修正的数据集合,不仅避免了因人工修正数据而造成的数据误差,还提高了数据的利用率。

在对onu进行校准完成之后,根据校准后的属性信息配置注册光信号,进而完成olt对onu的注册,在无需对onu进行手动校准和调试的同时,实现了olt对onu的快速注册,提高了光网络的物理层设备的构建效率。

所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元,例如计算机的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备,例如所述设备上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1