本发明涉及通信领域，具体而言，涉及一种数据处理方法及装置。
背景技术：
在过去的几年中，智能电表集抄技术快速发展，集抄系统(advancedmeteringinfrastructure，简称为ami)变得越来越普遍，在各个电力行业的公司都得到了大规模的应用。由于电网的通讯环境复杂多变，电表的工作环境恶劣，信号传输的可靠性差，导致数据的采集准确性，传输的可靠性都受到较大的冲击，从而在ami智能电表集抄系统所获得的海量终端数据，或多或少存在一些不确定性和不准确性。
目前对于ami集抄数据的分析与校正，主要有以下几种方法：
(1)人工检查及人工复查：由人工将从各个电表采集上来的进行检查分析，发现有跳变，异常的数据，人工进行修正。这种方法造成需要投入大量人力处理，费时费力。
(2)异常忽略：对于采集到的异常数据，采用忽略法，直接跳过。这种方法比较简单，但各种分析数据，增量数据都会出现缺失现象。
(3)固定插值法：策略固定，按照一定的计算规则插值计算。
以上这些方法，都有很大的缺点，就是人力成本高，或者对异常数据的处理策略是固定的，无法根据不同的情况进行适应性的变化。例如对于电表止数，如果出现异常，无法引入近期的天气、其他用户的用电量因数等数据，进行综合的智能修正。
针对相关技术中，无法对ami采集的数据进行有效的检测和校正的问题，还未提出有效的解决方案。
技术实现要素：
本发明提供了一种数据处理方法及装置，以至少解决相关技术中无法对ami采集的数据进行有效的检测和校正的问题。
根据本发明的一个方面，提供了一种数据处理方法，包括：从集抄系统ami的电表中获取数据；获取所述数据对应的预定检测动作；根据所述预定检测动作，检测所述数据是否正确。
可选地，还包括：在所述数据中缺少指定数据的情况下，获取所述指定数据对应的预定估算动作；根据所述预定估算动作对所述指定数据进行估算。
可选地，获取所述预定检测动作或者所述预定估算动作包括：从预先配置的校正(validation,estimationandediting，简称为vee)组中获取所述预定检测动作或者所述预定估算动作；其中，所述预先配置的校正vee组为所述电表所属的校正vee组。
可选地，根据所述预定检测动作，检测所述数据是否正确包括：判断所述数据的取值是否属于预定取值范围，在判断结果为是的情况下，所述数据为正确值，在判断结果为否的情况下，所述数据为错误值；或者，在所述数据包含小时冻结数据、日冻结数据和月冻结数据中至少之二时，根据所述数据中包含的两种或者三种数据判断所述数据是否正确。
可选地，根据所述预定估算动作对所述指定数据进行估算包括：根据固定值估算所述指定数据；或者，根据与所述指定数据对应的最后一次有效值，估算所述指定数据；或者，根据所述指定数据的前一个数据和所述指定数据的后一个数据，估算所述指定数据；或者，根据所述数据中包含的第一数据与第二数据的差值，估算所述指定数据。
可选地，根据所述预定检测动作，检测所述数据是否正确之后包括：对于检测结果为错误的数据进行编辑；和/或，根据所述预定估算动作对所述指定数据进行估算之后包括：根据估算结果对所述指定数据进行编辑。
根据本发明的另一个方面，还提供了一种数据处理装置，所述装置包括：第一获取模块，用于从集抄系统ami的电表中获取数据；第二获取模块，用于获取所述数据对应的预定检测动作；检测模块，用于根据所述预定检测动作，检测所述数据是否正确。
可选地，所述装置还包括：第三获取模块，用于在所述数据中缺少指定数据的情况下，获取所述指定数据对应的预定估算动作；估算模块，用于根据所述预定估算动作对所述指定数据进行估算。
可选地，所述第二获取模块还用于从预先配置的校正vee组中获取所述预定检测动作；或者所述第三获取模块还用于从预先配置的校正vee组中获取所述预定估算动作；其中，所述预先配置的校正vee组为所述电表所属的校正vee组。
可选地，所述检测模块还包括：第一检测单元，用于判断所述数据的取值是否属于预定取值范围，在判断结果为是的情况下，所述数据为正确值，在判断结果为否的情况下，所述数据为错误值；或者，第二检测单元，用于在所述数据包含小时冻结数据、日冻结数据和月冻结数据中至少之二时，根据所述数据中包含的两种或者三种数据判断所述数据是否正确。
可选地，所述估算模块还包括：第一估算单元，用于根据固定值估算所述指定数据；或者，第二估算单元，用于根据与所述指定数据对应的最后一次有效值，估算所述指定数据；或者，第三估算单元，用于根据所述指定数据的前一个数据和所述指定数据的后一个数据，估算所述指定数据；或者，第四估算单元，用于根据所述数据中包含的第一 数据与第二数据的差值，估算所述指定数据。
可选地，所述装置还包括：第一编辑模块，用于对于检测结果为错误的数据进行编辑；和/或，第二编辑模块，用于根据估算结果对所述指定数据进行编辑。
通过本发明，采用从集抄系统ami的电表中获取数据；获取数据对应的预定检测动作；根据预定检测动作，检测数据是否正确。解决了相关技术中无法对ami采集的数据进行有效的检测和校正的问题，进而实现了对从电表读取来的数据进行检测，估算，编辑，保证了系统数据的正确性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的数据处理方法的流程图；
图2是根据本发明实施例的数据处理装置的结构框图；
图3是根据本发明实施例的数据处理装置的结构框图(一)；
图4是根据本发明实施例的数据处理装置的结构框图(二)；
图5是根据本发明实施例的数据处理装置的结构框图(三)；
图6是根据本发明实施例的数据处理装置的结构框图(四)；
图7是根据本发明实施例的vee策略组和动作示意图；
图8是根据本发明实施例的vee检测动作示意图；
图9是根据本发明实施例的vee评估动作示意图；
图10是根据本发明实施例的vee管理员权限图；
图11是根据本发明实施例的vee简单消息处理流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本实施例中提供了一种数据处理方法，图1是根据本发明实施例的数据处理方法的流程图，如图1所示，该流程包括如下步骤：
步骤s102，从集抄系统ami的电表中获取数据；
步骤s104，获取上述数据对应的预定检测动作；
步骤s106，根据预定检测动作，检测上述数据是否正确。
通过上述步骤，根据从集抄系统ami的电表中获取的数据所对应的预定检测动作，对上述数据进行检测，根据检测结果对上述数据的正确性进行判断，相比于现有技术中，通过人工检查、异常忽略或者固定差值对ami集抄数据进行分析与校正导致人力成本高，或者对异常数据的处理策略是固定的，无法根据不同的情况进行适应性的变化，上述步骤解决了相关技术中无法对ami采集的数据进行有效的检测和校正的问题，进而实现了对从电表读取来的数据进行检测，估算，编辑，保证了系统数据的正确性。
在一个可选实施例中，在上述数据中缺少指定数据的情况下，获取该指定数据对应的预定估算动作，根据预定估算动作对指定数据进行估算。从而后续可以对缺少的指定数据进行补充。
上述步骤s104涉及获取预定检测动作，需要说明的是，可以通过多种方式获取预定检测动作，下面对此进行举例说明。在一个可选实施例中，从预先配置的校正vee组中获取预定检测动作，其中，预先配置的校正vee组为上述电表所属的校正vee组。
上述步骤还涉及到获取预定估算动作，需要说明的是，可以通过多种方式获取预定检测动作，下面对此进行举例说明。在一个可选实施例中，从预先配置的校正vee组中获取预定估算动作；其中，预先配置的校正vee组为上述电表所属的校正vee组。
上述步骤s106涉及到根据预定检测动作，检测上述数据是否正确。在一个可选实施例中，判断上述数据的取值是否属于预定取值范围，在判断结果为是的情况下，上述数据为正确值，在判断结果为否的情况下，上述数据为错误值。在另一个可选实施例中，在上述数据包含小时冻结数据、日冻结数据和月冻结数据中至少之二时，根据上述数据中包含的两种或者三种数据判断上述数据是否正确。从而得到了上述数据正确与否的检测结果。
上述步骤中还涉及到根据预定估算动作对指定数据进行估算，需要说明的是，根据预定估算动作对指定数据进行估算的方式可以有很多种，下面对此进行举例说明。在一个可选实施例中，可以根据固定值估算指定数据。在另一个可选实施例中，可以根据与指定数据对应的最后一次有效值，估算指定数据，例如：对于缺失部分的值，采用最后一次有效的值填写。对于部分数据有效，例如日冻结的有功度数，缺失情况下，可采用该方法完成。在再一个可选实施例中，可以根据指定数据的前一个数据和该指定数据的后一个数据，估算指定数据，例如：根据前后一次数据取法，对于集抄的缺失点的能量值设置为e，缺失时间为t。取缺失点的前一次成功数据p1，对应能量值为ep1,时间为tp1.取缺失点后一次成功的数据p2，对应能量值为ep2,时间为tp2.缺失点的能量值由如下公式得出e＝ep1+(ep2-ep1)(t-tp1)/(tp2-tp1)。或者，在再一个可选实施例中，还可以根据上述数据中包含的第一数据与第二数据的差值，估算指定数据，例如： 根据相近级别能量值数据进行计算，假设缺失集抄点的能量值缺失为e，时间为t日缺失。当得到月能量值数据后，进行差额计算，可以得出当日e值。求和日冻结e＝月冻结e。也可以根据求和e小时冻结＝e日冻结。
对ami集抄数据进行分析的目的在于对错误的数据或者缺少的数据进行校正。在一个可选实施例中，在根据预定检测动作，检测所述数据是否正确之后，对于检测结果为错误的数据进行编辑。在另一个可选实施例中，根据预定估算动作对该指定数据进行估算之后，根据估算结果对指定数据进行编辑。从而保证ami集抄数据的正确性。
在本实施例中还提供了一种数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的数据处理装置的结构框图，如图2所示，该装置包括：第一获取模块22，用于从集抄系统ami的电表中获取数据；第二获取模块24，用于获取该数据对应的预定检测动作；检测模块26，用于根据预定检测动作，检测该数据是否正确。
图3是根据本发明实施例的数据处理装置的结构框图(一)，如图3所示，该装置除包括图2所示的所有模块外，还包括：第三获取模块32，用于在该数据中缺少指定数据的情况下，获取指定数据对应的预定估算动作；估算模块34，用于根据预定估算动作对指定数据进行估算。
可选地，第二获取模块24还用于从预先配置的校正vee组中获取预定检测动作；或者第三获取模块32还用于从预先配置的校正vee组中获取该预定估算动作；其中，预先配置的校正vee组为电表所属的校正vee组。
图4是根据本发明实施例的数据处理装置的结构框图(二)，如图4所示，检测模块26还包括：第一检测单元262，用于判断该数据的取值是否属于预定取值范围，在判断结果为是的情况下，该数据为正确值，在判断结果为否的情况下，该数据为错误值；或者，第二检测单元264，用于在该数据包含小时冻结数据、日冻结数据和月冻结数据中至少之二时，根据该数据中包含的两种或者三种数据判断该数据是否正确。
图5是根据本发明实施例的数据处理装置的结构框图(三)，估算模块34还包括：第一估算单元342，用于根据固定值估算指定数据；或者，第二估算单元344，用于根据与该指定数据对应的最后一次有效值，估算指定数据；或者，第三估算单元346，用于根据该指定数据的前一个数据和该指定数据的后一个数据，估算指定数据；或者，第四估算单元348，用于根据该数据中包含的第一数据与第二数据的差值，估算指定数据。
图6是根据本发明实施例的数据处理装置的结构框图(四)，如图6所示，该装置 还包括：第一编辑模块62，用于对于检测结果为错误的数据进行编辑；和/或，第二编辑模块64，用于根据估算结果对该指定数据进行编辑。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述各个模块均位于同一处理器中；或者，上述各个模块分别位于第一处理器、第二处理器和第三处理器…中。
针对相关技术中存在的上述问题，下面结合具体的可选实施例进行说明。
ami主要由智能电表(smartmeter)、通讯系统与设备、电表信息管理系统(meterdatabasemanagementsystem，简称为mdms)所组成。
智能电表是当今全球的趋势，所以本发明实施例随着智能电表的越来越多的市场运用，要求更好的智能化的今天，有着很好的市场前景。
本发明实施例的目的是提供一种基于ami的数据检测，估算，编辑功能系统。
本发明实施例所述的在功能的检测，估算，编辑功能描述如下：
(1)检测：ami系统从电表读取了数据，会根据读取的不同数据，进行相应的检测来判断数据的正确与否。例如一个简单的检测判定就是对电表有功电度读取，电表上报的是电表读数，每个月读取的读数，应该大于等于上个月的读数，如果不是就认为数据是有错误的。
(2)估算：ami系统会读取电表的小时数据，日冻结数据，月冻结数据,ami系统都从智能电表上读取相应的数据。这样可能就会出现某个时间，或者某次读取失败的情况。如果缺失数据全部都进行人力每个处理，消耗人力巨大，即提供一种可估算的方式来完成缺失数据的填写。例如一个简单的情况就是，某天(简称a天)24小时读取数据有功度读数缺失了某个小时的读数。这样就可以根据读取到的a天的日冻结数据，计算出该小时的读数，进行填写到数据存储。
(3)编辑：ami系统的管理员直接对存储的数据进行人工干预修改，管理员将数据在存储修改后，直接进行展示出来。例如对于某些不支持集抄的表需要人工完成读取升级的表，就采用人工方式进行更正。
本发明实施例所提出了一种基于ami系统的数据检测与校正系统实现。通过这个系统，可以检测，估算，编辑从电表读取来的数据，保证系统数据的正确性。
图7是根据本发明实施例的vee策略组和动作示意图，如图7所示，系统由策略分析模块，管理模块，执行模块组成。
本发明的提出的技术实现，是按以下步骤实现的：
a.系统管理员在ami系统的管理模块进行配置vee群组。
ami系统可以配置单个或者多个vee群组，每个vee群组包含单个或者多个智能电表，同时对每个电表设置所属区域。
b.策略分析模块实现对终端上报数据的策略分析。每个vee策略包括多个电表集抄数据的属性，属性包括不限于，a相电压，b相电压，c相电压，a相电流，b相电流，c相电流,频率，总有功功率，a相有功功率，b相有功功率，c相有功功率，总无功功率，a相无功功率，b相无功功率，c相无功功率,总视在功率，a相视在功率,b相视在功率，c相视在功率,总功率因数，a相功率因数，b相功率因数，c相功率因数,正向有功总能量，反向有功总能量,正向无功总能量，反向无功总能量，第一象限无功总电能,第二象限无功总电能，第三象限无功总电能，第四象限无功总电能,当前有功需量，当前无功需量，当前视在需量。
c、执行模块按照vee定义的动作为对检测的属性配置对应的动作执行。图8是根据本发明实施例的vee检测动作示意图，如图8所示，检测动作由如下组成：
1、范围检测：对配置属性的边界值进行检测，查看上报数据是否达到或者超出限制值，超出则认为是错误。例如电压，上报如果为0，则应该认为出现了错误。
2、恒定值间隔：当某个电表持续读取数据，某项数据一直不变，例如一直读取为0.超出一定配置时间仍然读取的值恒定不变后，产生该错误展示给管理员。
3、小时日月数据对比：对于电表读取的小时冻结数据，日冻结数据，月冻结数据。ami系统进行校验，24小时冻结数据相加应该等于日冻结数据，每月的日冻结数据相加应该等于当月的冻结数据。而对于月冻结数据。一个月内从电表即使集抄多次，应该每次都是相同的值。
4、先后数据对比：对于从电表读取的数据，对比两次读取量，判断后面来的数据大于等于前面读取到的数据，例如对于有功度数，后读取的读数，应该是大于等于前一次读数的，当不满足该条件动作的时候，则认为数据发生了错误。
d、vee动作对估算的属性配置对应的动作，图9是根据本发明实施例的vee评估动作示意图，如图9所示，评估动作由如下组成。
1、缺失值填写固定值：即对部分缺失值填写固定，例如电压正常情况下不会变化，如果缺失，可用固定值代替。
2、使用最后一次有效值：对于缺失部分的值，采用最后一次有效的值填写。对于部分数据有效，例如日冻结的有功度数，缺失情况下，可采用该方法完成。
3、均衡间隔时间写入值：根据前后一次数据取法，对于集抄的缺失点的能量值设置为e，缺失时间为t。取缺失点的前一次成功数据p1，对应能量值为ep1,时间为tp1。取缺失点后一次成功的数据p2，对应能量值为ep2,时间为tp2。缺失点的能量值由如下公式得出e＝ep1+(ep2-ep1)(t-tp1)/(tp2-tp1)。
4、填补差值法：根据相近级别能量值数据进行计算，假设缺失集抄点的能量值缺失为e，时间为t日缺失。当得到月能量值数据后，进行差额计算，可以得出当日e值。求和日冻结e＝月冻结e。也可以根据求和e小时冻结＝e日冻结。所以当缺失单一单位时间点时，可以根据前后相近一级级别得出。
e、vee的管理在管理模块中执行。
图10是根据本发明实施例的vee管理员权限图，下面针对图10进行解释。
vee的操作管理员角色具有区域和权限两种特性，vee操作管理员是针对vee采集后数据进行处理的人员。对每一项处理能力，需要对应区域和权限才能处理。当一个管理员所在区域为a时(区域可以使一个地区，也可以是一部分vip高端客户的集合，对于一个电表，只会属于一个区域)，他无法对b区域的智能电表处理。对于权限分为空白电表(此前不属于任何区域的电表)添加到vee组，区域电表添加到vee组，vee策略配置，电表数据读取，失败编辑，估算编辑。也是需要具有相应权限才能处理，例如一个管理员有失败编辑权限，无估算编辑权限。那么对于数据存储中的数据，属于失败的数据才能编辑，对于估算填写的则无法编辑。同样一个具有区域电表添加权限的管理员，假设只具有区域a的添加权限，那么他无法对区域b的电表添加到任何vee属性。
f、一个vee流程。
图11是根据本发明实施例的vee简单消息处理流程图，如图11所示，该流程包括如下步骤：
步骤s1102，获取集抄数据；
步骤s1104，判断电表是否匹配，在判断结果为是的情况下，执行步骤s1106；
步骤s1106，匹配对应的检测策略；
步骤s1108，对数据进行检测；
步骤s1110，将检测失败的数据写入到数据存储器中；
步骤s1112，判断检测失败的数据检测评估动作是否匹配，在判断结果为是的情况下，执行步骤s1114；
步骤s1114，进行匹配估算；
步骤s1116，将估算数据写入到数据存储器中；
步骤s1118，管理员对具有区域和权限的电表进行相应的操作。下面结合一个具体实施例进行说明：
1、一个管理员m1具有权限空白电表添加到vee组，区域电表添加到vee组，vee策略配置，电表读取，失败编辑。
2、m1创建vee组v1，配置检测动作和估算动作。
3、m1将一个空白电表meter1添加到v1，在管理模块中进行管理。
4、当meter1有数据抄送上来的时候，进入策略分析模块，进行查询vee组，查询到属于v1，匹配v1所对应的vee检测动作，看是否满足检测动作，满足则做相应处理。同时对vee估算动作进行匹配，满足匹配条件做对应处理。
5、m1对于检测失败数据和估算填写数据可进行编辑。
综上所述，通过本发明提供了专门用于电力ami的各类采集数据进行分析校正系统，在电表信息管理系统的进行的检测采集数据的合法性，是否错误，用户对采集的电力数据进行智能分析和纠正，避免了出现计费、数据分析差错，减少了各类错误数据的干扰，提升了系统的准确度，估算矫正遗漏的历史，错误数据，提供给管理员编辑数据的权限，让整个系统自动检测的出错，遗漏的数据后，运行在正常的状态下。实现了更为准确合理的ami数据检测与校正。
在另外一个实施例中，还提供了一种软件，该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中，还提供了一种存储介质，该存储介质中存储有上述软件，该存储介质包括但不限于：光盘、软盘、硬盘、可擦写存储器等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。