用于电网负荷预测的多元异质数据清洗方法与流程

本发明涉及需求侧负荷管理
技术领域：
，特别涉及一种用于电网负荷预测的多元异质数据清洗方法。
背景技术：
：电力需求侧管理对负荷预测的准确性具有严格的要求。负荷预测的水平作为电力企业管理走向现代化的重要依据，对于电力企业的经营管理工作的作用十分重要。通过负荷预测分析，有助于电力企业掌握电力系统负荷的发展趋势，有效指导电力作业，提前做好应对高负荷的准备工作，进而实现需求侧管理，改善负荷特性与供需矛盾，提高电力系统的运行效率，使用电管理逐步走向市场。负荷预测的准确性与基础数据的质量有直接的关系，而目前的负荷预测方法中，由于收据采集中的问题，导致系统数据中存在一些“坏数据”，如数据重复、数据缺失等，导致数据质量不高，进而导致负荷预测的准确性也不高。技术实现要素：本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种用于电网负荷预测的多元异质数据清洗方法，该方法能够有效提高数据质量，进而提高电网负荷预测的准确性。为了实现上述目的，本发明的实施例提出了一种用于电网负荷预测的多元异质数据清洗方法，包括以下步骤：对多元异质设备的运行数据的分布特性进行分析，以得到有效运行数据；对所述有效运行数据进行数据识别处理，以得到完整的数据源；对所述完整的数据源进行标准化处理，以得到干净的数据源。另外，根据本发明上述实施例的用于电网负荷预测的多元异质数据清洗方法还可以具有如下附加的技术特征：在一些示例中，还包括：用所述干净的数据源替换所述运行数据中的无效数据。在一些示例中，所述对所述多元异质设备的运行数据的分布特性进行分析，进一步包括：对所述多元异质设备的运行数据进行异常检测、缺失值或异常值处理、相似重复记录处理，以剔除所述运行数据中的无效数据。在一些示例中，所述无效数据包括：差异性过大数据、缺失数据和恒定不变数据。在一些示例中，其中，当所述运行数据的离散系数高于预设值时，判定所述运行数据为差异性过大数据。在一些示例中，所述对所述有效运行数据进行数据识别处理，进一步包括：通过最小二乘算法对所述有效运行数据进行平滑处理和缺失值补充，得到完整的数据源。在一些示例中，所述多元异质设备为变压器，所述变压器的运行数据包括：有功功率、无功功率、电流值和电压值。在一些示例中，对所述变压器的有效运行数据进行识别和处理，进一步包括：设定测量量为z，状态变量为x，误差为v，则非线性估计方程为：z＝h(x)+v(1)如果给定测量量的矢量z，则状态变量x是使式(2)的目标函数达到最小的x值，其中，所述目标函数为：J(x)＝[z-h(x)]TR-1[z-h(x)](2)对所述h(x)进行线性化假设。令x0是x的近似值，在x0附近将h(x)进行泰勒展开，忽略二次以上的非线性项之后，得到：h(x)＝h(x0)+H(x0)Δx(3)，其中，Δx＝x-x0；H(X0)是m*n阶测量矢量的雅可比矩阵；将式(3)代入式(2)中，令Δz＝z-h(x0)，得到：J(x)＝[Δz-H(x0)Δx]TR-1[Δz-H(x0)Δx](4)将式(4)展开，并经过配方后得到：J(x)=ΔzT[R-1-R-1H(x0)Σ(x0)HT(x0)R-1]ΔZ+[ΔX-Σ(x0)HT(x0)R-1Δz]TΣ-1(x0)[Δx-Σ(x0)HT(x0)R-1Δz]---(5)]]>其中，∑(x0)＝[HT(x0)R-1H(x0)]-1；如果使J(x)达到极小，则：Δx^=Σ(x0)HT(x0)R-1Δz---(6)]]>由式(6)得到：x^=x0+Δx^=x0+Σ(x0)HT(x0)R-1[z-h(x0)]---(7)]]>其中，x=x^(0),x^(1)...,x^(l),...x0,x^---(8)]]>式(8)中(l)为迭代序号，则式(6)和式(7)可以写成以下的式(9)和式(10)：Δx^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[x-h(x^(l))]---(9)]]>x^(l+1)=x^(l)+[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]---(10)]]>按照式(10)进行迭代修正，直到目标函数接近于最小值为止，采用的收敛判据是以下函数：max|Δx^i(l)|≤ϵx---(11)]]>式(11)中l标识矢量x中分量的序号，式(11)表示第l次迭代计算中状态修正量绝对值最大者小于给定的阈值εx；经过l次迭代满足收敛标准时：Δx^(l)=x^(l+1)-x^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]≈0---(12)]]>此时，即是最优状态估计值而测量量的估计值是在一些示例中，所述对所述完整的数据源进行标准化处理，进一步包括：将所述完整的数据源的属性值转换为统一的格式。在一些示例中，所述预设值为30％。根据本发明实施例的用于电网负荷预测的多元异质数据清洗方法，通过对差异性过大数据、缺失数据和恒定不变数据进行分析，根据电网负荷预测精度需要剔除部分坏数据(无效数据)，对已经通过分析的数据可进行数据识别处理，通过数据平滑算法和缺失值补充方法完成数据识别，得到完整的数据源，对得到的完整的数据源进行数据标准化处理得到干净的数据源，最后实现干净数据的回流。该方法对数据进行清洗，利用清洗后的数据可进行电网负荷预测，因此从数据源头解决数据不准、数据重复、数据缺失等问题，能够有效提高数据质量，进而提高电网负荷预测的准确性。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。附图说明本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1是根据本发明一个实施例的用于电网负荷预测的多元异质数据清洗方法的流程图；图2是根据本发明另一个实施例的用于电网负荷预测的多元异质数据清洗方法的整体流程图。具体实施方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。以下结合附图描述根据本发明实施例的用于电网负荷预测的多元异质数据清洗方法。图1是根据本发明一个实施例的用于电网负荷预测的多元异质数据清洗方法的流程图。图2是根据本发明一个实施例的用于电网负荷预测的多元异质数据清洗方法的整体流程图。如图1所示，并结合图2，该方法包括以下步骤：步骤S1：对多元异质设备的运行数据的分布特性进行分析，以得到有效运行数据。具体地，对多元异质设备的运行数据的分布特性进行分析，进一步包括：对多元异质设备的运行数据进行异常检测、缺失值或异常值处理、相似重复记录处理，以剔除运行数据中的无效数据。其中，无效数据例如包括：差异性过大数据、缺失数据和恒定不变数据。其中，当运行数据的离散系数高于预设值时，判定运行数据为差异性过大数据。更为具体地，预设值例如为30％。换言之，结合图2所示，在步骤S1中，主要是对多元异质设备的运行数据进行异常检测、缺失值或异常值的处理、相似重复记录的处理等。数据分析具体包括：差异性过大数据分析、缺失数据分析和恒定不变数据分析。具体地说，数据分析是提升数据质量的第一步，即数据的分布特性分析，目的在于研究其是否具有统计价值。数据质量的判别主要是依据其离散系数来进行判断。离散系数又称“变异系数”，是衡量各测量值变异程度的另一个统计量。通常，将标准差与平均数的比值称为离散系数或变异系数，例如记为C.V.(CoefficientofVariance)，用公式表示为：C.V＝σ/μ。标准变异系数是一组数据的变异指标与其平均指标之比，它是一个相对变异指标，一般认为当C.V.>30％(预设值)时，数据差异性过大，即判定为差异性过大数据。进一步地，对于差异性过大数据、数据全为零和基本不变化的数据，均判定为无效数据，需要进行剔除。步骤S2：对有效运行数据进行数据识别处理，以得到完整的数据源。具体地，对有效运行数据进行数据识别处理，进一步包括：通过最小二乘算法对有效运行数据进行平滑处理和缺失值补充，以进一步提升数据的质量，进而得到完整的数据源。在一些示例中，多元异质设备例如为变压器，其运行数据包括：有功功率、无功功率、电流值和电压值。则在变压器的负荷预测过程中，对于这些随时间持续变化且具有一定的关联性的数据，可以采用加权最小二乘法进行估计。基于此，对变压器的有效运行数据进行识别和处理，例如包括：以变压器运行数据中的电压值为例，设定测量量为z，状态变量为x，误差为v，则非线性估计方程为：z＝h(x)+v(1)如果给定测量量的矢量z，则状态变量x是使式(2)的目标函数达到最小的x值，其中，目标函数为：J(x)＝[z-h(x)]TR-1[z-h(x)](2)由于h(x)是x的非线性矢量函数，因此无法计算状态量可以采用迭代算法来求解。为了求解首先对h(x)进行线性化假设。令x0是x的某一近似值，在x0附近将h(x)进行泰勒展开，忽略二次以上的非线性项之后，得到：h(x)＝h(x0)+H(x0)Δx(3)，其中，H(X0)是m*n阶测量矢量的雅可比矩阵；将式(3)代入式(2)中，令Δz＝z-h(x0)，得到：J(x)＝[Δz-H(x0)Δx]TR-1[Δz-H(x0)Δx](4)将式(4)展开，并经过配方后得到：J(x)=ΔzT[R-1-R-1H(x0)Σ(x0)HT(x0)R-1]ΔZ+[ΔX-Σ(x0)HT(x0)R-1Δz]TΣ-1(x0)[Δx-Σ(x0)HT(x0)R-1Δz]---(5)]]>其中，∑(x0)＝[HT(x0)R-1H(x0)]-1；式(5)中右边第一项与Δx无关，因此，如果使J(x)极小，第二项因为0，从而有式(6)：Δx^=Σ(x0)HT(x0)R-1Δz---(6)]]>由式(6)得到：x^=x0+Δx^=x0+Σ(x0)HT(x0)R-1[z-h(x0)]---(7)]]>应该指出的是，只有到x0充分接近时，忽略掉泰勒展开式中非线性项的式(2)才能保持足够的近似程度，由式(6)计算出的状态修正量才能得到足够的准确程度，用式(7)计算出的状态估计值才能使目标函数J(x)得到最小，事实上要自己给出这样进度的x0是不可能的，只要能给出距不太远的x作为初值，把式(7)作为一步迭代来处理，x是可以逐步达到的，这时x是一个序列，即x=x^(0),x^(1)...,x^(l),...x0,x^---(8)]]>式(8)中(l)为迭代序号，则式(6)和式(7)可以写成以下的式(9)和式(10)：Δx^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[x-h(x^(l))]---(9)]]>x^(l+1)=x^(l)+[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]---(10)]]>按照式(10)进行迭代修正，直到目标函数接近于最小值为止，采用的收敛判据例如为以下函数：max|Δx^i(l)|≤ϵx---(11)]]>式(11)中l表示矢量x中分量的序号，式(11)表示第l次迭代计算中状态修正量绝对值最大者小于给定的阈值εx；经过l次迭代满足收敛标准时：Δx^(l)=x^(l+1)-x^(l)=[HT(x^(l))R-1H(x^(l))]-1HT(x^(l))R-1[z-h(x^(l))]≈0---(12)]]>此时，即是最优状态估计值而测量量的估计值是同理，变压器有功功率、无功功率、电流值等运行数据均可采用上述方法对数据进行估计，补充数据缺失值，修改差异性较大的数据，从而实现数据清洗。步骤S3：对完整的数据源进行标准化处理，以得到干净的数据源。具体地，对完整的数据源进行标准化处理，进一步包括：将完整的数据源的属性值转换为统一的格式。换言之，为了使记录实例匹配和合并变得更方便，应该把数据的属性值转换成一个一致或统一的格式。进一步地，在本发明的一个实施例中，该方法还包括：用干净的数据源替换运行数据中的无效数据。换言之，该步骤即干净数据回流。当数据被清洗后，干净的数据应该替换数据源中原来的“坏数据”。这样可以提高系统的数据质量，还可避免将来再次抽取数据后进行重复的清洗工作。综上，根据本发明实施例的用于电网负荷预测的多元异质数据清洗方法，通过对差异性过大数据、缺失数据和恒定不变数据进行分析，根据电网负荷预测精度需要剔除部分坏数据(无效数据)，对已经通过分析的数据可进行数据识别处理，通过数据平滑算法和缺失值补充方法完成数据识别，得到完整的数据源，对得到的完整的数据源进行数据标准化处理得到干净的数据源，最后实现干净数据的回流。该方法对数据进行清洗，利用清洗后的数据可进行电网负荷预测，因此从数据源头解决数据不准、数据重复、数据缺失等问题，能够有效提高数据质量，进而提高电网负荷预测的准确性，对于指导用户侧用电、削峰填谷具有很大的意义。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。当前第1页1 2 3