基于图像的风力发电功率曲线异常数据识别与清洗方法与流程

本发明属于信息技术领域，涉及一种基于图像的风力发电功率曲线异常数据识别与清洗方法。

背景技术：

风能是一种清洁和可再生的能源。近年来，世界各地安装的风力发电机越来越多，风电机组安装的数据采集与监视控制系统已经广泛的用于风力发电工况检测，其中包括风电曲线异常数据检测。风电功率曲线是在风电机组运行特性的评价过程中的一项重要指标，即是风电机组的设计依据、性能评价指标、发电量考核指标，与风电场的收益也息息相关。

由于风速和风向的变化导致风力发电具有波动性、间歇性和随机性等特点，所以scada数据包含不同类型的异常数据，这会对风力发电机运行状态和特性的分析产生不利影响。

基于风电功率曲线的异常数据可以归纳为以下三种类型：i类为负异常数据，ii类为离散异常数据，iii类为堆积异常数据。如图1所示。

(1)i类异常数据是风速大于切入速度且功率低于零的负异常数据。当风力发电机吸收来自电网的功率时，功率输出将被记录为负值。负异常数据大多接近于零。产生i型异常数据的主要原因有计划外维修、风机故障和风力削减等。

(2)ii类异常数据是离散的异常数据。它们围绕正常曲率随机分布。传感器故障，传感器噪声和一些不受控制的随机因素导致这些异常数据。因此，它们遵循随意分布，并且不可预测且不连续。

(3)iii类异常数据是堆叠的异常数据。这些异常数据通常出现在连续的时间段内，并在功率曲线中排成一行。因此，当数量很大时，它们很容易识别为正常数据。它们通常由限电命令或通信故障引起，尤其是限电期间和限功率运行。

数据清洗是风电场运行和维护过程中的一个重要环节，风电机组功率曲线的异常数据的识别与清洗是当前的研究热点。

常规方法主要基于离散的数据点，利用与正常数据不同的异常数据的统计特征来清理异常数据，包括数据密度、距离、方差等。常规的基于数据的方法主要问题是大量的堆叠数据没有得到有效的清理，主要原因是假设正常数据是主体成分，并根据主体成分的统计特征来检测异常数据，当风力出现经常缩减时，大量堆叠的异常数据也会成为主体成分。

文献longh，sangl，wuz，andguw.image-basedabnormaldatadetectionandcleaningalgorithmviawindpowercurve[j].ieeetransactionsonsustainableenergy.2019(04)，1-1，提出一种基于图像的数学形态学操作方法，分为以下三步：

1)预处理清洗：过滤并检测i类异常点(负异常数据)满足v＞vcut-in且p＜0，其中vcut-in是切入速度。

2)基于图像的正常数据提取：对i类异常数据进行过滤后，其余数据的散点绘图将转化为数字图像，基于每个像素点的灰度值，将该灰度图进一步转换为二值图像。然后，用图像数学形态学的开运算提取风电曲线图像的主要部分。计算提取风电曲线的主要部分与参考模板(由专家手工标记的标准风电曲线模型)的相似度差异(图像不变矩的欧式距离)，确定开运算中的结构单元的大小。

3)识别图像边缘，过滤位于边缘外的数据，确定为ii类异常数据(离散异常数据)；保留正常数据，其余部分视为iii类异常数据(堆叠的异常数据)。将风力散点映射为散点绘图中的像素点，基于映射关系标记正常和三种类型的异常数据。

其主要的问题在于会清除掉风速从零到切入风速时功率为零的正常数据和风速大于额定风速时功率稳定的正常数据，参见图2。

技术实现要素：

为解决上述背景技术中存在的问题，本发明提出一种基于图像的风力发电功率曲线异常数据识别与清洗方法，该方法可以准确识别与清洗在风力发电场安装的数据采集与监视控制系统中所采集风力发电数据的风电曲线异常数据。

本发明解决上述问题的技术方案是：一种基于图像的风力发电功率曲线异常数据识别与清洗方法，其特殊之处在于，包括以下步骤：

1)建立映射关系，将风力发电的散点数据转化为二值数字图像；

2)将二值数字图像转化为特征灰度图像；

3)对特征灰度图像进行识别，进行数据清洗。

进一步地，所述步骤1)具体为：

通过栅格化将散点数据的散点划分到不同的框，每个框代表数字图像中的一个像素点，(x，y)是数字图像f(x，y)的一个像素点，其中x＝1，...，m，y＝1，...，n，第i个数据点是(vi，pi)，其中v是风速，p是功率；像素与数据点之间的缩放参数是(δx，δy)，pmax，pmin分别代表最大和最小功率，vmax，vmin分别代表最大和最小风速；第i个像素(xi，yi)与数据点之间的对应可以由式(1)计算，通过缩放参数，一个像素点可以对应许多数据点；有数据对应的像素点的灰度值设为255，其余像素点的灰度值设为0，

图像的尺寸大小m×n由式(2)计算

通过以上方式可建立风电数据点与生成的数字图像的映射关系，生成的二值数字图像。

进一步地，所述步骤2)具体为：

计算有值像素点到连通域边界的像素在八个方向上的距离，然后计算距离的中位数作为当前像素的灰度值。

进一步地，所述步骤3)包括以下步骤：

3.1)在确定阈值t下，以异常数据对应的像素为背景，正常数据对应的像素为前景，计算图像的类不确定性，通过类不确定性理论对图像进行分析；

3.2)然后将分类不确定性与参考模板的傅里叶描述子结合构建能量函数，通过最小化能量函数寻找最优阈值t；

3.3)最后，通过阈值分割结果，对前景和背景进行分割，根据之前的映射关系，达到识别和分类正常数据和异常数据的作用。

进一步地，所述步骤3.1)具体为：

在灰度特征图中，令c表示图像中灰度值零以上的所有像素(不包含零，黑色背景不计入)，令c表示某一个元素，且c∈c。令fo，t和fb，t表示有阈值t产生的空间元素属于前景和背景的集合，此时前景属于正常数据，背景属于要清洗的异常数据，其表达式为fo，t＝{c|c∈candf(c)≥t}

fb，t＝{c|c∈candf(c)≥t}

由阈值t产生前景概率为

其中，|x|表示x的数量。

这里引入集合g＝[min，max]，min表示一副图像中的最小的灰度值，max表示一副图像中的最大的灰度值。在阈值t的条件下，我们可以将po(g)和pb(g)写成概率密度函数的形式，则

其中，mo(t)和mb(t)分别表示前景像素的灰度均值和背景像素的灰度均值，σo(t)和σb(t)分别表示前景像素和背景像素的标准差。

在阈值t情况下，将类不确定性表达为阈值为t的函数，当灰度值为g时，其公式为：

其中，pt(g)如公式所示

pt(g)＝θ(t)po，t(g)+(1-θ(t))pb，t(g)

在阈值为t时，对于每个像素点，可以得到不同的熵ht(g)来表示当前像素点的类不确定性。将其小到大按照由蓝到绿再到红可视化，可以得到代表类不确定的能量图。当t发生变化时，可以得到不同阈值下能量图。

进一步地，所述步骤3.2)具体为：

傅里叶描绘子是一种图像特征，具体来说，是一个用来描述轮廓的特征参数。其基本思想是用物体边界信息的傅里叶变换作为形状特征，将轮廓特征从空间域变换到频域内，提取频域信息作为图像的特征向量。即用一个向量代表一个轮廓，将轮廓数字化，只需少量的描子(即向量中得到数不需要太多)即可大致代表整个轮廓。其次，对傅里叶描述子进行简单的归一化操作后，即可使描述子具有平移、旋转、尺寸不变性。

先将提取二值图像中的轮廓图，轮廓包含k个像素点，从任意像素点在图像中的像素位置(x0，y0)开始，以顺时针方向在该边界上行进时，会遇到像素位置坐标对(x0，y0)，(x1，y1)，(x2，y2)，…，(xk-1，yk-1)。这些坐标可以表示为x(k)＝xk，y(k)＝yk的形式。使用这种表示法，轮廓本身可以表示为坐标序列s(k)＝[x(k)，y(k)]，k＝0，1，2，…，k-1。此外，每个坐标对可当做一个复数来处理，即

s(k)＝x(k)+iy(k)

其中k＝0，1，2，…，k-1。也就是说，x轴为复数序列的实轴，y轴为复数序列的虚轴。尽管对该序列的解释是全新的，但边界本身的性质并未改变。当然，这种表示方法的一大优点是它将二维问题简化成了一维问题。

s(k)的离散傅里叶变换(dft)为

式中u＝0，1，2，…，k-1。复系数a(u)称为边界的傅里叶描绘子。本文取u＝0到u＝12作为轮廓描绘子。

将其简单归一化：

两轮廓之间的相似性差异可用归一化后的两个傅里叶描绘子向量之间的欧式距离作为度量，如下式

ra(i)，rb(i)分别是对象轮廓a和b的归一化后傅里叶描绘子，d为两轮廓间的相似性差异。

对于特征灰度图像，在不同阈值分割下，会有不同的分割前景，对于每个分割前景，取最大连通域作为所得正常数据，取其轮廓；

当阈值t变化时，不同轮廓与模板风电曲线按照以上计算方式，都有对应相似性差异的值计为d(t)。

同时在灰度图像m中，在一个固定阈值t的情况下，灰度图像m中有n个灰度值非零的像素点，每个像素点i的灰度值g对应的类不确定性值为ht(i)＝ht(g)，将所有像素点的类不确定性值相加并归一化：

在阈值为t的情况下，特征灰度的整体类不确定性e(t)越小，同时，分割结果与模板wpc的傅里叶描绘子的相似性差异d(t)越小，当前阈值t的分割结果越好，式

e(t)＝e(t)*(1-d(t))+(1-e(t))*d(t)

其中e(t)最小时，得到最合理的分割结果。

进一步地，所述步骤3.3)具体为：

在步骤1)中，会建立起像素点与数据点的映射关系，根据图像阈值分割结果，可以将正常数据与异常数据对应的像素点进行分类，然后通过之前的映射关系，可以将原始的风电散点数据进行分类，并识别和清洗异常数据。

本发明的优点：

(1)本发明通过栅格化散点数据，建立散点数据与数字图像之间的映射，将基于传统数据挖掘算法的数据清洗问题转化为图像分割问题，运用成熟的图像分割算法来解决数据清洗问题；

(2)本发明引入了图像分割算法中的类不确定性理论来处理数据分类的不确定性问题，并引入傅里叶描绘子这种新的特征作为相似性差异度量。

附图说明

图1是基于风电曲线的异常数据类型；

图2基于图像的数学形态学的方法

图3是本发明的方法流程图；

图4是栅格化散点数据将其转化为二值数字图像，其中：(a)散点数据；(b)二值数字图像；

图5是二值数字图像；

图6是计算距离的八个方向，距离为该方向上像素点的个数；

图7是(a)灰度特征图的直方图；(b)直方图均衡化后的显示图像；

图8是不同阈值下的类不确定性可视化图像；

图9风电曲线在复坐标系中的轮廓线，x代表实轴，y代表虚轴；

图10图像阈值化后的图像轮廓；

图11阈值分割后结果；

图12数据清理结果。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。

参见图3，本发明为一种对来自风电机组安装的数据采集与监视控制系统的风电曲线的异常数据进行清洗的方法。

首先是通过栅格化建立一种映射关系，将风力发电的散点数据转化为二值数字图像，具体为：

散点数据因为存在于连续空间所以需要先被栅格化，才能变成数字图像。可以通过栅格化将散点数据的散点划分到不同的框。每个框代表数字图像中的一个像素点。(x，y)是数字图像f(x，y)的一个像素点，其中x＝1，...，m，y＝1，...，n。第i个数据点是(vi，pi)，其中v是风速，p是功率。像素与数据点之间的缩放参数是(δx，δy)。pmax，pmin分别代表最大和最小功率，vmax，vmin分别代表最大和最小风速。第i个像素(xi，yi)与数据点之间的对应可以由式(1)计算，通过缩放参数，一个像素点可以对应许多数据点。有数据对应的像素点的灰度值设为255，其余像素点的灰度值设为0，参见图4。

图像的尺寸大小m×n由式(2)计算

通过这种方式可建立风电数据点与生成的数字图像的映射关系，生成的二值数字图像如图5所示。

第二步是将二值数字图像转化为特征灰度图像，通过计算有值像素点到连通域边界的像素在八个方向上的距离，然后计算距离的中值作为当前像素的灰度值，具体为：

参见图6，为了区分异常数据和正常数据，在第二步构建特征灰度图。该步骤是计算有值像素点到连通域边界的像素在八个方向上的距离，然后计算距离的中位数作为当前像素的灰度值。

第三步，在确定阈值t下，以异常数据对应的像素为背景，正常数据对应的像素为前景，计算图像的类不确定性，通过类不确定性理论对图像进行分析，参见图7。然后将分类不确定性与参考模板的傅里叶描述子结合构建能量函数，通过最小化能量函数寻找最优阈值t。最后，通过阈值分割结果，对前景和背景进行分割，根据之前的映射关系，达到识别和分类正常数据和异常数据的作用。

具体为：

①基于阈值类不确定性

在灰度特征图中，令c表示图像中灰度值零以上的所有像素(不包含零，黑色背景不计入)，令c表示某一个元素，且c∈c。令fo，t和fb，t表示有阈值t产生的空间元素属于前景和背景的集合，此时前景属于正常数据，背景属于要清洗的异常数据，其表达式为fo，t＝{c|c∈candf(c)≥t}

fb，t＝{c||c∈candf(c)≥t}

由阈值t产生前景概率为

其中，|x|表示x的数量。

这里引入集合g＝[min，max]，min表示一副图像中的最小的灰度值，max表示一副图像中的最大的灰度值。在阈值t的条件下，我们可以将po(g)和pb(g)写成概率密度函数的形式，则

其中，mo(t)和mb(t)分别表示前景像素的灰度均值和背景像素的灰度均值，σo(t)和σb(t)分别表示前景像素和背景像素的标准差。

在阈值t情况下，将类不确定性表达为阈值为t的函数，当灰度值为g时，其公式为

其中，pt(g)如公式所示

pt(g)＝θ(t)po，t(g)+(1-θ(t))pb，t(g)

在阈值为t时，对于每个像素点，可以得到不同的熵ht(g)来表示当前像素点的类不确定性。将其小到大按照由蓝到绿再到红可视化，可以得到代表类不确定的能量图。当t发生变化时，可以得到不同阈值下能量图，图8为部分能量图.

②傅里叶描绘子相似性度量

傅里叶描绘子是一种图像特征，具体来说，是一个用来描述轮廓的特征参数。其基本思想是用物体边界信息的傅里叶变换作为形状特征，将轮廓特征从空间域变换到频域内，提取频域信息作为图像的特征向量。即用一个向量代表一个轮廓，将轮廓数字化，只需少量的描子(即向量中得到数不需要太多)即可大致代表整个轮廓。其次，对傅里叶描述子进行简单的归一化操作后，即可使描述子具有平移、旋转、尺寸不变性。

参见图9，先将提取二值图像中的轮廓图，轮廓包含k个像素点，从任意像素点在图像中的像素位置(x0，y0)开始，以顺时针方向在该边界上行进时，会遇到像素位置坐标对(x0，y0)，(x1，y1)，(x2，y2)，…，(xk-1，yk-1)。这些坐标可以表示为x(k)＝xk，y(k)＝yk的形式。使用这种表示法，轮廓本身可以表示为坐标序列

s(k)＝[x(k)，y(k)]，k＝0，1，2，…，k-1。此外，每个坐标对可当做一个复数来处理，即

s(k)＝x(k)+iy(k)

其中k＝0，1，2，…，k-1。也就是说，x轴为复数序列的实轴，y轴为复数序列的虚轴。尽管对该序列的解释是全新的，但边界本身的性质并未改变。当然，这种表示方法的一大优点是它将二维问题简化成了一维问题。

s(k)的离散傅里叶变换(dft)为

式中u＝0，1，2，…，k-1。复系数a(u)称为边界的傅里叶描绘子。本文取u＝0到u＝12作为轮廓描绘子。

将其简单归一化：

两轮廓之间的相似性差异可用归一化后的两个傅里叶描绘子向量之间的欧式距离作为度量，如下式

ra(i)，rb(i)分别是对象轮廓a和b的归一化后傅里叶描绘子，d为两轮廓间的相似性差异。

对于特征灰度图像，在不同阈值分割下，会有不同的分割前景，对于每个分割前景，取最大连通域作为所得正常数据，取其轮廓，图10为部分轮廓。

当阈值t变化时，不同轮廓与模板风电曲线按照以上计算方式，都有对应相似性差异的值计为d(t)。

同时在灰度图像m中，在一个固定阈值t的情况下，灰度图像m中有n个灰度值非零的像素点，每个像素点i的灰度值g对应的类不确定性值为ht(i)＝ht(g)，将所有像素点的类不确定性值相加并归一化：

在阈值为t的情况下，特征灰度的整体类不确定性e(t)越小，同时，分割结果与模板wpc的傅里叶描绘子的相似性差异d(t)越小，当前阈值t的分割结果越好，式

e(t)＝e(t)*(1-d(t))+(1-e(t))*d(t)

其中e(t)最小时，得到最合理的分割结果，参见图11。

③数据标记

在第一步时，会建立起像素点与数据点的映射关系，根据图像阈值分割结果，可以将正常数据与异常数据对应的像素点进行分类，然后通过之前的映射关系，可以将原始的风电散点数据进行分类，并识别和清洗异常数据。将风电数据的散点图绘制出如图12所示。

以上所述仅为本发明的实施例，并非以此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的系统领域，均同理包括在本发明的保护范围内。