一种实时数据处理方法、系统、设备及可读存储介质与流程

本发明涉及数据处理，具体而言，涉及一种实时数据处理方法、系统、设备及可读存储介质。

背景技术：

1、风能作为一种蕴藏量巨大且无污染的可再生能源，受到世界各国的关注与日俱增。但是，风电机组的故障率会随着运行时间的加长而不断升高，这就需要对机组主要部件的故障做好预防工作。目前，风电业主广泛采用数据采集与监控系统监测风电机组及其部件的运行状态，然而，scada系统的监测项目针对各自监控的对象，仅仅依靠对监测数据设置阀值来进行越限报警，而且在线监测信息量大、采集数据点密，传统的监控系统难以满足海量监测数据的在线处理需求。

2、公开号为cn107665391a的发明申请提供了一种新型的智能风电实时数据处理方法与系统。所述系统包括数据配置模块、数据通讯模块、数据处理模块、实时数据库模块、互联网侧实时数据库集群。数据配置模块用于配置需要采集的实时数据点和通讯协议；数据通讯模块用于根据数据配置模块的配置采集需要的实时数据，以及将控制变量目标值下发至风力发电机组控制器；数据处理模块用于对数据通讯模块采集的数据进行计算和存储处理；实时数据库模块用于存储实时数据和控制变量目标值；互联网侧实时数据库集群用于同步保存数据处理模块得到的实时数据，实现了对风力发电机组和风电场实时数据的在线采集、存储和控制处理，满足了互联网监控的需要。

3、现有的关于风电场实时数据处理的方法能够实现对风电场实时数据的在线采集、存储和处理。但是受风速的波动变化和天气的季节性变化影响，风电场运行环境经常发生剧烈的动态变化，因而需要在不同的运行工况之间进行频繁地切换，导致设备状态监测数据在正常运行状态下也会发生较大的变化。因此，基于现有技术对风电场实时数据进行在线处理，不能保证处理结果的准确度。

4、有鉴于此，特提出本技术。

技术实现思路

1、本发明的目的是提供一种实时数据处理方法、系统、设备及可读存储介质，解决利用现有技术对风电场实时数据进行在线处理时容易出现结果误差的问题。

2、本发明通过下述技术方案实现：

3、第一方面，提供一种应用于风电场运维的实时数据处理方法，包括以下步骤：采集历史风电场数据；对所述历史风电场数据进行弃风数据识别、离群孤立点识别、偏差簇数据识别和异常数据修正；将处理后的历史风电场数据划分为训练数据和测试数据；建立bp神经网络预测模型，利用所述训练数据训练所述bp神经网络预测模型；利用所述测试数据测试训练好的bp神经网络预测模型，得到测试结果；采集当前风电场数据；获取所述测试结果与所述当前风电场数据之间的残差；设置残差阈值；若所述残差＞所述残差阈值，则计算出所述测试结果与所述当前风电场数据之间的均方根误差；所述均方根误差用于风电场设备运行状态分析。

4、进一步的，所述弃风数据识别包括以下步骤：从所述历史风电场数据中筛选出风电机组数据；建立弃风数据识别模型；

5、所述弃风数据识别模型的表达式为：其中，a表示弃风数据集，pi表示第i个功率数据，t表示采样次数，σ表示采样次数阈值，表示风机论理风速；利用所述弃风数据识别模型遍历每一个风电机组数据进行识别，将每一个满足弃风数据集a的风电机组数据标记为1，将不满足弃风数据集a的风电机组数据标记为0。

6、进一步的，所述离群孤立点识别包括以下步骤：根据数据的采集路径将所述历史风电场数据划分为多个类型的数据集；针对每一个类型的数据集执行s11至s13：s11：将数据集中的数据按照从小到大的顺序排列，得到数据序列；s12：将所述数据序列等间隔地划分为多个数据区间；s13每一个数据区间执行以下步骤：计算每一个数据区间的下分位数q3、中位数q2和上分位数q1；建立四分位距计算模型，根据所述四分位距计算模型建立内限范围计算模型；所述四分位距计算模型的表达式为iqr＝q3-q1，其中，iqr表示四分位距，q3表示下分位数，q1表示上分为数；所述内限范围计算模型的表达式为其中，f1表示通过四分位法确定的序列的下限值，fu表示通过四分位法确定的序列的上限值，ω1和ω2为权值，ω1＝ω2＝1.5；将所述下分位数q3和所述上分位数q1代入所述内限范围计算模型，得到内限区间；对数据区间中位于所述内限区间范围之外的数据进行标记，得到数据区间内的所有离群孤立点。

7、进一步的，所述偏差簇数据识别包括以下步骤：根据数据的采集路径将所述历史风电场数据划分为多个类型的数据集；针对每一个类型的数据集执行s21至s23：s21：将数据集中的数据按照从小到大的顺序排列，得到数据序列；s22：将所述数据序列等间隔地划分为多个数据区间；s23每一个数据区间执行以下步骤：s23.1：采用fcm聚类算法计算出最佳模糊隶属矩阵u和聚类中心v＝[v1,v2,...,vn]；s23.2：获取所述聚类中心中的最大元素vmax与最小元素vmin之间的距离；s23.3：设置距离阈值，若所述距离＞所述距离阈值，则执行s23.4，否则返回所述s23.1；s23.4：根据所述最佳模糊隶属矩阵u，获取所述最大元素vmax对应的隶属度umax，获取所述最小元素vmin对应的隶属度umin；建立隶属度区间[umin，umax]；s23.5：对数据区间中位于所述隶属度区间[umin，umax]范围之外的数据进行标记，得到数据区间内的所有偏差簇数据。

8、进一步的，，所述异常数据修正的方法为：采用三次样条插值法对异常数据进行修正。

9、第二方面，提供一种应用于风电场运维的实时数据处理系统，包括：第一数据采集模块，用于采集历史风电场数据；数据处理模块，用于对所述历史风电场数据进行弃风数据识别、离群孤立点识别和偏差簇数据识别；数据修正模块，用于对处理后的数据采用三次样条插值法进行异常数据修正，得到修正后的历史风电场数据；数据划分模块，用于将修正后的历史风电场数据划分为训练数据和测试数据；模型训练模块，用于建立bp神经网络预测模型，利用所述训练数据训练所述bp神经网络预测模型；模型测试模块，用于模型利用所述测试数据测试训练好的bp神经网络预测模型，得到测试结果；第二数据采集模块，用于采集当前风电场数据；残差计算模块，用于获取所述测试结果与所述当前风电场数据之间的残差；数据分析处理模块，用于设置残差阈值；若所述残差＞所述残差阈值，则计算出所述测试结果与所述当前风电场数据之间的均方根误差；所述均方根误差用于风电场设备运行状态分析。

10、进一步的，所述数据处理模块包括弃风数据识别单元、离群孤立点识别单元、偏差簇数据识别单元和异常数据修正单元。

11、进一步的，所述弃风数据识别单元包括：数据筛选子单元，用于从所述历史风电场数据中筛选出风电机组数据；弃风数据识别模型构建子单元，用于建立弃风数据识别模型；所述弃风数据识别模型的表达式为：其中，a表示弃风数据集，pi表示第i个功率数据，t表示采样次数，σ表示采样次数阈值，表示风机论理风速；弃风数据识别子单元，用于利用所述弃风数据识别模型遍历每一个风电机组数据进行识别，将每一个满足弃风数据集a的风电机组数据标记为1，将不满足弃风数据集a的风电机组数据标记为0。

12、进一步的，所述离群孤立点识别单元包括：第一数据集划分子单元，用于根据数据的采集路径将所述历史风电场数据划分为多个类型的数据集；第一排序子单元，用于将数据集中的数据按照从小到大的顺序排列，得到数据序列；第一区间划分子单元，用于将所述数据序列等间隔地划分为多个数据区间；四分位数计算子单元，用于计算每一个数据区间的下分位数q3、中位数q2和上分位数q1；第一模型构建子单元，用于建立四分位距计算模型，根据所述四分位距计算模型建立内限范围计算模型；所述四分位距计算模型的表达式为iqr＝q3-q1，其中，iqr表示四分位距，q3表示下分位数，q1表示上分为数；所述内限范围计算模型的表达式为其中，f1表示通过四分位法确定的序列的下限值，fu表示通过四分位法确定的序列的上限值，ω1和ω2为权值，ω1＝ω2＝1.5；内限区间计算子单元，用于将所述下分位数q3和所述上分位数q1代入所述内限范围计算模型，得到内限区间；离群孤立点标记子单元，用于对数据区间中位于所述内限区间范围之外的数据进行标记，得到数据区间内的所有离群孤立点；

13、进一步的，所述偏差簇数据识别单元包括：第二数据集划分子单元，用于根据数据的采集路径将所述历史风电场数据划分为多个类型的数据集；第二排序子单元，用于将数据集中的数据按照从小到大的顺序排列，得到数据序列；第二区间划分子单元，用于将所述数据序列等间隔地划分为多个数据区间；fcm聚类子单元，用于采用fcm聚类算法计算出最佳模糊隶属矩阵u和聚类中心v＝[v1,v2,...,vn]；聚类中心距离计算子单元，用于获取所述聚类中心中的最大元素vmax与最小元素vmin之间的距离；逻辑控制子单元，用于在所述距离＞所述距离阈值，控制隶属度区间构建子单元和偏差簇数据标记子单元工作，否则控制所述fcm聚类子单元和所述聚类中心距离计算子单元工作；隶属度区间构建子单元，用于根据所述最佳模糊隶属矩阵u，获取所述最大元素vmax对应的隶属度umax，获取所述最小元素vmin对应的隶属度umin；建立隶属度区间[umin，umax]；偏差簇数据标记子单元，用于对数据区间中位于所述隶属度区间[umin，umax]范围之外的数据进行标记，得到数据区间内的所有偏差簇数据。

14、第三方面，提供一种应用于风电场运维的设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如上述第一方面所述的实时数据处理方法。

15、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如上述第一方面所述的实时数据处理方法。

16、本发明与现有技术相比，具有如下的优点和有益效果：一方面，基于bp神经网络的异常预测算法对风电场数据进行预测，根据预测结果，采用残差分析的方式对风电场设备的运行状态及进行判断，可提高风电设备异常预测的准确度。另一方面，对采集的风电场数据进行了弃风数据识别、离群孤立点识别、偏差簇数据识别和异常数据修正，可进一步提高预测结果的准确性。