一种基于AutoML的电力正向有功总值异常检测方法及系统与流程

本发明属于计算机、智能电网，涉及一种基于automl的电力正向有功总值异常检测方法，可以根据电力正向有功总值数据集对一段时间内的电力正向有功总值进行异常值检测，同时对异常的电力正向有功总值进行标注，实现自动化的异常检测。

背景技术：

1、构建以新能源为主题的新型电力系统，既是智能电网转型升级的重要方向，也是实现碳达峰、碳中和目标的重要途经。新型电力系统是以实现碳达峰碳中和为中心，具有清洁低碳、安全可控、灵活高效、智能友好、开放互动基本特征的电力系统。

2、智能电网是新型电力系统的转型方向，是规模更大，维度更高的现代电网基础设施。机器学习技术可以从海量数据中获取隐藏知识，从而对大数据进行有效分析。智能电网的大数据特征非常符合机器学习的研究特点。通过机器学习进行电力异常数据的检测极具前景，有利于推动电网基础设施的转型升级。

3、正向有功电能总值(pap，positive active power)，指发电单位向用电客户输送的总电量，是衡量发电质量的重要评判指标，在建设智能电网的过程中具有重要的评价意义，对于正向有功电能的分析是智能电网建设的重要手段。

4、正向有功电能进行的异常值检测，是电网建设中的关键。通过对一段时间内的正向电能有功总值的分析，对电网的供电质量和供电效率进行衡量和评估。然而，在智能电网的建设中，正常数据和非正常数据的差异并不明显，且存在与实际异常情况类似的噪声数据。对正向有功电能数据进行异常值检测采用人工标注的方法费时费力，正确率难以保证。除此之外，电力正向有功总值异常值与空值的检测问题，相关的研究较少。

5、机器学习为时间序列数据的异常检测提供了较好的解决方案。正向有功电能的异常值检测符合时间序列数据分析任务的特点，机器学习具有较好的应用空间。通过人工标注，模型选择，模型调优，模型评估等一系列步骤，生成模型，对一定时间内地正向有功电能数据进行分析标注。然而，机器学习的领域知识要求较高，调参过程复杂，获得优质的模型，往往需要大量的专业知识，无法直接在电网建设中应用。

6、自动机器学习(automl)，是利用人工智能算法，自动化地实现机器学习流水线中从数据处理到模型生成的每一个步骤。自动机器学习可以生成更简单的解决方案，无监督的模型训练，而这些模型训练通常比手工创建的模型效果更好，极大地提高了模型的预测性能，并且允许数据科学家执行更复杂的任务。

7、自动化异常值检测，是通过自动化机器学习方法，对一段时间内的时间序列数据进行异常值标注；减少人工对模型训练的干预，通过自动选择参数组合，对生成的模型进行自动调优，得到相对最优的检测模型。提高模型的生成效率，降低机器学习的应用难度，推广机器学习在智能电网建设领域中的应用。

技术实现思路

1、本发明的目的在于提供一种基于automl的电力正向有功总值异常检测方法，以此构建电力正向有功总值异常检测的模型，通过对一段时间内的电力正向有功总值数据集进行分析，从而自动标注出其中的异常值；降低机器学习应用过程中使用门槛，推广机器学习在智能电网建设中的应用；通过电力正向有功总值异常检测进行合理地规划和调度电力资源，避免电力正向有功总值数据的错误与缺失。

2、本发明采取的技术方案如下：

3、一方面，本发明提供一种基于automl的电力正向有功总值异常检测方法，其特征在于包括如下步骤：

4、步骤一、输入电力正向有功总值数据集；

5、步骤二、计算anomaly-attention；

6、步骤三、生成anomaly-transformer模型；

7、步骤四、对模型表现进行评估；

8、步骤五、对模型进行参数调优，达到既定阈值后输出模型，否则重新回到步骤二再次生成模型。

9、进一步的，所述步骤二中，anomaly-attention用于统一建模先验关联和序列关联，进而方便关联差异的计算，其中：

10、对于先验关联pl，采用可学习的高斯核函数，其中心在对应时间点的索引上；设计利用高斯分布的单峰特点，使数据更加关注邻近的点，同时，为了使得先验关联可适应不同的时序模式，高斯核函数包含可学习的尺度参数σ：

11、

12、其中，pl表示先验关联系数，σ表示可以学习的尺度参数，i，j表示时间序列中的时间项目；

13、对于序列关联sl，由标准transformer中注意力计算获得，一个点的序列关联即是该点在注意力矩阵中对应行的注意力权重分布，该分支是为挖掘原始序列中的关联，让模型自适应地捕捉最有效果的关联：

14、

15、其中，sl表示序列关联系数，q表示查询矩阵，k表示键值矩阵，dmodel表示模型维度。

16、更进一步的，两种关联之间的差异，即为关联差异；将标准化后的关联差异与重建误差结合起来制定了新的异常检测判据：

17、

18、其中，assdis(p,s；x)表示正常点和异常点之间的关联差异，表示最大化关联之间的差异。

19、进一步的，所述步骤三中，针对通过时间序列数据的异常检测任务，构建一个归一化层，两个前馈网络层，以残差方式进行连接，对传统transformer模型进行重构。

20、进一步的，所述步骤四中，引入正类和负类两种指标，其中正类表示为异常，负类表示为正常，并用真true和假false来表示预测值和实际值的比较结果，其中true表示正确匹配，即标注出的异常点实际异常，false表示错误匹配；

21、优化后的正确率计算公式为：

22、

23、其中smatched为所有匹配的样本，即预测与实际匹配的样本数量，stotal为所有的样本数量。通过引入正类负类和真假标签，优化单一的正确率计算指标，提高评价准确率。

24、进一步的，所述步骤五中，采用随机策略，采用随机搜索搜索参数空间，通过预训练模型进行模型表现评估，对参数对进行评价，最终获得最优的参数组合。

25、更进一步的，anomaly transformer中的超参数包括：学习率，衰减权值，训练代数，训练批次大小，同时定义超参数搜索空间，即超参数的可能范围表param_distributions；

26、超参数搜索空间可以表示为：

27、param_distributions＝{

28、learn_rate:[1e-6,1)；

29、weight_dacay:[1e-8,1)；

30、epoch:[1000,10000)；

31、batch_size:{2k-1},k＝1,...,n}

32、其中，param_distributions表示参数搜索空间，learn_rate表示学习率，weight_decay表示衰减权值，epoch表示训练代数，batch_size表示训练批次大小。

33、更进一步的，在定义完成超参数和超参数搜索空间后，设定niter迭代次数和threshold训练阈值，即为设定超参数搜索次数；将超参数加载入原始模型，在部分数据集上进行预训练，在每次训练完成后，对模型训练效果进行评估，采用优化过的正确率计算公式当模型检测效果accuracyreal≥threshold时，保存参数至待选列表param_list，否则随机下一组参数重载入原始模型，进行训练，重复上述训练过程。

34、更进一步的，所有参数组合完成后，对待选参数列表param_list内的参数组合继续训练，当前最优参数组合表示为param_selected，在训练过程中不断更新当前最优参数组合，当参数列表内的所有参数列表全部完成训练后，取表现最优的参数组合作为最终参数param_best；获得最终参数param_best后，扩大数据量，使用完整的电网正向有功数据集进行训练，生成最终模型，并导出。

35、另一方面，本发明还提供一种基于automl的电力正向有功总值异常检测系统，其包括：

36、数据输入模块、用于输入电力正向有功总值数据集；

37、关联差异处理模块、用于统一建模先验关联和序列关联，进而方便关联差异的计算，最终将标准化后的关联差异与重建误差结合起来制定新的异常检测判据；

38、模型生成模块、用于生成anomaly-transformer模型；

39、模型评估模块、用于对模型表现进行评估；

40、模型优化模块、用于对模型进行参数调优，达到既定阈值后输出模型。

41、本发明的有益效果是：

42、(1)克服现有对于电力正向有功总值的异常值检测多使用人工的方法，使用机器学习方法对于序列电力正向有功总值数据建模，进行异常值检测，避免电力正向有功总值数据的错误和缺失。

43、(2)通过基于anomaly transformer模型正向有功数据的离群点检测，学习每个点的特征，提高检测精度。

44、(3)对于原有的电力正向有功总值异常检测对于机器学习领域知识要求高的问题，使用自动参数调优的方法降低机器学习的使用门槛，自动生成最优的参数组合，提高机器学习技术在智能电网领域的应用效率。