一种大规模能源设备物联数据的流式指标计算方法及装置与流程

本发明涉及调度计算，并且更具体地，涉及一种大规模能源设备物联数据的流式指标计算方法及装置。

背景技术：

1、近年来，随着物联网技术的快速发展，越来越多的领域开始应用相关技术。其中，能源行业也不例外。物联网技术的应用在能源领域有很多好处，比如提高能源效率，节约能源成本，减少能源浪费等。

2、通常能源设备会以某个固定的周期(或由某个事件触发)上报最新运转状态信息即原始测点数据，例如设备id，当前运转温度、湿度、压力值、用电量等。业务上根据这些测点数据来管理设备，例如查询某台能源设备的当前运转状态、日累计用电量等等。通过分析能源设备测点数据来实时监控设备的运转状态，出现异常及时响应，避免故障发生等。当前现存的调度计算存在以下问题：

3、(1)光伏业务线前端组件需要展示光伏设备的实时运行功率，监控设备的消耗和生产情况。现有的调度计算需要按照预先设定好的静态时间表达式周期性触发不同维度指标进行计算，结合物力成本导致任务执行频率不能设置太快，就会造成1分钟指标计算慢，更新不及时，导致前端组件展示的非最新数据，不能满足客户对光伏设备实时监控的需求。

4、(2)光伏业务线15分钟平均功率指标依赖1分钟指标有功功率，1分钟指标任务堆积，计算延迟后，15分钟指标会先于1分钟指标计算，则值为0，导致指标依赖指标计算结果不准确；

5、(3)锅炉企业需要展示锅炉设备的日、月和年的累计蒸汽使用量，做经营分析。现有的调度计算受服务器资源影响各维度指标配置不同的计算周期，所有的指标都通过原始锅炉设备采集数据进行统计计算，其中延迟测点数据、超前数据等异常上数就会导致各维度指标计算时依赖的原始测点数据不同，累计值指标结果不能相互印证(累计值月指标累加不等年指标)。

技术实现思路

1、针对现有技术的不足，本发明提供一种大规模能源设备物联数据的流式指标计算方法及装置。

2、根据本发明的一个方面，提供了一种大规模能源设备物联数据的流式指标计算方法，包括：

3、将采集的能源设备物理数据的原始测点数据分发到不同指标的任务计算分区，其中原始测点数据包含指标标识；

4、对原始测点数据进行过滤，确定正常测点数据；

5、根据正常测点数据进行15分钟指标计算和1分钟实时指标计算，确定各维度指标计算结果、1分钟延迟测点数据、15分钟延迟测点数据以及15分钟计算因子；

6、根据各维度指标计算结果以及15分钟计算因子，计算指标，确定各维度指标结果；

7、根据1分钟延迟测点数据以及15分钟延迟测点数据对各维度指标结果进行补算，确定各维度的补算指标结果。

8、可选地，将采集的能源设备物理数据的原始测点数据分发到不同指标的任务计算分区，包括：

9、将采集的能源设备物理数据的原始测点数据分发到不同任务计算分区；

10、在任务计算分区中为原始测点数据补充数据指标标识；

11、基于数据指标标识更新原始测点数据的任务计算分区，将同一指标的原始测点数据分到相同的任务计算分区。

12、可选地，对原始测点数据进行过滤，确定正常测点数据，包括：

13、根据异常点过滤规则删除原始测点数据中的异常测点、延迟过长测点数据；

14、根据超前测点数据过滤规则将原始测点数据中的超前测点数据回溯到正常计算流并补充数据指标标识，确定正常测点数据。

15、可选地，异常测点数据过滤规则：当前系统时间–测点采集时间戳>7天或测点采集时间–当前系统时间>5分钟；

16、超前测点数据过滤规则：测点采集时间–当前系统时间<5分钟。

17、可选地，根据正常测点数据进行15分钟指标计算和1分钟实时指标计算，确定各维度指标计算结果、1分钟延迟测点数据、15分钟延迟测点数据以及15分钟计算因子，包括：

18、根据正常测点数据实时触发15分钟指标计算任务，确定15分钟指标结果，并结合15分钟开窗操作和水位线机制，标记当前数据流中事件时间广播到其他任务计算分区；

19、根据事件时间过滤出15分钟延迟测点数据；

20、15分钟指标计算任务根据开窗操作聚合窗口内的全量正常测点数据计算出15分钟计算因子；

21、根据15分钟计算因子触发小时/日/月/年维度指标任务计算，通过查询依赖的聚合窗口数据聚合结果进行15分钟指标及上层维度指标计算，其中各维度指标计算结果同时回溯到正常计算流触发上层维度依赖指标计算，确定各维度指标计算结果；

22、根据正常测点数据实时触发1分钟指标任务计算，确定1分钟指标计算结果，并根据事件时间过滤出1分钟延迟测点数据。

23、可选地，根据1分钟延迟测点数据以及15分钟延迟测点数据对各维度指标结果进行补算，确定各维度的补算指标结果，包括：

24、根据1分钟延迟测点数据触发1分钟补算任务实时补算各维度指标结果；

25、根据15分钟延迟测点数据实时触发15分钟计算因子补算任务进行计算因子补算；

26、根据补算的15分钟计算因子触发15分钟指标及以上层维度指标进行补算；

27、将补算结果回溯到正常指标计算流触发依赖的上层指标计算，确定各维度的补算指标结果。

28、根据本发明的另一个方面，提供了一种大规模能源设备物联数据的流式指标计算装置，包括：

29、分区模块，用于将采集的能源设备物理数据的原始测点数据分发到不同指标的任务计算分区，其中原始测点数据包含指标标识；

30、过滤模块，用于对原始测点数据进行过滤，确定正常测点数据；

31、第一计算模块，用于根据正常测点数据进行15分钟指标计算和1分钟实时指标计算，确定各维度指标计算结果、1分钟延迟测点数据、15分钟延迟测点数据以及15分钟计算因子；

32、第二计算模块，用于根据各维度指标计算结果以及15分钟计算因子，计算指标，确定各维度指标结果；

33、补算模块，用于根据1分钟延迟测点数据以及15分钟延迟测点数据对各维度指标结果进行补算，确定各维度的补算指标结果。

34、根据本发明的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本发明上述任一方面所述的方法。

35、根据本发明的又一个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本发明上述任一方面所述的方法。

36、从而，本技术通过实时海量的能源设备上报数据，通过测点预处理任务对数据进行逻辑过滤，排除掉异常测点数据和超前测点数据，缩减参与计算的指标量，同时节约物力成本。各维度指标流式计算任务，1分钟、15分钟、日、月、年维度的任务。15分钟开窗操作输出的计算因子，减少了计算过程中与外部系统的交互，提高单个指标计算时效，同时作为指标计算过程中依赖的的基础数据，提高了指标计算结果的准确性。延迟测点重算任务提高了指标计算结果的准确性。