一种能源设备信息采集任务协同调度方法及系统与流程

[0001]
本发明属于能源信息采集领域，涉及一种能源设备信息采集任务协同调度方法及系统。


背景技术：

[0002]
现有的能源设备信息采集任务包括主采、补采以及根据具体业务需要配置的旁路任务。任务的配置模式已能精准定位到各类采集对象的每个数据项，但任务的触发机制还处于以任务为单位的整体执行水平。
[0003]
从实际运行效果看，现有系统在多任务同时采集的情况下，会存在多任务协同调度问题和无法实时在线生成采集任务、无法自动调整采集策略、无法实时计算采集任务缺项等问题，例如：采集系统每天执行低压用户日冻结采集任务时，同一台集中器下的用户能源计量采集终端日冻结数据通过同时一次采集成功率未达到100％的情况会频发，那么为保证采集成功率，系统需要在后面再针对日冻结数缺失的电能表再进行一次或多次补采，最终才能基本达到理想的采集质量效果。
[0004]
低任务命中率情况必然会给采集系统、终端带来一定的影响，主要包括：采集及时性难以保障，采集系统处理任务压力大，终端响应采集任务的压力大等问题。


技术实现要素：

[0005]
本发明的目的在于克服现有技术的不足，提供一种能源设备信息采集任务协同调度方法及系统。
[0006]
本发明解决其技术问题是采取以下技术方案实现的：
[0007]
一种能源设备信息采集任务协同调度方法，包括如下步骤：
[0008]
步骤一，利用物联采集前置技术对能源计量信息进行采集入库；
[0009]
步骤二，针对采集入库的能源计量信息建立任务虚拟体；
[0010]
步骤三：基于任务虚拟体建立多任务调度模型，对能源计量采集任务进行下发。
[0011]
而且，还包括步骤四：对下发的能源计量采集任务进行状态查询。
[0012]
而且，所述利用物联采集前置技术对能源计量信息进行采集入库的方法为：
[0013]
利用分布式消息队列组件，进行能源信息任务下发、报文解析及终端加密管理的调度，增加采集原始数据接入源，将采集前置的入库数据高效写入hbase。
[0014]
而且，所述的分布式消息队列组件包括但不限于：通信前置、采集前置、数据入库、任务调度、高级业务处理集群。
[0015]
而且，所述任务虚拟体的工作方法为：
[0016]
步骤1，复制能源计量设备档案信息，对能源计量物理设备可用性集中器的状态进行监听；
[0017]
对监听的每台能源计量物理设备可用性集中器的状态进行记录，并对能源计量物理设备的任务进行暂存；
[0018]
对能源信息采集任务进行维护，建立任务虚拟体的任务维护管理接口，用于接收能源信息采集前置任务调度下发的即时性任务，以及根据自身存储的设备类型、规约类型、通信方式，进行动态的能源计量任务执行策略的编排；
[0019]
步骤2，基于物理设备状态、物理设备任务暂存以及能源信息采集任务策略编排，进行能源计量信息采集档案维护，通过redis缓存定时推送更新，通过变更采集档案数据指向完成该操作；同时通过能源信息采集集中器下连接的计量在线状态，更新在线计量装置数量；
[0020]
步骤3，基于已维护的能源计量信息采集档案，针对能源计量信息参数进行维护，根据维护中的任务，同步维护能源信息采集任务参数、能源信息采集方案参数、能源信息采集事件参数。
[0021]
而且，所述的能源计量设备档案信息包括但不限于：设备地址、设备类型、设备通信信息、设备规约。
[0022]
而且，所述的能源计量信息参数包括但不限于：通信参数、档案参数、基本参数、控制参数。
[0023]
而且，所述多任务调度模型的工作方法为：
[0024]
步骤1，根据任务虚拟体中本身的任务进行拆解，生成任务子集，将这些任务子集进行集合形成任务合集；
[0025]
步骤2，对能源计量采集终端的id、采集器终端地址、通道类型、传输速率、运行年限、运行状态、解析任务能力进行定义，生成能源计量采集终端集合；
[0026]
步骤3，定义任务合集与能源计量采集终端的关系，生成任务终端矩阵，所述矩阵的行表示某一个任务是否在每个能源计量采集终上执行，若执行表示为1，若不执行表示为0；矩阵的列表示该能源计量采集终上需要执行的任务数量；
[0027]
步骤4，定义不同任务历史时间；
[0028]
步骤5，基于任务终端矩阵及不同任务历史时间，运用机器学习中的粒子群优化算法进行计算优化，生成任务序列的排序，完成任务的调度优化。
[0029]
一种能源设备信息采集任务协同调度系统，包括采集入库模块、任务虚拟体构建模块以及采集任务下发模块，
[0030]
所述的采集入库模块用于利用物联采集前置技术对能源计量信息进行采集入库；
[0031]
所述的任务虚拟体构建模块用于针对采集入库的能源计量信息建立任务虚拟体；
[0032]
所述的采集任务下发模块基于任务虚拟体建立多任务调度模型，对能源计量采集任务进行下发。
[0033]
而且，还包括任务状态查询模块，所述的任务状态查询模块用于对下发的能源计量采集任务进行状态查询。
[0034]
本发明的优点和积极效果是：
[0035]
1、本能源设备信息采集任务协同调度方法及系统，通过下放采集任务的权利，依靠人工智能算法进行集中器任务协调调度，采集系统核心的任务调度无需进行全量终端任务的管理，极大地降低核心任务调度的压力，高效完成数据采集的任务。
[0036]
2、本能源设备信息采集任务协同调度方法及系统，通过将任务虚拟体(设备影子)与物理集中器一一对应，因此任务并发执行效率要远远高于统一任务调度管理模式。大幅
降低采集主站的压力，提升数据采集的成功率和及时性，实现了能源设备采集系统的任务调度及任务精准下发，为采集系统智能化进一步拓展有效途径。
附图说明
[0037]
图1为本发明的方法流程图；
[0038]
图2为本发明多任务调度模型的构建流程图；
[0039]
图3为本发明粒子群优化算法的流程图。
具体实施方式
[0040]
以下结合附图对本发明的实施例做进一步详述：
[0041]
一种能源设备信息采集任务协同调度方法，其创新之处在于：包括如下步骤：
[0042]
步骤一，利用物联采集前置技术对能源计量信息进行采集入库；
[0043]
步骤二，针对采集入库的能源计量信息建立任务虚拟体；
[0044]
步骤三：基于任务虚拟体建立多任务调度模型，对能源计量采集任务进行下发。
[0045]
所述利用物联采集前置技术对能源计量信息进行采集入库的方法为：
[0046]
利用分布式消息队列组件，进行能源信息任务下发、报文解析及终端加密管理的调度，增加采集原始数据接入源，将采集前置的入库数据高效写入hbase。
[0047]
所述的分布式消息队列组件包括但不限于：通信前置、采集前置、数据入库、任务调度、高级业务处理集群。
[0048]
每台能源计量集中器配备一个任务定时执行和任务结果上报的管理者，即将每台集中器的任务执行职能进行虚拟，通过独立的线程构造每台集中器的任务虚拟体，即“设备影子”，从而完成能源设备信息采集任务协同调度。
[0049]
所述任务虚拟体的工作方法为：
[0050]
步骤1，
[0051]
(1)复制能源计量设备档案信息，对能源计量物理设备可用性集中器的状态进行监听；
[0052]
(2)对监听的每台能源计量物理设备可用性集中器的状态进行记录，并对能源计量物理设备的任务进行暂存，为能源计量采集档案维护做准备；
[0053]
(3)对能源信息采集任务进行维护，建立任务虚拟体的任务维护管理接口，用于接收能源信息采集前置任务调度下发的即时性任务，以及根据自身存储的设备类型、规约类型、通信方式，进行动态的能源计量任务执行策略的编排；
[0054]
步骤2，基于物理设备状态、物理设备任务暂存以及能源信息采集任务策略编排，进行能源计量信息采集档案维护，通过redis缓存定时推送更新，通过变更采集档案数据指向完成该操作；同时通过能源信息采集集中器下连接的计量在线状态，更新在线计量装置数量；
[0055]
步骤3，基于已维护的能源计量信息采集档案，针对能源计量信息参数进行维护，根据维护中的任务，同步维护能源信息采集任务参数、能源信息采集方案参数、能源信息采集事件参数；
[0056]
所述的能源计量设备档案信息包括但不限于：设备地址、设备类型、设备通信信
息、设备规约。
[0057]
所述的能源计量信息参数包括但不限于：通信参数、档案参数、基本参数、控制参数。
[0058]
所述多任务调度模型的工作方法为：
[0059]
步骤1，
[0060]
(1)根据能源计量采集集中器本身任务进行拆解，生成任务子集，将这些任务子集进行集合形成任务合集，并根据即时性业务进行任务扩展，
[0061]
t＝{t1，t2，t3t4，
…
t
i
，
…
t
m
}
[0062]
式中，i＝{1，23，
…
，m}，t
i
表示第i个任务，m表示任务的数量，t
i
的属性描述为：
[0063]
t
i
＝{t
id
，t
date
，t
addr
，t
prio
，t
timing
，t
timingtime
，t
inputfilesize
，t
outputfilesize
，t
whole
}
[0064]
式中，t
id
表示任务id；t
date
表示任务开始执行时间；t
addr
表示采集器终端地址；t
prio
表示任务优先级，无优先级时为0；t
timing
表示是否为定时任务，是为1，否为0；t
tiningtims
表示定时任务开始时间，如果不是定时任务，则为0；t
inputfilssinzs
为输入任务文件大小，包含任务参数；t
outputfilesize
表示任务输出文件大小，当下发前该文件为0，完成任务后该文件为执行结果文件；t
whole
表示该任务是否对所有能源计量采集终进行操作，是为1，否为0。
[0065]
(2)对能源计量采集终端的id、采集器终端地址、通道类型、传输速率、运行年限、运行状态、解析任务能力进行定义，生成能源计量采集终端集合，
[0066]
m＝{m1，m2，
…
，m
j
…
，m
n
}
[0067]
其中：j＝{1，23
…
，n}，m
j
表示第j个能源计量采集终，n表示能源计量采集终的数量，
[0068]
m
j
＝{m
id
，m
addr
，m
channeltype
，m
channelrate
m
runniglife
，m
runingstate
，m
reso-power
}
[0069]
式中，m
id
表示能源计量采集终的唯一id；m
addr
表示能源计量采集终的地址码；m
channsltrate
表示能源计量采集终通道类型，根据通道类型判定任务串行或者并行完成；m
channsttrate
表示能源计量采集终通道传输速率；m
rumiglifs
表示能源计量采集终运行年限，用于提示换表及故障概率；m
runingstate
表示能源计量采集终的运行状态；m
reso-power
表示能源计量采集终解析任务的能力。
[0070]
步骤2，
[0071]
(1)定义任务合集与能源计量采集终端的关系，生成任务终端矩阵，
[0072][0073]
该矩阵行表示某一个任务是否在每个能源计量采集终端上执行，若执行表示是为1，若不执行表示为0；列表示该能源计量采集终上需要执行的任务数量，
[0074]
当能源计量采集终的传输通道为hplc时，集中器可以同时向多个能源计量采集终发出采集任务进行采集，效率较高，单个任务完成时间短；当能源计量采集终的传输通道为plc或者485时，能源计量采集终只能通过串行向多个能源计量采集终发出采集任务，效率低，单个任务完成时间较长；
[0075]
(2)定义任务完成时间为e
ij
，任务完成时间包括能源计量采集终解析任务，查找能源计量采集终数据的时间及传输时间，能源计量采集终解析res_time
ij
任务与能源计量采
集终的解析能力和任务查找数据项大小有关，能源计量采集终的解析能力是k
r
，与能源计量采集终类型有关；传输时间trans_time
ij
与传输任务及传输速率有关，通过历史数据获得不同任务的平均时间，
[0076][0077][0078]
e
ij
＝res_time
ij
+trans_time
ij
+d
+-d-[0079]
其中d
+
表示任务延时完成，d-表示任务提前完成；
[0080]
然后利用下述目标函数对不同任务进行排序优化：
[0081][0082][0083]
式中表示第一个任务的优先级，右上角表示任务的序号；d
+
表示任务延时完成，
[0084]
上式条件中，前n个条件为保证一块能源计量采集终同时只能执行一个任务；后面m个任务保证集中器下发单个任务的串行与并行，1表示串行，n表示并行；当任务1比任务2优先级高，则任务1比任务2的开始执行时间早；当t
timing
＝1时，t
date
＜t
timingtims
；max(re
reso
)＜re保证集中器运行任务时的资源小于现有资源；sum(m
runingstate
)＞0.9最后一个条件是执行一般任务时保证能源计量采集终在线率为0.9以上；
[0085]
步骤3，基于任务终端矩阵及任务时间，运用机器学习中的粒子群优化算法进行计算优化，生成任务序列的排序，完成任务的调度优化。
[0086]
基于建立的多任务调度模型对能源计量采集任务进行下发，然后还可根据需要对下发的能源计量采集任务进行状态查询。
[0087]
一种能源设备信息采集任务协同调度系统，其创新之处在于：包括采集入库模块、任务虚拟体构建模块、采集任务下发模块以及任务状态查询模块，
[0088]
所述的采集入库模块用于利用物联采集前置技术对能源计量信息进行采集入库；
[0089]
所述的任务虚拟体构建模块用于针对采集入库的能源计量信息建立任务虚拟体；
[0090]
所述的采集任务下发模块基于任务虚拟体建立多任务调度模型，对能源计量采集
任务进行下发。
[0091]
所述任务虚拟体的工作方法为：步骤1，复制能源计量设备档案信息，对能源计量物理设备可用性集中器的状态进行监听；
[0092]
对监听的每台能源计量物理设备可用性集中器的状态进行记录，并对能源计量物理设备的任务进行暂存，为能源计量采集档案维护做准备；
[0093]
对能源信息采集任务进行维护，建立任务虚拟体的任务维护管理接口，用于接收能源信息采集前置任务调度下发的即时性任务，以及根据自身存储的设备类型、规约类型、通信方式，进行动态的能源计量任务执行策略的编排；
[0094]
步骤2，基于物理设备状态、物理设备任务暂存以及能源信息采集任务策略编排，进行能源计量信息采集档案维护，通过redis缓存定时推送更新，通过变更采集档案数据指向完成该操作；同时通过能源信息采集集中器下连接的计量在线状态，更新在线计量装置数量；
[0095]
步骤3，基于已维护的能源计量信息采集档案，针对能源计量信息参数进行维护，根据维护中的任务，同步维护能源信息采集任务参数、能源信息采集方案参数、能源信息采集事件参数。
[0096]
所述的能源计量设备档案信息包括但不限于：设备地址、设备类型、设备通信信息、设备规约；所述的能源计量信息参数包括但不限于：通信参数、档案参数、基本参数、控制参数。
[0097]
本发明提供的任务虚拟体(即“设备影子”)应用于用电信息采集任务领域。
[0098]
随着用电信息采集数据范围的增加，采集频率的提高，尤其是hplc十五分钟采集任务频率全面推开的时候，即便全部采用集中器主动上报的方式实现曲线数据采集，用电信息采集系统的补采或其它高频旁路定时采集任务也必然会给用电信息采集系统带来巨大的冲击。目前“采集任务精准下发”只能降低任务下发的次数，但无法解决海量采集任务下发效率的瓶颈问题。
[0099]
面对巨大的用电信息采集任务体量，系统如果采用采集前置调度服务来统筹管理任务下发明显已不再适合，基于本发明提供的任务虚拟体，将采集任务权力下放，将每台集中器作为数据网关，同时为每台集中器配备一个任务定时执行和任务结果上报的管理者，即将每台集中器的任务执行职能进行虚拟(即集中器的虚拟软设备)，通过独立的线程构造每台集中器的任务虚拟体，即“设备影子”。实现设备档案、设备状态、设备任务管理。
[0100]
通过任务虚拟体，采集系统核心的任务调度无需进行全量终端任务的管理，极大地降低核心任务调度的压力。由于设备影子与物理集中器是一一对应的，因此任务并发执行效率要远远高于统一任务调度管理模式。
[0101]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0102]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0103]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0104]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0105]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。