一种用于电力物联网的云边数据协同方法与流程

1.本发明涉及一种用于电力物联网的云边数据协同方法，数据云边协同技术领域。


背景技术：

2.能源互联网的不断发展使得电力系统与物联网技术关系日益密切，其形成的电力物联网为电力系统能源生产、传输、配售等各环节提供信息和数据支持，对优化电网运行、降低管理成本、提升经济效益、提高服务质量有极大的促进作用。随着泛在电力物联网(uep
‑
iot)的提出，电力物联网感知设备大规模普及，数据逐渐呈现海量异构、处理复杂、计算频度高等特点。电网公司现阶段采用云计算架构，将感知层数据上传到云平台集中处理应用，但在海量数据背景下存在以下问题：一方面云平台数据传输时延大，造成业务响应不及时，另一方面数据集中于云平台，造成网络通信、计算资源的负担。电力物联网数字化转型正不断深入，在云平台数据处理能力有限的情况下最大限度挖掘海量数据中巨大的应用价值是目前亟需解决的问题。
3.云边协同技术的提出为上述问题提供了解决思路，其核心思想是将部分数据处理、分析、相关应用程序部署至靠近数据源的边缘层中，以降低数据处理时延，缓解云平台的资源压力。一些学者对云边协同面向电力物联网的应用展开了相关研究。丛梨等针对云计算不适用于时延敏感型业务的问题，提出了云雾混合存储方案，利用分布式存储方案将数据保存在雾节点，降低数据处理延时的同时，避免数据丢失。原吕泽芮等针对云计算架构下海量细粒度的用户侧数据无法有效应用的问题，提出了用户侧云边协同数据应用框架，并分析总结该框架下物理层、平台层、业务层的关键技术。王海柱等针对配用电环节数据规模不断扩大、业务处理逻辑复杂等问题，分析了配用电计算终端云边数据、业务、计算协同机制。但上述研究多是从电力系统的特定环节出发，对电力物联网应用业务云边协同进行探讨分析，针对电力物联网数据海量异构的特点缺乏云边数据协同的具体实施方案。


技术实现要素：

4.发明目的：本发明提供一种用于电力物联网的云边数据协同方法，该方法通过将部分数据处理任务下放至边缘层达到缓解云计算压力的目的。
5.技术方案：本发明所述的一种用于电力物联网的云边数据协同方法，包括以下内容：
6.s1.将电力系统能源生产端、传输端、配售端数据应用业务根据树状层次结构划分为多个微服务，并通过容器技术，将微服务封装为容器镜像，上传到云平台容器仓库；
7.s2.云平台根据边缘层节点的网络带宽、存储容量、cpu性能、i/o速率情况进行容器编排，为边缘层节点调度、安装、配置微服务容器，所述微服务容器至少包括数据预处理微服务容器；
8.s3.边缘层节点获取电力物联网感知层设备采集的数据，通过数据预处理微服务容器对多源异构数据进行数据预处理；
9.s4.边缘层将预处理后的数据根据微服务容器部署结构转发到云平台进一步利用或通过边缘层就地利用。
10.进一步的，步骤s1的具体方法如下：
11.s11.获取电力系统能源生产端、传输端、配售端数据应用业务；
12.s12.根据树状层次结构，将数据应用业务划分为多个应用微服务，并对微服务进行编号；
13.s13.将应用微服务封装于docker容器中，并将容器上传至云平台容器仓库；
14.进一步地，步骤s2的具体方法如下：
15.s21.云平台容器调度中心建立与边缘层节点的网络连接；
16.s22.容器调度中心获取边缘层节点资源信息，所述边缘层节点资源信息包括网络带宽、可用存储容量、cpu利用率、i/o速率；依据边缘层节点资源信息和应用微服务资源需求量，为边缘层节点编排微服务容器；所述微服务容器至少包括数据预处理微服务容器；
17.s23.容器调度中心为边缘层节点下载安装微服务容器；
18.s24.容器调度中心为微服务容器配置通信服务，依据微服务层次结构建立tcp通信连接。
19.进一步地，步骤s22中所述的微服务容器编排遵循如下规则：
20.在云边协同应用环境下，边缘层与云平台数据交互存在较大的时延，频繁的数据交互业务造成网络资源的负担，降低数据处理效率。将微服务基于树状结构划分，微服务容器编排次序遵循树的层次规则，即深度为l的微服务容器必须在深度为l+1的微服务容器编排完后再进行编排，避免部署于云平台和边缘层的不同深度微服务之间频繁的数据交换。
21.进一步的，步骤s22中所述微服务容器编排的具体过程如下：
22.数据应用微服务划分集合φ＝{s1,s2,
…
,s
n
}，微服务树状层次结构可用父子关系表示，任意微服务s
i
的左、右子微服务表示为s
2i
和s
2i+1
，且子微服务被父微服务调用；对任意微服务s
i
∈φ，其资源需求情况为u
si
＝{network
si
,storage
si
,cpu
si
,io
si
}；边缘层节点总资源情况为source＝{network,storage,cpu,io}；其中network表示边缘层节点总的网络带宽、storage表示边缘层节点总的可用存储容量、cpu表示边缘层节点总的cpu利用率、io表示边缘层节点总的i/o速率，network
si
表示微服务s
i
需求的网络带宽、storage
si
表示微服务s
i
需求的存储容量、cpu
si
表示微服务s
i
需求的cpu利用率、io
si
表示微服务s
i
需求的i/o速率；将边缘层微服务编排过程转化为一个优化问题，优化目标公式如下：
[0023][0024]
s.t.c1,c2,c3,c4,c5
[0025]
其中bool[i]表示微服务s
i
是否编排到该边缘层节点上，1表示编排，0表示不编排，c1、c2、c3、c4、c5分别为约束条件且满足：
[0026]
c1:bool[i]＝bool[2i]&&bool[2i+1](bool[i]＝0 or 1)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0027][0028]
[0029][0030][0031]
进一步地，所述步骤s3的数据预处理过程具体内容如下：
[0032]
s31.数据标准化描述：电力物联网感知层数据源包括电力系统能源生产端、配电端、用户端所部署的终端设备，将感知层上传的数据通过bson数据格式统一描述。数据标准化描述过程包括设备标准化和数据标准化，具体为：
[0033]
(1)设备标准化：通过设备静态信息，包括设备名称、设备出厂编号、设备类型、设备位置信息，生成全局唯一的设备id号；
[0034]
(2)数据标准化：根据感知层设备类型，将数据类型划分为报警类、数值类、信号量类；进一步地，将报警类数据细分为烟雾报警、过压过流报警；将数值类数据细分为温度、电压；将信号量类数据细分为视频、图片。通过数据类别信息及数据标识信息共同描述数据内容；
[0035]
s32.数据集成与融合：将数据进行不同层次的融合，减少数据传输量。具体为：
[0036]
(1)数据级融合：将电力物联网感知层设备短时间内多次测量值或多个同类型设备同一时刻测量值求平均；
[0037]
(2)特征级融合：通过特征级融合方法，提取感知层数据中的关键信息，可选的，特征级融合方法包括深度学习、k
‑
近邻、特征压缩聚类；
[0038]
(3)决策级融合：为当前监测对象构建决策模型，将感知层数据作为输入变量，由决策模型判断监测对象是否正常工作，可选的，构建决策模型的方法包括深度学习、机器学习、强化学习；
[0039]
s33.数据标签管理：可选的，设定长度为128bit的标签变量，其中0
‑
2bit分别用于表示数据是否需要加密、数据是否需要压缩、数据是否要求实时。3
‑
4bit表示数据传输qos级别，5
‑
127bit共123位表示数据应用微服务编号，与所述步骤s12中的微服务编号相对应。
[0040]
s34.数据消息队列：将经过预处理后的数据加入消息队列，根据数据标签5
‑
127bit的取值情况，将数据传递到相应的微服务容器中。
[0041]
进一步地，所述步骤s4的具体内容如下：
[0042]
s41.应用微服容器获取数据后，根据应用程序对数据进行相应处理；
[0043]
s42.当前应用微服务容器完成数据处理后，进一步，将数据传递给父应用微服务容器；
[0044]
s43.位于根节点位置的应用微服务容器对数据处理结果进行汇总，完成和用户的交互。
[0045]
有益效果：
[0046]
本方发明针对电力物联网感知层数据具有多源异构、冗余度高的问题，设计了边缘层数据预处理流程，该流程对数据进行标准化描述、集成与融合、标签化管理等步骤，在规范数据格式的同时，提高数据的利用效率。针对数据应用过程中存在的时延大、云计算负担大的问题，本发明采用基于微服务和容器化技术的数据应用云边协同方式，通过合理调度微服务，可将部分应用微服务下放至边缘层。
[0047]
本发明基于云边协同技术，缓解了云计算架构下云平台资源压力大问题，同时可根据边缘层节点的资源情况，动态调整应用微服务部署结构，最大限度利用边缘层节点的资源。
附图说明
[0048]
图1为本发明总体流程图；
[0049]
图2为微服务划分层次结构示意图；
[0050]
图3为微服务容器编排示意图；
[0051]
图4为数据预处理流程图。
具体实施方式
[0052]
下面结合附图与具体实施例，进一步阐述本发明。
[0053]
如图1所示，本发明所述的一种用于电力物联网的云边数据协同方法，包括如下步骤：
[0054]
s1.将电力系统能源生产端、传输端、配售端数据应用业务根据树状层次结构划分为多个微服务，并通过容器技术，将微服务封装为容器镜像，上传到云平台容器仓库；
[0055]
s2.云平台根据边缘层节点的网络带宽、存储容量、cpu性能、i/o速率情况进行容器编排，为边缘层节点调度、安装、配置微服务容器，所述微服务容器至少包括数据预处理微服务容器；
[0056]
s3.边缘层节点获取电力物联网感知层设备采集的数据，通过数据预处理微服务容器对多源异构数据进行数据预处理；
[0057]
s4.边缘层将预处理后的数据根据微服务容器部署结构转发到云平台进一步利用或通过边缘层就地利用。
[0058]
如图2所示为应用微服务划分示意图，其具体方法如下：
[0059]
s11.获取电力系统能源生产端、传输端、配售端数据应用业务；
[0060]
s12.根据树状层次结构，将数据应用业务划分为多个应用微服务，并对微服务进行编号；
[0061]
s13.将应用微服务封装于docker容器中，并将容器上传至云平台容器仓库；
[0062]
如图3所示为应用微服务容器编排示意图，其具体方法如下：
[0063]
s21.云平台容器调度中心建立与边缘层节点的网络连接；
[0064]
s22.容器调度中心获取边缘层节点资源信息，所述边缘层节点资源信息包括网络带宽、可用存储容量、cpu利用率、i/o速率；依据边缘层节点资源信息和应用微服务资源需求量，为边缘层节点编排微服务容器；所述微服务容器至少包括数据预处理微服务容器；
[0065]
s23.容器调度中心为边缘层节点下载安装微服务容器；
[0066]
s24.容器调度中心为微服务容器配置通信服务，依据微服务层次结构建立tcp通信连接。
[0067]
其中步骤s22中所述的微服务容器编排遵循如下规则：
[0068]
在云边协同应用环境下，边缘层与云平台数据交互存在较大的时延，频繁的数据交互业务造成网络资源的负担，降低数据处理效率。将微服务基于树状结构划分，微服务容
器编排次序遵循树的层次规则，即深度为l的微服务容器必须在深度为l+1的微服务容器编排完后再进行编排，避免部署于云平台和边缘层的不同深度微服务之间频繁的数据交换。
[0069]
进一步地，步骤s22中所述微服务容器编排的具体过程如下：
[0070]
数据应用微服务划分集合φ＝{s1,s2,
…
,s
n
}，微服务树状层次结构可用父子关系表示，任意微服务s
i
的左、右子微服务表示为s
2i
和s
2i+1
，且子微服务被父微服务调用；对任意微服务s
i
∈φ，其资源需求情况为u
si
＝{network
si
,storage
si
,cpu
si
,io
si
}；边缘层节点总资源情况为source＝{network,storage,cpu,io}；其中network表示边缘层节点总的网络带宽、storage表示边缘层节点总的可用存储容量、cpu表示边缘层节点总的cpu利用率、io表示边缘层节点总的i/o速率，network
si
表示微服务s
i
需求的网络带宽、storage
si
表示微服务s
i
需求的存储容量、cpu
si
表示微服务s
i
需求的cpu利用率、io
si
表示微服务s
i
需求的i/o速率；将边缘层微服务编排过程转化为一个优化问题，优化目标公式如下：
[0071][0072]
s.t.c1,c2,c3,c4,c5
[0073]
其中bool[i]表示微服务s
i
是否编排到该边缘层节点上，1表示编排，0表示不编排，c1、c2、c3、c4、c5分别为约束条件且满足：
[0074]
c1:bool[i]＝bool[2i]&&bool[2i+1](bool[i]＝0 or 1)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0075][0076][0077][0078][0079]
如图4所示为电力物联网数据预处理流程图，具体流程如下：
[0080]
s31.数据标准化描述：电力物联网感知层数据源包括电力系统能源生产端、配电端、用户端所部署的终端设备，将感知层上传的数据通过bson数据格式统一描述。数据标准化描述过程包括设备标准化和数据标准化，具体为：
[0081]
(1)设备标准化：通过设备静态信息，包括设备名称、设备出厂编号、设备类型、设备位置信息，生成全局唯一的设备id号；
[0082]
(2)数据标准化：根据感知层设备类型，将数据类型划分为报警类、数值类、信号量类；进一步地，将报警类数据细分为烟雾报警、过压过流报警；将数值类数据细分为温度、电压；将信号量类数据细分为视频、图片。通过数据类别信息及数据标识信息共同描述数据内容；
[0083]
s32.数据集成与融合：将数据进行不同层次的融合，减少数据传输量。具体为：
[0084]
(1)数据级融合：将电力物联网感知层设备短时间内多次测量值或多个同类型设备同一时刻测量值求平均；
[0085]
(2)特征级融合：通过特征级融合方法，提取感知层数据中的关键信息，可选的，特
征级融合方法包括深度学习、k
‑
近邻、特征压缩聚类；
[0086]
(3)决策级融合：为当前监测对象构建决策模型，将感知层数据作为输入变量，由决策模型判断监测对象是否正常工作，可选的，构建决策模型的方法包括深度学习、机器学习、强化学习；
[0087]
s33.数据标签管理：可选的，设定长度为128bit的标签变量，其中0
‑
2bit分别用于表示数据是否需要加密、数据是否需要压缩、数据是否要求实时。3
‑
4bit表示数据传输qos级别，5
‑
127bit共123位表示数据应用微服务编号，与所述步骤s12中的微服务编号相对应。
[0088]
s34.数据消息队列：将经过预处理后的数据加入消息队列，根据数据标签5
‑
127bit的取值情况，将数据传递到相应的微服务容器中。
[0089]
完成数据预处理后，进一步数据应用流程如下：
[0090]
s41.应用微服容器获取数据后，根据应用程序对数据进行相应处理；
[0091]
s42.当前应用微服务容器完成数据处理后，进一步，将数据传递给父应用微服务容器；
[0092]
s43.位于根节点位置的应用微服务容器对数据处理结果进行汇总，完成和用户的交互。