一种监控数据实时处理方法、非暂态可读记录媒体及数据处理系统与流程

本发明属于监控现场信息数据处理技术领域，具体公开了一种监控数据实时处理方法、非暂态可读记录媒体及数据处理系统。

背景技术：

智能电网的建设对应急指挥辅助决策系统提出了更高的要求。近年来，为了提高电网应急事故处理效率，国内外研发了应急指挥车、单兵装备等多种应急抢修技术手段，此类手段一定程度上提高了应急抢修效率。然而，现存技术手段智能化程序较低，在通信条件差、恶劣灾害等条件下存在功能不实用、现场作业不方便、数据传输不规范、海量数据传输不通畅、数据处理不及时等问题，由于数据量大，集中处理的处理成本和传输成本太高导致监控现场数据采集者对数据进行人为的取舍以及信息滞后，中心侧的管理者往往无法获得实时、准确的现场数据，进而不能对现场进行实时的、有效的管控。

技术实现要素：

为克服现有技术在监控数据传输与处理方面的不足，本发明提供了一种监控数据实时处理方法，包括以下步骤：

s1，建立包括从上至下通信互联的云数据中心层、边缘层、终端层三个层级逻辑树结构的分布式数据处理框架；

s2，获取监测现场数据/任务集a；对输入数据/任务通过多个策略进行分割处理，将所述数据/任务集a按数据量分割为a1,a2,和a3，a1+a2+a3＝a，其中a1在本地所述终端层处理，a2加载到所述边缘层处理，a3加载到云数据中心层处理；

s3,计算不同策略的传输成本；

s4，选择成本最小的策略；

s5,根据s4所选择的策略进行数据处理。

优选的，步骤s2中设定所述数据集a2压缩后再传输，压缩比为α1，所述数据集a3压缩后再传输，压缩比为α2；

步骤s3中的成本是时间成本或金额成本，设定数据/任务在本地所述终端层执行计算成本单价为c0，云数据中心层计算成本单价为cc，边缘层计算成本单价为cm，加载到所述云数据中心层传输成本为tc，加载到所述边缘层传输成本为tm，不计压缩成本，则数据处理总成本c＝tmα1a2+tcα

2a3+c0a1+cmα1a2+ccα2a3。

优选的，边缘层包括多个计算、存储、信息交换设备，其中至少一台设备上安装有边缘计算平台，所述边缘计算平台统一调度管理所述边缘层资源，为该层数据计算提供支撑。

进一步的，边缘计算平台调度管理的所述边缘层资源还包括边缘计算设备层、和专用计算节点层，所述专用计算节点层根据网络从属关系细分为专用计算从节点和主节点。

本发明的另一方案在于提供一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，当执行指令时，将致使处理电路执行上述监控数据实时处理方法之s1-s5步骤。

本发明的又一方案在于提供一种数据处理系统，包括处理电路及与其电性耦接的存储器，存储器配置储存至少一程序，所述程序包含多个指令，所述处理电路运行所述程序，能执行上述监控数据实时处理方法之s1-s5步骤。

相对于现有技术，本发明具有以下有益效果：有效地增加了监控现场侧数据传输地可靠性和实时性，降低了数据传输和处理成本，有助于及时的数据处理和反馈，指导应急指挥决策。

附图说明

图1为本发明实施例中基于多层边云协同的数据实时传输系统架构图；

图2为本发明实施例中边缘层结构图；

图3为本发明实施例中监控数据实时处理方法流程图；

图4为本发明实施例中基于多层数据压缩的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创新劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，构建基于多层边云协同的数据处理系统，该系统包括终端层、边缘层和云数据中心层。三个层级分别集成了基于智能感知和移动互联的现场侧监控数据采集子系统、基于多层边缘计算的监控数据传输处理子系统和基于云的中心侧监控数据存储和分析子系统，并配置有相应软件执行数据的传输与处理。

本实施例中的终端层设备即监控摄像头，实现监控现场的图像数据采集，并采用wifi与本地专用路由器互联，可通过4g/5g网络、有线电缆穿过防火墙与云数据中心进行互联。

本实施例中的边缘层采用如图2所示的三层结构来进行数据传输和处理，自底向上依次为：边缘计算设备层、专用计算从节点层和专用计算主节点层。其中，终端层设备包括四个监控摄像头，边缘计算设备层由专用路由器、边缘网关和蜂窝自组网三个节点组成，两个专用计算从节点和一个专用计算主节点均为边缘计算服务器，区别在于主节点功能性强。同层次设备间通过wifi、蓝牙进行互联，同时所有设备均可通过4g/5g网络、有线电缆与云数据中心进行互联。

本实施例中的云数据中心层由三层架构组成，自底向上依次为云基础设施层、云平台层和云服务层。与边缘层中的软件进行了资源协同、数据协同、应用协同和服务协同全方位协同，进而完成监控数据的实时传输。

本发明所提供的一种基于多层边云协同的流数据实时传输方法，以上述实施例为例，如图3所示，包括以下步骤：

步骤1、接收监控数据。接收从终端层设备收集的图像数据，并且进行整理和汇总，组成监控数据集a，作为数据实时传输分析模型的输入；

步骤2、建立基于多层数据压缩的监控数据传输模型。包括以下步骤：

步骤2.1、数据/任务分割。对输入数据或任务进行分割处理，将数据集a分割为三部分a1,a2,和a3，其中a1+a2+a3＝a。

a1在本地设备端执行，a2加载到边缘层去执行，a3加载到云数据中心层去执行；

步骤2.2、数据/任务压缩。在本地设备端处理执行的数据/任务a1，不需要进行数据压缩和传输，直接在本地端执行；对于加载到边缘计算设备层执行的数据集a2，以压缩比为α1的比率传输到边缘计算设备层，并根据边缘计算设备层中基础设施的层次结构进行细化的数据分割和压缩；对于加载到云数据中心层执行的数据集，以压缩比为α2的比率传输到云数据中心，由云数据中心进行数据存储、处理和分析。在此过程中，数据集a2可进一步进行数据分割成b1,b2,和b3，其中b1+b2+b3＝a2,b1在边缘计算设备层执行，b2加载到边缘计算设备层的第二层结构专用计算从节点去执行，b3加载到云数据中心层去执行，其压缩比分别为β1和β2。数据集b2又可进一步进行数据分割成c1,c2,和c3，其中c1+c2+c3＝b2,c1在边缘计算设备层执行，c2加载到边缘计算设备层的第二层结构专用计算从节点去执行，c3加载到云数据中心层去执行，其压缩比分别为γ1和γ2。

步骤2.3、预测传输成本。根据压缩比和数据集大小计算数据实时传输处理成本c；

数据/任务在本地端执行计算成本单价为c0，云端计算成本单价为cc，边缘计算设备层中自底向上计算成本单价依次为cm1，cm2和cm3，加载到云端传输成本为tc，加载到边缘计算设备层传输成本为tm，则总成本c可按照下列公式计算：

c＝c0a1+tcα2a3+ccα2a3+tmα1a2+cm1b1+tcβ2b3+ccβ2b3+cm2c1+cm3γ1c2

+tcγ2c3+ccγ2c3

步骤3、比较后判断预案成本是否最优，若最优则输出资源分配策略，反之，更新策略，重复如上步骤；

步骤4、确定任务-资源分配策略，即公式中a1,a2,和a3数据量的大小；

步骤5、进行数据存储与分析。根据资源分配策略指示，将收集数据按策略进行存储。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。