一种基于端边协同的多分组形式半中心化视频处理系统

本发明涉及一种基于端边协同的多分组形式半中心化视频处理系统，属于边缘计算下多节点协同下多视频智能处理领域。

背景技术：

1、随着监控摄像头的大规模部署以及无人机技术的快速发展，视频分析在交通检测、智能安防、智慧城市等方面具有重要作用。近年来，基于深度卷积神经网络的目标检测、识别以及跟踪等计算机视觉技术有了重大发展，智能视频处理技术也因此有了飞速的进步并大量应用于实际项目。

2、传统的视频处理系统多采用云计算架构，常常面临到传输延迟高，带宽占用大、隐私易泄露等问题。边缘计算能够在网络边缘存储和计算数据，将视频处理任务从云端下沉到终端及边缘设备上，能够有效解决上述问题。此外，由于需处理的视频数目通常较多，为了提高性能，基于分布式计算的系统被大量提出。

3、在上述分布式系统中，较为典型的是采用去中心化架构的ray系统以及采用中心化架构的dask系统，然而，在执行多视频处理任务时，它们面临任务分配时间长，可扩展性差；视频分析运算量大，占用资源高且耗时长，与边缘设备匹配性差；难以做到系统执行效率与安全性统筹兼顾等问题。

技术实现思路

1、本发明以多分组形式的半中心化架构为基础，提出了一种基于端边协同的多分组形式半中心化视频处理系统，具有任务分配效率高，可扩展性强，减少视频分析处理运算量以节约资源并减小耗时，适合部署于边缘设备，同时兼顾到了系统执行效率和安全性等优势。

2、为了实现上述目的，本发明采用的技术方案为：设计一种基于端边协同的多分组形式半中心化视频处理系统，本系统架构分为端侧和边缘侧两部分，如下所述。

3、1)端侧：端侧设备可分为两类，分别为视频采集设备和端侧计算设备，其数目均为多个。视频采集设备可直接采集所需视频等原始数据，端侧计算设备与视频采集设备一一相连，且端侧计算设备需从边缘侧接收用于视频原始数据预处理的程序并完成视频预处理工作。这两类端侧设备工作时，首先由视频采集设备完成原始视频数据的采集，由于所采集到的视频数据可能会存在视频图像模糊，颜色失真等问题，需要由端侧计算设备对原始视频数据进行预处理。此外，预处理还包括对上述视频图像数据进行图像尺寸和帧率进行修改并统一，以便满足后续视频编解码以及深度卷积神经网络的输入要求。视频预处理完毕后，端侧计算设备需将预处理后的视频数据上传至边缘侧。

4、2)边缘侧：本发明涉及的系统为多分组形式的半中心化架构，因此将大量边缘节点分为三类：master(下文均简称为m)节点、master(下文均简称为m)节点以及worker(下文均简称为w)节点。m节点作为此半中心化架构的核心节点，在本系统中有且仅有1个，负责下发深度神经网络模型(下文均简称模型)及程序，任务分配，接收上传的视频数据做总处理。m节点作为多分组形式的重要节点，可以存在多个且其数目将直接决定分组数目，其功能包括接收视频数据、模型和程序，下发模型及程序，任务分配，任务执行，视频处理以及上传视频数据。w节点作为本系统的主要执行节点，一般存在多个，其功能包括接收端侧预处理后的视频数据，接收下发的模型和程序，下发程序，任务执行以及上传视频数据。本系统中，多分组意味着m节点和所有m节点作为各个小组的组长，负责向本小组下属的多个w节点进行任务分配，因此总组数为m节点数目加1。此外，m节点不仅作为其中一个小组的组长，还要向其余组长(各个m节点)下发模型及程序并接收各小组组长上传的视频数据以完成最终的视频总处理，相比于中心化系统(如dask)下m节点连接所有的w节点而言，本系统中m节点只需连接所有的m节点以及其本组的w节点；相比于所有w节点均处于平等地位的去中心化系统(如ray)而言，本系统具有明显区别于w节点的m节点以及m节点，因此，本系统为半中心化系统。

5、下文将详细阐述m节点、m节点以及w节点的上述功能以及本系统中这三类节点之间的具体关系。

6、作为本系统的核心节点，m节点负责向各个m节点下发模型及程序并接收各个m节点处理后的视频；作为多分组下其中一个小组的组长，m节点负责向下属各个w节点下发模型及程序，分配任务并接收w节点任务执行后上传的视频数据。m节点得到m节点和w节点上传的视频数据后，将所有视频根据实际需求进行合并、裁剪等操作后得到最终输出结果

7、作为本系统多分组下的组长(除m节点)，m节点负责接收m节点下发的模型及程序，向下属各个w节点下发模型及程序，分配任务并接收w节点任务执行后上传的视频数据。此外，m节点可以向端侧计算设备下发预处理程序并接收端侧计算设备预处理后的视频数据，因此m节点本身也可以进行任务的执行。各个m节点在得到本组所有的任务执行输出视频后(包括m节点和w节点)，根据实际需求进行本组所有视频的合并、裁剪等处理工作后输出视频并上传至m节点。

8、作为本系统的主要任务执行节点，w节点负责接收m节点或m节点下发的模型及程序，向端侧计算设备下发预处理程序并接收端侧计算设备预处理后的视频数据，在执行任务后将输出的视频结果上传至m节点或m节点。

9、进一步地，所述部分1)中，端侧用于采集视频等原始数据的视频采集设备包括但不限于手机摄像头、监控摄像头、无人机，与上述设备所分别连接的端侧计算设备包括但不限于手机、树莓派、开发板jetson系列。

10、进一步地，所述部分1)中，端侧计算设备进行原始视频数据预处理的方法包括但不限于降噪、压缩、图像增强、色彩校正、图像重采样、帧率转换。

11、进一步地，所述部分2)中，边缘侧内的边缘节点分为物理设备以及虚拟节点，包括但不限于微型数据中心、微型服务器、路由器、云服务提供商的边缘计算平台。

12、进一步地，所述部分2)中，边缘侧内的m节点及w节点执行的任务包括但不限于目标检测、目标识别、目标跟踪。

13、进一步地，执行的任务中，所使用的深度神经网络模型包括但不限于alexnet、resnet50、mobilenetv2、yolov4、siamrpn++。

14、进一步地，所述端侧、边缘侧各设备、各节点均置于同一网络下，均通过ip、端口、用户名、密钥进行连接。

15、进一步地，任务分配时，每个小组组长(m节点或m节点)定义一个任务队列，用put()方法将视频所在相对地址放入任务队列中，执行节点可通过get()方法获取任务内容。

16、进一步地，所述系统与现有技术在可扩展性对比上用可扩展性效率e来描述，其定义如下：

17、

18、其中，ta、tb、t1分别为某个任务在处理器(节点)数目为1时的可并行代码执行时间、串行执行时间及总时间，t′a和tp分别为此任务在处理器(节点)数量为p时的并行执行时间和总时间，te为系统任务分配时间，tc为系统在p个处理器(节点)时所需通信时间

19、由上式可得，

20、

21、

22、

23、其中，s为系统在p个处理器(节点)时的加速比，e在此定义为可扩展性效率。

24、进一步地，为了防止核心节点m出现故障导致整个系统崩溃，本半中心化系统具有节点备份功能，即在m节点出现故障时，任何一个m节点均可通过预备份程序完成m节点基础状态信息同步，由系统随机指定某一m节点替代并成为m节点以完成系统的正常工作。

25、本发明提出了一种基于端边协同的多分组形式半中心化视频处理系统，与现有技术相比，具有以下优点：

26、(1)采取多分组形式，在总节点数目一致的情况下，减少了每个任务分配节点的负载(任务执行节点)，进而降低了任务分配所需的时间，提升了可扩展性效率指标e，增强了可扩展性。

27、(2)多分组形式中每个小组都可以将本组内任务执行后输出的视频进行合并等操作后再上传至核心节点m，并且在总节点数目一致的情况下，相比于dask等现有技术其核心节点m会连接至所有的w节点，本系统中核心节点m只需连接m节点以及m节点本组内的w节点，由于m节点的总数目小于w节点总数目，因此本系统中核心节点m负载更小，视频处理运算量更小，节约资源且耗时更短，更适合部署在算力和资源并不出色的边缘设备上。

28、(3)半中心化系统相比于中心化系统通过节点备份等形式提高系统安全性，并且由于存在核心节点m，相比于去中心化系统有更高的执行效率，实现了系统执行效率和安全性的统筹兼顾。