一种基于端-边-云协同的无人机辅助车联网盲区行人检测系统

1.本发明涉及到无人机、车联网、边缘计算、任务卸载、v2x通信及智能交通系统，具体涉及一种基于端-边-云协同的无人机辅助车联网盲区行人检测系统以及其处理方法。


背景技术：

2.近年来无线通信和智能网络技术的发展推动了车载自组织网络(vanets)的发展，vanets是新兴智能交通系统(its)的基础。另一方面，随着环境监测、智能监控、无线通信、航拍等以无人机为基础的应用的普及，形成vanet与无人机合作，实现创新、强大的信息技术服务的全新范式是一种愿景。
3.无人机与vanets的集成已经有大量的研究，包括数据转发、交通监控、计算卸载和轨迹优化。在数据转发场景中，以无人机为中继节点，研究了数据缓存和轨迹规划问题，使网络吞吐量最大化。在交通监控场景中，无人机充分利用其机动性，实时监控交通网络状况，并向控制中心报告异常情况。在计算卸载场景下，研究重点是考虑无人机与vanet之间的通信、存储和计算资源分配成本，降低计算处理延迟，节约无人机能源消耗。在轨迹优化场景下，通过规划无人机的轨迹，研究无人机与vanet集成时最大系统吞吐量和减少服务延迟。
4.在目前的交通系统中，很多情况下车辆前方存在视野盲区是造成交通事故的主要原因，而道路中车辆视野盲区可以是固定和随机产生的。例如，某时刻和某位置车辆前方存在大型客车或障碍物，此时车辆前方将会随机产生视野盲区，车辆在此情况下极易导致交通事故，目前its主要采用路边监视摄像头进行实时路况直播，旨在消除这种隐患，但盲区是随机性产生，这种方式在这样场景下无法帮助车辆对盲区进行实时的检测与预警，交通事故的预防效果也不佳，此外传统的云计算架构，也不能为道路车辆提供实时高效的服务。如何解决车辆视野盲区产生的随机性，解决云计算架构任务响应不及时等问题仍存在巨大考验。


技术实现要素：

5.为解决上述问题，本发明主要提供的是一种基于端-边-云协同的无人机辅助车联网盲区行人检测系统，具体地，考虑一种具有计算能力和通信接口的无人机悬停在空中，对道路中车辆可能出现的盲区进行监控，可以基于某种目标检测模型，对行人进行检测。同时，无人机可分别通过v2v(车对车)、v2i(车对基础设施)和v2c(车对云)通信与车辆、路边基础设施和云服务器进行通信。因此，无人机可以通过将监控到的视频传输到相应节点，将目标检测任务卸载给移动车辆、部署在路边的静态边缘节点以及云服务器，由于无人机具有较高的灵活性，系统一方面解决了车辆视野盲区产生具有随机性的问题，另一方面，采用端-边-云协同的方式克服了云计算响应较慢的问题。
6.为解决上述技术问题，本发明提供的基于端-边-云协同的无人机辅助车联网盲区
行人检测系统主要步骤如下：
7.步骤1：离线模型训练，用于对盲区内的行人进行实时监测。采集无人机拍摄的行人数据集，用于模型训练，将训练好的模型部署在具有异构计算和通信能力的终端、移动边缘、静态边缘和云端节点上。本发明考虑采用ssd和yolo两种经典的目标检测模型，yolo与ssd相比是一个规模较大的网络，需要更高的计算开销，具有更好的检测效果；ssd是一种单阶段网络，同步实现对象检测和分类。ssd的轻量级和快速推理特性使其更适合于移动设备。
8.系统的训练数据集来自无人机拍摄的某大学校园广场视频。从视频中随机选取2000帧，其中90％用于训练，其余10％用于模型验证，训练过程将batch大小设置为32，iou阈值设置为0.98，训练迭代为5000次。在交通场景下测试了这两种模型。采集无人机视频帧，场景模拟车辆潜在盲区，最后实验结果表明yolo和ssd的检测精度分别能保持在95％和90％。
9.步骤2：将无人机部署在空中，监控交通道路中车辆的视野盲区，同时开启盲区行人检测服务并通知路侧的静态边缘节点，静态边缘节点收到通知过后开始在线更新任务卸载策略。具体地，对无人机进行视频流数据获取的方法，无人机采用ffmpeg实现视频的解码操作，将得到的解码结果转换为yuvimage格式的图像，以此来实现图像的传递和存储。最终得到的yuv视频流通过v2x通信发送至系统中的各个节点。
10.步骤3：提供了一种结合异构节点可用的计算资源和网络的通信带宽，确定将该任务卸载到某个节点执行的方法，该方法包括：
11.步骤3.1：在节点计算、存储和通信资源受约束的情况下，以最小化平均任务时延为优化目标定义的目标函数：
12.其中节点参数包括：定义s＝{s1,s2,
…
,s
|s|
}，m＝{m1,m2,
…
,m
|m|
}，u＝{u1,u2,
…
,u
|u|
}和{c}所述分别为静态边缘节点、移动边缘节点、终端节点和云服务器的集合；
13.用n＝{s1,s2,
…
,s
|s|
,m1,m2,
…
,m
|m|
,u1,u2,
…
,u
|u|
,c}表示的卸载节点；
14.无人机感知的任务集合用表示；
15.每个任务可以表示为一个5元组分别表示输入数据大小、所需cpu周期数、精度要求、生成时间和截止日期；
16.每个卸载节点n∈n与5个元组《cn,bn,ρn,sn,rn》，分别代表通信覆盖范围的半径、总无线带宽、通道的数量、最大的存储功能、和计算能力(例如，cpu周期的数量单位时间)；
17.记con
u,n,t
＝1表示u∈n在t时刻的单跳通信中可以与n∈n交换消息；
18.用h＝{h1,h2,
…
,h
|h|
}表示神经网络模型的权值；
19.假设利用神经网络模型hk将任务w
ji
卸载到节点n进行推理，定义一个二元变量卸载到节点n进行推理，定义一个二元变量
20.节点之间的通信时延：
[0021][0022]
总传输时延总和包括无人机将视频数据发送给卸载节点，卸载节点将计算结果发送至车辆两个部分，任务卸载的总通信时延定义提如：
[0023][0024]
任务的计算时延：
[0025][0026]
任务的等待时延：
[0027][0028]
最后，将w
ji
卸载到节点n的任务时延由表示，它是总传输时延、计算时延和等待时延的计算得到:
[0029][0030]
系统的目标是通过确定卸载策略来最小化平均任务时延，目标函数为：
[0031][0032]
所述目标函数的约束条件包括：
[0033]
约束c1与约束c2表示每个任务必须卸载并计算到一个节点：
[0034]
c1:x
j,i,n,h
∈{0,1}
[0035]
c2:∑
n∈n
x
j,i,n,h
＝1
[0036]
约束c3表示存储约束：
[0037][0038]
约束c4表示同时传输的任务数不能超过卸载节点的信道数：
[0039][0040]
约束c5表示所选神经网络模型满足精度要求：
[0041][0042]
约束c6表示意味着任务必须在截止日期前完成：
[0043][0044]
步骤3.2：根据目标函数的优化目标，设计了一种任务卸载算法：
[0045]
根据当前应用的卸载策略估计任务时延。如果超过了预定义的阈值，则采用贪心方法搜索新的卸载策略。它由两种策略组成，一种是时延驱动策略，目标是最小化系统的整体任务时延；另一种是资源驱动策略，目标是最大化资源利用。
[0046]
时延驱动策略：给定某个卸载策略，表示任务时延为t
cur
。当数据为θ
ji
和计算要求为c
ji
的新任务到达时，根据上述推导的时延模型估计卸载时延t
aver
。当t
cur
和t
aver
的差值超过预定义的阈值t
diff
时，算法开始寻找新的卸载策略。具体来说，它遍历每个计算节点和每个神经网络模型，计算总任务时延然后，选择最小的策略。
[0047]
资源驱动策略:考虑资源利用率最大化，以计算资源可用性为例。具体来说，给定
一个卸载策略，表示计算时延为当系统中节点的rn增加时，算法开始寻找新的卸载策略。具体更新策略类似于任务驱动时延策略。
[0048]
步骤4：无人机与其他节点通过v2x进行通信，具体地，无人机与静态边缘节点，移动边缘节点同时位于一个车联网之中，通过如：wifi、dsrc等方式进行通信，无人机与云端节点通过4g、5g或蜂窝网络进行通信，无人机可以收到来自静态边缘节点的任务卸载节点选择结果，并将采集到的盲区视频流发送到相应的节点进行任务计算。
[0049]
步骤5：根据步骤1中得到的行人检测模型，计算任务的节点将提前部署好离线训练好的行人检测模型，节点将根据接收的消息选择相应的深度学习模型进行推理计算，该选择结果可以在步骤3.2中所提的两种任务卸载策略得到。节点得到计算结果后，考虑到通信带宽有限性和结果的有效性，并不会将所有计算结果发送至道路中的车辆，只会在检测到碰撞危险时候向车辆发送警告信号。
附图说明
[0050]
本发明的附图说明如下：
[0051]
图1是本发明的系统示意图；
[0052]
图2是本发明的流程图；
具体实施方式
[0053]
图1是本发明的系统示意图。图示主要展示的是终端-边缘-云协同架构由无人机终端、作为移动边缘节点的车辆、作为静态边缘节点的路侧单元和云服务器4个基本元素组成。各要素均具备一定的计算和通信能力，使无人机终端能够通过v2x通信与车辆、路侧单元、云进行通信。在这种架构下，一般的应用场景描述如下：该无人机部署在空中，可以监控驾驶车辆的盲区，如图中圆圈包围的行人。可以根据特定的对象检测模型(如yolo)对监控的视频流进行处理。该模型可以部署在无人机、车辆、路侧单元以及云进行行人检测。路侧单元根据一定的卸载算法得到当前任务的卸载节点并通知给无人机，无人机端将视频流通过v2x通信传输到相应节点进行任务计算。最后，如果检测到潜在的行人碰撞，则通过任务计算节点将警告信息传输给驾驶车辆。
[0054]
图2是本发明的具体实施流程图。以下将对系统执行步骤详细说明：
[0055]
在步骤101，离线训练行人检测模型，采用ssd和yolo两种经典模型进行训练，其中ssd轻量级特性更加适合移动设备，yolo则是检测精度较高，大量采集交通道路中由无人机在空中拍摄到的行人数据集，将训练好的模型均部署在无人机终端、路侧静态边缘节点、车载移动边缘节点和远端云节点。
[0056]
在步骤102，无人机被部署到交通道路的空中，由于大部分无人机不具有计算能力，可以在无人机上搭载一个树莓派作为处理器，用于监控交通道路中存在车辆视野盲区。
[0057]
在步骤103，无人机实时监控盲区状况，拍摄行人位置等信息，随后采用ffmpeg实现视频的解码操作，将得到的解码结果转换为yuvimage格式图像，以此来实现视频流的传输和存储，同时在开始对盲区监控的同时向路侧单元发送通知。
[0058]
在步骤104，无人机通过v2i与路侧单元进行通信，交通道路中存在较多信道干扰信号，传输过程中丢包现象较为严重，使用可靠传输tcp协议将为大大提高传输时延，不符
合实际交通道路中对任务响应速率的要求，因此本发明主要设计使用udp广播的形式进行数据的传输，在忽略少数包丢失的情况下，将消息或数据发送至路侧单元，这里则将盲区监控服务开启的通知发送给了路侧单元。
[0059]
在步骤105，路侧单元接收到了无人机发送的通知信息，路侧单元开始实时更新任务卸载策略。由于路侧单元的计算能力较车载端和无人机端更强，同时相较于云节点它更靠近实际交通道路，本发明把任务卸载算法提前部署到了路侧单元。
[0060]
在步骤106，路侧单元整合系统所有异构节点的计算、存储和带宽资源，确定以最小化平均任务时延为优化目标，并定义的目标函数，其中定义与约束条件如下：
[0061]
相关参数包括：定义s＝{s1,s2,
…
,s
|s|
}，m＝{m1,m2,
…
,m
|m|
}，u＝{u1,u2,
…
,u
|u|
}和{c}所述分别为静态边缘节点、移动边缘节点、终端节点和云服务器的集合；
[0062]
用n＝{s1,s2,
…
,s
|s|
,m1,m2,
…
,m
|m|
,u1,u2,
…
,u
|u|
,c}表示的卸载节点；
[0063]
无人机感知的任务集合用表示；
[0064]
每个任务可以表示为一个5元组分别表示输入数据大小、所需cpu周期数、精度要求、生成时间和截止日期；
[0065]
每个卸载节点n∈n与5个元组《cn,bn,ρn,sn,rn》，分别代表通信覆盖范围的半径、总无线带宽、通道的数量、最大的存储功能、和计算能力(例如，cpu周期的数量单位时间)；
[0066]
记con
u,n,t
＝1表示u∈n在t时刻的单跳通信中可以与n∈n交换消息；
[0067]
用h＝{h1,h2,
…
,h
|h|
}表示神经网络模型的权值；
[0068]
假设利用神经网络模型hk将任务w
ji
卸载到节点n进行推理，定义一个二元变量
[0069][0070]
节点之间的通信时延：
[0071][0072]
总传输时延总和包括无人机将视频数据发送给卸载节点，卸载节点将计算结果发送至车辆两个部分，任务卸载的总通信时延定义提如：
[0073][0074]
任务的计算时延：
[0075][0076]
任务的等待时延：
[0077][0078]
最后，将w
ji
卸载到节点n的任务时延由表示，它是总传输时延、计算时延和等待时延的计算得到:
[0079][0080]
系统的目标是通过确定卸载策略来最小化平均任务时延，目标函数为：
[0081][0082]
所述目标函数的约束条件包括：
[0083]
约束c1与约束c2表示每个任务必须卸载并计算到一个节点：
[0084]
c1:x
j,i,n,h
∈{0,1}
[0085]
c2:∑
n∈n
x
j,i,n,h
＝1
[0086]
约束c3表示存储约束：
[0087][0088]
约束c4表示同时传输的任务数不能超过卸载节点的信道数：
[0089][0090]
约束c5表示所选神经网络模型满足精度要求：
[0091][0092]
约束c6表示意味着任务必须在截止日期前完成：
[0093][0094]
在步骤107，系统根据当前应用的卸载策略估计任务时延。如果超过了预定义的阈值，则采用贪心方法搜索新的卸载策略。它由两种策略组成，一种是时延驱动策略，目标是最小化系统的整体任务时延；另一种是资源驱动策略，目标是最大化资源利用。
[0095]
给定某个卸载策略，系统初始按着该卸载策略进行任务卸载，表示任务时延为t
cur
。当数据为θ
ji
和计算要求为c
ji
的新任务到达时，根据上述推导的时延模型估计卸载时延t
aver
。同样的资源驱动策略考虑资源利用率最大化，以计算资源可用性为例。具体来说，给定一个卸载策略，表示计算时延为当系统中节点的rn增加时，计算当前的卸载时延t
aver
，具体更新策略类似于任务驱动时延策略。
[0096]
在步骤108，当t
cur
和t
aver
的差值超过预定义的阈值t
diff
时，算法开始寻找新的卸载策略。
[0097]
在步骤109，路侧单元开始寻找在当前环境最优的任务卸载策略，具体来说，遍历每个计算节点和每个神经网络模型，计算总任务时延然后，选择贪心的选择最小的策略，并记录该卸载策略发送给无人机端。
[0098]
在步骤110，当t
cur
和t
aver
的差值未超过阈值，算法继续沿用之前的卸载策略。
[0099]
在步骤111，无人机接收到来自路侧单元的卸载策略通知，然后将采集到的盲区视频流发送到相应的节点进行任务计算。在这个过程中无人机与其他节点通过v2x进行通信，具体地，无人机与静态边缘节点，移动边缘节点同时位于一个车联网之中，通过如：wifi、dsrc等方式进行通信，无人机与云端节点通过4g、5g或蜂窝网络进行通信。
[0100]
在步骤112，节点接收到来自无人机的视频流，计算任务的节点将调用提前部署好
离线训练好的行人检测模型，节点将根据接收的消息选择相应的深度学习模型进行推理计算，节点得到计算结果后，考虑到通信带宽有限和结果的有效性，并不会将所有计算结果发送至道路中的车辆，只会在检测到行人碰撞危险时候向车辆发送警告信号。
[0101]
在步骤113，计算节点检测到存在行人碰撞危险，并预警信息发送至车辆端，车辆中驾驶人员根据预警信息做出相应的操作，并选择是否需要结束盲区行人检测服务，如果不结束服务则系统继续执行步骤103。
[0102]
在步骤114，计算节点没有检测到存在行人碰撞危险，不发送预警信息，系统将继续执行盲区行人检测服务。