一种多车位置补全方法

本发明属于车用无线通信，尤其涉及一种多车位置补全方法。

背景技术：

1、随着智能交通领域的发展，越来越多的应用被期望部署在智能交通系统中，这显著地提升了对高效地通信和信息共享的需求。而车用无线通信系统(如c-v2x、dsrc)因其灵活、高效的通信和信息共享而被认为是未来支撑智能交通系统的通信技术。在车用无线通信系统中，车辆通过车载单元与其他车辆、路边设备、行人以及网络进行通信并交换信息，从而构建出道路的全局状态，基于车用无线通信系统的智能交通系统应用(如，车辆边缘计算、车辆协作换道决策等)进一步通过分析这些信息为车辆提供安全、高效的驾驶决策以及更好的驾驶体验。

2、在本领域的公知技术中，基于车用无线通信系统的应用一般都默认道路的全局状态是可感知的。然而，这种假设在未来的一段时间内都不存在。道路全局状态的可感知建立在车用无线通信系统对道路的全覆盖的基础之上，这需要在道路上行驶的车辆都配备了obu。然而，由于以前生产的车辆并未配备任何obu设备，并且这些车辆并不会在很短时间内全部更新迭代。因此，在未来的很长时间内，会出现配备了obu和未配备obu的车辆在道路上共存的现象，但可以预见的是这两种车辆在道路上出现的比率会不断地变化，我们把配备了obu车辆在所有车辆中的比率称为普及率。由于，未配备obu的车辆无法与其他车辆进行通信，其通过传感器感知到的环境信息无法与其他车辆共享。此外，由于配备了obu的车辆的视线是有限的且会受到环境的影响，例如道路上的其他车辆、天气因素，因此其只能感知到非常有限的环境信息。鉴于以上两个限制，在obu车辆的普及率未达到100％之前，车用无线通信系统往往无法感知到全局的道路信息。换言之，在车用无线通信系统中总是会出现未感知区域(unperceived areas,upas)，这些未感知区域将不可避免地导致部分现有的基于车用无线通信技术的应用结果远不达预期。因此，为了缓解无线通信技术普及率为这些应用所带的难以估量的损失，还原upas中车辆的状态信息至关重要。

3、目前还鲜有考虑恢复upas车辆信息的公知技术。为了恢复该部分信息，直观的解决方案可以通过向道路添加足够的路边设备，实时监控道路状态。然而，该方法部署成本较高，且路边设备的监控容易受到环境的干扰，这导致这种方案并不符合实际。因此，非常有必要通过智能算法框架来实现这一目标。由于道路中车辆具有高度动态性，车辆之间的交互关系并不显著，且目前尚没有现有的公知技术完成这一目标，有效地恢复upas中车辆信息非常具有挑战性。通过分析，该目标可以转化为车辆交互提取，以及基于时空信息的信息补全这两大子问题。车辆交互提取被广泛地应用于车辆轨迹预测任务中，而基于时空信息的信息补全可以通过分析视频补全来得到。

4、另外，在公知技术中，wang shufeng等人在《lane level turning trajectorytracking of intelligent vehicle based on drivers'manipulate habits》中提出了一种基于贝叶斯推理网络的方法，该方法计算了当前车辆的驾驶行为，并基于车辆的物理状态信息来判断车辆未来的轨迹。seong hyeon park等人在《sequence-to-sequenceprediction of vehicle trajectory via lstm encoder-decoder architecture》中提出了一种基于深度学习的车辆轨迹预测方法，从而实时生成周围车辆的未来轨迹。该方法采用编码器-解码器架构，该架构使用基于长短期记忆(long-short term memory；lstm)的编码器分析过去车辆轨迹中的底层模式，并使用基于lstm的解码器生成未来的车辆轨迹序列。xiaobo chen等人在《intention-aware vehicle trajectory prediction based onspatial-temporal dynamic attention network for internet of vehicles》中提出了一种基于时空动态注意网络的车辆轨迹预测方法，该方法可以以分层的方式全面捕获时间和社交模式。其中，车辆之间的社会关系在每个时间戳被捕获，从而保留了交互的动态变化。不同序列模型捕获了个体运动状态和社会互动方面的时间相关性。此外，提出了一种基于驾驶意图的特征融合机制，使提取的时间和社会特征能够自适应地集成，用于基于机动的多模态轨迹预测。

5、在公知技术中，chuan wang等人在《video inpainting by jointly learningtemporal structure and spatial details》中提出了一种基于数据驱动的视频补全方案，用于恢复视频帧的缺失区域。该方案提出了一种基于深度学习的架构，该架构由时间结构推理网络和空间细节恢复网络所构成，这两个网络结构同时保证了每帧之间的空间质量，又保证了帧间的时间一致性。yifan wu等人在《from image to video faceinpainting:spatial-temporal nested gan(stn-gan)for usability recovery》中提出了一种基于时空嵌套gan(stn-gan)的方法，通过使用残差块合并时间信息有效地保证时空一致性，从而实现视频中缺失信息的补全。dong lao等人在《flow-guided videoinpainting with scene templates》中提出了一种基于流的解决方案，该方案通过引入与场景相关的没有缺失区域的图像的生成模型已经场景到图像的映射来实现。该生成模型用来联合推断场景模板、场景的2d表示和映射，这确保了生成到基础场景的帧之间流的一致性，减少了基于流的修复中的集合扭曲。

6、经分析，本领域目标可以转化为基于类似于公知技术的子问题。其中，现有的基于时空特征的信息补全领域主要应用于视频补全领域，然而视频补全工作难以提取非临近的单个像素点之间的交互。此外车用无线通信系统中车辆的流动是有向的且缺失区域零散的分散在整个场景中，这就导致了车用无线通信系统中不同upa与已知区域的交互强度不一致。

7、因此，视频补全领域的任务无法直接应用于车用无线通信系统中的多车位置补全中。车辆轨迹预测任务能够提取已知车辆之间的交互，然而无线通信系统中的多车位置补全任务中存在大量的无法感知区域且这些区域与已知车辆之间也存在交互。因此，车辆轨迹任务也缺乏在无线通信系统中的多车位置补全任务中提取车辆交互的能力。

技术实现思路

1、鉴于此，本发明公开提供了一种多车位置补全方法，以解决车用无线通信系统由于道路上大量存在未配备obu车辆而缺失大量道路可用信息的问题。

2、本发明的技术方案：一种多车位置补全方法，包括：

3、s1：装有obu的车辆定期向车用无线通信系统发送自身信息和周围车辆的信息，包括x，y，s，a，其中x，y分别表示车辆在道路坐标中的横纵坐标，s表示车辆的速度，a表示车辆的加速度；

4、s2：边缘设备收集道路中可感知的状态，对收集的信息数据进行预处理操作；

5、s3：位于云-边架构中心的云端利用处理过的信息数据训练一个拥有大参数的多车位置补全模型，该模型由一个基于生成对抗网络的全局和局部补全模型构成，使用全局和局部生成对抗网络模型来学习已知信息与位置区域状态的分布，从而使模型具备场景补全能力；

6、s4：使用跨模型蒸馏和自蒸馏架构对补全模型进行自适应地压缩从而适应边缘设备的算力需求，将补全模型部署到边缘设备。

7、具体地，s1中的所有车辆都能够通过传感器感知其他车辆，但是只有obu的车辆能够将其自身与能感知到的信息广播给车用无线通信系统；车辆的传感器的最大感知范围r不固定。

8、具体地，s2包括：s21：由路边单元(road side unit，rsu)或其他边缘设备收集道路车辆信息，边缘设备将道路栅格化为大小相等的网格，每个网格长宽分别设置为wgrid，lgrid，每个网格的状态使用向量来表示，其中c表示该网格中是否存在车辆，e表示该网格是否在upa中，q表示当前网格是否处于待补全状态，l和f分别表示当前车道的拥塞程度以及道路的交通流量；

9、s22：将从有obu的车辆中收集到的车辆信息v＝{x，y，s，a}填充进栅格之中；

10、s23：将道路划分为拥有相同数量网格的区域，即rupa，所述区域中包含任意数量的车用无线通信系统无法感知区域，每一个rupa被作为场景补全的最小单位。

11、具体地，s3包括：

12、s31：利用rupa内已知区域的车辆数量作为衡量指标，得到道路中rupa的初始重要性序列其中表示第i个rupa的车辆数量；根据rupa的初始重要性序列，得到补全优先级序列o＝{o1，...，oi，...，on}；

13、s32：全局补全生成器使用道路整体的时序已知信息作为输入，并输出道路所有upa中的潜在车辆位置；全局补全判别器接收道路整体的已知信息和补全后的道路未知区域的潜在车辆位置，并判断补全后的道路未知区域的潜在车辆位置是否来自于生成器；全局生成对抗网络的优化目标可以表示为：

14、

15、

16、其中bglobal为全局判别器的输出，和分别为全局判别器和全局生成器的损失函数；

17、s33：局部补全生成器融合全局补全模型的输出和原始道路已知时序信息，并使用待补全目标rupa的已知时序信息作为输入，并在每一个预测周期输出待补全rupa中的潜在车辆位置；在第一个预测周期之后，局部生成器的输出也与原始道路已知信息融合，待所有rupa均补全完毕之后，补全流程结束；

18、s34：车辆轨迹预测校验模块使用道路历史已知信息来预测当前的道路的状态；通过校验基于历史信息预测的当前道路状态与真实的已知道路状态的差异，提取深层次的已知区域的车辆与未知区域的车辆之间的交互关系；

19、s35：局部补全判别器使用局部生成器的输入和补全后的rupa的道路状态为输入，并判断补全后的rupa未知区域的潜在车辆位置是否来自于生成器；局部生成对抗网络的优化目标表示为：

20、

21、

22、其中blocal为全局判别器的输出，和分别为全局判别器和全局生成器的损失函数；

23、s36：全局和局部补全模型分别添加一个正则项，其分别定义为：

24、

25、

26、其中，和分别为全局判别器和全局生成器的正则项；

27、s37：使用优化目标对不同大小的全局和局部补全模型进行训练，直到补全模型收敛，并选择在测试数据集上表现最好的全局和局部补全模型部署在云端。

28、具体地，s4中跨模型蒸馏和自蒸馏架构的优化目标表示为：

29、

30、

31、其中，和分别为自蒸馏和跨模型蒸馏的优化目标，表示浅层补全器的输出，表示浅层补全器的隐藏层表征，do表示深层补全器的输出，dh为深层补全器的隐藏层表征，to表示教师模型的输出。

32、本发明提供的一种多车位置补全方法，首次考虑了车用无线通信系统中存在潜在存在的由于大量存在的无obu车辆而导致信息缺失的巨大缺陷，提出了一种基于基于生成对抗网络和知识蒸馏的高效多车位置补全架构，该架构首先通过预处理车载和路边设备收集的道路状态得到可用于补全的数据格式，进而使用基于生成对抗网络的全局和局部补全模型来预测rupa中缺失的车辆的位置。

33、本发明还提供了一种基于跨模型蒸馏和自蒸馏的自适应学习架构，为执行补全操作的边缘设备定制符合其算力的计算高效的补全模型，从而保证边缘端执行补全时的实时性。

34、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。