基于生成对抗网络的道路交通场景本土化生成及扩充方法与流程

本发明属于智能网联汽车环境感知，涉及了一种基于生成对抗网络的道路交通场景本土化生成及扩充方法。

背景技术：

1、车辆环境感知作为支撑智能网联汽车发展中的核心技术之一，为车辆系统和驾驶员提供可靠的决策和控制依据，其能力的进步将促进车辆智能化技术的飞跃，一直以来是国际学术界及互联网车企的研究热点。道路目标检测是智能车驾驶环境感知系统中的核心问题，随着深度学习在图像识别领域的快速发展，基于深度学习的方式已成为目前道路目标检测方法中的主流。

2、然而，虽然深度学习在目标检测上表现出了巨大潜力，避免了以往机器学习模型中需要人工提取特征的缺陷，但模型取得优异表现的同时离不开高质量、大规模的标签样本数据。模型对训练样本的依赖性，直接关联目标检测的鲁棒性。目前能寻找到的开源数据集绝大部分都是基于国外的数据集，国内本土化实际道路环境的数据集相对较少。鉴于国内外驾驶环境的差异，模型在中国地方特色道路交通场景(尤其是城市道路)上的检测精度往往无法达到预期效果。另一方面，深度学习模型训练需要大量且高质量的标签样本数据，这在实际的标记过程中需要耗费大量的人力和物力，标记过程困难且成本昂贵。因此，如何结合少量典型的道路交通场景数据，对已有道路交通场景进行本土化生成及扩充，以形成样本数据集的数据增强与自学习，是当前基于深度学习的道路目标检测中一个值得研究的问题。

技术实现思路

1、针对上述问题，本发明提供了基于生成对抗网络的道路交通场景本土化生成及扩充方法，通过无监督的深度学习，实现道路交通场景本土化的自适应生成和扩充，可用于小样本道路交通场景数据集的数据增强，提高深度学习训练样本的规模与质量，从而克服传统的深度学习道路目标检测方法对训练样本集依赖性大、本土化数据集缺少的技术缺陷。

2、本发明的一方面提供了基于生成对抗网络的道路交通场景本土化生成及扩充方法，包括以下步骤：

3、步骤1，采集需要进行本土化生成和扩充的目标道路交通真实场景图像。

4、步骤2，将采集到的图像进行预处理，并制作目标道路交通真实场景标准数据集。

5、步骤3，将目标道路交通真实场景标准数据集输入到交通场景生成模型中进行无监督地模型训练；

6、所述交通场景生成模型主要由生成网络和判别网络构成，其中生成网络又由映射网络和合成网络两部分组成；

7、在模型训练过程中，生成网络生成的图像和目标道路交通真实场景标准数据集中的真实场景图像分别输入判别网络中，使用反向传播算法，由判别网络区分是否为真实图像，并反馈给生成网络，指导生成网络生成更逼真的生成图像；

8、同时，判别网络的判别能力也得到提高，两者相互对抗迭代，直至判别网络无法区分是生成图像还是真实图像，达到纳什均衡，则模型训练完毕。

9、步骤4，在交通场景生成模型训练完毕后，通过生成网络输出生成的目标道路交通场景图像。

10、步骤5，对生成的目标道路交通场景图像进行后处理，以提升生成图像真实度。

11、步骤6，输出最终的目标道路交通场景生成图像作为本土化生成和扩充的目标道路交通场景图像。

12、本发明的另一方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述方法。

13、本发明的有益效果是：

14、1.本发明实现道路交通场景本土化的自适应生成和扩充，可用于小样本道路交通场景数据集的数据增强，提高深度学习训练样本的规模与质量，从而克服传统的深度学习道路目标检测方法对训练样本集依赖性大、本土化数据集缺少的技术缺陷。

15、2.在基于交通场景生成模型的基础上，增加了usm锐化增强算法以及alexnet网络模型的图像处理操作，从而提高了模型生成图像的质量和真实度。

技术特征：

1.基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于该方法包括以下步骤：

2.根据权利要求1所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：步骤2中所述的预处理具体是：

3.根据权利要求2所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：所述图像边缘锐化处理采用unsharp mask锐化增强算法，以用于提升图像中的细节展现效果。

4.根据权利要求1所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：所述的映射网络使用八个全连接网络，用于将输入的真实场景图像变换成隐藏变量，实现解耦操作。

5.根据权利要求4所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：经过所述映射网络获得解耦后的隐藏变量，通过全连接层，将隐藏变量传输至合成网络，由合成网络生成图像；

6.根据权利要求1所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：所述判别网络接收生成网络生成的图像与目标道路交通真实场景标准数据集中的真实场景图像，判别网络将学习并判别生成的图像是否真实；所述判别网络由多个卷积层级联构成，设置各卷积层输入输出通道的像素逐步减小，以逐步稀释图像特征。

7.根据权利要求5所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：所述生成网络的损失函数为：

8.根据权利要求6所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：所述判别网络的损失函数为：

9.根据权利要求1所述的基于生成对抗网络的道路交通场景本土化生成及扩充方法，其特征在于：步骤5具体是：

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-9所述的方法。

技术总结
本发明公开了一种基于生成对抗网络的道路交通场景本土化生成及扩充方法。本发明首先采集目标道路交通真实场景图像并进行预处理，制作目标道路交通真实场景标准数据集。其次标准数据集输入到交通场景生成模型中进行无监督地模型训练。然后在交通场景生成模型训练完毕后，通过生成网络输出生成的目标道路交通场景图像。最后输出最终的目标道路交通场景生成图像作为本土化生成和扩充的目标道路交通场景图像。本发明通过无监督的深度学习，实现道路交通场景本土化的自适应生成和扩充，可用于小样本道路交通场景数据集的数据增强，提高深度学习训练样本的规模与质量。

技术研发人员：赵晨馨,石东豪,邵建文,赵存彬,王凯,郭晓炜,张昕,沈晓敏,方舟
受保护的技术使用者：浙江省计量科学研究院
技术研发日：
技术公布日：2024/1/12