一种基于GAN的三维地图修复方法与流程

本发明涉及深度学习技术领域，更具体地，涉及一种基于gan的三维地图修复方法。

背景技术：

高精度地图是无人驾驶技术的最为核心技术之一，直接决定无人驾驶车的智能程度。修复问题根据处理对象的不同可以分为：色彩图像修复、深度图像修复和三维修复。目前色彩图像修复和深度图像修复是计算机视觉领域的一个热点研究方向，但是单独的色彩图像的修复或者深度图像修复都不能准确的进行高精度地图三维构建。如果想高精度地进行地图构建，则需要对其进行三维修复。三维修复根据其修复内容的不同可以分为直接对三维点云修复、色彩图像和深度图像(视差图或伪彩色视差图)的协同修复。三维点云可以直接地对空间进行表达，但是三维点云被定义在不规则的非欧几里德域上，具有无序性和旋转性等特点，因此很难实现三维点云的高精度修复。另一种三维修复的方法为色彩图像和深度图像的协同修复。该修复方法认为动态障碍物即存在于色彩图像，也存在于深度图像，在进行三维修复的时候需要同时修复色彩图像和深度图像。目前色彩图像和深度图像的协同修复的方面的研究较少，且由于色彩图像和深度图像的数据差异，均采用传统方法进行色彩图像和深度图像的修复。但是，传统方法在处理色彩图像和深度图像时，很难处理无纹理或弱纹理的图像。卷积神经网络可以很好地提取图像特征，但是目前并没有基于深度学习的色彩图像和深度图像(视差图或伪彩色视差图)的协同修复的研究。

技术实现要素：

本发明为克服上述现有技术中的缺陷，提供一种基于gan的三维地图修复方法，实施过程简单方便。

为解决上述技术问题，本发明采用的技术方案是：一种基于gan的三维地图修复方法，首先，对输入的原始待修复色彩图像和其对应的待修复伪色彩视差图进行缩放和归一化处理，使其大小为h*w，图像输出值为(-1,1)；其次，把待修复色彩图像和待修复伪色彩视差图输入到生成模型；再次，生成模型完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图。

进一步的，待修复色彩图像和待修复伪色彩视差图同时传入生成模型，生成模型同时对其进行修复。

进一步的，还包括判别模型，所述的判别模型用于判别生成模型的好坏，若判别结果显示生成模型的输出结果不好则继续训练生成模型。

进一步的，所述的生成模型包括特征共享模块、色彩图像特征模块以及伪色彩视差图像特征模块；所述的特征共享模块包括4个神经网络层，其第一层为输入层，其它层均为卷积层；第一层的数据维度为h*w*6，第二层和第三层的数据维度为(h/2)*(w/2)*256，第四层数据维度为(h/4)*(w/4)*512；色彩图像特征模块和伪彩色视差图特征模块均包括4个卷积层，其第一层的数据维度为(h/4)*(w/4)*512，第二层和第三层数据维度为(h/2)*(w/2)*256，第四层数据维度为h*w*3。

进一步的，所述的判别模型包括特征共享模块、色彩图像特征模块和伪彩色视差图特征模块；所述的特征共享模块包括3个神经网络层，其第一层为输入层，其它层均为卷积层；第一层的数据维度为h*w*6，第二层数据维度为(h/2)*(w/2)*256，第三层数据维度为(h/4)*(w/4)*512；色彩图像特征模块和伪彩色视差图特征模块均包括3个卷积层，其第一层和第二层的数据维度为(h/4)*(w/4)*512，第三层数据维度为1*1。

在本发明中，生成模型和判别模型的激活函数为relu，数据处理批量为64，卷积核大小为3*3，步长为2，优化函数为adam。

进一步的，判别模型的训练过程包括以下步骤：

s1.把真色彩图像和其对应的真伪色彩视差图、通过生成模型生成的色彩图像和其对应的伪色彩视差图分别输入到判别模型d，其中：判别器损失函数ldis：

式中：x为真色彩图像或真伪色彩图；

为待修复的色彩图像或伪彩色视差图；

为待修复的色彩图像或伪彩色视差图经过生成器生成的结果；

d(x)为真色彩图像或真伪色彩图；

s2.训练判别模型；

s3.通过sigmoid函数，对判别模型的输出结果，即色彩图像输出结果和伪彩色视差图输出结果进行判别真伪。

进一步的，生成模型的训练过程包括以下步骤：

s1.把待修复色彩图像和其对应的待修复伪色彩视差图输入到生成模型，其中，色彩图像或伪彩色视差图的生成器损失函数lgen(lgen为真色彩图像与待修复的色彩图像判别结果l1距离的期望，或者真伪色彩图与待修复的伪彩色视差图判别结果l1距离的期望)：

式中，x为真色彩图像或真伪色彩图；

为待修复的色彩图像或伪彩色视差图；

为待修复的色彩图像或伪彩色视差图经过生成器生成的结果；

d(x)为真色彩图像或真伪色彩图；

s2.生成模型完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图；

进一步的，在训练过程中，生成模型和判别模型进行迭代训练。

与现有技术相比，有益效果是：

1.基于gan的三维地图修复方法中生成模型和判别模型均有卷积神经网络构成，卷积神经网络可以很好地提取图像特征，解决传统方法难处理无纹理或弱纹理的图像的问题；

2.基于gan的三维地图修复方法是一种端到端的学习方法，其实施过程简单方便。

附图说明

图1是本发明方法流程示意图。

图2是本发明训练方法流程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。

实施例1：

如图1和图2所示，在实施基于gan的三维地图修复方法的时候，包括以下3部分的内容：

1)训练数据和测试数据收集和处理；

步骤1，对双目相机进行标定；

步骤2，设计具有障碍物和不具有障碍物两种场景，通过双目相机分别收集色彩图像；

步骤3，以不具有障碍物场景收集的数据为真值，具有障碍物场景收集的数据为假值，分别通过光流算法，计算色彩图像的视差，进一步得到伪彩色视差图；

步骤4，对数据进行数据增强、大小缩放(缩放后图像大小为h*w)和归一化处理；

步骤5，通过panopticfpn神经网络架构对色彩图像进行全景分割，提取障碍物区域，作为待修复的区域；

步骤6，设置70％的数据(色彩图像和对应的伪彩色视差图)为训练数据，20％的数据为测试数据，10％的数据为验证数据。

2)训练gan的生成模型g和判别模型d

(1)判别模型d的训练步骤如下：

步骤1，把真色彩图像和其对应的真伪色彩视差图、通过生成模型g生成的色彩图像和其对应的伪色彩视差图分别输入到判别模型d；

步骤2，训练判别模型d；

步骤3，通过sigmoid函数，对判别模型d的输出结果判别真伪。

(2)生成模型的训练步骤如下：

步骤1，把待修复色彩图像和其对应的待修复伪色彩视差图输入到生成模型g；

步骤2，生成模型g完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图；

3)基于gan的生成模型g，实现三维地图修复

步骤1，对输入的原始待修复色彩图像和其对应的待修复伪色彩视差图进行缩放和归一化处理，使其大小为h*w，图像输出值为(-1,1)；

步骤2，把待修复色彩图像和其对应的待修复伪色彩视差图输入到生成模型g；

步骤3，生成模型g完成对待修复色彩图像和待修复伪色彩视差图的修复，得到修复后的色彩图像和修复后的伪彩色视差图。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。