一种基于单目视觉的道路场景中车辆目标的三维重建方法

1.本发明涉及计算机视觉技术领域，具体涉及一种基于单目视觉的道路场景中车辆目标的三维重建方法。


背景技术：

2.随着我国城市化进程的不断加深，道路交通环境也变得越来越复杂，交通部门对于城市街道的管理也变得更加困难。如果能够获取道路场景中车辆目标的相关三维数据，那么监管道路交通以及改善交通环境将变得容易。三维立体重建能够通过场景的深度信息高效的分析交通流数据，对街道交通状况分析以及自动驾驶判断空间可能发生的碰撞很有帮助。重建车辆在道路场景的三维模型更有助于实现车距检测、驾驶路况判断、车道偏离警告、前部碰撞警告、智能前灯控制等功能。
3.当周围环境中的视觉信息传入大脑后，我们的大脑会根据已有的知识或经历，对信息进行加工、分类、推理，从而识别周围环境信息，并且产生自己的理解。对于计算机而言，直接理解图像中的信息是十分困难的。目前可以结合摄像头等外部设备，让计算机模拟人的视觉。通过拍摄的图像获取外界信息，实现对外部世界场景中物体的识别与理解。与人类视觉所不同的是，计算机视觉分为单目视觉、双目视觉和多目视觉。目前基于双目视觉的立体重建得到了广泛研究，但因其使用成本较高、设备结构稳定性要求高以及数据处理复杂的特点，在实际生活中适用的场景计较局限。相比于双目视觉的三维重建，单目视觉使用的摄像设备占用空间更小，只用对单幅图像进行处理，对处理芯片计算能力要求不高，并且不用考虑两个摄像头的精确位置，在机器结构制造工艺的要求有所降低，在未来将会更好的适应市场环境。
4.基于以上两点，本文提出了一种单目道路场景中车辆目标的三维重建算法。
5.目前，在三维重建的领域有多种建模方法，包括使用三维扫描仪器直接扫描场景进行建模；使用三维建模软件构建模型；以及使用基于图像的建模方法从图像信息计算出三维模型信息。对于本文所研究的道路场景中的车辆目标三维重建，三维扫描仪器对于模型庞大的车辆目标并不适用，三维建模软件对于高速变化的交通场景也无能为力。基于图像的立体重建能够通过摄像设备和计算机对道路图像进行实时分析，根据输入图像配合已有的算法就能重建出车辆目标三维模型，并且使用设备的成本相对较低。
6.本发明使用基于图像的方法对车辆目标进行三维重建。基于图像的三维重建在如今具有很高的研究价值，它的快速发展得益于计算机视觉算法的完善。将人类视觉能力赋予计算机，使计算机能够获得三维环境信息是计算机视觉的重要研究方向。追溯至二十世纪五十年代的统计模式识别，主要解决了二维图像分析和识别。二十世纪八十年代初，出现了完善的计算机视觉框架体系：计算机视觉框架体系将视觉处理分为三个阶段，第一阶段形成“基元图”；第二阶段形成2.5维描述(部分的、不完整的三维描述)；第三阶段是完整的三维描述。从二十世纪九十年代开始，在工业领域中计算机视觉的应用得到了广泛普及，同时多视图几何视觉理论研究也逐步完善。特征点检测匹配、相机自标定、单目双目或多目的
三维重构理论经过不断完善，使基于图像的三维建模技术一步步走向成熟。
7.随着计算机视觉算法的不断完善，以计算机视觉理论框架为基石的图像立体重建产生了多种方向。从相机数目来进行划分，重建的方法可分为多目视觉方法、双目视觉及单目视觉方法。对于重建精度、效果的稳定性和适用范围，双目或多目视觉方法往往优于单目视觉方法。但多个相机之间需要精确标定，位置固定，结构稳定，灵活性较差。为了实现多相机间采集图像的同步性和稳定性，额外增加控制设备是必不可少的，这又会增加硬件成本。单目视觉方法仅使用一台相机拍摄的场景图像进行三维重建。单目视觉所使用的图像又可细分为单一视点单幅图像、多个视点多幅图像和多幅图像。对于单一视点，重建方法主要有：明暗度恢复形状法，它是由麻省理工学院最先提出。明暗度法能通过单一视点获取的一张图像完成三维重建，但它的重建步骤仅仅依赖数学运算，重建的效果并不使人满意；woodham教授对明暗度法图像信息量少，重建精度较低的缺点进行改良，提出了光度立体视觉法。光度立体视觉法通过多个光源进行照射，光源与光源之前不共线，然后对照射到的物体采集图像并联立亮度方程，以求解物体表面法向，进而实现三维重建，相比较明暗度法，光度立体视觉法的重建精度有较大提高。纹理法是通过对物体表面上的纹理单元的形状、大小进行分析，进而恢复物体立体信息，仅依靠单幅图像便可重建出三维模型。利用多视点多幅图像的三维重建方法主要有运动法和以它为基础形成的多视图立体法，以及轮廓法等方法。随着相机自标定技术的不断发展，在精度要求不太高的场合下，只需要拍摄的图像就能够直接完成三维重建的全过程，这样就可以避免繁琐的相机标定步骤，实现立体重建的全自动化。
8.总的来说，虽然双目相机是我们经常使用的三维重建图像获取终端，但由于双目相机的成本较高，研究一种通过单目相机三维重建的方法将可能是三维重建成本控制中的一个突破点。所以单目视觉方法相对于双目或者多目，更具有研究的价值。


技术实现要素：

9.有鉴于此，本发明提供一种基于单目视觉的道路场景中车辆目标的三维重建方法。
10.本发明一种基于单目视觉的道路场景中车辆目标的三维重建方法，步骤如下：
11.s1、采用张正友标定法对单目相机进行标定，获得相机内外参数及其畸变参数；
12.s2、对获取的原始图像进行预处理，并对其进行3d车辆目标检测；
13.s3、通过图像特征点匹配，并结合标定参数，获得视差图，在视差图的基础上通过三角测量原理得到深度图；
14.s4、根据事先估计的相机位姿参数，对深度图进行数据处理，将车辆目标转化tsdf模型，并通过对构建的tsdf模型进行加权融合的方法来不断进行模型的更新；
15.s5、根据先验数据与实际数据构造代价函数，对代价函数使用梯度下降法进行求解，使tsdf模型的形状与姿态达到最优化；
16.s6、通过可视化工具，对达到最优的tsdf模型数据进行处理并构建可视化窗口。
17.本发明提供的技术方案带来的有益效果是：本发明根据车辆目标形状的先验知识，将物体形状的模型数据转换成体积tsdf网格，通过单目3d目标检测方法，对场景中的车辆目标检测并立体匹配获得重建结果，综合先验模型对重建结果进行优化。本发明可帮助
智能车辆获得道路场景中周围车辆信息，通过三维信息的获取，有利于智能车辆的决策和提高安全驾驶的能力。重建方法简单，模型姿态精度高，稠密度好，处理速度快，成本低。
附图说明
18.图1是本发明的流程图；
19.图2是单应性矩阵示意图；
20.图3是三角测量原理图；
21.图4是对极几何图示意图；
22.图5是二维形式的tsdf；
23.图6是对目标优化后的tsdf模型；
24.图7是道路图像视差图。
具体实施方式
25.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
26.请参见图1，本发明一种基于单目视觉的道路场景中车辆目标的三维重建方法，步骤如下：
27.s1、采用张正友标定法对单目相机进行标定，获得相机内外参数及其畸变参数；
28.s2、对获取的原始图像进行去噪、灰度化和增强对比度等预处理，提高图像信息的可见性；对获取的原始图像进行预处理，并对其进行3d车辆目标检测；具体如下：
29.s21、对图像中的噪声进行去除，采用高斯平滑滤波器过滤噪声，去除细节使图像均匀平滑；
30.s22、对图像中的车辆目标进行3d检测，确定车辆位置并在图像上进行分割；
31.s23、根据公式：gray＝r
×
0.299+g
×
0.587+b
×
0.114将rgb图像进行加权求和转化为灰度图；
32.s24、采用直方图均衡增强图像对比度；
33.s3、通过图像特征点匹配，并结合标定参数，获得视差图，在视差图的基础上通过三角测量原理得到深度图，请参考图2，图3和图4；
34.如图2所示，对相机进行标定并且匹配图像后，获得图3中的两幅位于同一平面的图像，两个成像平面为a、b，世界坐标系中p点在两个相机成像面上的投影点为x
l
和x
r
，点p在左右相机上投影点坐标差值为视差d，即d＝x
l
‑
x
r
，再根据相似三角形原理得出下式：
[0035][0036]
其中，t为左右相机光心距离，z为p点的深度信息，即p点与相机平面的距离加上焦距，f为左右方的彩色相机共有的焦距；根据上式推导出深度z关于视差d、以及左右光心距离t和焦距f的关系，深度z的计算如式：
[0037][0038]
相机的焦距及左右彩色相机的距离是一定的，由上式可知，计算出特征点的视差，
就能求出其位于世界坐标点的深度，进一步通过世界坐标点的深度，就能够求取三维坐标。
[0039]
s4、根据事先估计的相机位姿参数，对深度图进行数据处理，将车辆目标转化tsdf模型，并通过对构建的tsdf模型进行加权融合的方法来不断进行模型的更新；请参考图5和图6；
[0040]
s41、在获得由单目相机拍摄得出的深度图后，根据深度与视差之间的数学关系获得车辆目标及道路场景的三维点云数据；
[0041]
s42、对检测到的3d车辆目标的三维点云数据进行点云稠密化处理；
[0042]
s43、对3d车辆目标的点云数据进行网格化处理，采用三角面片逼近车辆的表面，从而得到车辆目标的tsdf网格模型。
[0043]
每个实例的坐标框架原点位于重心和地面高度，同时轴线向前、向侧和向上方向排列，tsdf模型φ(,z)在点处产生朝向目标表面的截断的有符号距离，因此表面被隐含地表示为零级集合。
[0044][0045]
tsdf模型是通过体素网格中顶点处的值的三线性插值来近似的；顶点集n(x)对应于x点所在的体素的角，tsdf体素网格值通过映射嵌入到线性子空间中，其中是从所有顶点距离叠加而来，是训练集中所有例子(即平均形状)的平均值。子空间投影矩阵v
t
是通过协方差的特征分解σ＝dv
t
得到的，其中是由m个例子的tsdf顶点距离叠加而成的设计矩阵。给定一个编码相应的tsdf能够用重建；
[0046]
s5、根据先验数据与实际数据构造代价函数，对代价函数使用梯度下降法进行求解，使模型的形状与姿态达到最优化；
[0047]
s51、根据车辆目标分割生成的点对目标的形状和姿态同时进行优化，从检测目标的姿态ξ0开始初始化姿态估计，从平均形状开始进行形状估计，其中n是目标点数；
[0048][0049]
s52、构建能量函数对应于给定重建形状和姿态估计的立体重建，使用tsdf形状表示，将先验形状与偏离平均形状进行对比优化；
[0050]
s53、将三维数据包括姿态以及高度的代价函数进行加和，随后进行整体的梯度下降优化，同时完成形状与姿态对齐；
[0051]
其中：
[0052][0053][0054]
式中，ρ(y)为huber范数，σ
j2
为是第j个主分量的特征值，σ
d
与σ
y
为噪声参数。
[0055]
对于城市街道场景中的汽车，所要建模物体均立于地面，因此g(t)是位置t处的估计道路高度，只需要估计汽车在垂直方向上的旋转，噪声参数σ
d
和σ
y
实现了类似于p(x
i
|ξ,z)的观测值、先验形状和先验姿态之间的平衡，即对姿势和形状进行优化，直到收敛；
[0056]
s6、通过可视化工具，对模型数据进行处理并构建可视化窗口。
[0057]
具体的，利用vtk视觉化工具函式库对汽车点云图像以及重建后的模型进行可视化观察，vtk在opengl的基础上，通过管道体系实现对三维数据的操作；管道体系包括两个部分：数据生成和处理的元素以及构成虚拟三维世界的元素。这种体系使得三维点云的可视化处理更加方便与可靠，请参考图7。
[0058]
本发明不仅局限于上述具体实施方式，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护的范围。