用于辅助驾驶的车辆多视角全景生成方法
【专利摘要】本发明公开了一种用于辅助驾驶的车辆多视角全景生成方法，包括：在车辆的四周安装若干广角摄像头并采集图像；标定广角摄像头的内部参数，并对图像进行畸变校正得到畸变校正图；标定广角摄像头与地面间的外部参数，并对畸变校正图进行透视变换，得到对应的地面投影图；确定相邻地面投影图的融合边界及融合角度，得到俯视鸟瞰图；建立3D模型，采用分区投影的方法分别将近区图像和远区图像分别投影到3D模型的不同区域；对3D模型进行多视角观测并生成对应的查找表；利用得到的查找表生成最终多视角全景图像。本发明通过将近区图像和远区图像分别投影到3D模型的不同平面或曲面并进行无缝拼接，有效避免了距车身较远非地面物体存在明显拉伸的问题。
【专利说明】用于辅助驾驶的车辆多视角全景生成方法
【技术领域】
[0001]本发明涉及汽车电子【技术领域】，特别是涉及一种用于辅助驾驶的车辆多视角全景生成方法。
【背景技术】
[0002]随着经济的飞速发展和社会的不断进步，汽车已逐步取代其他交通工具，成为现代社会最为重要的出行工具。然而，由于车辆行驶过程中驾驶员的观测范围有限，存在诸多“盲点”，因此，不经意间就可能导致刮蹭、甚至碾压等悲剧的发生。
[0003]目前，为了使驾驶员能够实时监测车辆周围情况，许多厂商在车辆的前后左右分别安装一个广角摄像头用以采集图像，通过摄像头内外参标定及透视变换等步骤，最终在车内的视频显示装置中实时显示合成的俯视鸟瞰图像，为驾驶员提供车辆四周的信息，提高驾驶的安全性，如申请号为201210042180.0的中国专利申请及申请号为201310035543.2的中国专利申请等。
[0004]然而，由于透视变换为两个平面间的变换，而上述方法利用透视变换实现原始畸变校正图到俯视鸟瞰图的变换，因此在俯视鸟瞰图中无法保留场景中视平线以上的信息。此外，当俯视鸟瞰图视野范围较大时，会将非地面物体(如附近行人、树木等)投影到地面上，从而引起俯视鸟瞰图中图像有明显的拉伸现象，不利于驾驶员直观快速地理解周围场景，因此，安全隐患依然存在。
[0005]因此，针对上述技术问题，有必要提供一种用于辅助驾驶的车辆多视角全景生成方法以克服上述缺陷。
【发明内容】
[0006]有鉴于此，本发明针对现有技术无法保留距离车身较远处的场景信息及非地面物体存在明显拉伸的问题，提出了一种用于辅助驾驶的车辆多视角全景生成方法。该方法不仅能够保留车身四周几乎所有的场景信息，有效避免了距车身非地面物体存在明显拉伸的问题，而且将对当前行驶环境的任意视角观测结果以一种符合人类视觉习惯的方式实时地展现出来，大幅提高了车辆在行驶时的主动安全性。
[0007]为了实现上述目的，本发明实施例提供的技术方案如下:
[0008]一种用于辅助驾驶的车辆多视角全景生成方法，所述方法包括:
[0009]S1、在车辆的四周安装若干广角摄像头并采集图像，所述广角摄像头覆盖车辆周围360°的视场区域；
[0010]S2、标定广角摄像头的内部参数，并对广角摄像头采集到的图像进行畸变校正，得到畸变校正图；
[0011]S3、标定各个广角摄像头与地面间的外部参数，并对畸变校正图进行透视变换，得到对应的地面投影图；
[0012]S4、确定相邻地面投影图的融合边界及融合角度，得到俯视鸟瞰图；[0013]S5、建立3D模型，采用分区投影的方法分别将近区图像和远区图像分别投影到3D模型的不同区域；
[0014]S6、对3D模型进行多视角观测并生成对应的查找表；
[0015]S7、利用得到的查找表生成最终多视角全景图像。
[0016]作为本发明的进一步改进，所述广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。
[0017]作为本发明的进一步改进，所述步骤S3中地面投影图采用逆向投影的方法得到。
[0018]作为本发明的进一步改进，所述步骤S3具体为:
[0019]S31、利用广角摄像头的外部参数逆向计算地面投影图中各点在畸变校正图中的浮点坐标；
[0020]S32、利用广角摄像头的内部参数逆向计算地面投影图中各点在对应原始图像中的浮点坐标；
[0021]S33、对步骤S32中求得的浮点坐标的四邻像素进行双线性插值后的结果作为地面投影图中该像素点的颜色值。
[0022]作为本发明的进一步改进，所述步骤S5具体为:
[0023]S51、利用摄像头标定的方法分别对两相邻摄像头间的外部参数矩阵进行标定；
[0024]S52、利用步骤S51中得到的外部参数矩阵对畸变校正图进行拼接，并进行柱面或球面投影变换，得到场景的柱面或球面全景图；
[0025]S53、建立3D模型并确定近区图像与远区图像的拼接边界，将汽车模型置于该模型的底面中心，利用俯视鸟瞰图即近区图像对模型底面进行贴图；
[0026]S54、利用摄像头外部参数矩阵及内部参数反向计算拼接边界上各像素点在柱面或球面全景图中的位置，并利用该位置上侧的柱面或球面全景图即远区图像对模型侧面进行贴图。
[0027]作为本发明的进一步改进，所述3D模型为平底球模型、碗状模型、或鸟巢状模型。
[0028]作为本发明的进一步改进，所述步骤S6包括确定新观测视角图像的坐标(u，v)与3D模型上各点在世界坐标系中的坐标(XwYwZw)间的对应关系，该对应关系为:
【权利要求】
1.一种用于辅助驾驶的车辆多视角全景生成方法，其特征在于，所述方法包括: 51、在车辆的四周安装若干广角摄像头并采集图像，所述广角摄像头覆盖车辆周围360°的视场区域； 52、标定广角摄像头的内部参数，并对广角摄像头采集到的图像进行畸变校正，得到畸变校正图； 53、标定各个广角摄像头与地面间的外部参数，并对畸变校正图进行透视变换，得到对应的地面投影图； 54、确定相邻地面投影图的融合边界及融合角度，得到俯视鸟瞰图； 55、建立3D模型，采用分区投影的方法分别将近区图像和远区图像分别投影到3D模型的不同区域； 56、对3D模型进行多视角观测并生成对应的查找表； 57、利用得到的查找表生成最终多视角全景图像。
2.根据权利要求1所述的方法，其特征在于，所述广角摄像头数量为4个，包括前摄像头、后摄像头、左摄像头和右摄像头。
3.根据权利要求1所述的方法，其特征在于，所述步骤S3中地面投影图采用逆向投影的方法得到。
4.根据权利要求3所述的方法，其特征在于，所述步骤S3具体为: 531、利用广角摄像头的外部参数逆向计算地面投影图中各点在畸变校正图中的浮点坐标； 532、利用广角摄像头的内部参数逆向计算地面投影图中各点在对应原始图像中的浮点坐标； 533、对步骤S32中求得的浮点坐标的四邻像素进行双线性插值后的结果作为地面投影图中该像素点的颜色值。
5.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为: 551、利用摄像头标定的方法分别对两相邻摄像头间的外部参数矩阵进行标定； 552、利用步骤S51中得到的外部参数矩阵对畸变校正图进行拼接，并进行柱面或球面投影变换，得到场景的柱面或球面全景图； 553、建立3D模型并确定近区图像与远区图像的拼接边界，将汽车模型置于该模型的底面中心，利用俯视鸟瞰图即近区图像对模型底面进行贴图； 554、利用摄像头外部参数矩阵及内部参数反向计算拼接边界上各像素点在柱面或球面全景图中的位置，并利用该位置上侧的柱面或球面全景图即远区图像对模型侧面进行贴图。
6.根据权利要求5所述的方法，其特征在于，所述3D模型为平底球模型、碗状模型、或鸟巢状模型。
7.根据权利要求1所述的方法，其特征在于，所述步骤S6包括确定新观测视角图像的坐标(U，V)与3D模型上各点在世界坐标系中的坐标(XwYwZw)间的对应关系，该对应关系为:
【文档编号】G06T5/50GK103617606SQ201310617029
【公开日】2014年3月5日 申请日期:2013年11月26日 优先权日:2013年11月26日
【发明者】闫硕, 李庆, 陈大鹏 申请人:中科院微电子研究所昆山分所