基于单位正方形的车辆全景显示系统鱼眼图像校正方法
【专利摘要】本发明涉及一种基于单位正方形的车辆全景显示系统鱼眼图像校正方法包括以下步骤：根据全景显示的要求，选择车辆某一个方向需要校正的长方形区域A；根据区域A的大小确定校正所需使用的单位正方形大小；将单位正方形组合框放入区域A中；用Harris角点探测器对包括n个完整的单位正方形的鱼眼图像进行角点提取，并且对每个角点进行编号，并记录每个角点在鱼眼图像中的坐标；利用鱼眼图像中每个单位正方形的四个角点坐标和正方形的几何约束对图像A区域中每个单位正方形进行校正；利用双线性插值法，对校正过程中遇到的非整数点进行插值运算，最后得到车辆某一个方向完整的A区域校正图。该方法实现简单，对处理器要求低,有很强的通用性和实时性。
【专利说明】基于单位正方形的车辆全景显示系统鱼眼图像校正方法
【技术领域】
[0001]本发明涉及车辆工程应用领域，尤其涉及一种基于单位正方形的车辆全景显示系统鱼眼图像校正方法。
【背景技术】
[0002]汽车成为现代社会不可缺少的交通工具，它改变了人们的生活方式，推动了社会经济的发展和人类文化的进步。最近几年，汽车进入家庭的步伐逐渐加快，目前中国民用汽车保有量已超过I亿辆，超过德国，仅次于美国。同时，中国人口众多，各大城市人口密度很高，车与车，人与车的矛盾也特别尖锐，道路上事故频发，发生交通事故的数量大大高于发达国家，也高于其他发展中国家。据交通管理局和国家统计局统计数据得知，我国每年因为交通事故直接经济损失达数十亿元，而且还呈逐年上升趋势，而在这些日益增多的交通事故中，倒车时发生的事故超过一半，这和现在越来越拥堵的城市路况以及众多非专业司机有密切的关系，女性司机和刚获得驾驶执照的驾驶员倒车时出现事故的概率更大。
[0003]在主动安全系统所采用的传感器中，摄像机具有低成本、易维护和高集成性等优点，因此得到了广泛的应用，尤其是在倒车辅助驾驶系统之中，倒车摄像头系统已经开始在中国乘用车市场慢慢普及。随着计算机技术的不断发展，图像处理技术和计算机视觉技术越来越多地被应用到汽车电子领域。由于安装在汽车尾部的倒车摄像头只能检测汽车后方的区域，而车两侧和前方的视觉盲区无疑增加了交通事故发生的概率，而且现在单一摄像头拍摄到的图像都存在一定失真，不符合驾驶员的视觉习惯。在狭隘而拥堵的停车场，尤其是在左右两边都已有车的情况下，如果仅靠后方摄像头输入的图像来辅助驾驶，驾驶员在泊车时视野当中仍然存在很多盲区，这都很容易导致安全事故的发生。而全景显示系统能提供最好的视觉效果，让汽车四个方向的图像同时显示，产生一种从汽车正上方俯视全车的鸟瞰全景图，完全消除汽车四周环境盲区，从而为驾驶员驾驶提供一个全方位环境信息的视图，让驾驶员驾驶更轻松，并且减少发生事故的概率。
[0004]这种全景显示系统需要4路或者4路以上的摄像头输入的视频信号，这4路或者4路以上安装在车辆前后左右每个方向上面，用来感知个个方向上环境信息，然后再把每个摄像头输入视频拼接成一个全景鸟瞰图，显示在驾驶室中控台的显示器上面。由于摄像头安装位置限制，不能安装的太高，所有每个摄像头不能采用普通透视摄像头，需要加装鱼眼镜头才能在较低的安装高度上获得较宽视野的环境信息，而鱼眼镜头拍摄的图像会出现严重的失真，所以在开始视频拼接之前需要对鱼眼图像进行校正，经过准确校正的图像才能拼接出清晰的全景显示图。
[0005]鱼眼图像的校正就是把鱼眼镜头拍摄的严重畸变的图像校正得到能反应被拍摄物体正确形状的图像。作为全景显示系统软件的第一个部分，鱼眼图像校正算法只有准确地校正鱼眼图像，后期的拼接融合算法才能得到清晰的全景显示图，所以它也是全景显示系统中最重要的最关键的一步。
【发明内容】
[0006]本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于单位正方形还原的车辆全景显示系统鱼眼图像校正方法，该方法实现简单，对处理器要求低，有很强的通用性和实时性。
[0007]本发明解决其技术问题所采用的技术方案是:一种基于单位正方形还原的车辆全景显示系统鱼眼图像校正方法，包括以下步骤:
[0008](I)根据全景显示的要求，选择车辆某一个方向需要校正的长方形区域A ;
[0009](2)根据区域A的大小确定校正所需使用的单位正方形大小，所述单位正方形满足区域A的长H和宽W与单位正方形的边长L的比值均为整数；
[0010](3)将单位正方形组合框放入区域A中，使区域A正好包括η个完整的单位正方形；
[0011](4)用Harris角点探测器对包括η个完整的单位正方形的鱼眼图像进行角点提取，并且对每个角点进行编号，并记录每个角点在鱼眼图像中的坐标；
[0012](5)利用鱼眼图像中每个单位正方形的四个角点坐标和正方形的几何约束对图像A区域中每个单位正方形进行校正；
[0013](6)利用双线性插值法，对校正过程中遇到的非整数点进行插值运算，最后得到车辆某一个方向完整的A区域校正图。
[0014]按上述方案，所述步骤(4)中利用Harris角点探测器对鱼眼图像中角点进行提取
时需要用到三个参数:高斯平滑函数的标准差σ，局部窗口的大小w和角点判断阈值T ;高
斯平滑函数:
【权利要求】
1.一种基于单位正方形的车辆全景显示系统鱼眼图像校正方法，其特征在于，包括以下步骤: (1)根据全景显示的要求，选择车辆某一个方向需要校正的长方形区域A; (2)根据区域A的大小确定校正所需使用的单位正方形大小，所述单位正方形满足区域A的长H和宽W与单位正方形的边长L的比值均为整数； (3)将单位正方形组合框放入区域A中，使区域A正好包括η个完整的单位正方形； (4)用Harris角点探测器对包括η个完整的单位正方形的鱼眼图像进行角点提取，并且对每个角点进行编号，并记录每个角点在鱼眼图像中的坐标； (5)利用鱼眼图像中每个单位正方形的四个角点坐标和正方形的几何约束对图像A区域中每个单位正方形进行校正； (6)利用双线性插值法，对校正过程中遇到的非整数点进行插值运算，最后得到车辆某一个方向完整的A区域校正图。
2.根据权利要求1所述的校正方法，其特征在于，所述步骤(4)中利用Harris角点探测器对鱼眼图像中角点进行提取的具体步骤如下:
使用高斯平滑函数:
3.根据权利要求2所述的校正方法，其特征在于，利用Harris角点探测器对鱼眼图像中角点进行提取时通过调整以下三个参数:高斯平滑函数的标准差σ，局部窗口的大小w和角点判断阈值T确保区域A内所有角点都检测到；调整原则为:σ越大，被检测的角点数量越少，角点位置精度越差；w越大,被检测角点数量越少；T越大,被检测角点数量越少。
4.根据权利要求1所述的校正方法，其特征在于，所述步骤(5)中校正的具体步骤如下: · 5.1)设校正之后区域A的图像为I, I大小为U*V个像素点； ·5.2)采用步骤2)中确定的单位正方形对图像I进行单位正方形划分，并获得所有单位正方形的角点在图像I中的坐标； ·5.3)根据正方形的几何约束，得到图像I中单位正方形中任一点a(v，u)在鱼眼图像的对应点b (X，y)坐标；设校正前每个单位正方形四个角点坐标为:bl (xl, yl), b2(x2, y2), b3 (x3, y3)和b4(x4, y4);校正后单位正方形四个角点坐标为:al (vl, ul), a2 (v2, u2), a3 (v3, u3)和 a4 (v4, u4),其映射关系为
【文档编号】G06T7/00GK103824296SQ201410080520
【公开日】2014年5月28日 申请日期:2014年3月6日 优先权日:2014年3月6日
【发明者】刘建国, 李雪松, 章辉, 王光伟, 贾波 申请人:武汉理工大学