全景泊车图像畸变校正方法及装置与流程

本发明涉及全景图像生成技术领域，特别是涉及全景泊车图像畸变校正方法及装置。

背景技术：

随着图像和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，而车辆周围和车头的盲区无疑增加了安全驾驶的隐患，在狭隘拥堵的市区和停车场容易出现碰撞和刮蹭事件。为扩大驾驶员视野，就必须能感知360°全方位的环境，这就需要多个视觉传感器的相互协同配合作用然后通过视频合成处理，形成全车周围的一整套的视频图像，就是有这类需求，全景视觉泊车辅助系统应运而生。

但是，由于全景泊车摄像头为超广角摄像头(例如鱼眼摄像头)，相比普通相机图像有较大畸变，画面不够直观。

在现有技术中，一般有两种处理消除畸变的方式：

1、通过选取摄像头所摄取原始图像的中央位置部分区域图像，将其放大到要求尺寸输出处理；然，此种图像处理方式，图像因放大拉伸，有一定的模糊问题，另外因只输出部分原始图像，原始画面信息有一定丢弃损失。

2、通过将摄像头所摄取的原始图像进行区畸变处理成普通透视投影图像，取一定视角图像输出；然，此方法有中间清楚而边缘因拉伸过大的模糊问题，同时原始画面视野范围也有较大损失。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供全景泊车图像畸变校正方法及装置，用于解决现有技术中全景图像畸变的问题。

为实现上述目的及其他相关目的，本发明提供一种全景泊车图像畸变校正方法，包括：在物理坐标系下，以设于车身的广角的图像采集装置为中心建立一个虚拟柱面，其中，所述虚拟柱面的中轴方向可变；利用标定数据，将图像采集装置所采集画面反向投影至该虚拟柱面上以形成重投影图像；将所述虚拟柱面上的重投影图像裁切输出。

于本发明的一实施例中，所述虚拟柱面竖直设置，以令所述重投影图像为水平方向。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头。

于本发明的一实施例中，所述图像采集装置有四个，分别设于车身的前、后、左、及右位置。

于本发明的一实施例中，所述方法还包括：利用对应设于车身的各图像采集装置得到的重投影图像来生成车辆的全景图像。

为实现上述目的及其他相关目的，本发明提供一种全景泊车图像畸变校正装置，包括：模型建立模块，用于在物理坐标系下，以设于车身的广角的图像采集装置为中心建立一个虚拟柱面，其中，所述虚拟柱面的中轴方向可变；投影模块，用于利用标定数据，将图像采集装置所采集画面反向投影至该虚拟柱面上以形成重投影图像；图像输出模块，用于将所述虚拟柱面上的重投影图像裁切输出。

于本发明的一实施例中，所述虚拟柱面竖直设置，以令所述重投影图像为水平方向。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头。

于本发明的一实施例中，所述图像采集装置有四个，分别设于车身的前、后、左、及右位置。

于本发明的一实施例中，所述全景泊车图像畸变校正装置还包括：全景图像生成模块，用于利用对应设于车身的各图像采集装置得到的重投影图像来生成车辆的全景图像。

如上所述，本发明提供的全景泊车图像畸变校正方法及装置，通过在物理坐标系下，以设于车身的广角的图像采集装置为中心建立一个虚拟柱面，其中，所述虚拟柱面的中轴方向可变；利用标定数据，将图像采集装置所采集画面反向投影至该虚拟柱面上以形成重投影图像；将所述虚拟柱面上的重投影图像裁切输出；不仅消除了画面上的严重畸变，又保留了足够的原始图像信息，并且，输出图像为一个与摄像机安装角度无关的更加灵活的可变视角，使得画面更加直观。

附图说明

图1显示为本发明于一实施例中的全景泊车图像畸变校正方法的流程示意图。

图2显示为本发明于一实施例中的全景泊车图像畸变校正装置的模块示意图。

元件标号说明

201模型建立模块

202投影模块

203图像输出模块

s101～s103方法步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的技术方案，应用于全景泊车技术领域，用于消除由于使用广角的图像采集装置产生的图像畸变。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头；一般而言，所述图像采集装置可以有四个，分别设于车身的前、后、左、及右位置，前、后位置的图像采集装置可设于车身的中线位置，例如保险杠的中部位置，而所述左、右两侧的图像采集装置可设于左、右后视镜的位置。

如图1所示，本发明提供一种全景泊车图像畸变校正方法实施例，其包括：

步骤s101：在物理坐标系下，以设于车身的广角的图像采集装置为中心建立一个虚拟柱面，其中，所述虚拟柱面的中轴方向可变。

于本发明的一实施例中，所述虚拟柱面可例如为圆柱面；在真实世界的物理坐标系下，设所述图像采集装置位于该柱面的中心。

步骤s102：利用标定数据，将图像采集装置所采集画面反向投影至该虚拟柱面上以形成重投影图像。

于本发明的一实施例中，所述图像采集装置位于该柱面的中心，其采集所能摄取的外部图像，进而将该图像再投射至假设在其外部的虚拟柱面上，形成重投影，从而消除畸变。

具体的，在柱面透视投影模型中，空间中的直线投影不再是直线，而是柱面上的椭圆，通过在原始图像上选取采样点，对这些点映射为柱面上的点，而利用图像采集装置标定参数即可算得原始图像上的一点的坐标与重投影图像上的对应点的物理坐标间的映射关系，因此，即可对应每个原始图像上的点得到重投影图像上的每个点的物理坐标，从而得到重投影图像。

步骤s103：将所述虚拟柱面上的重投影图像裁切输出。

需特别说明的是，当柱面设计为竖直方向时，输出画面为水平视角，若需要其他视角，可设计调整主面方向与需求视角垂直即可，如此，输出图像为一个与摄像机安装角度无关的更加灵活的可变视角，使得画面更加直观。

进而，利用上述过程得到设于车身的各图像采集装置的重投影图像，可通过拼接来生成车辆的全景图像，图像拼接(imagestitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。

图像拼接的关键两步是：配准(registration)和融合(blending)。配准的目的是根据几何运动模型，将图像注册到同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接图像。

在多幅图像配准的过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿射模型和透视模型。图像的平移模型是指图像仅在两维空间发生了方向和方向的位移，如果摄像机仅仅发生了平移运动，则可以采用平移模型。图像的相似性模型是指摄像机本身除了平移运动外还可能发生旋转运动，同时，在存在场景的缩放时，还可以利用缩放因子多缩放运动进行描述，因此，当图像可能发生平移、旋转、缩放运动时，可以采用相似性模型。图像的仿射模型是一个6参数的变换模型，即具有平行线变换成平行线，有限点映射到有限点的一般特性，具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等，可以描述平移运动、旋转运动以及小范围的缩放和变形。图像的透视模型是具有8个参数的变换模型，可以完美地表述各种表换，是一种最为精确变换模型。图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。在非多分辨率技术中主要有平均值法、帽子函数法、加权平均法和中值滤波法等。多分辨率技术主要有高斯金字塔、拉普拉斯金字塔、对比度金字塔，梯度金字塔和小波等。

如图2所示，本发明提供一种全景泊车图像畸变校正装置的实施例，其原理与上述方法实施例大致相同，因此相同的技术细节不作重复赘述；所述装置包括：模型建立模块201、投影模块202、及图像输出模块203。

所述模型建立模块201，用于在物理坐标系下，以设于车身的广角的图像采集装置为中心建立一个虚拟柱面，其中，所述虚拟柱面的中轴方向可变。于本发明的一实施例中，所述虚拟柱面可例如为圆柱面；在真实世界的物理坐标系下，设所述图像采集装置位于该柱面的中心。

所述投影模块202，用于利用标定数据，将图像采集装置所采集画面反向投影至该虚拟柱面上以形成重投影图像，于本发明的一实施例中，所述图像采集装置位于该柱面的中心，其采集所能摄取的外部图像，进而将该图像再投射至假设在其外部的虚拟柱面上，形成重投影，从而消除畸变。具体的，在柱面透视投影模型中，空间中的直线投影不再是直线，而是柱面上的椭圆，通过在原始图像上选取采样点，对这些点映射为柱面上的点，而利用图像采集装置标定参数即可算得原始图像上的一点的坐标与重投影图像上的对应点的物理坐标间的映射关系，因此，即可对应每个原始图像上的点得到重投影图像上的每个点的物理坐标，从而得到重投影图像。

所述图像输出模块203，用于将所述虚拟柱面上的重投影图像裁切输出。

在后续步骤中，利用上述过程得到设于车身的各图像采集装置的重投影图像，可通过拼接来生成车辆的全景图像，图像拼接(imagestitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。

图像拼接的关键两步是：配准(registration)和融合(blending)。配准的目的是根据几何运动模型，将图像注册到同一个坐标系中；融合则是将配准后的图像合成为一张大的拼接图像。

在多幅图像配准的过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿射模型和透视模型。图像的平移模型是指图像仅在两维空间发生了方向和方向的位移，如果摄像机仅仅发生了平移运动，则可以采用平移模型。图像的相似性模型是指摄像机本身除了平移运动外还可能发生旋转运动，同时，在存在场景的缩放时，还可以利用缩放因子多缩放运动进行描述，因此，当图像可能发生平移、旋转、缩放运动时，可以采用相似性模型。图像的仿射模型是一个6参数的变换模型，即具有平行线变换成平行线，有限点映射到有限点的一般特性，具体表现可以是各个方向尺度变换系数一致的均匀尺度变换或变换系数不一致的非均与尺度变换及剪切变换等，可以描述平移运动、旋转运动以及小范围的缩放和变形。图像的透视模型是具有8个参数的变换模型，可以完美地表述各种表换，是一种最为精确变换模型。图像融合技术一般可分为非多分辨率技术和多分辨率技术两类。在非多分辨率技术中主要有平均值法、帽子函数法、加权平均法和中值滤波法等。多分辨率技术主要有高斯金字塔、拉普拉斯金字塔、对比度金字塔，梯度金字塔和小波等。

需特别说明的是，当柱面设计为竖直方向时，输出画面为水平视角，若需要其他视角，可设计调整主面方向与需求视角垂直即可，如此，输出图像为一个与摄像机安装角度无关的更加灵活的可变视角，使得画面更加直观。

于本发明的一实施例中，所述虚拟柱面竖直设置，以令所述重投影图像为水平方向。

于本发明的一实施例中，所述图像采集装置为鱼眼摄像头。

于本发明的一实施例中，所述图像采集装置有四个，分别设于车身的前、后、左、及右位置。

于本发明的一实施例中，所述全景泊车图像畸变校正装置还包括：全景图像生成模块，用于利用对应设于车身的各图像采集装置得到的重投影图像来生成车辆的全景图像。

综上所述，本发明提供的全景泊车图像畸变校正方法及装置，通过在物理坐标系下，以设于车身的广角的图像采集装置为中心建立一个虚拟柱面，其中，所述虚拟柱面的中轴方向可变；利用标定数据，将图像采集装置所采集画面反向投影至该虚拟柱面上以形成重投影图像；将所述虚拟柱面上的重投影图像裁切输出；不仅消除了画面上的严重畸变，又保留了足够的原始图像信息，并且，输出图像为一个与摄像机安装角度无关的更加灵活的可变视角，使得画面更加直观。

本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。