一种全景泊车辅助系统的图像自动调试系统、方法和装置与流程

本申请涉及视频图像处理领域，具体涉及一种全景泊车辅助系统的图像自动调试系统、方法和装置。

背景技术：

全景泊车辅助系统，又称360度全景辅助系统，主要采用安装在车身前后左右四个方向的超广角摄像头进行图像采集，并通过对摄像头采集的图像去畸变及拼接后，展现出效果上相当于从车顶俯视车身周边的全景图。

全景图的拼接需要两个参数：摄像头的内参和外参。内参反映的是摄像头本身的特性，通过内参的调整能够去除摄像头本身的畸变，其主要包括焦距，中心点，以及畸变参数(包括k1、k2、k3、k4等，通常用于对图像进行建模)；外参反映的是摄像头在汽车所处三维世界坐标的位置关系，通过摄像头外参，能够将四个摄像头中的图片，拼接成一个完整的360度全景图，其主要包括平移向量和旋转向量

现有全景泊车辅助系统的图像调试方法在调试时常常需要在待调试的车辆周围铺设特定的调试模板布(如棋盘格)来标定摄像头的内外参，从而调试好全景泊车辅助系统图像。然而，临时铺设棋盘格，比较麻烦，还量取各个布块之间距离，工作效率不高，而且棋盘格铺设不好，可能导致测试不准。

技术实现要素：

本申请提供一种全景泊车辅助系统的图像自动调试系统、方法和装置，优化图像内、外参数集，提高图像调试工作效率。

根据本申请第一方面，本申请提供一种全景泊车辅助系统的图像自动调试系统,包括:

可见光平台，用于射出可见光，在地面形成以亮点为特征点的调试用模板；

摄像头，用于采集所述调试用模板的图像数据；

控制器，用于建立汽车所处的世界坐标并获取调试用模板特征点的世界坐标值；控制摄像头采集所述调试用模板的图像数据并接收该图像数据，所述图像数据至少包括调试用模板特征点在所采集图像中的理论坐标值；将所述调试用模板特征点的世界坐标值映射到摄像头采集的调试用模板的图像数据中，得到调试用模板特征点的图像观测值，还用于根据所述图像观测值与实际坐标值进行比对，优化校正参数，得到优化后的内、外参数集。

在一些实施例中，所述可见光平台为激光平台，激光平台包括至少两个激光器，激光器被放置于待调试汽车的对角线角点处，激光器被打开后在地面形成以光斑为特征点的调试用模板，不同激光器分别采用不同颜色的激光灯。

在一些实施例中，所述控制器在计算特征点的图像观测值时，通过对摄像头采集的调试用模板的图像进行颜色分割，找出所述图像中的有用区域并在有用区域内找出激光光斑像素级的边缘点，对所述像素级的边缘点进行亚像素处理后得到更高角度的边缘点，再根据边缘点计算出特征点的坐标，获得图像观测值，其中，所述有用区域为包括全部光斑的区域。

在一些实施例中，所述可见光平台射出可见光的同时输出调试开始信号至所述控制器，所述控制器根据所述调试开始信号向摄像头输出采集命令，控制所述摄像头采集所述调试用模板的图像数据。

根据本申请第二方面，本申请提供一种全景泊车辅助系统的图像自动调试方法,包括:

获取世界坐标步骤，获取调试用模板特征点的世界坐标，所述调试用模板为利用可见光平台在地面形成的以亮点为特征点的阵列；

采集图像数据步骤，控制摄像头采集所述调试用模板的图像数据并接收该图像数据，所述图像数据至少包括调试用模板特征点在所采集图像中的理论坐标值；

优化参数步骤，建立汽车所处的世界坐标并获取调试用模板特征点的世界坐标值，将所述调试用模板特征点的世界坐标值映射到摄像头所采集的调试用模板的图像数据中，得到调试用模板特征点的图像观测值，根据所述图像观测值与理论坐标值进行比对，优化校正参数，得到优化后的内、外参数集。

在一些实施例中，得到调试用模板特征点的图像观测值的方法包括：

通过对摄像头采集的调试用模板的图像进行颜色分割，并找出所述图像中的有用区域并在有用区域内找出激光光斑像素级的边缘点，其中，所述有用区域为包括全部光斑的区域；

对所述像素级的边缘点进行亚像素处理后得到更高角度的边缘点，再根据边缘点计算出特征点的坐标，获得图像观测值。

在一些实施例中，根据所述图像观测值与实际的理论坐标值进行比对，优化校正参数包括：

观测模型建立步骤，根据调试用模板特征点的世界坐标，建立特征点的图像观测值与内、外参数集之间的观测模型；

优化迭代步骤，计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

根据本申请第三方面，本申请提供一种全景泊车辅助系统的图像自动调试装置，包括：

用于获取调试用模板特征点的世界坐标的模块，所述调试用模板为利用可见光平台在地面形成的以亮点为特征点的阵列；

用于控制摄像头采集所述调试用模板的图像数据并接收该图像数据的模块，所述图像数据至少包括调试用模板特征点在所采集图像中的理论坐标值；

用于建立汽车所处的世界坐标并获取调试用模板特征点的世界坐标值，将所述调试用模板特征点的世界坐标值映射到摄像头所采集的调试用模板的图像数据中，得到调试用模板特征点的图像观测值，和根据所述图像观测值与理论坐标值进行比对，优化校正参数，得到优化后的内、外参数集的模块。

根据本申请第四方面，本申请提供一种全景泊车辅助系统的图像自动调试，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如本申请第二方面中任一项所述的方法。

根据本申请第五方面，本申请提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如本申请第二方面中任一项所述的方法。

依据上述实施例的全景泊车辅助系统的图像自动调试系统、方法和装置，由于本申请利用可见光形成以亮点为特征点的调试用模板代替现有的调试模板布，免去人工铺设调试模板、量取各个布块之间距离的工作，可获取精确的内、外参数，而且该调试系统适应性强，现场调试简单方便，使得全景泊车辅助系统的图像调试工作简便、效率高。

附图说明

图1为本申请的一种全景泊车辅助系统的图像调试系统结构示意图；

图2为一种实施例全景泊车辅助系统的图像调试系统使用状态示意图；

图3为本申请的全景泊车辅助系统的图像调试系统方法流程图；

图4为一种实施例摄像头采集的调试用模板图像示意图；

图5为广角摄像头采集图像畸变原理图；

图6为一种实施例的迭代优化流程图；

图7为一种实施例摄像头采集的调试用模板图像迭代优化后的效果示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

由于全景泊车辅助系统采用的广角摄像头在采集的图像会发生畸变，因此需要对广角摄像头采集的图像数据进行调试，得到校正参数，以实现畸变图像的校正。在现有技术中常使用棋盘格来作为调试的模板，但铺设棋盘格，比较麻烦，还要量取各个布块之间距离，工作效率不高。基于此，发明人在构思本申请时，利用激光平台射出激光后形成的以光斑为特征点的长方形十字阵列代替现有的调试模板布，免去铺设模板的工作，从而提高调试工作效率，进一步，通过优化激光平台的控制方式，还可实现图像调试的自动化，下面具体说明。

请参考图1，为本申请的一种全景泊车辅助系统的图像调试系统，包括可见平台2、摄像头3和控制器1。

可见光平台2，用于射出可见光，在地面形成以亮点为特征点的调试用模板。在一些实施例中，可见光平台2为激光平台，激光平台射出激光，在地面形成以光斑为特征点的调试用模板，该模板包括长方形或平行四边形。

摄像头3为安装在车身前后左右四个方向的超广角摄像头，摄像头3用于采集调试用模板的图像数据。

控制器1用于建立汽车所处的世界坐标并获取调试用模板特征点的世界坐标值；控制摄像头采集所述调试用模板的图像数据并接收该图像数据，所述图像数据至少包括调试用模板特征点在所采集图像中的理论坐标值；将所述调试用模板特征点的世界坐标值映射到摄像头采集的调试用模板的图像数据中，得到调试用模板特征点的图像观测值，还用于根据所述图像观测值与实际坐标值进行比对，优化校正参数，得到优化后的内、外参数集。

由此可见，本申请通过利用可见光平台2射出可见光，在地面形成以亮点为特征点的调试模板，免去了人工铺设调试模板、量取各个布块之间距离等工作，提高了调试工作的效率。

在一种具体实施例中，可见光平台2为激光平台时，激光平台至少包括两个激光器，激光器被放置于待调试汽车的对角线角点处。参考图2，两个激光器分别放置在待调试汽车的对角线两端，不同激光器分别采用不同颜色(如红色和绿色，图2中，以“+”表示红色，“x”表示绿色)的激光灯，当激光灯打开后，在地面上形成长方形的激光十字线阵列，将该阵列作为调试用模板，该调试用模板以十字线光斑为特征点，十字线光斑包括红色光斑和绿色光斑。其中，在红色光斑和绿色光斑交叉时，光斑保持重合，激光平台的相对坐标就确定下来。

其中，在控制器1在计算特征点的图像观测值时，先通过对采集的调试用模板的图像进行颜色分割再找出图像中包括全部光斑的区域作为有用区域，并在有用区域内找出十字线光斑像素级的边缘点，对这些像素级的边缘点进行亚像素处理后得到更高角度的边缘点，再根据边缘点计算出特征点的坐标，获得图像观测值。在一些实施中，具体为：先将图像格式由grb转换为hsv，再对hsv图像的h和s通道的图像进行处理，将激光光斑的颜色区域大体分割出来；再找出图像中包括全部光斑的区域作为有用区域，采用基于局域亮度最大原则在有用区域内找出激光十字光斑像素级的边缘点，对这些像素级的边缘点进行亚像素处理后得到更高角度的边缘点，再根据边缘点利用最小二乘法计算出特征点的坐标，获得图像观测值。

如图1所示，在一些实施例中，控制器包括：世界坐标获取模块11、映射处理模块12、观测模型建立模块13和优化迭代模块14。

世界坐标获取模块11用于建立汽车所处的世界坐标并获取调试用模板特征点的世界坐标；映射处理模块12用于控制摄像头3采集调试用模板的图像数据并接收该图像数据，所述图像数据至少包括调试用模板特征点在所采集图像中的理论坐标值；将调试用模板特征点的世界坐标映射到摄像头3采集的调试用模板的图像数据中，得到调试用模板特征点的图像观测值；观测模型建立模块13用于根据调试用模板特征点的世界坐标，建立特征点的图像观测值与内、外参数集之间的观测模型；优化迭代模块14用于计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

在具体实施例中，观测模型建立模块13将调试用模板特征点的图像数据与调试用模板特征点的世界坐标进行映射得到初始化外参；根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。

在具体实施例中，迭代优化模块14根据当前次特征点的图像观测值与理论坐标值之间的误差得到当前次内、外参的迭代增量；将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型；根据更新后的观测模型计算下一次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

在一种实施例中，迭代优化模块4根据如下公式计算迭代增量：

δxi＝(j^tj)^-1j^tεi，

其中，δxi为当前次内、外参的迭代增量，j为当前次观测模型对内、外参集的雅可比导数矩阵，εi为当前次特征点的图像观测值与理论坐标值之间的误差。

在另一种实施例中，迭代优化模块4根据如下如下公式计算迭代增量：

δxi＝(j^tj+μi)^-1j^tεi，

其中，δxi为当前次内、外参的迭代增量，j为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，i为单位对角阵，εi为当前次特征点的图像观测值与理论坐标值之间的误差。

在一种实施例中，可见光平台2射出可见光的同时输出调试开始信号至控制器1，控制器1根据该调试开始信号向摄像头3输出采集命令，控制摄像头3采集调试用模板的图像数据；之后，控制器1将调试用模板特征点的世界坐标映射到摄像头3采集的调试用模板的图像数据中，得到调试用模板特征点的图像观测值，并根据图像观测值与理论坐标值进行比对，优化校正参数，得到优化后的内、外参数集。如此一来，本实施例便实现了全景泊车辅助系统的图像自动调试，即将待调试的车开入平坦地面后，操作可见光平台2发出可见光后，本申请的调试系统就可自动完成全景泊车辅助系统的图像调试工作。

综上所述，本申请的调试系统适应性强，现场调试简单方便、效率高。

基于上述公开的全景泊车辅助系统，本实施例还公开了一种全景泊车辅助系统的图像调试方法。

请参考图3，为全景泊车辅助系统的图像调试方法流程图，该方法具体包括如下步骤：

步骤100，获取世界坐标：获取调试用模板特征点的世界坐标，该调试用模板为利用可见光平台在地面形成的以亮点为特征点的阵列，该阵列包括长方形或平行四边形。

步骤200，采集图像数据：控制摄像头采集所述调试用模板的图像数据并接收该图像数据，所述图像数据至少包括调试用模板特征点在所采集图像中的的理论坐标值。请参考图4，为一种实施例摄像头采集的调试用模板图像示意图，该实施例中调试用模板为以激光光斑为特征点的长方形十字线阵列，由图4可知，由于摄像头3是广角摄像头，采集到的图像发生了畸变。

步骤300，优化参数：将调试用模板特征点的世界坐标映射到摄像头所采集的调试用模板的图像数据中，得到调试用模板特征点的图像观测值，根据图像观测值与实际的理论坐标值进行比对，优化校正参数，得到优化后的内、外参数集。

在一种实施例中，调试用模板为以激光光斑为特征点的长方形十字线阵列，其特征点的图像观测值计算方法包括：

通过对采集的调试用模板的图像进行颜色分割，并找出图像中的有用区域并在有用区域内找出激光十字光斑像素级的边缘点，有用区域指包括全部光斑的区域；

对这些像素级的边缘点进行亚像素处理后得到更高角度的边缘点，利用最小二乘法计算出特征点的坐标，获得图像观测值。

在一些实施中，具体为：先将图像格式由grb转换为hsv，再对hsv图像的h和s通道的图像进行处理，将激光光斑的颜色区域大体分割出来；再找出图像中的有用区域后，采用基于局域亮度最大原则在有用区域内找出激光十字光斑像素级的边缘点，对这些像素级的边缘点进行亚像素处理后得到更高角度的边缘点，利用最小二乘法计算出特征点的坐标，获得图像观测值。

一些实施例中，步骤300还包括步骤310和步骤320.

步骤310：观测模型建立。即根据调试用模板特征点的世界坐标，建立特征点的图像观测值与摄像头3的内、外参数集之间的观测模型。

其中，内参为摄像头自身所引起畸变的参数，例如：焦距包括横向焦距fx和纵向焦距fy；中心点包括横向中心点cx和纵向中心点cy；以及用于建模的畸变参数等。外参为世界平面坐标系映射到摄像头采集图像平面坐标系的所需要进行的坐标转换参数，转换过程通常包括坐标系的平移和旋转，因此，外参包括如齐次坐标坐标系之间的平移向量和旋转向量

在具体实施例中，可以将获取的调试用的激光十字线阵列特征的图像数据与调试用的激光十字线阵列特征的世界坐标进行映射得到初始化外参，如平移向量和旋转向量请参考图5，调试用的激光十字线阵列特征pa在经透镜折射至采集平面后，会发生位置的变更，在采集平面上如p′c所示，调试用的激光十字线阵列特征pa经透镜折射至采集图像中的理论位置如p′c所示，该p′c的坐标值为特征点pa经透镜折射至采集图像中的理论坐标值；pc为观测模型所输出的特征点，即pc由世界坐标特征点pa通过观测模型映射到采集图像平面坐标所得到的，在本实施例中，pc的坐标值为特征点pa图像观测值；为了将调试用的激光十字线阵列特征pa映射至采集平面的理论位置p′c，需要对世界坐标中调试用的激光十字线阵列特征pa进行相应的平移和旋转，由此可以得到各特征点平移和旋转所采用的平移向量和旋转向量

根据初始化外参和预设内参建立特征点的图像观测值与内、外参数集之间的观测模型。预设内参可以根据广角摄像头所采用的具体透镜类型或者经验确定，请参考图5，调试用的激光十字线阵列特征pa在经透镜折射至采集平面点pc后，例如可以根据折射角θd与入射角θ之间的关系建立观测模型来得到畸变参数一种实施例中，可以采用如下公式来确定畸变参数

θd＝θ*(1+k1*θ²+k2*θ⁴+k3*θ⁶+k4*θ⁸)

其中，其中入射角θ＝arctan(r/d)，r为调试用的激光十字线阵列特征pa到中心点的水平距离，d为世界平面到透镜所在平面的距离，k1、k2、k3和k4为畸变参数在具体实施例中，畸变参数可以根据需要进行增减参数的个数。在一种实施例中，透镜的内参焦距和中心点可以通过系统预设。

在获得内、外参数集之后，便可以建立各特征点的图像观测模型fi(x)，其中，fi(x)为第i个特征点的观测值，x为内、外参数集，包括：畸变参数如k1、k2、k3和k4；横向焦距fx和纵向焦距fy；横向中心点cx和纵向中心点cy；以及平移向量和旋转向量

步骤320：迭代优化。即计算当前次特征点的图像观测值与理论坐标值之间的误差；并迭代优化误差，得到优化后的内、外参数集。

在经步骤310建立图像观测模型fi(x)后，根据图像观测模型fi(x)可以得到第i个特征点映射到采集平面的观测值，将该观测值与该特征点在采集平面的理论坐标值作差，可以得到该特征点的观测误差其中，为第i个特征点第j次观测误差。判断是否小于预设的阈值，当小于预设阈值时，则可输出当前次观测的内、外参数集x^j，其中，x^j为第j次观测时的内、外参数集；当大于预设阈值时，则说明观测的误差较大，需要对内、外参数集x进行迭代优化，直到小于预设阈值，输出对应的内、外参数集x^j，即为优化后的内、外参数集。

在具体实施例中，可以使用高斯-牛顿迭代法，迭代优化内、外参数集x^j，求得所有内、外参数，具体地，请参考图6，迭代优化过程可以包括：

步骤321：迭代增量计算。根据当前次特征点的图像观测值fi^j(x)与该特征点理论坐标值y′c之间的误差得到当前次内、外参的迭代增量。

请参考图5，如特征点pa在映射至采集平面时，其采集平面的理论坐标为y′c，于是可以得到该特征点当前次(第j次)观测误差各特征点当前次观测误差集合构成了当前次各特征点的观测误差集合ε^j。

而后，再使用svd分解和伪逆矩阵的求解法，得出所有内外参数当前次的高斯-牛顿法迭代增量δx^j。可以首先求得当前次观测模型对内、外参集的雅可比导数矩阵j，具体地，可以采用如下公式求取雅可比导数矩阵j：

其中，x1……xm为内、外参集中的各个参数，f1……fn分别为第1至n个特征点的观测模型。

在利用(1)求得雅可比导数矩阵j后，可采用如下公式计算高斯-牛顿法迭代增量δx^j：

δx^j＝(j^tj)^-1j^tε^j(2)

其中，j为雅可比导数矩阵j的转置矩阵，δx^j为各内、外参集中各参数第j次迭代后的高斯-牛顿法迭代增量集合。

需要说明的是，在优选的实施例中，为了避免在迭代过程中，内、外参数收敛太快出现病态矩阵，可以在高斯-牛顿下降因子上加入阻尼系数，一种方法为levenberg-marquardt法，简称lm法，具体为，在高斯牛顿增量公式(2)上增加阻尼因子μ，得到新的增量公式：δx^j＝(j^tj+μi)^-1j^tε^j，其中，δx^j为当前次内、外参的迭代增量，j为当前次观测模型对内、外参集的雅可比导数矩阵，μ为阻尼系数，i为单位对角阵，ε^j为当前次特征点的图像观测值与理论坐标值之间的误差，j为迭代次数。

步骤322：观测模型更新。将当前次内、外参的迭代增量加入当前的内、外参集更新观测模型。将公式(2)求得的高斯-牛顿法迭代增量δx^j与第j次内、外参集x^j相加，即可得到下一次迭代的输入内、外参集x^j+1，于是完成了观测模型f^j+1(x)的更新。

步骤323：计算下一次特征点误差。根据更新后的观测模型计算下一次(第j+1次)特征点的图像观测值与理论坐标值之间的观测误差ε^j+1，具体的计算方式可参见步骤321，在此不再赘述。并判断观测误差ε^j+1是否小于预设阈值c。

如果判断结果为观测误差ε^j+1小于预设阈值c，则说明当前的精度达到要求，于是可以输出步骤322求得的内、外参集x^j+1，该参数集即为优化后的内、外参数集；

如果判断结果为观测误差ε^j+1大于预设阈值c，则说明当前的精度未达到要求，需要返回步骤321进行再次的迭代优化误差。

请参考图7，为图4所示的调试用模板图像经迭代优化后的效果示意图，图7表明，依据上述实施例提供的调试方法，能够有效地去除广角摄像头采集图像所带来的畸变，并且也能够同时调试内、外参数。

本申请的调试方法，通过将车停入调试用模板内，经获取调试用激光十字线线模板的特征点、建立观测模型和优化图像观测值与理论坐标值之间的误差后，可获取精确的内、外参数，使得全景泊车辅助系统的图像调试工作方法简便、效率高，免除厂家对摄像头参数管理的繁重工作，提高了工作效率。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。