一种立体车载环视方法、系统及车载中控装置与流程

本发明涉及车载环视系统技术领域，尤其涉及一种立体车载环视方法、系统及车载中控装置。

背景技术：

智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域应用越来越广。360度环视系统是现有高级汽车辅助安全系统之一，此类系统可以在低速工况下为驾驶员提供车辆周围情况，为驾驶员低速操作提供视觉辅助(如泊车等)，已经成为了众多量产车型的标准配置。

现有此类量产系统大多只提供俯视视角下车辆周围环境的平面示意图，系统视野范围有限，绝大多数系统只能辅助显示车辆周围2-3米以内的区域，且非道路平面部分物体映射变形严重。

技术实现要素：

本发明的目的提供一种立体车载环视方法、系统机车载中控装置，扩大了车载环视系统的视野和精度。

为解决现有技术存在的问题，本发明提供一种立体车载环视方法，该方法包括：

s1，获取车载相机的视图信息；

s2，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3d全场景视图；所述立体环境模型的映射关系包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系；

s3，根据从车载传感器获取的车辆状态信息，对3d全场景视图进行渲染，形成全景辅助视角视图；

s4，将全景辅助视角视图输出至视觉界面。

本技术方案将车载相机的视图信息映射到预设的立体环境模型中，形成3d全景视图，从而扩大了环视的范围，另外立体环境模型预设的映射关系中包括平面部分映射关系、柱面部分映射关系以及球面部分映射关系，因此提高了环视的视图的显示精度。另外，可以根据车辆状态信息，例如转弯、倒车灯车辆状态信息对3d全景视图进行调整，即渲染，形成全景辅助视角视图，从而进一步提高了全景视图的显示精度。

优选的，步骤s1之前还包括：离线相机参数标定，所述离线相机参数标定包括：

通过标定靶对相机内部参数进行标定，所述标定算法为：

采用鱼眼镜头的径向畸变模型对相机内部参数进行标定，所述径向畸变模型为：

θ′＝θ(1+θ²+θ⁴)

其中，θ为图像中点对应的成像透视角；

在相邻相机视野重合地面区域放置标定靶，计算逆投影矩阵h将矫正后图像中的像素点(u，v)映射到现实地面坐标系(x，y)中。

本技术方案通过径向畸变模型消除了鱼眼相机视图中存在的畸变。

优选的，步骤s2包括：

将位于预设的图像消失线以下图像信息，映射到立体环境模型中的(x1，y1，z1)；

将位于预设的图像消失线以上部分的图像信息，映射到立体环境模型中的(x2，y2，z2)。与现有的2位映射关系相比，提高了图像的显示精度。

优选的，还包括：

提取相邻相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小；所述调整个相机亮度增益的误差函数error为：

其中，nij相机i重叠于相机j的像素个数；gaini，gainj分别是相机i和j的增益；是相机i在于相机j重叠区域的像素平均值；σn是归一化的亮度误差的标准方差；σg是增益的标准方差；n是相机的个数。均衡了各鱼眼相机的亮度。

优选的，还包括：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合。进一步提高了环视视图的显示精度。

优选的，所述接缝方法为渐进接缝融合方法，所用的公式为：

f(x，y)＝wl(x，y)fl(x，y)+wr(x，y)fr(x，y)

其中，fl(x，y)、fr(x，y)是拼接的2个相邻相机的图像

x，y是一个点的x和y方向坐标，坐标原点为图像左上角，向右向下为正；wl、wr为拼接的2个相邻相机的加权函数，由拼接缝确定。从而使相邻相机重合区域过度更加平滑。

优选的，步骤s3包括：

根据从车载传感器获取的车辆状态信息，确定与车辆状态信息对应的全景辅助视角模式；

根据所述确定的全景辅助视角模式，设定若干渲染点以及渲染所用的虚拟相机参数；

虚拟相机采用小孔成像，根据所述确定的渲染点渲染全景场景视图，形成全景辅助视角视图。

本技术方案根据车辆的状态信息确定辅助视角，例如转弯或倒车等辅助视角，并根据辅助视角确定虚拟相机的参数以及渲染点，从而将全景视图渲染为全景辅助视角视图，提高了视图的显示精度。

相应的本发明还提供一种立体车载环视系统：包括车载传感器、相机、标定靶以及车载中控装置，所述标定靶设置于相邻相机视野重合的地面区域，用于对相机内部参数进行标定；所述相机、车载传感器分别与车载中控装置连接；

其中，所述车载中控装置将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图，并根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图。

相应的本发明还提供一种车载中控装置，该装置包括：

存储单元，用于存储预设的相机投影映射表；

映射单元，用于根据存储的相机投影映射表，将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图；

渲染单元，用于根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图；

输出单元，用于输出全景辅助视角视图。

优选的，还包括：

全局光照补偿单元，用于提取相邻相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小；所述调整个相机亮度增益的误差函数error为：

其中，nij相机i重叠于相机j的像素个数；gaini，gainj分别是相机i和j的增益；是相机i在于相机j重叠区域的像素平均值；σn是归一化的亮度误差的标准方差·；σg是增益的标准方差；n是相机的个数；

接缝选取与融合单元，用于在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合；所述接缝为渐进接缝融合方法，该方法采用的公式为：

f(x，y)＝wl(x，y)fl(x，y)+wr(x，y)fr(x，y)

其中，fl(x，y)、fr(x，y)是拼接的2个相邻相机的图像；x，y是一个点的x和y方向坐标；wl、wr为拼接的2个相邻相机的加权函数。

本发明的立体车载环视方法将车载相机的视图信息映射到预设的立体环境模型中，从而形成了3d辅助视角视图，扩大了车载环视系统的视野。

附图说明

图1是本发明一种立体车载环视系统的一种实施例的示意图；

图2是本发明一种车载中控装置的示意图；

图3是本发明一种立体车载环视方法的一种实施例的示意图；

图4是本发明一种立体车载环视方法中立体环境模型沿xz平面切面的示意图；

图5是本发明一种立体车载环视方法中2d与3d坐标对应关系示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

参考图1，该图是本发明一种立体车载环视系统的一种实施例的示意图，该系统包括：车载传感器1、相机2、标定靶3以及车载中控装置4，标定靶3设置于相邻相机视野重合的地面区域，用于对相机内部参数进行标定；相机2、车载传感器3分别与车载中控装置4连接；其中相机2和车载传感器3都可以可为多个，具体设置的数量可以根据实际的需求进行调整，例如相机可以在前后左右四个方向设置，车载传感器也可以根据检测的不同功能用图进行设定，例如方形盘检测传感器，车速检测传感器，档位检测传感器等等。

车载传感器1，用于检测车辆的档位信息、转向信息、车速信息等车辆状态信息。

相机2，可以采用鱼眼相机，本发明实施例采用在离线状态下，对鱼眼相机的外部参数和内部参数进行标定。

标定靶3，设置于相邻的两个相机之间，因此当相机设置为4个时，标定靶的数量也为四个，这里具体的数量可以根据实际应用中进行调整。另外，标定靶用于在离线状态下对相机的内部参数和外部参数进行标定，因此标定好相机的内部参数和外部参数后，标定靶就将断开与相机之间的连接。标定靶可采用黑白相间的棋盘格，单位棋盘格大小与高宽可根据需求自定义。

车载中控装置4，用于将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图，并根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图。

从而将以3d视图的效果显示场景视图，扩大了显示的范围和清晰度。

下面对本发明的车载中控装置进行详细说明。

参考图2，该图是本发明车载中控装置的一种实施例的示意图，该装置包括：存储单元41、映射单元42、全局光照补偿单元43、接缝选取与融合单元44，渲染单元45，输出单元46；具体实现时，映射单元42根据存储单元41存储的相机投影映射表，将来自环视相机的视图信息映射到预设的立体环境模型中形成全景场景视图；然后，由其中，存储单元41与映射单元42连接，映射单元42与全局光照补偿单元43对全景场景视图进行光照补偿，由接缝选取与融合单元44对图片进行接缝选取和融合，然后由渲染单元根据从车载传感器获取的车辆状态信息，对全景场景视图进行渲染，形成全景辅助视角视图；最后，通过输出单元46输出全景辅助视角视图。扩大了车载中控装置的对环视全景视图的处理能力，扩大了环视全景视图的显示范围和精度。

下面说明本发明的另一方面。

参考图3，该图是本发明一种立体车载环视方法的一种实施例的流程示意图，该方法包括：

步骤s11，获取车载相机的视图信息，将来自所述车载相机的视图信息映射到预设的立体环境模型中，形成3d辅助视角视图；具体实现时，所选取的立体环境模型由平面、柱面以及球面三部分组成，环境模型沿xz平面切面如图4所示。平面部分的图像映射关系符合相机外部参数标定的矩阵h，球面以及柱面部分的映射关系可根据h由小孔成像模型坐标变换而得。平面部分的半径r1，球面部分的半径r2，柱面部分的半径r3为可配置参数；另外，在将各鱼眼视图映射到立体环境模型中时，对于图像消失线以下部分(即地面部分)，原本映射关系h将矫正后图像中的像素点(u，v)映射到现实地面坐标系正平面(x，y)，现映射到3d环境模型中的(x1，y1，z1)。对于图像消失线以上部分(即天空部分)，原本映射关系h将矫正后图像中的像素点(u，v)映射到现实地面坐标系负平面(x’，y’)，现映射到3d环境模型中的(x2，y2，z2)。2d与3d坐标对应关系如图5所示。具体实现时，还可以通过全局光照补偿对图片进行处理：提取相邻鱼眼相机重合区域平均亮度，通过调整各相机亮度增益，使重合区域亮度差最小，即均衡各鱼眼相机亮度。此过程通过最小化以下误差函数error来获得相机增益：

其中，nij相机i重叠于相机j的像素个数；gaini，gainj分别是相机i和j的增益；是相机i在与相机j重叠区域的像素平均值；σn是归一化的亮度误差的标准方差；σg是增益的标准方差；n是相机的个数。实际应用中，可通过共享相机快门与增益参数来实现，此做法需要各相机之间开放通信协议。

步骤s12，接缝选取与融合：在相邻相机重合区域选取接缝位置，对接缝两侧纹理进行融合。接缝可用静态接缝与动态接缝，静态接缝即在相机重合区域选用固定接缝；动态接缝是指在重合区域采用非固定接缝使接缝宽度内两相机纹理差别最小。本发明采用静态接缝，即固定接缝，接缝如图4所示。本发明采用渐进接缝融合方法，所用公式如下：

f(x，y)＝wl(x，y)fl(x，y)+wr(x，y)fr(x，y)

其中，fl(x，y)、fr(x，y)是拼接的2个相邻相机的图像；x，y是一个点的x和y方向坐标，坐标原点为图像左上角，向右向下为正；wl、wr为拼接的2个相邻相机的加权函数，由拼接缝确定。以拼接缝为中心线，形成一条宽度为t的重叠区域，此区域中加权值由重叠区域一侧边缘的每个点沿拼接缝的法线方向从1单调递减到另一侧边缘为0。

步骤s13，根据从车载传感器获取的车辆状态信息，对辅助视角视图进行渲染，形成全景辅助视图；具体实现时，可以称为全景辅助视角渲染：即将车辆立体模型至于环境立体模型中，应用层根据车载传感器信号(包括档位、转向信号等)，预设若干全景辅助视角模式(包括低速通过模式、泊车模式、入库模式等)，设定若干渲染点以及渲染所用虚拟相机参数，包括焦距、视场角以及全局坐标。采用小孔成像原理，渲染该辅助全景视图。

步骤s14，将全景辅助视图输出至视觉界面。

另外，具体实现时在步骤s11之前还可以包括步骤s10，在步骤s13之前还可以包括步骤s15：

步骤s10：本发明实施例采用的相机可以为鱼眼相机，在离线的条件下可以对相机的内部参数和外部参数进行标定。其中，内部参数标定包括鱼眼视角畸变矫正：通过相机内部参数标定，利用鱼眼镜头的径向畸变模型，消除鱼眼相机视图中存在的畸变。所用的径向畸变模型如下：

θ′＝θ(1+θ²+θ⁴)

其中，θ为图像中点对应的成像透视角。

相应的，外部参数的标定采用标定靶标定的方法，具体实现时，在相邻相机视野重合地面区域放置标定靶，计算逆投影矩阵h将矫正后图像中的像素点(u，v)映射到现实地面坐标系(x，y)中。相机安装高度可通过分解homography矩阵h，或直接在车辆上测量获得。另外，其中h矩阵为3*3矩阵，使得[x，y，1]^t＝h[u，v，1]^t。

步骤s15：判断环视系统的开关状态，当判定环视系统开的时候才进入步骤s13。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。