一种通过摄像头加强导航功能的导航系统的制作方法

本发明涉及摄像头进行图像识别道路的形状、高精度定位及车载导航定位的技术领域，尤其涉及一种通过摄像头加强导航功能的导航系统。

背景技术：

目前市场上的导航产品，在路线指示上，都是在导航仪或者仪表显示屏上。车主在行车过程中，导航仪显示屏的指示信息非常有限，只指示了前方距离，转弯方向等基础信息。车主需要在观察路况的过程中，同时对比液晶显示屏上的方向指示，才能判断清楚行进方向。所以在导航过程中不可避免的会导致驾驶员注意力分散，影响行车安全。

技术实现要素：

本发明的目的是通过机器视觉、导航定位、地图数据之间的关系，判断当前车车辆前进方向的信息，把导航系统给车主的指引信息直接跟车主看到的实际路面结合起来。这样车主可以直接观察路面就能得到直观的前行信息，注意力不需要离开路面。这样既可以大幅度的提高驾驶安全，又可以提高驾驶的效率，避免走错路。

本发明的一种通过摄像头加强导航功能的导航系统，包括：车载gps天线，摄像头，ar抬头显示器以及车载导航主机，其中，所述车载gps天线用于进行定位获得世界坐标系；所述摄像头对前方路况进行实时图像采集，所述车载导航主机包括：坐标系转换单元，其对所述摄像头采集的路况图像进行图像识别分析，把实际世界中的路面坐标系即世界坐标系转换成摄像头自己的坐标系即摄像头影像坐标系；模型生成单元，其根据摄像头影像坐标系生成行进路面的3d模型；虚拟导航信息生成单元，其根据行进路面的3d模型生成虚拟导航指示信息；输出单元，其将虚拟导航指示信息输出到所述ar抬头显示器；所述ar抬头显示器将所述虚拟导航指示信息投射到挡风玻璃上，实现所述虚拟导航信息叠加至实际路面的效果。

优选地，所述世界坐标系为：根据所述车载gps天线定位给出的位置为坐标原点，以南向北作为y轴，西向东作为x轴，垂直方向为z轴，所述世界坐标系即为导航地图坐标系。

优选地，所述世界坐标系到摄像头影像坐标系的转换公式为：

若世界坐标系坐标为(x,y,z)，摄像头影像坐标系对应坐标为(x',y’,z’)，则(x',y’,z’)＝t*c*[r]*(x,y,z)，

其中，矩阵[r]是旋转矩阵，c是采用摄像头内参矩阵的参数对摄像头畸变进行补偿的补偿系数，t矫正系数，是整车零件安装的个体误差，系统需要对每一辆特定的车型自动进行矫正。

优选地，补偿系数c和矫正系数t通过下述方式获取：

选取若干车前盖的特征点作为参考点p1，p2,p3，p4…pi，车前盖的参考点pi在世界坐标系和摄像头影像坐标系这两个坐标系中的描述关系如下：

根据所述摄像头采集的实时图像帧，获得车前盖上参考点pi在摄像头影像坐标系中的坐标位置，并根据所述坐标位置通过求解上述线性方程组，获得实际的补偿系数c和矫正系数t。

优选地，根据摄像头影像坐标系生成行进路面的3d模型是由图像处理软件对摄像头采集的影像进行实际行进道路曲面的分析建模，从而形成行进路面的3d模型。

优选地，所述虚拟导航信息包括转弯，直行，上坡在内的箭头信息。

本发明的有益效果是：

对比现有的产品，本发明的导航系统可以使虚拟的导航指示信息直接跟驾驶员观察到的路面进行光学叠加，方便驾驶员在行车中获取信息，避免分心、走错路，提交驾驶效率以及安全性。

附图说明

图1为通过本发明图像识别加强导航功能后的驾驶舱视野的示意图。

图2为本发明的导航系统的系统组成图。

图3为车前盖参考点示意图。

图4为本发明的导航系统的高架入口处的效果图。

具体实施方式

下面通过实施例对本发明作进一步说明，其目的仅在于更好地理解本发明的研究内容而非限制本发明的保护范围。

本发明的通过摄像头加强导航功能的导航系统，通过图像识别技术，通过摄像头对前方路况的实时图像采集，并对路面进行图像识别，分析出路面的形状、弯曲曲率、车道、转弯角度和半径、倾斜角度信息，计算出路面模型。再根据导航引擎给出的地图数据参数、行进方向、距离等数据，计算出要行走的路面和车道。再把虚拟导航图像与摄像头采集的实时图像结合起来，提供给车主最直观的导航指示。

如图1所示，通过这种方式，导航指示信息102可以跟实际路面103完全吻合，驾驶员在手握方向盘101的时候，可以清晰，直接，有效的获取前进方向，注意力始终在前进的路面上，避免驾驶分心。

如图2所示为本发明的导航系统的系统组成图。整个系统由车载gps天线201，摄像头202，车载导航主机203，ar抬头显示器204四部分组成。下面对各个部分进行详细描述。

所述摄像头202对前方路况进行实时图像采集，获得路况的实时图像。

所述车载导航主机203包括：坐标系转换单元，其对所述摄像头采集的路况图像进行图像识别分析，把实际世界中的路面坐标系即世界坐标系转换成摄像头自己的坐标系即摄像头影像坐标系；模型生成单元，其根据摄像头影像坐标系生成行进路面的3d模型；虚拟导航信息生成单元，其根据行进路面的3d模型生成虚拟导航指示信息；输出单元，其将虚拟导航指示信息输出到所述ar抬头显示器。

本发明中，各坐标系的定义如下：

世界坐标系：根据车载gps天线201定位给出的位置为坐标原点，以南向北作为y轴，西向东作为x轴，垂直方向作为z轴，以此作为世界坐标系。由于采用了精确导航地图，所以世界坐标系跟地图坐标系是一致的。

摄像头坐标系：摄像头202固定在车辆的上方，摄像头坐标系，以系统在车的安装点为原点，以车左右向为x轴，车头方向为y轴，上下方向为z轴。

导航地图坐标系：由gps天线201定位到的位置，可以在导航地图中找到自己的位置原点。以地图中的南北向为y轴，东西向为x轴，垂直方向为z轴，作为导航地图坐标系。

下面详细说明坐标系的转换过程：

导航地图坐标系是根据获得当前车辆的定位信息，确定在地图中的位置点。而车辆在世界坐标系中的位置，也是根据gps获得的定位信息来确定的。由于采用了精确导航地图，可以把世界坐标系跟地图坐标系做等价转换，即地图坐标系就是世界坐标系。

导航地图会根据车辆实际的gps位置，给出行进的方向、转向、上下坡、行车道等数据信息。汽车的电子系统需要知道自己与世界坐标系的转换关系，需要确立世界坐标系跟摄像头坐标系之间的转换公式。

从世界坐标系到摄像头影像坐标系的转换方法：

从世界坐标系到摄像头影像坐标系的变换，需要使用旋转矩阵[r]，若世界坐标系坐标为(x,y,z)，摄像头影像坐标系对应坐标为(x',y’,z’)，则(x',y’,z’)＝[r]*(x,y,z)。由于摄像头拍摄图像有形变，所以需要作相应的补偿处理。本发明采用摄像头内参矩阵的参数对摄像头畸变进行补偿，补偿系数为c。整车安装时，gps，摄像头安装位置也存在误差，所以需要系统对每一辆特定的车型自动进行矫正，矫正系数为t。

因此，可以用(x',y’,z’)＝t*c*[r]*(x,y,z)得到世界坐标系到摄像头影像坐标系的转换关系。

下面详细说明如何获得补偿系数c和矫正系数t。首先，把车前盖作为已知模板(图3)，选取若干车前盖的特征点作为参考点(取已知位置点p1，p2,p3，p4…pi若干个点)。这几个参考点在世界坐标系中的坐标是已知的(通过车型数据，可以获得pi参考点跟gps天线的相对位置，就可以求得参考点的世界坐标)。在摄像头捕捉的帧里，可以获得模板上参考点在在摄像头影像坐标系中的坐标位置。

通过两个空间坐标系旋转变换的关系公式：

对于存在任意旋转变换的两个空间坐标系即世界坐标系(o-xyz)和摄像头坐标系(o'-x'y'z')，坐标系o-xyz依次绕自身x轴、y轴、z轴分别逆时针转θ1，θ2，θ3后可以与坐标系o'-x'y'z'重合，则车前盖的参考点pi在这两个坐标系中的描述关系如下：

其中，θ1，θ2，θ3可通过车上的3d陀螺仪实时获取。通过求解上述矩阵方程组，便能得到摄像头补偿系数c和矫正系数t。因此可以确定世界坐标系到摄像头坐标系的转换关系(x',y’,z’)＝t*c*[r]*(x,y,z)

导航系统在运行的时候，根据汽车的gps位置，陀螺仪等判断行车方向。导航系统自动规划路线后，会给出实际要走的方向和车道信息。摄像头通过上面的坐标系转换关系，实时的把实际车道的世界坐标阵列转换成摄像头影像坐标阵列数据，并根据摄像头影像坐标阵列数据通过图像识别算法计算出行进路面的3d模型即车道的实际几何特征，包括距离，方向，转弯半径，坡度等。车道的几何特征被识别后,由软件根据车道的几何特征计算生成立体的虚拟导航信息(行车方向箭头)，再与道路几何曲面进行叠加。这里，根据摄像头影像坐标阵列数据计算出行进路面的3d模型、以及根据行进路面的3d模型计算立体的行车方向箭头可以使用公知的软件来实现，例如通过公开的opencv软件库来实现。

虚拟导航信息(行车指示信息)可以提供如转弯，直行，上坡等箭头信息，如图1和图4。

在车载导航主机203将虚拟导航指示信息输出到所述ar抬头显示器204后，ar抬头显示器204将所述虚拟导航指示信息投射到挡风玻璃上，实现所述虚拟导航信息叠加至实际路面的效果。

如图4所示，在高架路口，导航指示将直接跟路面叠加，驾驶员观察路面就能很容易就能判断行驶的方向，而不会错过路口。

显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。