一种应用智能驾驶的相机和场景关联标定方法及系统与流程
本发明涉及相机标定技术领域，尤其涉及的是一种应用智能驾驶的相机和场景关联标定方法及系统。
背景技术：
现有技术中基于视觉传感器的道路场景感知技术被广泛应用于自动驾驶、半自动驾驶和高级驾驶辅助系统(advanceddriverassistancesystems,adas)中(统称为智能驾驶)，这些视觉传感器即通常说的车载相机，主要功能是连续感知汽车周围特别是前方的可见光图像信息并发送到处理器进行场景分析理解，经过相关的决策处理后反馈给用户或直接介入驾驶系统。
单个车载相机实现了从三维现实世界到二维图像的映射，即px=u（1）；
其中p为投影矩阵形，x和u分别是世界坐标（三维）和图像坐标(二维)的齐次坐标表达式。公式(1)中的p为3x4的矩阵，即
矩阵p可以进一步分解为相机的内参数矩阵和外参数矩阵；
由于p不可逆，导致无法从图像直接恢复出目标的真实大小以及离相机的位置等对智能驾驶至关重要的信息。
通常做法是通过逼近的办法解决信息丢失的问题，将p简化为单映矩阵h：
h为可逆矩阵，实现了从二维到二维的透射投影变换，基于矩阵h可以将三维世界中的平面（例如路面）与图像平面建立关联。
基于单目相机的相机标定主要是根据成像信息估计出单映矩阵h以及h中包含的相机内外参数信息。常用的方法主要有：1.基于车道线等一些道路中已有的标志点如标线等估计成像平面与道路平面的单映矩阵，同时恢复出相应的相机内参数和大部分外参数。2.通过人为放置特定的标定杆、标定板等进行对相机内外参数进行全面标定，并计算出相机成像畸变情况。
从技术和实施上，上述方式存在一些缺点：
1、标定和计算过程较为繁琐，需要较多的人为干预；
2、只能得到相机内外参数等中间结果，需要增加额外的计算才能得到最终的目标－图像映射关系；
3、难以实现与自动检测算法结合，并且无法加速检测算法；
4、无法检测相机安装配置的变化。
因此，针对上述缺陷，现有技术还有待于改进和发展。
技术实现要素：
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种应用智能驾驶的相机和场景关联标定方法及系统，旨在通过在车辆上安装的相机对出现在相机视野中的目标物体进行标定，本发明汽车相机标定具有简单、快速、准确、不受环境限制的优点，无论车辆行驶在高速公路，还是城市道路上均可以进行标定，同时，当车停在城市道路上，甚至是停在地下停车库时，只要有行人出现在相机视野中就可以进行标定。
本发明解决技术问题所采用的技术方案如下：
一种应用智能驾驶的相机和场景关联标定方法，其中，所述方法包括：
步骤a，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；
步骤b，当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；
步骤c，根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述步骤b具体包括：
步骤b1，自动采集出现在相机视野中包含目标物体的图像数据；
步骤b2，通过目标检测算法检测出目标物体在图像中的位置和高度；
步骤b3，建立目标物体的位置和高度的映射关系图。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述步骤b2具体包括：
步骤b21，选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；
步骤b22，选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；
步骤b23，通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述步骤b3具体包括：
建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
所述的应用智能驾驶的相机和场景关联标定方法，其中，所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
所述的应用智能驾驶的相机和场景关联标定方法，其中，在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况。
所述的应用智能驾驶的相机和场景关联标定方法，其中，当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。
一种应用智能驾驶的相机和场景关联标定系统，其中，所述系统包括：
目标检测模块，用于预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；
数据检测模块，用于当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；
模型更新模块，用于根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述数据检测模块具体包括：
数据采集单元，用于自动采集出现在相机视野中包含目标物体的图像数据；
算法检测单元，用于通过目标检测算法检测出目标物体在图像中的位置和高度；
映射建立单元，用于建立目标物体的位置和高度的映射关系图。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述算法检测单元具体还包括：
训练检测单元，用于选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；
目标筛选单元，用于选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；
目标搜索单元，用于通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述映射建立单元具体包括：
用于建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
所述的应用智能驾驶的相机和场景关联标定系统，其中，所述模型更新模块中所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
本发明公开了一种应用智能驾驶的相机和场景关联标定方法及系统，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况；根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新；当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。本发明通过在车辆上安装的相机对出现在相机视野中的目标物体进行标定，主要是对成像画面中画面、目标物的结构分布合理进行标定，本发明汽车相机标定具有简单、快速、准确、不受环境限制的优点。
附图说明
图1是本发明应用智能驾驶的相机和场景关联标定方法的较佳实施例的流程图。
图2是本发明应用智能驾驶的相机和场景关联标定方法中相机安装示监测意图。
图3是本发明应用智能驾驶的相机和场景关联标定方法中目标物体位置和高度表示方式的示意图。
图4是本发明应用智能驾驶的相机和场景关联标定方法中标定实验中原始数据绘制的点云图。
图5是本发明应用智能驾驶的相机和场景关联标定方法中标定实验中利用最小二乘法的曲面图。
图6是本发明应用智能驾驶的相机和场景关联标定系统的较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1是本发明应用智能驾驶的相机和场景关联标定方法的较佳实施例的流程图。
如图1所示，本发明实施例提供的一种应用智能驾驶的相机和场景关联标定方法，包括以下步骤：
步骤s100，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体。
本发明具体实施时，预先将相机安装在车辆挡风玻璃上，并调节好相机视角，用于相机监测处于相机视野中的单个或多个目标物体，主要是行动的人，如图2所示，相机安装在汽车挡风玻璃上方位置的正前方，便于最大视角的拍摄汽车前方的目标物体的图像。
步骤s200，当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据。
本发明中，具体标定过程为：首先，自动采集出现在相机视野中包含目标物体的图像数据。图2所示标定装置中，行人在相机视野中走动，相机就能获取这段时间的标定数据，这样进行的标定方法使得标定流程简单，方便不懂技术的人操作，同时标定不受环境的影响。
其次，通过目标检测算法检测出目标物体在图像中的位置和高度；对于相机获得的图像，本发明可以通过icf目标检测算法对其进行了算法改进，检测出目标（此处以行人为例）在图像中的位置（x，y）和高度h，其中目标的坐标表示方式如图3所示。
目标检测算法检测出目标物体在图像中的位置和高度的过程为：
s1，选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；通道特征是指对图像进行某些操作(例如卷积)而得到的结果图像，通常的做法是自动或手动选取一系列不同的卷积核对输入图像进行卷积操作从而得到一系列的特征通道图像，然后将这些特征通道图像代表原始输入图像进行进一步的特征提取和分类器训练(例如提取lbp（localbinarypattern，局部二值模式，是一种用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等显著的优点）特征进行adaboost（adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器））训练）用于分类器的训练（分类器的训练获得分类模型）和目标的检测。
s2，选择迭代算法（adaboost）作为分类框架、决策树（提供一个属性集合，决策树通过在属性集的基础上作出一系列的决策，将数据分类）作为弱分类器（分类器的强弱是其分类能力的一种描述，其实就是字面意思，能够迅速正确的识别的过程就是强分类器，而易错的则是弱分类器，强分类器可以由多个弱分类器组成），通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体。
s3，通过采用滑动窗口和多尺度（对输入图像提取同样的通道特征，然后采用与训练时相同的弱分类器进行目标分类，由于目标的大小不定，并且可能出现在图像中的任意位置，因此首先对图像进行多尺度缩放，然后采用滑动窗口方式以一定的步长从这些不同尺度的图像的左上角遍历至图像右下角，在每一个可能的位置和大小提取图像区域进行分类决策）的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度。
最后，建立目标物体的位置和高度的映射关系图。
假设目标物体真实大小位置与其在图像中对应的像素大小和位置存在多项式的映射关系，然后根据大量标定物的成像数据对这种映射关系进行估计，映射关系建立如下：
建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数。
本发明中，如图4、图5所示，给出了在640
在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况。例如：经过一段时间的目标数据收集时，二维热力学图展示目标在画面中的分布情况：颜色越偏向红色代表目标在该位置的次数越多，颜色越偏向蓝色则代表目标出现在该位置的次数越少，为保证采集目标数据的均匀性，也为提高数据在后续建模的效率，用户和工程人员可以根据实际情况对画面中目标分布进行调整（在智能驾驶场景中，行驶到目标分布更加均匀的位置，或者在静止时，让目标移动至热力图中偏蓝的位置）。
步骤s300，根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新。
本发明中，所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据。
另外，当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。为了更直观的表示目标在图像中的高度分布情况，同时更好的揭示场景的三维结构，采用在二维图中嵌入形变后的三维立体，以展示目标在场景中的高度变化，供用户、工程人员了解本次标定后画面结构状态。
下面通过本发明标定方法的进行应用实施举例：
应用1：加速目标检测和排除误报。
建立相机和场景关联模型后，可根据公式h=f（x，y）对得到所检测目标的大小和位置进行检验。假设某次检测得到的目标位置和高度为（x*，y*，h*），则判断f（x*，y*）与h*之差是否在一定的范围内，即
∣f（x*，y*）-h*∣﹤σ
判断是否成立，如果成式，则该检测有效，否则判断为无效。其中σ为预设定阈值或者根据历史样得学习到得的阈值。通过公式∣f（x*，y*）-h*∣﹤σ可以实现一定程度的误报排除；另外，给定一个较为宽松的σ值，可以反推得到每个不同坐标（x，y）下所对应的h值范围，即
f（x，y）-σ﹤h﹤f（x，y）+σ
此时可以在多尺度搜索目标时大大加速搜索过程，带来的好处是，随着用户使用时间的推移，标定数据越来越多，则对模型参数和σ的估计将越来越精确，最终带来的好处是目标检测系统的运行会越来越流畅。
应用2：相机安装移位检测。
当系统运行进入稳定状态后，利用本发明提出的标定方法，可以很容易监测相机的安装位置、角度、焦距等是否发生了较大的变化。具体方式为：每隔一定时间采用全图搜索的方式对目标物体进行检测，将全图检测的结果输入公式∣f（x*，y*）-h*∣﹤σ进行判断。如果发现在一定的时间段内被拒绝的检测比例超过一定的值（例如90%），则判断目标安装状态发生了变化，此时提示用户进行干预或者自动重新初始化。
本发明标定具有不受环境限制的优点，车辆行驶在高速公路、城市道路上均可以进行标定，同时，当车停在城市道路上，甚至是停在地下停车库时，只要有行人出现在相机视野中就可以进行标定。
基于上述实施例，本发明还提供一种应用智能驾驶的相机和场景关联标定系统，请参阅图6，图6是本发明应用智能驾驶的相机和场景关联标定系统的较佳实施例的功能原理框图。
如图6所示，所述系统包括：
目标检测模块10，用于预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；具体如上所述。
数据检测模块20，用于当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；具体如上所述。
模型更新模块30，用于根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述数据检测模块具体包括：
数据采集单元，用于自动采集出现在相机视野中包含目标物体的图像数据；具体如上所述。
算法检测单元，用于通过目标检测算法检测出目标物体在图像中的位置和高度；具体如上所述。
映射建立单元，用于建立目标物体的位置和高度的映射关系图；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述算法检测单元具体还包括：
训练检测单元，用于选取图像中的通道特征图像作为原始输入图像进行进一步的特征提取和分类器训练，用于目标物体的检测；具体如上所述。
目标筛选单元，用于选择迭代算法作为分类框架、决策树作为弱分类器，通过决策树进行分类并将所有决策树判定的分数之和作为检测分数用于筛选目标物体；具体如上所述。
目标搜索单元，用于通过采用滑动窗口和多尺度的方式对目标物体进行搜索，得到目标物体在图像中的位置和高度；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述映射建立单元具体包括：
用于建立位置和高度的多项式映射，所述多项式映射反映了平面(x，y)到高度h的映射为：h=f（x，y），其中f为多项式，用于表示平面或高阶曲面，（x，y）表示位置，h表示高度；
当目标物体的成像高度在图像中表现为线性分布时，此时f定义为一个平面函数：f（x，y）=ax+by+c；此时h由线性函数逼近为：h=ax+by+c；
当h由二阶函数逼近为：h=ax2+by2+cx+dy+e；函数公式的选择取决于相机的成像特性；
当标定数据获取后，得到一系列的标定点对（x1，y1，h1），（x2，y2，h2），…，（xn，yn，hn），通过所述标定点对利用最小二乘法估计出f（x，y）函数中的映射系数；具体如上所述。
进一步地，所述的应用智能驾驶的相机和场景关联标定系统，其中，所述模型更新模块中所述离线计算的方式为：收集到一定数量的标定数据（x，y，h）收后，利用最小二乘法一次性估计f（x，y）的参数标定过程；
所述在线学习的方式为：每间隔一定时间，对图像进行目标检测，得到标定数据；具体如上所述。
综上所述，本发明公开了一种应用智能驾驶的相机和场景关联标定方法及系统，预先通过设置在车辆挡风玻璃上并调好视角的相机监测处于相机视野中的单个或多个目标物体；当所述目标物体在相机视野中走动时通过相机进行成像，检测器检测得到目标物体在图像坐标中的位置和高度信息作为标定数据；在检测和收集目标物体成像数据时，同时采用二维热力学图来展示目标在画面中的分布情况；根据所述标定数据通过离线计算或者在线学习的方式对用于表示目标物体图像位置和高度关系的标定模型进行更新；当系统完成标定模型后，采用在二维图中嵌入形变后的三维立体，用于展示目标在场景中的高度变化以及揭示场景的三维结构。本发明通过在车辆上安装的相机对出现在相机视野中的目标物体进行标定，主要是对成像画面中画面、目标物的结构分布合理进行标定，本发明汽车相机标定具有简单、快速、准确、不受环境限制的优点。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！