自身位置计算装置以及自身位置计算方法与流程

本发明涉及自身位置计算装置以及自身位置计算方法。

背景技术：
已知通过车辆上安装的摄像机拍摄并获取车辆近旁的图像，根据该图像的变化来求车辆的移动量的技术(参照专利文献1)。在专利文献1中，为了即使在车辆低速且微妙地移动了的情况下也高精度地求移动量，从图像中检测特征点，求该特征点的位置，由特征点的移动方向以及移动距离(移动量)求车辆的移动量。而且，已知使用投光栅格图案(图案光)的激光投光器来进行三维计量的技术(参照专利文献2)。在专利文献2中，用摄像机拍摄图案光的投光区域，从拍摄的图像提取图案光，从图案光的位置求出车辆的车辆的行为。现有技术文献专利文献专利文献1:日本专利特开2008－175717号公报专利文献2:日本专利特开2007－278951号公报

技术实现要素：
但是，在与专利文献2中记载的图案光的投光区域相同的区域中，要通过专利文献1中记载的技术检测路面上的特征点的情况下，难以进行图案光和特征点的判别。另一方面，在离开图案光的投光区域的区域中要检测路面上的特征点时，特征点的移动量的计算误差变大。鉴于上述问题，本发明的目的是，提供可以与图案光区别而容易地判别特征点，可以高精度地计算车辆的自身位置的自身位置计算装置以及自身位置计算方法。本发明的第一方式的自身位置计算装置，对车辆周围的路面投光图案光，拍摄包含投光了图案光的区域的车辆周围的路面，获取图像，由获取的图像中的图案光的形状计算车辆对于路面的姿态角，由获取的图像，检测路面上的多个特征点，根据检测到的路面上的多个特征点的时间变化，计算车辆的姿态变化量，通过对车辆对于路面的初始位置以及姿态角不断加上姿态变化量，计算车辆的当前位置以及姿态角，在投光图案光时，根据特征点检测单元中的路面的特征点的检测状态，对多个图案光投光区域中确定的图案光投光区域选择性地投光图案光。附图说明图1是表示第1实施方式的自身位置计算装置的整体结构的方框图。图2是表示一例将投光器以及摄像机安装在车辆上的方法的外观图。图3(a)是表示计算使用投光器和摄像机照射了亮点光的路面上的位置的状况的图，图3(b)是表示从在与照射了图案光的区域不同的区域检测到的特征点的时间变化，求出摄像机的移动方向的状况的图。图4是表示对摄像机获取的图像实施了二值化处理的图案光的图像的图，图4(a)是表示图案光整体的图，图4(b)是扩大表示一个亮点光(spotlight)的图，图4(c)是表示亮点光的重心位置的图。图5是用于说明计算距离以及姿态角的变化量的方法的示意图。图6是表示在图像上检测到的特征点的图，图6(a)是表示在时刻t获取的第1帧(图像)的图，图6(b)是表示在时刻t+Δt获取的第2帧的图。图7(a)是表示摄像机获取的图像的图，图7(b)是表示对摄像机获取的图像实施了二值化处理的图案光的图像的图，图7(c)是表示特征点的检测结果的图。图8是表示一例被分割为上下左右的图案光投光区域的概略图。图9(a)是表示一例检测到的特征点的概略图，图9(b)是表示一例选择出的图案光投光区域的概略图。图10(a)是表示选择出的图案光投光区域的时间变化的曲线图，图10(b)是表示在各图案光投光区域中检测到的特征点数的时间变化的曲线图。图11是用于说明一例第1实施方式的自身位置计算方法的流程图。图12是表示步骤S01的细节的流程图。图13(a)是表示一例检测到的特征点的概略图，图13(b)是表示一例选择出的图案光投光区域的概略图。图14(a)是表示各图案光投光区域的投光标志的时间变化的曲线图，图14(b)是表示在各图案光投光区域中检测到的特征点数的时间变化的曲线图。图15是表示一例以纵条纹花纹交替地组合的图案光投光区域的概略图。图16(a)是表示一例检测到的特征点的概略图，图16(b)是表示一例选择出的图案光投光区域的概略图。图17(a)是表示选择出的图案光投光区域的时间变化的曲线图，图17(b)是表示在各图案光投光区域中检测到的特征点数的时间变化的曲线图。图18是表示一例左右2分割的图案光投光区域的概略图。图19(a)是表示一例检测到的特征点的概略图，图19(b)是表示一例选择出的图案光投光区域的概略图。图20是表示一例亮点光的投光区域的概略图。图21(a)是表示一例检测到的特征点的概略图，图21(b)是表示选择出的图案光投光区域的概略图。图22(a)是表示各亮点光的投光标志的时间变化的曲线图，图22(b)是表示在各亮点光的位置是否存在特征点的判定结果的时间变化的曲线图。图23是表示第2实施方式的自身位置计算装置的整体结构的方框图。图24(a)是表示一例检测到的特征点的概略图，图24(b)是表示一例选择出的图案光投光区域的概略图。图25(a)是表示各亮点光的投光标志的时间变化的曲线图，图25(b)是表示在各亮点光的位置是否存在特征点的估计结果的时间变化的曲线图。图26是表示一例第2实施方式的步骤S01的细节的流程图。图27是表示一例在车宽方向被4分割的图案光投光区域的概略图。图28(a)是表示一例特征点增减预测区域的设定方法以及检测到的特征点的概略图，图28(b)是表示一例选择出的图案光投光区域的概略图。图29(a)是表示各亮点光的投光标志的时间变化的曲线图，图29(b)是表示在各特征点增减预测区域是否存在特征点的判定结果的时间变化的曲线图。图30是表示一例分情况计算对于路面的距离以及姿态的情况下的流程图。具体实施方式以下，参照附图说明适用了本发明的第1实施方式以及第2实施方式。(第1实施方式)[硬件结构]首先，参照图1说明第1实施方式的自身位置计算装置的硬件结构。自身位置计算装置包括：投光器11、摄像机12、引擎控制单元(ECU)13。投光器11被安装在车辆上，对车辆周围的路面投光图案光。摄像机12是被安装在车辆上，拍摄包含投光了图案光的区域的车辆周围的路面而获取图像的摄像单元的一例。ECU13是控制投光器11，并且执行从摄像机12获取的图像计算车辆的自身位置的一连串的信息处理循环的控制单元的一例。摄像机12是使用了固体摄像元件，例如CCD以及CMOS的数字摄像机，获取可进行图像处理的数字图像。摄像机12的摄像对象是车辆周围的路面，在车辆周围的路面中包含车辆的前部、后部、侧部、车辆底部的路面。例如，如图2所示，摄像机12可以安装在车辆10的前部，具体地说安装在前保险杠上。调整设置摄像机12的高度以及朝向，并且还对摄像机12具有的镜头的焦距以及光圈进行自动调整，以便能够拍摄车辆10的前方的路面31上的特征点(纹理(texture))以及从投光器11投光的图案光32b。摄像机12在规定的时间间隔中反复进行摄像，获取一连串的图像(帧)群。由摄像机12获取的图像数据在每次拍摄时被转发至ECU13，存储在ECU13具有的存储器中。如图2所示，投光器11朝向摄像机12的摄像范围内的路面31，投光具有包含正方形或长方形的栅格图像的规定的形状的图案光32b。摄像机12拍摄对路面31照射的图案光32b。投光器11例如具有激光指示器以及衍射光栅。通过将从激光指示器射出的激光用衍射光栅衍射，如图2～图4所示，投光器11生成由排列为栅格图像、或者矩阵状的多个亮点光构成的图案光(32b，32a)。在图3以及图4所示的例子中，生成由5×7个亮点光构成的图案光32a。返回图1，ECU13由具有CPU、存储器、以及输入输出单元的微控制器构成，通过执行预先安装的计算机程序，构成具有自身位置计算装置的功能的多个信息处理单元。ECU13对每个图像(帧)反复执行从摄像机12获取的图像计算车辆的自身位置的一连串的信息处理循环。而且，ECU13也可以与车辆10的其它的控制中使用的ECU兼用。这里，在多个信息处理单元中包含：图案光提取单元21；姿态角计算单元22；特征点检测单元23；姿态变化量计算单元24；自身位置计算单元25以及图案光控制单元26。图案光提取单元21从存储器读入摄像机12获取的图像，从该图像提取图案光的位置。如图3(a)所示，例如，投光器11将排列为矩阵状的多个亮点光构成的图案光32a向路面31投光，通过摄像机12检测由路面31反射的图案光32a。图案光提取单元21通过对摄像机12获取的图像实施二值处理，如图4(a)以及图4(b)所示，仅提取亮点光Sp的图像。然后，如图4(c)所示，图案光提取单元21通过计算各亮点光Sp的重心的位置He，即亮点光Sp在图像上的坐标(Uj，Vj)，提取图案光32a的位置。坐标以摄像机12的摄像元件的像素为单位，并为5×7的亮点光Sp的情况，“j”为1以上35以下的自然数。亮点光Sp在图像上的坐标(Uj，Vj)作为表示图案光32a的位置的数据，被存储在存储器中。姿态角计算单元22从存储器读入表示图案光32a的位置的数据，从摄像机12获取的图像中的图案光32a的位置，计算车辆10对于路面31的距离以及姿态角。例如，如图3(a)所示，根据投光器11和摄像机12之间的基线长度Lb、与各亮点光在图像上的坐标(Uj，Vj)，使用三角测量的原理，计算路面31上被照射各亮点光的位置，作为对于摄像机12的相对位置。然后，姿态角计算单元22根据各亮点光对于摄像机12的相对位置，计算投光了图案光32a的路面31的平面算式，即，摄像机12对于路面31的距离以及姿态角(法线向量)。而且，摄像机12对于车辆10的安装位置以及摄像方向已知，所以在实施方式中，作为车辆10对于路面31的距离以及姿态角的一例，计算摄像机12对于路面31的距离以及姿态角。换言之，通过计算摄像机12对于路面31的距离以及姿态角，可以求出路面31和车辆10之间的距离、以及车辆10对于路面31的姿态角。具体地说，由于摄像机12以及投光器11被分别固定在车辆10上，所以图案光32a的照射方向、摄像机12与投光器11之间的距离(基线长Lb)已知。因此，姿态角计算单元22可以利用三角测量的原理，由各亮点光在图像上的坐标(Uj，Vj)求出各亮点光在被照射的路面31上的位置，作为对于摄像机12的相对位置(Xj，Yj，Zj)。以后，将摄像机12对于路面31的距离以及姿态角简称为“距离以及姿态角”。通过姿态角计算单元22算出的距离以及姿态角被存储在存储器中。而且，在本实施方式中，说明在每次的信息处理循环中计算距离以及姿态角的情况。而且，各亮点光对于摄像机12的相对位置(Xj，Yj，Zj)不存在于同一平面上的情况较多。这是因为，与在路面31上表露出的沥青的凹凸相应，各亮点光的相对位置产生变化。因此，也可以使用最小二乘法，求出与各亮点光的距离误差的平方和为最小的平面式。在图1所示的自身位置计算单元25中使用这样算出的距离以及姿态角的数据。特征点检测单元23从存储器读入摄像机12获取的图像，由从存储器读入的图像，检测路面31上的特征点。为了检测路面31上的特征点，例如，特征点检测单元23可以使用「D.G.Lowe，“DistinctiveImageFeaturesfromScale－InvariantKeypoints，”Int.J.Comput.Vis.，vol.60，no.2，pp.91－110，Nov.200」中记载的方法。或者，特征点检测单元23可以使用「金澤靖，金谷健一，“コンピュータビジョンのための画像の特徴点抽出，”信学誌，vol.87，no.12，pp.1043－1048，Dec.2004」中记载的方法。具体地说，例如特征点检测单元23使用哈里斯(Harris)运算符或者SUSAN算符，检测如物体的顶点那样、与周围相比亮度值较大地变化的点作为特征点。或者，特征点检测单元23也可以使用SIFT(Scale－InvariantFeatureTransform，尺度不变特征变换)特征量，检测在其周围亮度值基于某个规则性变化的点作为特征点。然后，特征点检测单元23对从一个图像检测到的特征点的总数N进行计数，对各特征点附加识别号(i(1≦i≦N))。各特征点的图像上的位置(Ui，Vi)被存储在ECU13内的存储器中。图6(a)以及图6(b)表示从摄像机12获取的图像检测到的特征点Te的例子。进而，将各特征点Te的变化方向以及变化量作为向量Dte表示。而且，在本实施方式中，路面31上的特征点主要设想大小为1cm以上2cm以下的沥青混合物的颗粒。为了检测该特征点，摄像机12的分辨率为VGA(约30万像素)。而且，摄像机12对于路面31的距离约为70cm。进而，摄像机12的摄像方向从水平面向路面31倾斜约45度(deg)。而且，在将摄像机12获取的图像转发至ECU13时的亮度数值在0～255(0：最暗，255：最亮)的范围内。姿态变化量计算单元24从存储器读入对每个固定的信息处理循环拍摄的各帧的图像之中的、前次(时刻t)的帧的图像中包含的多个特征点在图像上的位置坐标(Ui，Vi)。进而，姿态变化量计算单元24从存储器读入本次(时刻t+Δt)的帧的图像中包含的多个特征点在图像上的位置坐标(Ui，Vi)。然后，姿态变化量计算单元24根据多个特征点在图像上的随时间的位置变化，求出车辆的姿态变化量。这里，所谓“车辆的姿态变化量”，包含车辆对于路面的“距离以及姿态角的变化量”，以及路面上的“车辆的移动量”双方。以下，说明“距离以及姿态角的变化量”以及“车辆的移动量”的计算方法。距离以及姿态角的变化量例如可以如以下那样求出。图6(a)是表示在时刻t获取的第1帧(图像)38(图5)的一例。如图5以及图6(a)所示，考虑在第1帧38中，例如分别算出三个特征点Te1、Te2、Te3的相对位置(Xi，Yi，Zi)的情况。在该情况下，可以将由特征点Te1、Te2、Te3确定的平面G(参照图6(a))视为路面。由此，姿态变化量计算单元24可以根据各特征点的相对位置(Xi，Yi，Zi)，求出摄像机12对于路面(平面G)的距离以及姿态角(法线向量)。进而，姿态变化量计算单元24可以通过已知的摄像机模型，求出各特征点Te1、Te2、Te3之间的距离(l1、l2、l3)以及连结各个特征点Te1、Te2、T...