专利名称：：驾驶辅助显示装置的制作方法
技术领域：
：本发明涉及使用了拍摄车辆周围的多个摄像机(camera)的驾驶辅助显示装置，特别涉及从多个摄像机的拍摄图像来合成车辆周围的俯视图像的驾驶辅助显示装置。
背景技术：
：近年来，将从车辆上方的虚拟视点俯视了车辆周围的俯视图像显示在显示屏上的驾驶辅助显示装置逐渐普及。为了覆盖大范围作为监视范围，大多数驾驶辅助显示装置利用多个摄像机来生成俯视图像。图1是表示驾驶辅助显示装置中的摄像机配置以及由各个摄像机拍摄的图像获得的俯视图像的图。如图1所示，车辆1上安装有第1摄像机11第4的摄像机14。第1摄像机11第4的摄像机14以倾斜俯视的方向分别拍摄车辆1的前方、后方、左侧和右侧的路面。从第1摄像机11第4的摄像机14的拍摄图像，能够获得与从车辆上方的虚拟视点俯视时的图像近似的第1摄像机俯视图像a第4摄像机俯视图像d。显示的俯视图像优选是尽量大范围且连续的图像。于是，由多个摄像机的拍摄图像合成一个俯视图像。以下，将从多个摄像机的拍摄图像合成的俯视图像称为“合成俯视图像”。这里，对于相邻的两个摄像机，两个摄像机都能拍摄到的区域称为重复区域15。重复区域15的路面标识或树阴等，路面上的没有高度的图案的图像位置在第2摄像机12和第3摄像机13的重复区域15中一致。但是，位于重复区域的障碍物的位置因具有高度的关系而在第2摄像机12和第3摄像机13的俯视图像中不同。使用图2说明这一点。图2是用于说明障碍物在边界线上消失的情况的图。这是由于从第2摄像机12观察时的障碍物的投影方向18与从第3摄像机13观察时的障碍物的投影方向19不同的缘故。这样，重复区域15的障碍物的投影方向在每个摄像机的俯视图像中不同。在重复区域15中如图2那样用边界线划分摄像机的影像时，对于俯视图像区域b，使用第2摄像机12的图像生成俯视图像。同样地，对于俯视图像区域c，使用第3摄像机13的图像生成俯视图像。因此，存在于边界线附近的障碍物16未显示在第2摄像机12的俯视图像内也未显示在第3摄像机13的俯视图像内。因此，在边界和障碍物重合的情况下，存在障碍物消失，用户无法辨认障碍物的问题。作为解决上述问题的驾驶辅助显示装置，已知专利文献1等的装置。图3是用于说明专利文献1的图。在专利文献1中，如图3的(a)那样，在所合成的图像的边界17与障碍物16的显示重合时，变更边界以使障碍物16的显示和边界17不重合，并显示如图3的(b)那样，成为边界18的图像。现有技术文献专利文献[专利文献1]日本专利公开第2007-104373号公报
发明内容发明要解决的问题但是，专利文献1中，虽然公开了在存在逐渐接近的障碍物的情况下，可以优先进行处理以使边界线不落入逐渐接近的障碍物，但是未公开具体的处理内容，因此有时不一定能够设定为边界线不落入移动的障碍物。以下说明上述情况。如图3的(b)所示，即使在检测出障碍物16的检测位置19上判明移动方向，但除非使用多个帧的信息进行平均，否则不能正确地检测移动的方向和速度。例如，移动的障碍物16有时突然转换方向或改变速度。在图3中，在某一定时检测以某恒定速度移动的障碍物16。将在该检测定时检测出的检测位置19之前检测到的障碍物的位置设为障碍物位置23。在以从障碍物位置23到检测位置19的移动方向和移动速度移动时，可以预测在更新边界线的定时，障碍物16存在于位置20。设移动速度为Vo、检测移动物的时间为to、边界线的更新时间为tn，则可以定义移动半径r如下。r=VoX(to+tn)然而，障碍物的移动方向和移动速度不一定是恒定的，有可能存在于障碍物的位置21。也就是说，作为障碍物的移动范围，基于移动速度，有可能在更新边界线的下一个帧中，移动到距离移动半径r的位置。在这种情况下，只单纯地检测移动的障碍物时，反而有可能边界线落入障碍物。也就是说，有可能变更后的边界线18与障碍物的位置21重合。因此，仅单纯地检测移动的障碍物，不一定能够避开移动的障碍物而设定边界线。因此，专利文献1所公开的发明中存在不能避开移动的障碍物而变更边界线的问题。本发明的目的是，在将多个摄像机的拍摄图像合成显示的驾驶辅助显示装置中，即使在部分图像的边界附近，障碍物也不消失，而对于用户提供正确且容易辨认的图像。解决问题的方案本发明的驾驶辅助显示装置具备障碍物移动方向预测单元，该单元设定多个摄像机的图像的边界，以使该边界不与障碍物重合，图像合成单元基于来自所述障碍物移动方向预测单元的信息，制作障碍物与所述多个摄像机的图像的边界不重合的俯视图像。发明的效果本发明中，图像合成单元基于来自障碍物移动方向预测单元的信息，制作障碍物与多个摄像机的图像的边界不重合的俯视图像，由此，即使正在移动的障碍物，显示上也不与多个摄像机图像的边界重合。因此，能够将车辆周围的信息正确地传给驾驶员，从而辅助更安全的驾驶。图1是表示现有的驾驶辅助显示装置中的摄像机的配置情况以及从各个摄像机的拍摄图像获得的俯视图像的图。图2是用于说明在现有的驾驶辅助显示装置中，在部分图像的边界线，障碍物消失的情况的图。图3的(a)、(b)是表示在现有的驾驶辅助显示装置中的部分图像的边界线的设定例的图。图4是本发明实施方式1的驾驶辅助显示装置的方框图。图5是用于说明该装置的动作的流程图。图6是用于说明该装置的障碍物的检测方法的图。图7是用于说明该装置的障碍物的移动方向和移动速度的计算方法的图。图8是用于说明通过该装置的有源传感器的障碍物的移动方向和移动速度的计算方法的图。图9是用于说明该装置的部分图像的边界的变更方法的图。图10是用于说明该装置的障碍物的俯视图像上的投影的图。图11的(a)、(b)是用于说明该装置的部分图像的边界的变更方法的图。图12是用于说明该装置的部分图像的边界的设定例的图。图13是本发明实施方式2的驾驶辅助显示装置的方框图。图14是用于说明该装置的动作的流程图。图15的(a)、(b)是用于说明该装置的部分图像的边界的变更方法的图。标号说明30摄像单元31摄像机41图像合成单元42障碍物检测单元43障碍物移动方向预测单元46本车辆动作信息获取单元具体实施例方式下面，使用本发明实施方式的驾驶辅助显示装置。(实施方式1)图4是表示本发明实施方式1的驾驶辅助显示装置的结构的方框图。图4的驾驶辅助显示装置中，摄像单元30由多个摄像机31以及将摄像机31所摄像的图像的每个帧进行存储的帧存储器32构成。摄像单元30具有全彩色或单色的数码相机31，该数码相机31典型地具有CCD(电荷耦合器件)、CM0S(互补金属氧化物半导体)器件等固体摄像器件。图像处理单元40中，图像合成单元41输入从具有多个摄像机31的摄像单元30输出的多个摄像机图像，并对这些拍摄图像进行加工。这里所说的加工是图像的剪切变形处理和变形后的部分图像的合成处理(包括边界处理)。图像合成单元41根据由对应表参照单元45进行对应选择34而设定的对应表(mappingtable)MPT，使用从摄像单元30输出的多个摄像机图像而生成合成图像，并输出到显示装置50。对应表MPT是记述了合成图像的像素和各个摄像机图像的像素数据之对应关系的表，用于高速地进行合成图像的生成处理。通过后述的使用几何变换等的计算或人工操作等，预先制作这样的对应表，能够高速地5生成期望的合成图像。障碍物检测单元42将从摄像单元30输入的多个摄像机图像作为输入，使用摄像机图像进行地面/非地面的判定，检测地面上竖立的障碍物，输出障碍物的位置。在后面详细地说明该使用摄像机图像的障碍物检测方法。在障碍物的检测中，有时还使用超声波或毫米波等传感器件33的输出结果。障碍物移动方向预测单元43根据由障碍物检测单元42检测出的障碍物的位置，使用先前的位置预测移动方向，设定部分图像的边界，将其输出到图像合成单元41。定时生成单元44生成用于生成合成图像的运动图像序列的定时信号，将其输出到对应表参照单元45。使用如上构成的驾驶辅助显示装置的动作。图5是表示驾驶辅助显示装置的动作的流程图。在步骤SOOl中，从摄像单元30中的多个摄像机31，获得各个摄像机图像。在步骤S002中，在对应表参照单元45，使用从各个摄像机获得的影像合成俯视图像。在步骤S003中，由障碍物检测单元42检测在步骤S002中生成的俯视图像的范围内存在的障碍物。障碍物的检测方法有，基于使用了用摄像机摄像的图像的图像处理的方法、以及使用各种传感器的方法。基于图像处理的方法有，通过图案匹配、立体处理的方法。立体处理有通过双眼相机的立体处理和通过单眼相机的处理。这里以单眼立体处理为例进行说明。图6是用于说明单眼立体的原理的图。在某个时间tl，单眼相机只能获得一个图像，因此还使用下一个时间t2的图像即共两个图像，求相同的图案的特征点的移动量，通过与车辆的移动量的比例计算，计算到障碍物为止的距离。例如，与在某个时间tl的特征点A相同的在时间t2的特征点A存在于Α’的位置时，从它们的像素间距离[pixel]和摄像机参数，计算像素间距离d[mm]。该摄像机参数是，设计摄像机的透镜时所设定的参数。另外，特征点的检测方法是，对于作为物体的特征的边缘点和角等，例如通过众所周知的角检测滤波处理或边缘检测滤波处理等而检测特征点。根据以上的信息，使用摄像机的焦距f、像素间距离d和车辆的移动距离X，能够如下计算要求取的至障碍物的距离D。D=fXx/d在步骤S004中，作为障碍物检测的结果，判别在俯视图像内(两个摄像机图像重合的区域)是否存在障碍物。在判别为该区域中存在障碍物时，障碍物检测单元42进至下一个步骤。在判别为不存在障碍物时，结束处理。在步骤S005中，获取由障碍物检测单元42获得的各个障碍物的摄像机图像上的位置信息。这里，从在步骤S003中检测出的障碍物的特征点，获取图像坐标。在步骤S006中，障碍物移动方向预测单元43使用在步骤S003中计算出的特征点，计算障碍物的移动方向和移动速度。如图7所示，从时序的特征点、某个时刻t的特征点A(xa,ya)和下一个时刻t+Ι的特征点A’(xb,yb)，检测特征点的移动方向M矢量(xb-xa，yb-ya)。并且，基于检测出的特征点的移动矢量M，计算移动速度VM。计算方法如下基于俯视图像内检测出的时刻t的特征点的坐标A和时刻t+Ι的特征点Α’的欧几里德距离，以及变换为俯视图像时的参数即每1像素的距离，计算移动距离和移动时间，并计算移动速度。VM=(xb-xa)2+(yb-ya)2另外，下面说明使用了各种传感器的障碍物检测方法。传感器件33的各种传感器是指，例如超声波传感器或毫米波雷达等有源传感器(activesensor)。图8是用于说明使用了有源传感器的、障碍物的移动方向的预测方法的图。如图8那样，将通过有源传感器获得的检测结果的时刻和坐标，按时序存储到表存储器中，然后，使用在某时刻t检测出的坐标(xt，yt)和在之前的时刻检测出的坐标、例如在时刻t-1的坐标(xtl，ytl)，如下计算障碍物的移动方向M和移动速度VM。M=(xtl-xt,ytl-yt)VM=(xtl-xt)2+(ytl-yt)2虽然在上述说明中，在变更边界的时刻t，使用前一检测时刻t-1的检测结果，计算障碍物的移动方向和移动速度，但也可以对先前检测出的多个数据进行平均来计算移动方向和移动速度以进一步提高精确度。另外，如果考虑移动的障碍物的移动方向和移动速度而预测在更新的帧中障碍物到达哪个位置，该预测结果和在当前帧中检测出的移动的障碍物的位置之间无差异，则可以认为以目前的移动方向和移动速度持续移动，从而能够避开移动的障碍物而变更边界线。假如在该预测结果和在当前帧中检测出的移动的障碍物的位置有差异，则如前述，变更边界线，以使其不落入图3中说明的障碍物的移动可能位置、也就是障碍物的移动可能位置即移动半径r。这样，能够进行更正确地考虑了移动的障碍物的移动方向和速度的边界线的移动。在步骤S007中，障碍物移动方向预测单元43根据在步骤S006中计算出的障碍物的移动方向和移动速度，变更边界以与障碍物不重合。具体而言，如图9那样，变更到与障碍物的移动方向63反向且在下一个图像帧更新定时边界65与障碍物64也不重合的位置。若设上述说明中计算的障碍物的移动速度为VM，画面更新时间为t，则可以如下计算移动距离D。D=VMXt也就是说，以检测出的该障碍物和变更后的边界不重合的方式，而且，在与障碍物的移动方向矢量VM63相反方向上，以大于移动距离D的距离，变更边界即可。另外，说明了将边界变更到与移动的障碍物反向的位置，但也可以将边界变更到与移动的障碍物的移动方向同一方向且在下一个图像帧更新定时大于障碍物的移动距离D的位置。根据障碍物和拍摄障碍物的摄像机之间的距离，决定该边界的变更方法。图10是用于说明障碍物和摄像机位置的关系的图。如图10那样，在障碍物的高度相同时，距摄像机的距离越近，俯视图像中的障碍物的投影越小。该图表示在俯视图像中显示障碍物的情况，障碍物和摄像机之间的距离较近时，俯视图像中的投影较小，对用户来说，为容易看见的图像。根据上述说明，作为边界的变更方法，例如优选以下述方式变更边界计算障碍物与能够拍摄该障碍物的摄像机1、摄像机2的距离，并使用与障碍物距离较短的摄像机拍摄到的障碍物的图像。在图11的例子中，设摄像机1的坐标为(xcl，ycl)，摄像机2的坐标为(Xc2，yc2)、障碍物的坐标为(Xo，yo)时，可以如下计算各个距离。Dl=(xcl-xo)2+(ycl-yo)2D2=(xc2-xo)2+(yc2-yo)2根据上式的计算结果变更边界，以使用Dl和D2中距离更近的一方的摄像机图像。在如上所述考虑障碍物和摄像机的位置关系来变更边界时，对用户来说，图11的(a)的障碍物的识别性更好。在步骤S007中，图像合成单元41将障碍物的位置变换为合成图像上的坐标。通过参照记述了合成画面上的坐标和各个摄像机图像上的坐标之间关系的对应表来进行该处理。而且，因为预测障碍物的移动方向来变更边界，所以即使障碍物移动，障碍物和边界也不重合，而且能够迅速地更新边界的变更。以下说明这一点。边界的更新至少受到更新画面的时间T的限制。若设障碍物的检测处理时间为TO、画面的更新处理时间为TN、变更边界的处理时间为TM，则可以如下计算直到变更边界为止的总处理时间T。T=Τ0+ΤΝ+ΤΜ在障碍物移动的情况下，它在上述处理时间T内也在移动，有可能移动到经过上述处理时间T变更后的边界的位置。因为将通过图像处理的识别处理时间Tr和先前帧的识别结果合并起来计算障碍物的移动方向和移动速度，如果先前帧的使用数设为η帧，在NTSC信号中一帧的时间为1/30秒，则该障碍物的检测处理时间TO至少需要(Tr+n/30)时间，足以被认为直到变更边界为止障碍物进行移动而变更后的边界18与移动的障碍物21重合(参照图3)。然而，在本实施方式中，如图11那样，障碍物移动方向预测单元43预测障碍物的移动方向、移动速度来变更边界，由此，障碍物即使移动也不会重合于变更后的边界。具体而言，作为在时间T中障碍物61移动到的位置，从先前计算出的障碍物的移动方向和移动速度63，计算移动后的障碍物64的坐标。将边界62变更为边界65即可，以使边界65不重合于该计算出的坐标。通过这样处理，能够变更边界以不重合于移动的障碍物，而且实现考虑了边界的变更时间T的边界变更，因此能够不追随移动的障碍物变更边界，而先于移动的障碍物来变更边界。另外，如图11的(b)所示，即使在与障碍物62的移动方向同一方向，也可以变更为与考虑了下一个画面更新时间的、合计处理时间T的障碍物的移动位置64不重合的边界66。另外，也可以估计移动的障碍物与预测相反地移动的情况，变更边界线，以使其不落入移动区域67。图12是用于说明一例边界的设定方法的图。在上面说明的边界设定中，预先将如图12那样的边界数据存储到对应表参照单元45中。在像素合成单元41，基于由障碍物移动方向预测单元43决定的边界，从对应表参照单元45读出并合成边界数据。另外，提出了从俯视图像的本车辆的端部直线状引出的边界的例子，但不限于本例，可以采用任何形状的边界线。如上所述，能够避免在多个摄像机图像的边界区域，障碍物因重合于边界而不连续地显示，能够使用户更正确且容易看见地显示障碍物。(实施方式2)图13是表示本发明实施方式的驾驶辅助显示装置的结构的方框图。只说明结构与图4不同的部分。障碍物移动方向预测单元43从由障碍物检测单元42检测出的障碍物的移动方向、以及车辆信息35(变档信息和转向角信息)即由本车辆动作信息获取单元46获取的本车辆的动作信息，在本车辆的行驶方向路内，基于障碍物的移动方向和移动速度判定障碍物是否进来，在预测到进来时，变更边界，以使障碍物与边界不重合。8接着，说明根据障碍物的移动方向和移动速度以及本车辆的移动方向，变更边界的动作。图14是表示驾驶辅助显示装置的动作的流程图。只说明动作与图5不同的部分。在步骤S007中，本车辆动作信息获取单元46获取本车辆的车辆信息35。具体而言，通过获取变档位置或方向盘转向角信息，计算本车辆的预测行驶方向。在步骤S008中，根据在步骤S006和步骤S007中计算出的障碍物的移动方向和移动速度、以及本车辆的预测行驶方向，障碍物移动方向预测单元43以不重合于障碍物的方式变更边界。具体而言，如图15那样，在本车辆的移动方向73的行驶道路周围存在障碍物71时，变更到与障碍物71的移动方向反向且在下一个图像帧更新定时障碍物71也不与边界重合的位置。具体而言，若设上述说明中计算的障碍物的移动速度为VM，画面更新时间为t，则如下计算移动距离D。D=VMXt也就是说，变更为边界74即可，以使检测出的该障碍物71的下一个画面更新时的障碍物预测位置75与变更后的边界的不重合，而且与障碍物的移动方向反向。另外，说明了将边界变更到与移动的障碍物反向的位置，但也可以将边界以在与移动的障碍物的移动方向同一方向且不重合于在下一个图像帧更新定时预测的障碍物预测位置75的方式进行变更。如上所述，根据障碍物和拍摄障碍物的摄像机之间的距离，决定该边界的变更方法。另外，如上面的说明，考虑到移动的障碍物和预测相反地移动的情况，也可以变更边界线以使其不落入移动区域。根据这样的上述动作，在通过多个摄像机进行俯视图像合成处理时，本发明的驾驶辅助显示装置能够使部分图像的边界与障碍物不重合，将车辆周围的信息正确地传给驾驶员，能够辅助更安全的驾驶。另外，在上述说明中，举出变更边界以所有的边界不存在重合的障碍物的例子、以及考虑本车辆的移动方向，对存在于本车辆的移动方向上的障碍物变更边界的例子进行了说明，但不限于这些方法，也可以对重合于边界的障碍物，将与本车辆最近的距离上存在的障碍物作为对象，变更边界以使其不重合于边界。另外，还可以组合这些方法，对于在本车辆的预测行驶方向上且与本车辆最近的距离上存在的障碍物，变更边界以免重合。2009年9月M日提交的日本专利申请第2009-218445号所包含的说明书、说明书附图和说明书摘要的公开内容全都引用于本申请。工业实用性如上所述，本发明中，以存在于部分图像之间的边界附近的障碍物不重合于合成的边界的方式变更边界，因此障碍物不消失，能够对用户提供正确且容易辨别的图像，作为使用了拍摄车辆的周围的多个摄像机的驾驶辅助显示装置是很有用的。权利要求1.驾驶辅助显示装置，包括图像合成单元，合成多个摄像机的影像而生成俯视图像；障碍物检测单元，检测本车辆周围的障碍物；以及障碍物移动方向预测单元，从来自所述障碍物检测单元的障碍物的移动方向和移动速度，预测障碍物的移动方向，并设定所述多个摄像机的图像的边界，以使该边界与障碍物不重合，所述图像合成单元基于来自所述障碍物移动方向预测单元的信息，制作障碍物和所述多个摄像机的图像的边界不重合的俯视图像。2.驾驶辅助显示装置，包括图像合成单元，合成多个摄像机的影像而生成俯视图像；障碍物检测单元，检测本车辆周围的障碍物；本车辆动作信息获取单元，获取本车辆的变档信息或转向角信息；以及障碍物移动方向预测单元，从来自该障碍物检测单元的障碍物的移动方向和移动速度、以及本车辆动作信息获取单元的车辆信息，预测障碍物的移动方向并设定所述多个摄像机的图像的边界，以使该边界与障碍物不重合，所述图像合成单元基于来自所述障碍物移动方向预测单元的信息，制作障碍物和所述多个摄像机的图像的边界不重合的俯视图像。全文摘要在将多个摄像机的拍摄图像合成显示的驾驶辅助显示装置中，提供在部分图像之间的边界附近，正确且用户容易辨认的图像。图像合成单元(41)基于对应表参照单元(45)，用通过多个摄像机(31)拍摄本车辆周围所得的图像，制作俯视图像。障碍物检测单元(42)从通过多个摄像机(31)拍摄的图像中检测障碍物。障碍物移动方向预测单元(43)基于由障碍物检测单元(42)检测的障碍物信息，预测障碍物的移动方向并设定边界，以使障碍物和多个摄像机(31)的合成图像的边界不重合。图像合成单元(41)从对应表参照单元(45)获取必要的信息，制作障碍物和多个摄像机的图像的边界不重合的俯视图像。文档编号B60R1/00GK102577372SQ20108003927公开日2012年7月11日申请日期2010年9月24日优先权日2009年9月24日发明者神山博贵申请人:松下电器产业株式会社