电子镜控制装置的制作方法

在此公开的技术涉及控制由摄像部摄像的包含车辆的后侧面的背景图像的显示的电子镜控制装置。

背景技术：

以往，提出有将用车载摄像机拍摄的车辆的后侧面及后侧方的图像显示于设置在车辆内部的显示器的装置(参照专利文献1)。在专利文献1记载的技术中，通过将显示于显示器的图像局部地压缩而显示，从而能够提高驾驶者的视觉辨认性。

现有技术文献

专利文献

专利文献1：日本专利公开公报特开2012-170127号

技术实现要素：

在车辆行驶过程中，驾驶者需要在任何环境下也能准确安全地掌握行驶空间。在没有能够视觉辨认车辆的后侧方的门镜或显示用摄像机摄像的车辆的后侧方的显示器中没有可看见的间接视野的情况下，驾驶者转动身体或脖子而将脸朝向后方而看后侧方。此时，驾驶者能够直观地掌握所看见的后侧方的环境在行驶环境中处于哪个位置。但是，由于转动脖子或移动视线，因此，看旁边的时间变长。

相对于此，利用所述门镜或显示器中可看见的间接视野的情况下，无需转动身体或脖子就能确认到车辆的后侧方，因此，可缩短看旁边的时间。但是，由于不是直接用眼睛看，因此，由间接视野掌握行驶环境需要时间。

因此，要求即使在利用间接视野的情况下，也能在短时间内由间接视野掌握自己车的位置关系等行驶环境。但是，在所述专利文献1中，并未对该点进行充分研究。

在此公开的技术以能够在短时间内由间接视野掌握行驶环境为目的。

为了解决所述问题，在此公开的技术的一方式的电子镜控制装置包括：摄像部，被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像；显示部，显示由所述摄像部摄像的所述背景图像；运算部，根据所述背景图像计算出消失点的位置；提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及显示控制部，在所述后侧面区域显示与通过所述消失点的直线一致的消失点线。

根据该电子镜控制装置，通过在不存在光流的后侧面区域显示发挥光流的作用的消失点线，从而驾驶者能够在短时间内由显示在显示部的间接视野掌握行驶环境。

附图说明

图1是概略地表示本实施方式的车辆的结构的框图。

图2是概略地表示车辆的动作的一例的流程图。

图3是表示在车辆停止过程中显示在显示器上的背景图像的一例的图。

图4是说明背景图像的变形的图。

图5是表示在车辆行驶过程中显示在显示器上的背景图像的一例的图。

图6是表示显示在显示器上的背景图像的不同的例子的图。

图7是表示显示在显示器上的背景图像的另一不同的例子的图。

图8是概略地表示车辆的动作的不同的例子的流程图。

图9是表示在图8的动作中显示在显示器上的背景图像的图。

图10是概略地表示车辆的动作的另一不同的例子的流程图。

图11是表示在图10的动作中显示在显示器上的背景图像的图。

图12是表示设置在车辆的室内的显示器的图。

图13是说明在实验中设定的有效条件的图。

图14是说明在实验中设定的无效条件的图。

图15是表示第一被实验者的实验结果的图。

图16是表示第二被实验者的实验结果的图。

具体实施方式

下面，参照附图说明本发明的实施方式。另外，在各图中，对同样的要素附上同样的符号并适当省略说明。

图1是概略地表示本实施方式的车辆的结构的框图。车辆100例如为四轮汽车。车辆100如图1所示包括摄像机210、220(摄像部的一例)、显示器310、320(显示部的一例)以及电子控制单元(ecu)400。

摄像机210例如被安装在车辆100的右侧的门镜上，摄像机210的光轴朝向车辆100的后方。摄像机210在每规定时间(例如1/60秒)连续摄像包含车辆100的右侧的后侧面的车辆100的右后方的背景图像。另外，虽然摄像机210安装在右侧的门镜上，但取而代之，摄像机210也可以在安装了右侧的门镜的位置以摄像机210的光轴朝向车辆100的后方的方式被安装。

摄像机220例如被安装在车辆100的左侧的门镜上，摄像机220的光轴朝向车辆100的后方。摄像机220在每规定时间(例如1/60秒)连续摄像包含车辆100的左侧的后侧面的车辆100的左后方的背景图像。另外，虽然摄像机220安装在左侧的门镜上，但取而代之，摄像机220也可以在安装了左侧的门镜的位置以摄像机220的光轴朝向车辆100的后方的方式被安装。

显示器310配置在驾驶座的前方的靠右的部分。显示器310显示由摄像机210在每规定时间(例如1/60秒)连续摄像的车辆100的右后方的背景图像中最新的背景图像。显示器320配置在驾驶座的前方的靠左的部分。显示器320显示由摄像机220在每规定时间(例如1/60秒)连续摄像的车辆100的左后方的背景图像中最新的背景图像。

显示器310、320包含例如液晶显示面板。显示器310、320并不限定于液晶显示面板，可包含有机el(electroluminescence)面板等其它显示装置。

ecu400控制车辆100整体的动作。ecu400包含中央运算处理装置(cpu)410、存储器420以及其它周边电路。存储器420由例如闪存等半导体存储器、硬盘或其它存储元件形成。存储器420包含暂时保存由摄像机210、220摄像的各背景图像的帧存储器、保存程序的存储器、暂时保存数据的存储器等。另外，存储器420可由具备暂时保存由摄像机210、220摄像的各背景图像的区域、保存程序的区域、暂时保存数据的区域的单一的存储器形成。

cpu410按照保存在存储器420的程序动作，从而作为运算部411、提取部412以及显示控制部413而发挥作用。运算部411根据摄像机210、220摄像的各背景图像分别计算出显示器310、320上的消失点的位置。

提取部412从摄像机210摄像的背景图像提取显示有车辆100的右侧的后侧面的后侧面区域316(后述的图3至图5)。提取部412从摄像机220摄像的背景图像提取显示有车辆100的左侧的后侧面的后侧面区域。

显示控制部413在显示器310、320分别显示保存在存储器420的各帧存储器的由摄像机210、220摄像的最新的各背景图像。显示控制部413在将由摄像机210、220摄像的各背景图像显示在显示器310、320时，是左右反转地进行显示。据此，在显示器310显示映射到右侧的门镜的图像，在显示器320显示映射到左侧的门镜的图像。运算部411、提取部412及显示控制部413的功能将在后面详述。

图2是概略地表示车辆100的动作的一例的流程图。图3是表示车辆100的停止过程中显示在显示器310的背景图像309的一例的图。图4是说明背景图像309的变形的图。图5是表示车辆100的行驶过程中显示在显示器310的背景图像309的一例的图。另外，以下说明摄像机210摄像的背景图像，对于摄像机220摄像的背景图像也同样。

例如，如果发动机启动，摄像机210开始摄像，开始图2的动作。在步骤s201，显示控制部413在显示器310显示由摄像机210摄像并保存在存储器420的帧存储器的最新的背景图像309。在图3中，车辆100停止，显示控制部413在显示器310显示由摄像机210摄像的包含车辆100的右侧的后侧面311的背景图像309。

接着，在步骤s202，车辆100开始行驶。接着，在步骤s203，运算部411根据摄像机210摄像的背景图像计算出第一光流，并在步骤s204，计算出不同于第一光流的第二光流。

光流将图像中的物体的动作用矢量来表示。运算部411可从多个背景图像提取在彼此之间互相对应的特征点，将连接提取的对应特征点的线作为第一、第二光流而计算出。运算部411可使用卢卡斯-金出方法、霍恩-舒恩克方法等公知的方法来计算出第一、第二光流。图4中示出了实际上不显示在显示器310的第一光流312和第二光流313。

接着，在步骤s205，运算部411将第一光流312与第二光流313的交点作为消失点314而计算出。消失点是指在透视画法中，将实际上是平行线的部分画成不平行时，其线相交的点。

另外，在图2中，将两个光流312、313的交点作为消失点314而计算，但是运算部411也可如图4所示那样还计算出第三光流315。此时，运算部411可将第一光流312、第二光流313、第三光流315这三个的交点的中心作为消失点而计算。

接着，在步骤s206，提取部412在显示器310中提取显示有车辆100的后侧面311的后侧面区域316。提取部412可利用模板匹配法来提取后侧面区域316。或者，提取部412可比较摄像机210在每规定时间摄像的多个背景图像的各像素值，提取像素值没有变化的区域来作为后侧面区域316。

另外，ecu400可具备根据驾驶者的操作变更摄像机210的光轴的角度的摄像机控制部，以便能够变更摄像机210的摄像范围。存储器420可存储使摄像机210的光轴的角度与后侧面区域316相对应的数据。此时，提取部412可从摄像机控制部取得当前的摄像机210的光轴的角度，从存储器420提取与所取得的光轴的角度相对应的后侧面区域316。

接着，在步骤s207，显示控制部413在步骤s206被提取的后侧面区域316中提取带线317。带线317是在车身的侧窗的下端沿水平方向延伸的线，是在窗户位置分隔车身的上部和下部的线，是沿门在水平方向上延伸的下部车身的上端线。

存储器420中可预先保存有带线317的图像数据。显示控制部413可将保存在存储器420的带线317的图像数据作为模板并利用模板匹配法来提取带线317。

如上所述，在具备根据驾驶者的操作来变更摄像机210的光轴的角度的摄像机控制部的情况下，存储器420可存储将摄像机210的光轴的角度和带线317相对应的数据。此时，显示控制部413从摄像机控制部取得当前的摄像机210的光轴的角度，从存储器420提取与所取得的光轴的角度相对应的带线317。

接着，在步骤s208，显示控制部413以使带线317与通过消失点314的直线一致的方式让后侧面区域316的图像变形。显示控制部413例如首先固定带线317的后端317a，以使带线317与通过后端317a和消失点314的直线一致的方式使带线317旋转，进一步，拉伸带线317，使前端317b与显示器310的外缘一致。据此，如图4所示，获得具有后端317a和前端317xb的、与通过消失点314的直线一致的变换后的带线317x(消失点线的一例)。

接着，显示控制部413在固定边界线316a的状态下，让后侧面区域316旋转及缩小、或旋转及扩大，以维持后侧面区域316内的各像素的线形性，且使带线317与带线317x一致。

具体来讲，显示控制部413例如根据带线317及带线317x中的多个点的变换前后的对应关系，求出用于将带线317变换为带线317x的仿射变换的变换行列。而且，显示控制部413在固定后侧面区域316的边界线316a的状态下，使用所求出的变换行列，对显示在后侧面区域316的后侧面311整体进行坐标变换。进一步，显示控制部413对通过坐标变换而出现间隙的像素，使用周边的像素的数据来进行补间。

通过包含以上的顺序的步骤s208，如图5所示，在后侧面区域316显示出包含与通过消失点314的直线一致的带线317x的、坐标变换后的后侧面311x。

然后，处理返回到步骤s203，反复进行以上的步骤。另外，图2的动作可在车辆100停止时结束。

如以上说明，根据本实施方式，以使带线317x与通过消失点314的直线一致的方式，后侧面区域316被进行坐标变换。据此，在不存在光流的后侧面区域316显示发挥与光流相同的作用的、与通过消失点314的直线一致的带线317x。其结果，驾驶者在看到显示器310时，在短时间内掌握自己车的位置等形式环境。

另外，在图5中，显示控制部413以使带线317与通过消失点314的直线一致的方式对后侧面区域316进行坐标变换，但是，可代替带线317，显示控制部413以使车辆100的特征线311y(图3)与通过消失点314的直线一致的方式对后侧面区域316进行坐标变换。特征线311y是由作为车辆的外形而构成的面交叉而形成的线或在平滑的车身的表面作为车辆的外形而附加的线。

此外，在图5中，显示控制部413以获得带线317x的方式对后侧面区域316进行坐标变换，但并不限定于此。

图6是表示在车辆100的行驶过程中显示在显示器310上的背景图像309的不同的例子的图。在图6中，显示控制部413以获得与通过消失点314的直线一致的带线317x的方式对后侧面区域316进行坐标变换后，在带线317x上显示与通过消失点314的直线一致的箭头317y。据此，强调带线317x，能够进一步增大朝向消失点314的流动感。另外，显示控制部413可代替箭头而显示后述的图8所示的线段图像318。

另外，在图5中，通过使用仿射变换的变换行列进行坐标变换，从而在后侧面区域316显示没有不调和感的后侧面311x，但并不限定于此。

图7是表示在车辆100的行驶过程中显示在显示器310上的背景图像309的又一不同的例子的图。在图7中，显示控制部413如果使用图4说明的方法获得带线317x，则在带线317x的位置剪切带线317(图3)上方的窗等。据此，带线317(图3)上方的窗等维持图3所示的状态，从带线317x的位置起下方的部分被去除。此外，显示控制部413将带线317x的下方的与特征线311y之间的区域，用带线317(图3)与特征线311y之间的像素数据补间。

此时，由于带线317x与特征线311y之间的面积变大而产生一点不调和感，但是，能够显示与通过消失点314的直线一致的带线317x。

图8是概略地表示车辆100的动作的不同的例子的流程图。图9是表示在图8的动作中显示于显示器310上的背景图像309的图。图8的步骤s201～s206与图2的步骤s201～s206相同。

接着步骤s206的步骤s501，显示控制部413与在步骤s206提取的后侧面区域316重叠地显示与通过消失点314的直线一致的线段图像318(消失点线的一例)。

如图9所示，显示控制部413将线段图像318的后端318a配置在后侧面区域316的边界线316a上的任意的位置。在图9的例子中，显示控制部413以与通过带线317的后方侧的末端且通过消失点314的直线一致的方式将线段图像318的后端318a配置在边界线316a上。此外，显示控制部413将线段图像318的前端318b配置在显示器310的外缘。而且，显示控制部413以表现远近感的方式使线段图像318的宽度从后端318a向前端318b逐渐变粗。

显示控制部413在图9中与图3同样地将车辆100的后侧面311以用摄像机210摄像的状态显示于显示器310上。在步骤s501后，处理返回到步骤s203，反复进行以上的步骤。另外，图8的动作可在车辆100停止时结束。

在图8、图9所示的实施方式中，在不存在光流的后侧面区域316显示发挥与光流相同的作用的与通过消失点314的直线一致的线段图像318。其结果，驾驶者当看到显示器310时，能够在短时间内掌握自己车的位置等行驶环境。

图10是概略地表示车辆100的动作的又一不同的例子的流程图。图11是表示在图10的动作中显示于显示器310上的背景图像309的图。图10的步骤s201～s206与图2的步骤s201～s206相同。

接着步骤s206的步骤s701，显示控制部413如图11所示地在步骤s206提取的后侧面区域316显示车辆的轮廓319来代替车辆100的后侧面。显示控制部413可将例如用单色涂抹后侧面区域316的图像作为轮廓(silhouette)319来显示。接着的步骤s501与图8的步骤s501相同。然后，处理返回到步骤s203，反复进行以上的步骤。另外，图10的动作可在车辆100停止时结束。

在图10、图11所示的实施方式中，在不存在光流的后侧面区域316显示发挥与光流相同的作用的与通过消失点314的直线一致的线段图像318。其结果，驾驶者当看到显示器310时，能够在短时间内掌握自己车的位置等行驶环境。

此外，在图10、图11所示的实施方式中，在后侧面区域316显示车辆的轮廓319来代替车辆100的后侧面。因此，线段图像318的对比度增大，能够使线段图像318显眼。

另外，在图9、图11中，线段图像318从后侧面区域316的边界线316a延伸至显示器310的外缘，但并不限定于此。线段图像318可显示在后侧面区域316的一部分。即，与后侧面区域316重叠地显示的线段图像可短于图9、图11所示的线段图像318。线段图像318的长度例如为可引起驾驶者的注意的程度即可。

下面，说明为了确认本实施方式的效果而实施的“先行线索法”的实验结果。在“先行线索法”中，测定紧接线索刺激而在注视点的左右提示的光点(目标刺激)的检测时间。实验根据线索而操作，设定线索表示目标空间位置的有效(valid)条件和线索不表示目标空间位置的无效(invalid)条件。

图12是表示设置在车辆100的室内的显示器310的图。图13是说明实验中设定的有效条件的图。图14是说明实验中设定的无效条件的图。

实验以100km/h的速度在直线道路中行驶的车辆中实施。如图12所示，显示器310配置在仪表板500上，且配置在方向盘501的偏右侧的部分。在该实验中，与图10、图11的实施方式同样，在后侧面区域316显示车辆的轮廓来代替车辆的后侧面。此外，如图12至图14所示，在后侧面区域316点亮表示注视点510的发光二极管(led)，并显示有线段图像550。

在实验中，首先，作为线索刺激，向被实验者提示了预定点亮的led。在此，注视点510前方的led530点亮。其结果，如图13、图14所示，被实验者的注意指向注视点510的前方的区域520。接着，被实验者将视线移动到注视点510。接着，显示目标刺激。然后，被实验者回答被显示的目标刺激的位置。

此时，在有效条件下，如图13所示，注视点510的前方的led530作为目标刺激而点亮。即，在有效条件下，线索刺激和目标刺激一致，因此，被实验者能够立即回答目标刺激的位置。

相对于此，在无效条件下，如图14所示，注视点510的后方的led540作为目标刺激而点亮。即，在无效条件下，被实验者将注意力从区域520移动到led540后回答目标刺激的位置。

因此，设有效条件下的反应时间为t1、无效条件下的反应时间为t2时，(t2-t1)是注意力移动所需的时间。也就是说，该(t2-t1)越短则能够顺利地移动注意力。在实验中，改变线段图像550的方向而比较了(t2-t1)。

图15是表示第一被实验者a的实验结果的图。图16是表示第二被实验者b的实验结果的图。在图15、图16中，分别示出了进行3次实验的平均值。

作为线段图像550的方向，在垂直的状态(0度)、相对于垂直为45度的状态、与线段图像318(图9)一致的状态(of)、相对于垂直为90度的状态、未显示线段图像550的状态(无)的5种状态下进行了实验。

如图15所示，第一被实验者a在显示有与线段图像318(图9)一致的线段图像550时(t2-t1)最短。如图16所示，第二被实验者b也在显示有与线段图像318(图9)一致的线段图像550时(t2-t1)最短。

根据图15、图16的实验结果可知，通过在后侧面区域316显示线段图像318(图9)，从而驾驶者在看到显示器310时，能够在短时间内掌握自己车的位置等行驶环境。

另外，在所述各实施方式中，运算部411将光流312、313的交点作为消失点314而计算，但是，消失点314的位置的计算方法并不限定于此。取而代之，运算部411可从一张背景图像309检测出表示例如路边或隔离带等道路的端的直线、表示行车线的边界的边界线等中的两条直线，将检测出的两条直线的交点作为消失点而计算。

另外，所述的具体实施方式主要包含具有以下结构的发明。

此处公开的技术的一方式的电子镜控制装置包括：摄像部，被搭载于车辆，用于摄像包含行驶中的所述车辆的后侧面的背景图像；显示部，显示由所述摄像部摄像的所述背景图像；运算部，根据所述背景图像计算出消失点的位置；提取部，在所述背景图像中提取显示有所述车辆的后侧面的后侧面区域；以及显示控制部，在所述后侧面区域显示与通过所述消失点的直线一致的消失点线。

在该方式中，根据摄像部摄像的背景图像计算消失点的位置。在背景图像中提取显示有车辆的后侧面的后侧面区域。与通过消失点的直线一致的消失点线被显示在后侧面区域。因此，在不存在光流的后侧面区域显示发挥光流的作用的消失点线。其结果，驾驶者能够根据显示在显示部的间接视野，在短时间内掌握行驶环境。

在所述方式中，例如，可以为：在由所述摄像部摄像的所述车辆的后侧面设有带线或特征线，所述显示控制部，当在所述显示部的所述后侧面区域显示所述摄像部摄像的所述车辆的后侧面时，以使所述带线或特征线与通过所述消失点的直线一致的方式让所述带线或特征线变形，将变形的所述带线或特征线作为所述消失点线而显示。

在该方式中，在显示部的后侧面区域显示摄像部摄像的车辆的后侧面时，带线或特征线被变形为与通过消失点的直线一致，被变形的带线或特征线作为消失点线而被显示。因此，设置在车辆的后侧面的带线或特征线发挥光流的作用。其结果，驾驶者可利用看惯了的带线或特征线，以自然的形式掌握行驶环境。

在所述方式中，例如，可以为：所述显示控制部将与通过所述消失点的直线一致的线段图像作为所述消失点线而显示在所述后侧面区域。

在该方式中，与通过消失点的直线一致的线段图像作为消失点线而显示在后侧面区域。因此，在不存在光流的后侧面区域，发挥光流的作用的线段图像作为消失点线而被显示。其结果，驾驶者可根据显示在显示部的间接视野，在短时间内掌握行驶环境。

在所述方式中，例如，可以为：所述显示控制部以所述车辆的轮廓代替所述车辆的后侧面而显示在所述后侧面区域。在该方式中，代替车辆的后侧面而在后侧面区域显示车辆的轮廓。因此，能够使作为消失点线而显示在后侧面区域的线段图像显眼。