图像显示控制装置的制作方法

文档序号:24347955发布日期:2021-03-19 12:32阅读:43来源:国知局
图像显示控制装置的制作方法

本申请是申请日为2017年10月12日,申请号为201780075627.5,发明名称为“图像显示控制装置”的中国专利申请的分案申请。

本发明涉及一种图像显示控制装置。



背景技术:

为了在驾驶员驾驶车辆时,辅助确认后方和侧方,车辆具备车门后视镜。已提出一种代替车门后视镜或者与车门后视镜并用,由摄像机拍摄车辆的后方和侧方并利用设置在仪表板上的监视器来显示拍摄到的图像的技术(例如,参照专利文献1)。

(现有技术文献)

(专利文献)

专利文献1:日本特开2008-68827号公报



技术实现要素:

(发明所要解决的问题)

由于到监视器显示由摄像机拍摄到的图像为止花费的延迟时间,监视器显示的图像相对于实时图像延迟。驾驶员在进行车道变更等操作时确认监视器的图像,并确认在变更目的地的车道中其他车辆的接近状态。若监视器显示的图像延迟,则难以掌握其他车辆的接近状态。要求考虑延迟时间来使监视器显示图像,提高驾驶时的安全性。

(解决问题所采用的措施)

本发明的图像显示控制装置,其使监视器显示由设置在车辆上的摄像机拍摄的该车辆周围的图像,其具有:

车辆检测部,其从由所述摄像机拍摄到的图像中检测其他车辆;

放大部,其在所述车辆检测部检测到所述其他车辆时,根据到使所述监视器显示由所述摄像机拍摄到的图像为止花费的延迟时间,对该图像进行放大处理;以及

输出部,其将所述放大部放大处理后的图像输出到所述监视器。

(发明的效果)

根据本发明,能够使监视器显示的延迟的图像中的其他车辆接近实时图像中的大小,因此能够提高驾驶时的安全性。

附图说明

图1是示出实施方式涉及的图像显示控制装置的结构的框图。

图2是示出将图像显示控制装置设置于车辆的状态的示意图。

图3是示出监视器的led背光源基板的结构的图。

图4(a)是示出他车的相对速度为100km/h时的延迟的图像的图,(b)是示出实时图像的图。

图5是示出实施方式涉及的图像显示控制装置的处理的流程图。

图6是示出从图像中检测他车的处理的一个示例的图。

图7(a)是说明拍摄范围、实际车宽以及车距的关系的示意图,(b)是说明图像中的车宽与x方向宽度的关系的示意图。

图8是示出车宽与车距的关系的一个示例的曲线图。

图9是示出他车在延迟时间内按各相对速度移动的距离的曲线图。

图10是示出延迟时间确定处理的细节的流程图。

图11是示出液晶亮度的变化的曲线图。

图12是示出液晶温度与反应时间的关系的曲线图。

图13是示出反应时间表的一个示例的图。

图14是说明图像中的与其他车辆的车距和实际的与其他车辆的车距的关系的图。

图15是示出图像的放大处理的图。

图16是示出图像的修剪处理的图。

图17是示出变形例1涉及的图像显示控制装置的结构的框图。

图18是示出变形例1涉及的图像显示控制装置执行的处理的流程图。

图19是说明变形例1的放大处理的图。

图20是说明图像校正部的图像校正的图。

具体实施方式

以下参照附图对本发明的实施方式涉及的图像显示控制装置进行说明。

图1是示出图像显示控制装置的结构的框图。

图2是示出将图像显示控制装置设置于车辆的状态的示意图。

[结构]

如图1和图2所示,图像显示控制装置1设置在车辆的内部,与左方摄像机3、右方摄像机4以及监视器5连接。图像显示控制装置1使监视器5显示左方摄像机3和右方摄像机4拍摄到的车辆周围的图像。虽然细节将稍后给出,但图像显示控制装置1为了使监视器5显示的延迟的图像接近实时图像,进行了图像的放大处理。

以下,将设置实施方式涉及的图像显示控制装置1、并由左方摄像机3和右方摄像机4进行拍摄的车辆称为“本车ca”。另外,将由左方摄像机3和右方摄像机4拍摄到的图像显示的本车ca以外的车辆称为“他车”。

图2中,左方摄像机3和右方摄像机4各自的拍摄范围由虚线表示。左方摄像机3设置在本车ca的左侧的前门上。左方摄像机3拍摄本车ca的左侧的侧方和后方。右方摄像机4设置在本车ca的右侧的前门上。右方摄像机4拍摄本车ca的右侧的侧方和后方。左方摄像机3和右方摄像机4在车辆行驶中始终进行拍摄。

监视器5设置在车辆内部的驾驶座的仪表板上。监视器5具备显示左方摄像机3和右方摄像机4的图像的液晶显示器50。如图2所示,监视器5可以具备一个液晶显示器50,在一个液晶显示器50上并列显示左方摄像机3和右方摄像机4的两个图像。或者,监视器5也可以具备两个液晶显示器50,分别显示左方摄像机3和右方摄像机4的图像。监视器5对于左方摄像机3和右方摄像机4各自的图像具有一定大小的显示区域da。

如图1所示,监视器5具备热敏电阻53,作为测定液晶显示器50的温度的温度测定部。

图3是示出具备热敏电阻53的监视器5的led背光源基板51的结构的图。led背光源基板51隔开间隔配置有照射液晶显示器50的led52。热敏电阻53配置在led背光源基板51的中央部。

如图1所示,图像显示控制装置1具备图像获取部11、车辆检测部12、距离测定部13、相对速度计算部14、温度获取部15、延迟时间确定部16、放大率确定部17、放大部18、修剪部19、输出部20以及存储部21。图像显示控制装置1例如由具备ram(randomaccessmemory:随机存取存储器)和rom(readonlymemory:只读存储器)等存储器的cpu(centralprocessingunit:中央处理器)构成。

存储部21存储图像显示控制装置1的处理所需的各种信息。存储部21例如存储反应时间表211。

图像获取部11获取左方摄像机3和右方摄像机4拍摄到的图像。如上所述,左方摄像机3和右方摄像机4在车辆行驶中始终进行拍摄。图像获取部11在左方摄像机3和右方摄像机4进行拍摄的期间,依次获取拍摄到的各帧图像。

车辆检测部12从图像获取部11获取的图像中检测他车。距离测定部13测定车辆检测部12检测到的他车与本车ca的车距d。相对速度计算部14基于距离测定部13测定的车距d,计算他车相对于本车ca的相对速度vr。

左方摄像机3和右方摄像机4拍摄的图像各自不同。车辆检测部12分别对左方摄像机3的图像和右方摄像机4的图像进行他车的检测。在车辆检测部12在双方的图像中检测到他车时,距离测定部13和相对速度计算部14对于各个他车进行车距d的测定和相对速度vr的计算。

温度获取部15获取监视器5的热敏电阻53所测定的液晶显示器50的温度。延迟时间确定部16基于温度获取部15获取的液晶显示器50的温度,确定延迟时间δtcd。延迟时间δtcd是从左方摄像机3和右方摄像机4拍摄图像到监视器5显示该图像为止花费的时间。延迟时间确定部16在确定延迟时间δtcd时,参照存储在存储部21中的反应时间表211。

液晶显示器50的温度时刻变化。因此,在车辆行驶中,温度获取部15以规定间隔获取液晶显示器50的温度。每当温度获取部15获得液晶显示器50的温度时,延迟时间确定部16确定并更新延迟时间δtcd。对于温度测定的间隔,可以考虑液晶显示器50的温度变化的趋势、数据发送的负荷等来确定适当的间隔。

放大率确定部17基于车距d、相对速度vr以及延迟时间δtcd,确定使图像放大的放大率z。在车辆检测部12从左方摄像机3和右方摄像机4双方的图像中检测到他车时,放大率确定部17基于各个他车的车距d和相对速度vr来计算放大率。放大率确定部17将计算出的放大率中的较大一方确定为最终放大率z。

作为图像的放大处理,放大部18将图像获取部11获取的整个图像按放大率确定部17确定的放大率z放大。修剪部19根据监视器5的显示区域da对放大部18放大后的图像进行修剪。输出部20将修剪部19修剪后的图像输出到监视器5。

[动作]

如上所述,图像显示控制装置1将左方摄像机3和右方摄像机4拍摄到的本车ca周围的图像输出到监视器5并显示。由于从摄像机拍摄图像到监视器5显示该图像为止花费的延迟时间δtcd,监视器5显示的图像相对于实时图像延迟。

图4示出具体例。图4示出了在左方摄像机3拍摄到的图像中映现了在本车ca的相邻车道中从本车ca的后方正在以相对速度100km/h行驶的他车的示例。在图4中示出了延迟时间δtcd为200msec的示例。图4(a)是监视器5显示的图像、即延迟的图像。图4(b)是由左方摄像机3实时地拍摄的图像。由于他车处于正在接近本车ca的状态,所以与延迟的图像相比,他车在实时图像中被更大地映现。

驾驶员根据图像中他车的大小,直观地掌握他车接近了多少。即使是延迟的图像,通过使显示的他车的大小接近实时图像的大小,驾驶员也容易掌握他车的接近状态。图像显示控制装置1为了使延迟的图像映现的他车接近实时图像,而进行了放大图像的处理。

下面对图像显示控制装置1执行的处理进行了说明。

图5是示出图像显示控制装置1执行的处理的流程图。

图像获取部11获取左方摄像机3和右方摄像机4拍摄到的图像(步骤s01)。车辆检测部12从图像获取部11获取的图像中检测他车(步骤s02)。车辆检测部12例如对图像进行滤波处理以检测边缘,并通过对检测到的边缘进行模板匹配来检测他车。

在车辆检测部12从图像中检测到他车时(步骤s02:yes),车辆检测部12测定图像上的他车的车宽w和位置,并作为检测结果输入到距离测定部13。在车辆检测部12未从图像中检测到他车时(步骤s02:no),输出部20不对图像进行放大处理,将图像直接输出到监视器5进行显示(步骤s09)。

图6是示出从图像中检测他车的处理的一个示例的图。

作为一个示例,图6示出了左方摄像机3拍摄到的图像。图像上的车宽w是指车辆的x方向上的像素数[px]。图像上的他车的位置是指他车的中心的图像的水平方向(x方向)上的坐标(xi)和垂直方向(y方向)上的坐标(yi)。

其中,存在车辆检测部12在一个图像上检测到多个他车的情况。在图6中示出了检测到多个他车cb、cd的情况。他车cb在本车ca的紧邻的车道上行驶,他车cd在隔着一条车道的车道上行驶。若考虑这些他车cb、cd与本车ca的距离,则他车cd在行进方向上的距离更近。然而,在驾驶员进行车道变更等操作时,会关注在距本车ca最近的车道上行驶的他车、即与行进方向正交的方向上的距离近的他车cb。因此,车辆检测部12在检测到多个他车cb、cd时,会选择在与本车ca的行进方向正交的方向上距本车ca最近的他车cb。

作为具体的处理,车辆检测部12首先测定图像上的他车cb的位置(x1,y2)和他车cd的位置(x2,y1)。图像的x方向接近与本车ca的行进方向正交的方向。因此,车辆检测部12选择x方向上的坐标距本车ca的坐标(x0,y0)最近的他车cb。此外,选择距本车ca最近的他车cb的处理不限于此。例如,车辆检测部12也可以从图像中检测划分车道的车道线l,选择在距本车ca最近的车道上行驶的车辆。车辆检测部12测定所选择的他车cb的车宽w,并与已经测定的他车cb的位置(x1,y2)一起输入到距离测定部13。

在此,说明了对左方摄像机3拍摄到的图像的检测处理,而对于右方摄像机4拍摄到的图像也进行同样的处理。下面基本上对由左方摄像机3拍摄到的图像的处理进行说明,但是在没有特别提及的情况下,对于由右方摄像机4拍摄到的图像也进行同样的处理。另外,车辆检测部12所测定的他车的位置(xi,yi)不被用于后述的修剪部19。因此,虽然没有特别提及,但相对速度计算部14、放大率确定部17以及放大部18将车辆检测部12测定的他车的位置(xi,yi)与各部的处理结果一起输出。

距离测定部13使用车辆检测部12输入的他车cb的图像中的车宽w,测定本车ca与他车cb的车距d(步骤s03)。

图7(a)是说明左方摄像机3的拍摄范围s、实际车宽wcar以及车距d的关系的示意图。图7(b)是说明图像中的车宽w与图像的x方向宽度wc的关系的示意图。

当如图7(a)所示,他车cb进入左方摄像机3的拍摄范围s时,如图7(b)所示,图像显示他车cb。左方摄像机3的拍摄范围s[m]和他车cb的实际车宽wcar[m]的关系,与图像的x方向宽度[px]和图像中车宽w[px]的关系对应,因此下式(1)成立。

[式1]

另一方面,在将左方摄像机3的水平视场角设为θ[°]时,关于他车cb与左方摄像机3的距离、即他车cb与本车ca的车距d[m]和拍摄范围s[m]的关系,下式(2)成立。

[式2]

根据式(1)和式(2),导出下面的关系式(3)。

[式3]

实际车宽wcar、摄像机的拍摄范围s、图像的x方向宽度wc、摄像机的水平视场角θ预先确定并存储在存储部21中。实际车宽wcar例如可以设为车辆的宽度的平均值等。或者,也可以根据普通乘用车、大型车、两轮车等车型来设定不同的实际车宽wcar。在该情况下,在车辆检测部12中检测车辆时,也要确定普通乘用车、大型车、两轮车等车型。距离测定部13也可以使用与车辆检测部12所确定的车型相应的实际车宽wcar。距离测定部13通过将车辆检测部12输入的图像中的车宽w代入式(3)进行运算,来计算车距d。距离测定部13将计算出的车距d输入到相对速度计算部14。

图8是示出图像中的车宽w与车距d的关系的一个示例的曲线图。在图8中,将实际车宽wcar设为2m,将图像的x方向宽度设为1280px,将摄像机的水平视场角设为50°。存储部21也可以存储如图8的曲线图所示的将图像中的车宽w与车距d的对应进行了列表的表格。距离测定部13也可以参照表格来确定车距d,而不是进行上述式(3)的运算。

相对速度计算部14基于距离测定部13输入的车距d,计算他车cb相对于本车ca的相对速度vr(步骤s04)。

图9是示出他车cb在延迟时间δtcd内按各相对速度移动的距离的曲线图。在图9中,用实线表示延迟时间δtcd为200msec的情况,用虚线表示延迟时间δtcd为100msec的情况。这是因为,若他车cb的相对速度vr不同,则即使是相同的延迟时间δtcd,他车cb前进的距离也不同。若他车cb前进的距离变化,则实时图像中的他车cb的图像的大小也会发生变化。在上述的图4(a)和图4(b)中,示出了相对速度vr为100km/h时的图像。例如,如果相对速度vr变为200km/h,则实时图像中的他车cb比图4(b)所示的更大。即,为了使延迟的图像映现的他车cb接近实时图像而将图像放大多少,会根据相对速度vr而变化。于是,相对速度计算部14进行相对速度vr的计算。

相对速度计算部14使用距离测定部13在时间上连续输入的两个车距d的差和图像的各帧的拍摄时间差δtf来计算相对速度vr。如上所述,左方摄像机3和右方摄像机4在车辆行驶中始终进行拍摄。在他车cb正在接近的状态下,若车辆检测部12针对某帧图像检测车辆,则即使在后一帧图像中也依次检测车辆,并测定各自的车宽w并且输入到距离测定部13。距离测定部13也依次进行车距d的测定,并输入到相对速度计算部14。

在时间上连续的帧的图像中,本车ca与他车cb的车距d变化。例如,如果是他车cb正在接近本车ca的状态,则针对某帧图像测定的车距dc比针对其前一个图像测定的车距dp更短。根据两个车距dp、dc的差和各帧图像的拍摄时间差δtf,通过下面的式(4)求出他车cb的相对速度vr。

[式4]

拍摄时间差δtf预先确定并存储在存储部21中。相对速度计算部14通过使用距离测定部13在时间上连续输入的两个车距dp、dc进行式(4)的运算,来计算相对速度vr。此外,在输入了某个车距时,如果没有在此之前输入的车距,则待下一个车距的输入之后,开始处理。

图像显示控制装置1进行确定延迟时间δtcd的处理(步骤s05)。在图5的流程图中,在步骤s01~s04的处理之后描述了延迟时间确定处理,但顺序不限于此。在步骤s02中车辆检测部12从图像中检测到他车cb时,延迟时间确定处理也可以与步骤s03~s04的处理并行地进行。或者,在车辆的行驶中,也可以始终进行延迟时间确定处理以更新延迟时间δtcd。

图10是示出图5的步骤s05的延迟时间确定处理的细节的流程图。

图11是示出液晶亮度的变化的曲线图。

图12是示出液晶温度与反应时间的关系的曲线图。

图13是示出反应时间表211的一个示例的图。

如图10所示,温度获取部15获取监视器5的热敏电阻53测定的液晶的温度(步骤s51)。温度获取部15将获取的液晶的温度输入到延迟时间确定部16。

如上所述,延迟时间δtcd是从摄像机拍摄图像到监视器5显示该图像为止花费的时间。详细地说,延迟时间δtcd是将传输时间ttr与反应时间trs相加而得到的。传输时间ttr是图像显示控制装置1从左方摄像机3和右方摄像机4获取图像并输出到监视器5为止花费的时间。该传输时间ttr大致一定,因此,预先确定并存储在存储部21中。

反应时间trs是指监视器5的液晶显示器50达到目标亮度为止的时间。目标亮度是指驾驶员能够判断图像显示的颜色的亮度。该反应时间trs根据液晶显示器50的温度而变动。如图12所示,反应时间trs具有液晶显示器50的温度越低则越长,温度越高则越短的趋势。存储部将图12所示的液晶显示器50的温度与反应时间trs的对应汇总后的结果作为反应时间表211进行存储。图13示出了反应时间表211的一个示例。图13的反应时间表211显示每10℃的液晶显示器50的温度和对应的反应时间trs。此外,图13只不过是一个示例,因此也可以使显示的温度的间隔小于10℃或者大于10℃。

延迟时间确定部16参照反应时间表211,确定与温度获取部15获取的液晶显示器50的温度对应的反应时间trs(步骤s52)。此外,在液晶显示器50的温度在反应时间表211的显示温度之间时,也可以升高或降低获得的温度以确定相应的反应时间trs。延迟时间确定部16将确定的反应时间trs与传输时间ttr相加,以计算延迟时间δtcd(步骤s53)。

返回图5,放大率确定部17基于他车cb的车距d、相对速度vr、延迟时间δtcd,确定使图像放大的放大率z(步骤s06)。

图14是说明监视器5显示的延迟的图像中的与他车cb的车距d和实时图像中的与他车cb的车距dtrue的关系的图。

如图14所示,在他车cb正在接近本车ca时,与延迟的图像中的他车cb和本车ca的车距d相比,实时图像中的车距dtrue更短。将车距d与车距dtrue的差设为δd。

放大率确定部17根据延迟时间确定部16确定的延迟时间δtcd和相对速度计算部14计算出的相对速度vf,使用下式(5)求出差δd。

[式5]

δd=vf*δtcd(5)

放大率确定部17根据由式(5)求出的差δd和距离测定部13测定的车距d,使用下式(6)求出实时图像中的车距dtrue。

[式6]

dtrue=d-δd(6)

其中,关于实时图像中的车距dtrue和车宽wtrue,能够使用上述的式(3)导出下面的关系式(7)。

[式7]

根据式(7),可以通过下式(8)求出实时图像中的车宽wtrue。

[式8]

放大率确定部17使用根据式(6)求出的车距dtrue,进行式(8)的运算,求出实时图像中的车宽wtrue。

放大率确定部17如下式(9)所示,求出实时图像中的车宽wtrue相对于延迟的图像的车宽w的比例,将求出的比例确定为图像的放大率z。

[式9]

放大率确定部17将计算出的放大率z输入到放大部18。如果在相同的时刻拍摄到的左方摄像机3和右方摄像机4双方的图像中,车辆检测部12检测到不同的他车,则放大率确定部17对各个图像计算放大率。但是,若将双方的图像以不同的放大率放大,则有可能给驾驶员带来不适感。因此,放大率确定部17将计算出的放大率中的较大一方确定为最终放大率z,并输入到放大部18。

返回图5,放大部18将图像获取部11获取的整个图像按放大率确定部17确定的放大率z放大(步骤s07)。

图15是示出图像的放大处理的图。放大后的图像中用虚线表示的是放大前的图像的大小。通过放大图像,图像中映现的他车cb也放大,接近图7(b)所示的实时图像中的他车cb的大小。

修剪部19根据监视器5的显示区域da对放大部18放大后的图像进行修剪(步骤s08)。

图16是示出图像的修剪处理的图。

修剪部19根据监视器5的显示区域da的大小对由放大部18放大后的图像进行修剪。如图16所示,修剪部19使修剪后的图像中的他车cb的位置与放大前的图像中的他车cb的位置相同。具体而言,修剪部19参照车辆检测部12检测到的他车cb的位置(x1,y2),确定修剪范围,使得他车cb在修剪后图像中处于相同的位置(x1,y2)。

输出部20将修剪部19修剪后的图像输出到监视器5并显示(步骤s09)。图像显示控制装置1通过在车辆行驶中继续进行上述的步骤s01~s09的处理,从而根据他车的接近状态放大图像。另外,虽然省略详细说明,但除了上述处理以外,图像显示控制装置1还可以进行用于使监视器5适当地显示图像的各种图像处理。例如,为了使图像与车门后视镜的镜像匹配,也可以进行使图像左右反转的处理。

如上所述,实施方式涉及的图像显示控制装置1,

(1)具有:车辆检测部12,其将设置在本车ca上的左方摄像机3和右方摄像机4(摄像机)拍摄的本车ca周围的图像显示在监视器5上,并从由左方摄像机3和右方摄像机4拍摄到的图像中检测他车cb(其他车辆);放大部18,其在车辆检测部12检测到他车cb时,根据到监视器5显示由左方摄像机3和右方摄像机4拍摄到的图像为止花费的延迟时间δtcd,对图像进行放大处理;以及输出部20,其将放大部18放大处理后的图像输出到监视器5。

由于到监视器5显示由摄像机拍摄到的图像为止花费的延迟时间δtcd,监视器5显示的图像相对于实时图像延迟。在他车cb正在接近本车ca的状态下,在延迟的图像中,与实时图像相比,他车cb被映现得更大。驾驶员在进行车道变更等操作时确认监视器5的图像,确认在变更目的地的车道中他车cb是否正在接近。若监视器5显示的图像延迟,则难以掌握他车cb接近了多少。实施方式的图像显示控制装置1通过基于延迟时间δtcd放大延迟的图像,即使是延迟的图像,也使显示的他车cb的大小接近实时图像的大小。由此,驾驶员容易掌握他车cb的接近状态,能够提高车辆驾驶时的安全性。

(2)图像显示控制装置1还具备:放大率确定部17,其基于延迟时间δtcd来确定在放大部18的放大处理中使用的放大率z。放大部18将整个图像按放大率确定部17确定的放大率z放大。图像显示控制装置1还具备:修剪部19,其根据监视器5的显示区域da对放大部18放大后的图像进行修剪。

通过放大图像,图像中映现的他车cb的大小接近实时图像,但整个图像的尺寸也会变大,因此,通过进行与监视器5的显示区域da相匹配的修剪,能够将放大图像适当地显示在监视器5上。

(3)修剪部19在进行由放大部18放大后的图像的修剪时,使他车cb的位置(xi,yi)与由放大部18放大之前的图像中的他车cb的位置(xi,yi)相同。通过在修剪之前和之后的图像中将他车cb的位置对准,能够将他车cb显示为接近实时图像。

(4)图像显示控制装置1还具备:距离测定部13,其在车辆检测部12从图像中检测到他车cb时,测定本车ca与他车cb的车距d;以及相对速度计算部14,其基于车距d计算他车cb相对于本车ca的相对速度vr,放大率确定部17基于车距d、相对速度vr以及延迟时间δtcd放大图像。

由于他车cb的相对速度vr,他车cb的接近状态因延迟时间δtcd而不同,因此将图像放大多少也不同。因此,在距离测定部13和相对速度计算部14中求出车距d和相对速度,并基于它们确定放大率z,从而能够使他车cb接近实时图像的大小。

(5)车辆检测部12从图像中检测到多个他车cb、cd时,距离测定部13测定与他车cb的车距d,其中,该他车cb是在与设置有摄像机的车辆的行进方向正交的方向上的位置(xi)最近的他车。驾驶员在进行车道变更等操作时,关注在与本车ca最近的车道上行驶的他车cb。因此,车辆检测部12将他车cb的车宽w的信息输入到距离测定部13,距离测定部13测定该他车cb与本车ca的车距d,其中,该他车cb是在与本车ca的行进方向正交的方向上的位置(xi)最近的他车。由此,能够根据驾驶员的视点放大图像。

(6)左方摄像机3和右方摄像机4分别设置在车辆的左方(一个侧方)和右方(另一侧方)。在车辆检测部12从由双方的摄像机在相同时刻拍摄到的图像中检测到他车时,放大率确定部17针对各个图像求出放大率,放大部18基于较大的一方的放大率z对图像进行放大处理。

在相同的时刻拍摄到的左方摄像机3和右方摄像机4双方的图像中,车辆检测部12检测到不同的他车时,放大率确定部17就会对左右图像计算不同的放大率。在该情况下,使用较大一方的放大率z,能够防止左右图像的放大率不同而给驾驶员带来不适感。另外,通过选择较大一方的放大率z,就会根据与本车ca更近的他车来放大图像,因此能够提高驾驶中的安全性。

(7)图像显示控制装置1还具备:延迟时间确定部16,其基于监视器5的液晶显示器50的温度,确定延迟时间δtcd。根据液晶显示器50的温度,达到目标亮度为止的反应时间trs不同。因此,通过基于液晶显示器50的温度来确定延迟时间δtcd,能够更适当地确定图像的放大率z。

[变形例1]

在上述实施方式中,作为图像的放大处理,放大部18放大了整个图像,但不限于此。例如,作为图像的放大处理,放大部18也可以仅放大图像中映现的他车cb。

图17是示出变形例1涉及的图像显示控制装置10的结构的框图。

如图17所示,变形例1的图像显示控制装置10具有图像校正部22,以代替实施方式的图像显示控制装置1(参照图1)的修剪部19。其他结构与实施方式的图像显示控制装置1相同,因此省略详细说明。

在变形例1中,作为图像的放大处理,放大部18将图像获取部11获取的图像中映现的他车cb按放大率确定部17确定的放大率z放大。放大部18还在图像中将放大后的他车cb替换为放大前的他车cb。图像校正部22对放大部18进行放大处理后输出的图像进行图像校正。

图18是示出变形例1涉及的图像显示控制装置10执行的处理的流程图。

图19是说明变形例1的放大处理的图。

图18的步骤s11~步骤s16是与图5的步骤s01~s06相同的处理,因此省略说明。

如图18所示,放大部18将图像获取部11获取的图像中映现的他车cb按放大率确定部17确定的放大率z放大(步骤s17)。

如图19所示,放大部18从图像中切出他车cb的部分。放大部18例如使用由车辆检测部12检测到的他车cb的车宽w和位置(x1,y2)的信息,切出包含他车cb的区域。在进行切出时,也可以包含他车cb周围的部分。放大部18以放大率z放大从图像中切出的部分。

放大部18用放大后的他车cb的图像替换放大前的他车cb的图像(步骤s18)。放大部18通过将放大后的他车cb的图像贴合到放大前的他车cb的图像上来进行替换。

如图19所示,放大部18参考作为车辆检测部12的检测结果的他车cb的位置、即放大前的图像的他车cb的中心位置(x1,y2)。放大部18将步骤s17中切出并放大的区域的图像中的他车cb的中心位置对准原来的他车cb的中心位置(x1,y2)贴合。

放大部18将进行了放大处理的图像输出到图像校正部22。

图像校正部22对放大部18输入的图像进行图像校正(步骤s19)。

图20是说明图像校正部22的图像校正的图。

在图20中,示出了放大部18输入的图像的他车cb的部分。

放大部18进行了放大处理的图像仅放大他车cb的部分,因此他车cb的部分的像素变少,因此与其他部分相比图像变粗糙。图像校正部22进行降低图像的他车cb的部分与其他部分之间的画质差异的校正处理。校正处理可以适当选择已知的方法,例如,使用超分辨技术,根据其他部分对他车cb的部分的像素进行插值。由此,如图20所示,他车cb的部分变得清楚,成为驾驶员容易看到的图像。

输出部20将图像校正部22校正后的图像输出到监视器5并显示(步骤s20)。

如上所述,在变形例1涉及的图像显示控制装置10中,

(8)放大部18将图像中映现的他车cb按放大率确定部17确定的放大率z放大,在图像中,将放大后的他车cb替换为放大前的他车cb。若从图像仅放大他车cb的部分,则例如,图像中映现的本车ca的图像就不会被放大。由此,驾驶员看到图像时,容易集中于掌握他车cb的接近状态,能够提高车辆的驾驶时的安全性。

(9)放大部18在图像中将放大后的其他车辆的中心位置对准放大前的他车cb的中心位置进行替换。由此,原始图像中没有缺失部分,不需要补足缺失部分的处理。

此外,变形例1中说明的图像校正部22的图像校正也可以在实施方式中说明的整个图像的放大处理和修剪之后进行。与未进行放大处理的图像相比,修剪后的图像的像素数变少,因此变得粗糙。通过根据放大处理前的图像对修剪后的整个图像的像素进行插值,能够降低进行放大处理前后的图像的画质差异,并成为驾驶员容易看到的图像。

[变形例2]

在上述的实施方式中,说明了图像显示控制装置1放大设置在左右前门上的摄像机的图像的示例,但不限于此。例如,也可以在车辆的后挡风玻璃上设置对车辆的后方进行拍摄的摄像机,图像显示控制装置1对该摄像机的图像进行上述处理。另外,监视器5也不限于设置在驾驶座的仪表板上的示例。例如,也可以将设置在车内的驾驶座与副驾驶座之间的上部的车内后视镜替换为监视器5。

[变形例3]

在上述实施方式中,延迟时间确定部16考虑到根据温度而变动的液晶显示器50的反应时间trs来计算出延迟时间δtcd,但不限于此。例如,也可以不在图像显示控制装置1上设置延迟时间确定部16,而将固定的延迟时间δtcd预先存储在存储部21中。例如,在使用基于温度的反应时间trs的变动较少的液晶显示器50时、车辆在温度的变动较少的环境下行驶时,也可以将反应时间trs设为固定值。传输时间ttr和反应时间trs双方都是固定值,因此延迟时间δtcd也是固定值。放大率确定部17也可以使用固定值的延迟时间δtcd进行运算,确定放大率z。

[变形例4]

在上述的实施方式中,由距离测定部13和相对速度计算部14求出他车cb与本车ca的车距d和相对速度vr,放大率确定部17使用它们计算出放大率z,但不限于此。也可以不在图像显示控制装置1上设置距离测定部13和相对速度计算部14,而是放大率确定部17在判定他车cb正在接近本车ca时,以特定的放大率放大图像。

他车的接近的判定,例如也可以由车辆检测部12进行。车辆检测部12例如将在某一图像中测定的车宽w1与在前一帧图像中测定的车宽w2进行比较。如果车宽w1比车宽w2大,则车辆检测部12判定他车cb正在接近本车ca。特定的放大率预先确定并存储在存储部21中。与实施方式相同,在延迟时间确定部16确定延迟时间δtcd时,可以预先确定与延迟时间δtcd相应的多个放大率。或者,在如变形例1那样使用固定值的延迟时间δtcd时,也可以仅确定一个放大率。

[变形例5]

在上述实施方式中,距离测定部13通过使用图像中的车宽w进行式(1)的运算,测定了本车ca与他车cb的车距d,但不限于此。例如,也可以使用激光雷达、毫米波雷达等传感器来测定与他车cb的车距。

(附图标记说明)

1、10:图像显示控制装置;3:左方摄像机(摄像机);4:右方摄像机(摄像机);5:监视器;11:图像获取部;12:车辆检测部;13:距离测定部;14:相对速度计算部;15:温度获取部;16:延迟时间确定部;17;放大率确定部;18:放大部;19:修剪部;20:输出部;21:存储部;22:图像校正部;

50:液晶显示器;51:led背光源基板;52:led;53:热敏电阻;

211:反应时间表;ca:本车(设置有摄像机的车辆);cb、cd:他车(其他车辆);da:显示区域;l:车道线

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1