车辆用摄像装置、车辆用摄像显示系统以及车辆的制作方法

文档序号:17977847发布日期:2019-06-21 23:54阅读:189来源:国知局
车辆用摄像装置、车辆用摄像显示系统以及车辆的制作方法

本发明涉及车辆用摄像装置、车辆用摄像显示系统以及车辆。



背景技术:

长久以来,已知有将表示车辆外部的样子的图像向车辆室内显示来辅助车辆的驾驶的摄像显示系统。例如在专利文献1中,公开了一种利用图像传感器对车辆的死角区域的图像进行拍摄而向车内的显示部显示的摄像显示系统。此外,在以下的说明中,将从图像传感器输出的信号称作摄像信号,将向显示部供给的信号称作图像信号。

现有技术文献

专利文献

专利文献1:特开2010-58742号公报



技术实现要素:

发明要解决的技术问题

然而,通常在摄像显示系统中,对图像传感器输出的摄像信号来实施图像处理,从而生成表示在显示部中显示的图像的图像信号。另外,由于图像传感器与显示部是不同的装置,因此通常与不同的基准信号同步地进行动作。因此,摄像信号的帧的开始与图像信号的帧的开始错开,则延迟时间增大。例如,若在图像信号的帧开始之后开始摄像信号的帧,则产生图像信号的1帧期间以上的延迟时间。

然而,在代替侧后视镜、后视镜而使用电子摄像显示系统的情况下,则需要考虑车辆以高速移动这点。即,若从由图像传感器对被摄体进行拍摄之后至由显示部显示图像的延迟时间变长,则即使在显示部显示为远离后续的车辆,但实际的车间距离也可能缩短。例如,在以时速120km进行行驶的情况下,经过30mS的时间相当于1m的移动量。缩短延迟时间对于安全的车辆行驶至关重要。

本发明是鉴于上述情况而作出的,其解决技术问题之一在于,通过缩短从摄像至显示的延迟时间,能够显示对车辆的安全驾驶有用的车辆外部的图像。

解决技术问题的技术方案

为了解决以上的技术问题,本发明的车辆用摄像装置的一方式在于,其特征在于,用于将车辆外部的图像显示于车辆所使用的显示部上,所述车辆用摄像装置具备:摄像部,安装于车辆,用于拍摄车辆外部而输出摄像信号;图像信号生成部,在基于所述摄像信号而生成图像信号的生成处理之后,向所述显示部输出该图像信号,其中,所述图像信号表示在所述显示部的各行应显示的图像;以及时机控制部,控制所述图像信号生成部向所述显示部输出所述图像信号的时机,当设从所述摄像信号的帧的开始至向所述显示部输出的所述图像信号的帧的开始为止的时间为相位差、所述摄像部的帧速率为第一帧速率、以及所述显示部能够显示的最高的帧速率为第二帧速率时,所述时机控制部能够执行第一时机控制和第二时机控制,在所述第一时机控制中,当所述相位差长于预定时间时,通过以使所述显示部的帧速率成为所述第二帧速率的方式来使所述图像信号生成部输出所述图像信号,从而逐渐缩小所述相位差,在所述第二时机控制中,在所述相位差为所述预定时间以下之后,以使所述显示部的帧速率成为所述第一帧速率的方式来使所述图像信号生成部输出所述图像信号。

根据该发明,能够将车辆的安全驾驶所需要的车辆外部的图像显示于车辆内部的显示部。因此,在使用车辆用摄像装置的一方式来代替后视镜(倒车镜)、侧后视镜(车门后视镜)或外部后视镜(在轿车的发动机罩前端设置的后视镜)、以及它们的辅助后视镜等的情况下,驾驶员能够看到车辆的安全驾驶所需要的车辆外部的样子。由此,能够实现外观性丰富的车辆设计,并且由于无需将侧后视镜、外部后视镜等安装于车身外表面,因此也减少行驶时的风压。

另外,特别是在卡车等大型车辆中,在以往的后视镜中无法充分确认车辆后方的样子。但是,根据本发明,车辆后方的样子被摄像部拍摄并作为图像而显示,因此能够充分地确认后方。另外,不需要像以往那样根据驾驶员的座高、体格而手动或者利用按钮等调节机构来调节后视镜、侧后视镜等的朝向,从而方便性提高。

另外,根据该发明,由于将表示车辆外部的左侧后方和右侧后方的样子的图像显示于车辆内部的显示部,因此与需要沿左右较大移动视野的以往的车门后视镜相比,能够减少视野的移动量。

而且,由于车辆外部的样子由图像显示,因此例如也能够校正较暗场所的图像的亮度并进行显示。

另外,根据本发明的方式,在从摄像信号的帧的开始至图像信号的帧的开始为止的时间即相位差比预定时间长的情况下,通过以使比摄像部高的帧速率即第二帧速率输出图像信号,以与显示部的帧期间和摄像部的帧期间的差值相当的期间为单位缩小相位差。然后,在相位差成为预定时间以下之后,显示部的帧速率成为摄像部的帧速率即第一帧速率,由此将图像信号输出为与摄像信号同步。其结果是,在相位差比预定时间大的情况下,直至相位差成为预定时间以下为止,能够阶段性缩短相位差,能够在相位差收敛于预定时间以下之后维持该相位差。因此,通过缩短从摄像至显示的延迟时间,能够显示对车辆的安全驾驶有用的车辆外部的图像。

此外,在将从摄像部输出摄像信号之后直至生成图像信号为止的时间设为图像处理时间时,预定时间优选为图像处理时间。

另外,在上述的车辆用摄像装置的一方式中,也可以是,所述摄像部拍摄车辆的后侧方区域的图像,所述生成处理包括第一处理与第二处理中的至少一方,在所述第一处理中,对基于所述摄像信号的图像,在左右方向上将靠近车身的区域与远离车身的区域相比相对地放大,在所述第二处理中,对基于所述摄像信号的图像,在上下方向上将中央的区域与较所述中央的区域靠上或靠下的区域相比相对地放大。车辆的后侧方区域是指例如对以往某一车辆的侧后视镜、外部后视镜以及它们的辅助后视镜等所映出的区域。根据该方式,能够提高基于摄像信号的图像中的对车辆的驾驶时的安全确认更有用的区域的可视性。另外,与例如在侧后视镜的镜面设置平面部与凸面部而映在凸面部的镜像被压缩的构成相比较,不需要物理性加工处理,并且能够至少提高靠近车身的区域或者中央的区域的可视性。

在这种情况下,优选的是,在所述第一处理中,当对于靠近车身的区域,设左右方向的长度为X1、放大倍率为H1,对于远离车身的区域,设左右方向的长度为X2、缩小倍率为H2时,以满足X1+X2=X1·H1+X2·H2的方式来确定H1和H2,在所述第二处理中,当对于中央的区域,设上下方向的长度为Y1、放大倍率为V1,对于靠上的区域,设上下方向的长度为Y2、缩小倍率为V2,对于靠下的区域,设上下方向的长度为Y3、缩小倍率为V3时,以满足Y1+Y2+Y3=Y1·V1+Y2·V2+Y3·V3的方式来确定V1、V2和V3。根据该方式,无需变更基于摄像信号的图像整体的尺寸就能够使区域间的大小的比率不同。

另外,优选的是,在上述的车辆用摄像装置的一方式的基础上,具备能够输入利用者的指示的操作部,在所述第一处理中,靠近所述车身的区域的左右方向的放大倍率与远离所述车身的区域的左右方向的缩小倍率中的任一方、和所述中央的区域的上下方向的放大倍率、所述靠上的区域的上下方向的缩小倍率以及所述靠下的区域的上下方向的缩小倍率中的至少一方通过所述操作部输入。若靠近车身的区域的左右方向的放大倍率以及远离车身的区域的左右方向的缩小倍率中的任一方被确认,则另一方能够通过计算来决定。同样,在靠上的区域的上下方向的缩小倍率与靠下的区域的上下方向的缩小倍率相等的情况下,若中央的区域的上下方向的放大倍率、靠上的区域的上下方向的缩小倍率以及靠下的区域的上下方向的缩小倍率中的至少一者被确定,则剩余两者能够通过计算来决定。

根据该方式,利用者能够根据喜好来变更各区域的放大倍率以及缩小倍率,从而方便性提高。

另外,在上述的车辆用摄像装置的一方式的基础上,所述生成处理包括裁剪基于所述摄像信号的图像的裁剪处理。根据该方式,能够生成基于摄像信号的图像中的、除去识别为驾驶员不需要的部分后的区域的图像。

在这种情况下,优选的是,所述摄像部固定安装于车辆,所述裁剪处理按照利用者对用于输入指示的操作部的操作来裁剪基于所述摄像信号的图像。根据该方式,能够切出基于摄像信号的图像中的驾驶员指定的区域,驾驶员的方便性提高。即,代替如以往那样驾驶员机械式改变侧后视镜的上下左右的朝向而选择想看的区域,利用切出并显示基于摄像图像的图像中的想看的区域这样的电子方法能够任意地变更区域。另外,即便不设置用于使摄像部的摄像机机械式移动的可动部,也能够任意变更以广角拍摄的广阔区域的图像中的想看的区域。

另外,在上述的车辆用摄像装置的一方式的基础上,所述生成处理包括:裁剪处理,裁剪基于所述摄像信号的图像;以及缩放处理,放大或者缩小基于所述摄像信号的图像的第一区域与第二区域,并使所述第一区域的倍率与所述第二区域的倍率不同,所述车辆用摄像装置在所述裁剪处理之后,执行所述缩放处理。根据该方式,由于在裁剪处理之后执行缩放处理,因此能够将由裁剪处理切掉的区域的图像从缩放处理的对象中预先除去。

另外,在上述的车辆用摄像装置的一方式的基础上,所述生成处理包括生成使基于所述摄像信号的图像左右翻转而成的镜像的处理。根据该方式,能够进行基于与以往的侧后视镜、外部后视镜等所映出的镜像左右相同的方向的图像的安全确认。

另外,本发明的车辆用摄像装置的一方式在于,所述摄像部具备透镜与输出所述摄像信号的图像传感器,所述生成处理包括校正所述透镜的畸变像差的处理。摄像信号所示的图像有时具有摄像光学系统所具备的透镜的光学特性所引起的畸变像差(例如,与本来应显示的图像相比朝向外侧膨胀或者朝向内侧收缩的畸变像差)。根据本发明,能够校正以透镜的光学特性为起因的畸变像差,因此向车辆的驾驶员提供变形被校正的图像,车辆外部的区域的可视性提高。

另外,本发明的车辆用摄像显示系统的一方式的特征在于,具备上述任一方式的车辆用摄像装置、以及所述显示部。根据本发明,能够获得与上述车辆用摄像装置相同的效果。

在上述的车辆用摄像显示系统的基础上,所述显示部具备:投影仪;场透镜,调节所述投影仪的照射光的方向;以及合成仪,反射来自所述场透镜的光而从开口部射出,所述投影仪和所述场透镜设于所述开口部的上侧的位置。根据该方式,由于将投影仪与场透镜设于开口部的上侧,因此具有即使外部的灰尘、尘埃从开口部侵入也难以附着这样的优点。

另外,在上述的车辆用摄像显示系统的一方式的基础上,所述车辆用摄像显示系统具备三组所述车辆用摄像装置与所述显示部的组合,所述车辆用摄像显示系统具备:第一的所述车辆用摄像装置,输出表示车辆的左侧后方的图像的所述图像信号;第二的所述车辆用摄像装置,输出表示车辆的后方的图像的所述图像信号;第三的所述车辆用摄像装置,输出表示车辆的右侧后方的图像的所述图像信号;第一的所述显示部,显示从所述第一的所述车辆用摄像装置输出的所述图像信号;第二的所述显示部,显示从所述第二的所述车辆用摄像装置输出的所述图像信号;以及第三的所述显示部,显示从所述第三的所述车辆用摄像装置输出的所述图像信号,所述第一的所述显示部配置于所述第二的所述显示部的左侧,所述第三的所述显示部配置于所述第二的所述显示部的右侧。根据该发明,对于习惯于以往的右侧后视镜、后视镜、左侧后视镜的驾驶员而言,能够看到毫无违和感的图像。

另外,本发明的车辆的一方式的特征在于,具备上述车辆用摄像显示系统。根据该发明,能够获得与上述车辆用摄像显示系统相同的效果。

附图说明

图1是表示本发明的第一实施方式的车辆用摄像显示系统1的概略构成的框图。

图2是表示对于各左侧后方区域摄像部10-1、中央后方区域摄像部10-2以及右侧后方区域摄像部10-3在车辆A中的配置例的图。

图3A是表示车辆A的车内的显示区域的配置例的图。

图3B是表示车辆A的车内的显示区域的配置例的图。

图3C是表示车辆A的车内的显示区域的配置例的图。

图4是表示左侧显示部40-1的构成例的图。

图5是表示中央显示部40-2的构成例的图。

图6是表示车辆用摄像显示系统1的详细构成的框图。

图7是用于说明摄像信号DS与显示区域AD的关系的说明图。

图8是用于说明车辆用摄像显示系统1的动作的时序图。

图9是表示图像处理部21的构成的框图。

图10是用于说明畸变校正处理的说明图。

图11A是表示裁剪区域的一个例子的图。

图11B是表示裁剪处理后的图像的一个例子的图。

图11C是表示由左右翻转处理生成的图像的一个例子的图。

图12A是对基于摄像信号DSL的图像实施的放大缩小处理的概念图。

图12B是用于说明水平方向缩小放大处理的概念图。

图12C是用于说明垂直方向缩小放大处理的概念图。

图12D是对基于摄像信号DSL的图像实施的放大缩小处理的概念图。

图12E是用于说明水平方向缩小放大处理的概念图。

图12F是用于说明垂直方向缩小放大处理的概念图。

图12G是对基于摄像信号DSL的图像实施的放大缩小处理的概念图。

图12H是用于说明水平方向缩小放大处理的概念图。

图12I是用于说明垂直方向缩小放大处理的概念图。

图12J是用于说明缩放倍率变更处理的概念图。

图13是图像生成处理后的图像信号D所示的图像的一个例子。

图14A是用于说明车辆用摄像显示系统1的动作的时序图。

图14B是用于说明车辆用摄像显示系统1的动作的时序图。

图14C是用于说明车辆用摄像显示系统1的动作的时序图。

图14D是用于说明车辆用摄像显示系统1的动作的时序图。

图15是表示显示区域AD的说明、以及用于在显示部显示显示区域AD的时序图的说明图。

图16是表示左侧显示部40-1的构成的框图。

图17是表示左侧挡风A柱部FP中的图像信号DL所示的图像的显示例的图。

图18A是对基于摄像信号DSR的图像实施的放大缩小处理的概念图。

图18B是对基于摄像信号DSR的图像实施的放大缩小处理的概念图。

图18C是对基于摄像信号DSR的图像实施的放大缩小处理的概念图。

图18D是表示图像信号DRR所示的图像的一个例子的图。

图19是对基于摄像信号DSC的图像实施的放大缩小处理的概念图。

图20是用于说明车辆用摄像显示系统1的动作的时序图。

图21A是用于说明车辆用摄像显示系统1的动作的时序图。

图21B是用于说明车辆用摄像显示系统1的动作的时序图。

图22是用于说明车辆用摄像显示系统1的动作的时序图。

图23是用于说明车辆用摄像显示系统1的动作的时序图。

图24是用于说明车辆用摄像显示系统1的动作的时序图。

图25是用于说明车辆用摄像显示系统1的动作的时序图。

图26是用于说明本发明的第二实施方式的车辆用摄像显示系统的动作的时序图。

图27是用于说明第二实施方式的车辆用摄像显示系统的动作的时序图。

图28是用于说明第二实施方式的车辆用摄像显示系统的动作的时序图。

具体实施方式

参照附图对本发明的具体实施方式进行说明。但是,在各图中,各部分的尺寸以及比例尺与实际的情况适当地不同。另外,以下所述的实施方式是本发明的理想的具体例,附有技术上优选的各种限定,但关于本发明的范围,只要在以下的说明中没有特别限定本发明的主旨的记载,则不限于这些方式。

<A.第一实施方式>

以下,说明本发明的第一实施方式的车辆用摄像显示系统1。

<1.摄像显示系统的整体构成>

图1是表示车辆用摄像显示系统1的概略构成的框图。车辆用摄像显示系统1是在驾驶员驾驶汽车、电车等车辆时显示用于辅助车辆的运行的图像的系统。

如图1所示,车辆用摄像显示系统1具备:左侧后方区域摄像部10-1、中央后方区域摄像部10-2与右侧后方区域摄像部10-3、对从上述各摄像部输出的各摄像信号DSL、DSC、DSR实施图像处理而分别生成图像信号DL、DC、DR的图像处理电路100-1、100-2、100-3、以及显示图像信号DL、DC、DR所示的图像的左侧显示部40-1、中央显示部40-2与右侧显示部40-3。

另外,车辆用摄像显示系统1具备:用于输入其设定的变更、与摄像信号DS的图像处理相关的指示等的操作部60、以及控制车辆用摄像显示系统1整体的动作的控制部50。操作部60是与显示装置构成为一体的触摸面板。例如对于裁剪基于摄像信号DS的图像的处理,驾驶员能够从操作部60输入指定裁剪的位置的指示。另外,在将基于摄像信号DS的图像分割为多个区域之后,对于缩小或者放大各区域的处理,则能够输入缩小倍率以及放大倍率。

车辆用摄像显示系统1中的左侧后方区域摄像部10-1、中央后方区域摄像部10-2与右侧后方区域摄像部10-3、图像处理电路100-1、100-2、100-3、操作部60以及控制部50是“车辆用摄像装置”的一个例子。

此外,在以下的说明中,有时将左侧后方区域摄像部10-1、中央后方区域摄像部10-2与右侧后方区域摄像部10-3统称为“摄像部10”。同样,有时将左侧显示部40-1、中央显示部40-2与右侧显示部40-3统称为“显示部40”,将图像处理电路100-1、100-2、100-3统称为“图像处理电路100”。

左侧后方区域摄像部10-1能够对处于车辆的左侧后方区域的被摄体进行拍摄,中央后方区域摄像部10-2能够对处于车辆的后方区域的被摄体进行拍摄,右侧后方区域摄像部10-3能够对处于车辆的右侧后方区域的被摄体进行拍摄。

关于各左侧后方区域摄像部10-1、中央后方区域摄像部10-2以及右侧后方区域摄像部10-3,图2示出车辆中的配置例。如图2所示,左侧后方区域摄像部10-1配置于车辆A的左侧挡风A柱部的外侧表面附近(在图示的例子中为以往的左侧后视镜所设置的位置),对车辆A的左侧后方区域LR进行拍摄。右侧后方区域摄像部10-3配置于车辆A的右侧挡风A柱部的外侧表面附近(在图示的例子中为以往的右侧后视镜所设置的位置),对车辆A的右侧后方区域RR进行拍摄。中央后方区域摄像部10-2配置于车辆A的后方端的车辆宽度方向上的中点位置附近(在图示的例子中为后窗的下侧),对车辆的后方区域BR进行拍摄。此外,图示的配置例为一个例子,在不损害本发明的主旨的范围内能够适当变更。例如,也可以采用将左侧后方区域摄像部10-1和右侧后方区域摄像部10-3配置在车辆A的前方的例如前照灯侧面的构成。该情况下,与图示的例子相比能够确认更大范围的后方,因此进一步提高安全性。

左侧显示部40-1代替以往的左侧后视镜而显示左侧后方区域LR的图像,中央显示部40-2代替以往的后视镜而显示后方区域BR的图像。另外,右侧显示部40-3代替以往的右侧后视镜而显示右侧后方区域RR的图像。即,各左侧显示部40-1、中央显示部40-2以及右侧显示部40-3分别显示从各左侧后方区域摄像部10-1、中央后方区域摄像部10-2以及右侧后方区域摄像部10-3输出的与各摄像信号DSL相应的图像、与摄像信号DSC相应的图像、与摄像信号DSR相应的图像(准确来说是经过了基于图像处理电路100的图像处理的与图像信号DL相应的图像、与图像信号DC相应的图像、与图像信号DR相应的图像)。

图3A、图3B以及图3C表示由车辆A的车内的各左侧显示部40-1、中央显示部40-2以及右侧显示部40-3显示的图像的显示区域的配置例。在任一例子中,各左侧显示部40-1、中央显示部40-2以及右侧显示部40-3配置在驾驶座的前方,使得由各显示部显示的图像容易被驾驶员看到(视觉辨认)。另外,左侧显示部40-1配置为对于左侧后方区域LR显示的图像被驾驶员看到的区域比对于后方区域BR显示的图像被看到的区域靠左侧。另外,右侧显示部40-3配置为对于右侧后方区域RR显示的图像比对于后方区域BR显示的图像被看到的区域靠右侧。即,中央显示部40-2配置为对于后方区域BR显示的图像被驾驶员看到的区域处于对于左侧后方区域LR显示的图像被看到的区域与对于右侧后方区域RR显示的图像被看到的区域之间。这样,通过配置左侧显示部40-1、中央显示部40-2以及右侧显示部40-3,对于习惯以往的右侧后视镜、后视镜、左侧后视镜的驾驶员而言,能够看到毫无违和感的图像。

换句话说,期望将左右后方以及中央后方的图像配置为驾驶员能够直观地了解。因此,优选如下构成:将左后方的图像(对于左侧后方区域LR显示的图像)对驾驶员正面而相对地配置于左侧,将右后方的图像(对于右侧后方区域RR的图像显示的图像)对驾驶员正面而相对地配置于右侧,将中央后方的图像(对于后方区域BR显示的图像)配置于左后方的图像与右后方的图像的中间(中点附近)、或者中点的上侧或者下侧。

在图3A、图3B以及图3C中,仪表板的中央(驾驶座正面与副驾驶座正面的中间区域)的液晶面板是本实施方式的操作部60。

在图3A所示的例子中,在左挡风A柱部的内部配置左侧显示部40-1,在右挡风A柱部的内部配置右侧显示部40-3,将与摄像信号DSL相应的图像和与摄像信号DSR相应的图像以使可在左右的各挡风A柱部附近的区域A-1与A-3中分别看到的方式而被显示。另外,中央显示部40-2配置在驾驶座前方的挡风玻璃下的仪表板内,将与摄像信号DSC相应的图像以使可在挡风玻璃下部的带状的区域A-2中看到的方式而被显示。

在本实施方式中,各显示部40由所谓的平视显示装置(HUD)构成。图4表示配置于左侧挡风A柱部FP的左侧显示部40-1的构成例。图4是从驾驶员的视线方向观察左侧显示部40-1的纵剖视图。如图4所示,左侧显示部40-1具备微型投影仪401L、透射型屏幕402L、场透镜403L以及合成仪(凹面半反射镜)404L。微型投影仪401L将与被输入的图像信号D相应的图像向透射型屏幕402L投影而描绘实像。透过了透射型屏幕402L的光由场透镜403L调节图像的方向,在合成仪404L反射。此时,当由合成仪404L反射的光经由左侧挡风A柱部的开口部OpL向驾驶员眼中入射时,从驾驶员看来,在左侧挡风A柱部的区域A-1的图像被放大而显示(即,在左侧挡风A柱部的前方形成放大图像的虚像)。右侧显示部40-3具有与左侧显示部40-1相同的构成。即,右侧显示部40-3具备微型投影仪401C、透射型屏幕402C、场透镜403C以及合成仪404C(均未图示)。然而,采用根据驾驶员的视线等适当地调节合成仪404C等的朝向的构成。

此外,本发明的显示部40不限于本实施方式那样的方案,可以是显示直视型的面板的虚像的HUD,可以是投影仪方式的HUD,也可以是LCD(liquid crystal display:液晶显示器)、有机EL面板那样的直视型的显示面板。

在此,如图示那样,微型投影仪401L的投射方向为下方,因此描绘实像的透射型屏幕402L的投影面(与场透镜403L相对的相对面)朝向下方。即,微型投影仪401L、透射型屏幕402L与场透镜403L设为开口部OpL的上侧。因此,存在如下优点:与将透射型屏幕402L的投影面配置为朝向上方的构成相比,不易使灰尘、尘埃附着于透射型屏幕402L的投影面以及场透镜403L。另外,能够容易清洁合成仪404L的表面(例如能够容易除去附着物等)。

此外,代替利用合成仪404L而使驾驶员看到虚像的构成,也能够采用使驾驶员在开口部OpL看到向半透明的屏幕投影而成的实像的构成。优选的是,能够采用对开口部OpL的屏幕从背面(即开口部OpL的内部)由投影仪投影实像的构成。

图5表示在仪表板内配置的中央显示部40-2的构成例。中央显示部40-2也与左侧显示部40-1同样地具备微型投影仪401C、透射型屏幕402C、场透镜403C以及合成仪404C。其中,如图示那样,微型投影仪401C从斜下方向经由透射型屏幕402C以及场透镜403C向合成仪404C反射投影光。被合成仪404C反射的光从仪表板的开口部OpC映入驾驶员的眼睛,从驾驶员看来,在区域A-2中放大显示图像。此外,也可以利用透明的板堵塞开口部OpC,不使灰尘、尘埃进入内部。另外,与左侧显示部40-1的情况相同,也能够采用在开口部OpC设置半透明的屏幕而向屏幕投影来自投影仪的实像的构成。

在图3B所示的例子中显示为如图示那样,在车辆A的仪表面板的上侧的区域A-5中看到表示车辆A的后方区域BR的图像(即与摄像信号DSC相应的图像),在方向盘左侧的区域A-4中看到表示车辆A的左侧后方区域LR的图像(即与摄像信号DSL相应的图像),在区域A-6中看到表示右侧后方区域RR的图像(即与摄像信号DSR相应的图像)。

在图3C所示的例子中显示为利用全部挡风玻璃下部的带状的区域A-7来看到表示左侧后方区域LR的图像、表示后方区域BR的图像以及表示右侧后方区域RR的图像。在这种情况下,在区域A-7中构成为可看到表示车辆A的左侧后方区域LR的图像(即与摄像信号DSL相应的图像)的区域A-7L与可看到表示右侧后方区域RR的图像(即与摄像信号DSR相应的图像)的区域A-7R夹着可看到表示车辆A的后方区域BR的图像(即与摄像信号DSC相应的图像)的区域A-7C。

如在图3A~图3C中例示的那样,在本实施方式的车辆用摄像显示系统1中,在对车辆A的左侧后方区域LR、车辆A的后方区域BR以及车辆A的右侧后方区域RR进行拍摄并显示于驾驶员可看到的部位的情况下配置为表示左侧后方区域LR的图像处于表示后方区域BR的图像的左侧,表示右侧后方区域RR的图像处于表示后方区域BR的图像的右侧,并且,表示后方区域BR的图像处于表示左侧后方区域LR的图像的右侧且处于表示右侧后方区域RR的图像的左侧。由此,以使驾驶员能够直观地识别车辆A的左后方、车辆A的中央后方以及车辆A的右后方的方式配置各图像。

此外,图3A~图3C中的例示是一个例子,例如,也可以将表示左侧后方区域LR的图像配置为驾驶员的驾驶位置的左侧,将表示右侧后方区域RR的图像配置在驾驶员的驾驶位置的右侧。在这种情况下,表示后方区域BR的图像例如配置在表示左侧后方区域LR的图像与表示右侧后方区域RR的图像之间即可。

图6是表示车辆用摄像显示系统1的详细功能构成的框图。

如图6所示,左侧后方区域摄像部10-1具备使被摄体的图像成像的摄像光学系统11、线性顺序地扫描来自呈矩阵状排列的受光元件(摄像元件)的信号而输出与被摄体的图像相应的摄像信号DS的图像传感器12、以及对图像传感器12输出各种定时信号的定时发生器13。中央后方区域摄像部10-2以及右侧后方区域摄像部10-3也具有与左侧后方区域摄像部10-1相同的构成。

此外,在以下的说明中,为了方便说明,将从左侧后方区域摄像部10-1输出的摄像信号DSL设为摄像信号DS。另外,若不需要特别区分各摄像信号DSL、DSC、DSR,则仅记载为摄像信号DS。同样,将从图像处理电路100-1输出的图像信号DL设为图像信号D,若不需要特别区分各图像信号DL、DC、DR,则仅记载为图像信号D。

图像传感器12如图7所示输出与P行×Q列的像素对应的摄像信号DS。图像处理电路100对摄像信号DS实施图像处理而输出与M行×N列(M是满足2≤M≤P的自然数。N是满足2≤N≤Q的自然数)的像素对应的图像信号D。

定时发生器13生成图8所示的摄像垂直同步信号SVsync、摄像水平同步信号SHsync以及摄像点时钟信号SCLK,并且对图像传感器12输出上述生成的信号。摄像垂直同步信号SVsync是预定用于从图像传感器12的受光元件读取检测信号的摄像垂直扫描期间Fs(即摄像部10的帧期间)的信号。此外,有时将摄像部10的帧速率、即“1/Fs”称为“第一帧速率”。摄像水平同步信号SHsync是预定用于从一行的受光元件读取检测信号的水平扫描期间Hs的信号。摄像点时钟信号SCLK是预定用于从一像素的受光元件读取检测信号的时机的信号。

摄像垂直扫描期间Fs的时间长度恒定(固定长度),水平扫描期间Hs的时间长度也恒定(固定长度)。另外,摄像垂直扫描期间Fs由多个水平扫描期间Hs构成。

此外,定时发生器13也可以对图像处理电路100输出摄像垂直同步信号SVsync、摄像水平同步信号SHsync以及摄像点时钟信号SCLK。

返回图6进行说明。

左侧显示部40-1是用于显示表示左侧后方区域摄像部10-1拍摄的左侧后方区域LR中的被摄体的图像而使车辆A的驾驶员把握车辆外部的样子的装置,其构造如参照图4已经说明的那样。其中,微型投影仪401L具备光源(未图示)、液晶面板42、投射光学系统(未图示)、以及控制液晶面板42的动作的控制器41。光源例如具备LED(Light Emitting Diode:发光二级管)、激光二极管,并朝向液晶面板42照射白色光。投射光学系统是投射透过了液晶面板42的光的例如凸型透镜等。此外,在图6中,作为左侧显示部40-1的主要功能而显示控制器41和液晶面板42。

中央显示部40-2以及右侧显示部40-3也具有与左侧显示部40-1相同的构成。

如图7所示,在液晶面板42中,在显示区域AD上,多个像素以沿X轴方向为N列、沿Y轴方向为M行(M line)的方式呈矩阵状排列。换言之,显示区域AD构成为由沿X轴方向排列的N个像素构成的行沿Y轴方向排列M行。在该显示区域AD中显示与图像处理电路100生成的图像信号D相应的图像。

<2.图像处理电路>

如图6所示,图像处理电路100-1具备:基于摄像信号DS生成图像信号D并将生成的图像信号D向左侧显示部40-1输出的图像信号生成部20、以及控制图像信号生成部20输出图像信号D的时机的时机控制部30。图像信号生成部20具备:对摄像信号DS实施图像处理而生成图像信号D的图像处理部21、临时存储图像处理部21生成的图像信号D的VRAM/行缓冲器22(以下称为“行缓冲器22”)、以及从行缓冲器22获取图像信号D而将获取到的图像信号D向显示部40输出的图像信号输出部23。

图像信号D是规定在液晶面板42的显示区域AD中设置的M行×N列的像素各自应显示的图像(灰度)的信号。以下,将表示在显示区域AD应显示的图像的图像信号D中的表示在显示区域AD的第m行的行中应显示的图像的一行的图像信号D记录为图像信号D[m](m是满足1≤m≤M的自然数)。

图像处理部21以在一行的像素中应显示的图像各自生成表示在液晶面板42的显示区域AD中应显示的图像的图像信号D。更具体来说,图像处理部21以图像信号D[1]、图像信号D[2]、…、图像信号D[M]的顺序来生成图像信号D。

图9是表示图像处理部21的构成的框图。

如该图所示,图像处理部21具备:临时存储从图像传感器12输出的摄像信号DS的行缓冲器211、对存储于行缓冲器211的摄像信号DS进行插值处理的像素插值处理部212、对插值后的摄像信号DS进行色彩再现处理的色彩再现处理部213、对色彩再现后的摄像信号DS进行滤波处理的滤波处理部214、对滤波处理后的摄像信号DS实施伽马校正的伽马校正部215、以及临时存储伽马校正后的摄像信号DS的行缓冲器216。而且,图像处理部21具备:将存储于行缓冲器216的摄像信号DS所示的图像转换为显示区域AD所具备的像素数量的图像信号DRS的畸变像差校正部217、对图像信号DRS实施裁剪畸变校正处理后的图像信号DRS中的与驾驶员指定的位置相应的区域的裁剪处理的裁剪处理部218、以及将裁剪处理后的图像放大为与显示区域AD所具备的像素数量相应的图像的尺寸调节处理部219。

如上述那样,摄像信号DS所示的图像的像素数量与图像信号D所示的图像的像素数量(显示区域AD的像素数量)不同。在畸变像差校正部217中,也能够执行将摄像信号DS转换为与显示区域AD的像素数对应的图像信号DRS的畸变校正处理、图像的纵横方向的放大缩小等(需要说明的是,将从畸变像差校正部217输出的图像尺寸最优化为考虑了裁剪处理部218、尺寸调节处理部219的图像处理的尺寸。)。

然而,摄像信号DS所示的图像有时具有以摄像光学系统11具备的透镜的光学特性为起因的畸变像差。具体来说,表示拍摄被摄体时的摄像结果的图像有时具有与在显示区域AD中本来应显示的图像相比朝向外侧膨胀的桶形像差、或者与本来应显示的图像相比朝向内侧收缩的枕形像差。因此,在畸变像差校正部217中,执行校正桶形像差、枕形像差等畸变像差的畸变校正处理。

图10是用于说明畸变像差校正部217执行的畸变校正处理的说明图。

以下,参照图10来说明畸变校正处理。此外,在图10中,假定了摄像信号DS所示的图像的行数为16行(P=16)、图像信号DRS所示的图像的行数为12行(M=12)的情况。

在图10中,由附图标记Pc1表示在产生有桶形像差的情况下摄像信号DS所示的图像,由附图标记Pc2表示在基于表示图像Pc1的摄像信号DS拍摄被摄体时图像信号DRS所示的图像,由附图标记Pc3表示在产生有枕形像差的情况下摄像信号DS所示的图像,由附图标记Pc4表示在基于表示图像Pc3的摄像信号DS拍摄被摄体时图像信号DRS所示的图像。

图像Pc1是与在显示区域AD中应显示的图像为四边形SQ无关地、在摄像信号DS表示因桶形像差而使四边形SQ膨胀而成的闭曲线CV1的情况下的该摄像信号DS示出的图像。另外,图像Pc3是与在显示区域AD中应显示的图像为四边形SQ无关地、在摄像信号DS表示因枕形像差而使四边形SQ收缩而成的闭曲线CV2的情况下的该摄像信号DS示出的图像。

畸变像差校正部217在产生了桶形像差的情况下在畸变校正处理中将表示闭曲线CV1的图像Pc1向表示四边形SQ的图像Pc2校正。同样,畸变像差校正部217在产生了桶形像差的情况下在畸变校正处理中将表示闭曲线CV2的图像Pc3向表示四边形SQ的图像Pc4校正。

这些情况下,畸变像差校正部217将校正前的图像中的像素与校正后的图像中的像素建立对应关系,将与校正后的像素对应的校正前的像素设为中心像素,基于包括中心像素与其周边的像素、即周边像素的参照区域内的像素各自所显示的灰度来决定校正后的像素应显示的灰度。

例如,畸变像差校正部217当决定构成图像Pc2或者图像Pc4的校正后的像素PxS1的灰度时将构成图像Pc1或者图像Pc3的校正前的像素PxC1确定为中心像素。然后,畸变像差校正部217基于包括作为中心像素的像素PxC1的参照区域Area1内的各像素应显示的灰度,确定像素PxS1应显示的灰度。

同样,畸变像差校正部217在决定构成图像Pc2或者图像Pc4的校正后的像素PxS2的灰度的情况下将构成图像Pc1或者图像Pc3的校正前的像素PxC2确定为中心像素。然后,畸变像差校正部217基于包括作为中心像素的像素PxC2的参照区域Area2内的各像素应显示的灰度,确定像素PxS2应显示的灰度。

此外,在图像Pc2以及图像Pc4中带有深色阴影的像素表示图像信号DRS中的位于第1行、第7行以及第12行的校正后的像素,在图像Pc1以及图像Pc3中带有深色阴影的像素表示与校正后的像素分别对应的校正前的像素(中心像素),在图像Pc1以及图像Pc3中带有较淡阴影的像素表示与中心像素分别对应的周边像素。

由图10所示的例子明确可知,产生有桶形像差的情况下的图像的膨胀的程度因画面的行的位置而变动,随着垂直方向(Y轴方向)的位置接近端部,图像的膨胀的程度增大。另外,产生枕形像差的情况下的图像的收缩的程度因画面的行的位置而变动,随着垂直方向(Y轴方向)的位置接近端部,图像的收缩的程度增大。

因此,畸变像差校正部217生成图像信号D[m]的情况所需要的摄像信号DS的行数因与图像信号D[m]对应的行的位置(m的值)而进行变动。因此,畸变像差校正部217在畸变校正处理中需要的时间长度根据行的位置来变动。

在此,将与第p行的行对应的摄像信号DS表示为摄像信号DS[p](p是满足1≤p≤P的自然数)。

此时,例如,在图10所示的例子中,畸变像差校正部217为了生成与第一行的行对应的图像信号D[1],需要与第一行~第五行的行对应的摄像信号DS[1]~DS[5]。与之相对,畸变像差校正部217为了生成与第7行的行对应的图像信号D[7],需要与第8行~第10行的行对应的摄像信号DS[8]~DS[10]。换句话说,畸变像差校正部217为了生成图像信号D[1]需要的时间长度长于为了生成图像信号D[7]需要的时间长度。

以下,将为了生成图像信号D[m]所需要的一行或者多行的摄像信号DS[p]统称为摄像信号DGS[m]。

例如,在图10所示的例子中,为了生成图像信号D[1]所需要的摄像信号DGS[1]是摄像信号DS[1]~DS[5]的5行量的摄像信号DS[p],为了生成图像信号D[7]所需要的摄像信号DGS[7]是摄像信号DS[8]~DS[10]的3行量的摄像信号DS[p],为了生成图像信号D[12]所需要的摄像信号DGS[12]是摄像信号DS[12]~DS[16]的5行量的摄像信号DS[p]。

然而,在以往的侧后视镜中,驾驶员通过设于驾驶座一侧的操作杆、按钮等将镜的上下左右的朝向设定为任意的方向而能够变更在镜中显示的区域。为了能够进行同样的区域变更,在本实施方式中构成为对于裁剪实施了畸变校正处理的图像信号DRS所示的图像的一部分区域的处理,车辆A的驾驶员从触摸面板(操作部60)输入指定裁剪的位置的指示。

图11A表示由驾驶员指定的裁剪区域的一个例子。如图11A所示,裁剪区域Tarea是作为图像信号DRS所示的图像的一部分的矩形区域。驾驶员例如在车辆的非驾驶时在裁剪区域设定模式下一边看到在触摸面板中显示的图像信号DRS所示的图像,一边指定裁剪区域Tarea。该指定通过裁剪区域Tarea的左上顶点TR的位置的指定与右上顶点TL的位置的指定来实现。若显示区域AD的纵横比例如为4:3,则裁剪区域Tarea的纵横比也需要为4:3。因此,通过左上顶点TR与右上顶点TL的位置的指定(即矩形的一长边的指定)将裁剪区域Tarea的大小决定为唯一。即,通过左上顶点TR与右上顶点TL的位置的指定来确定裁剪区域Tarea的大小以及左右上下位置。

显示区域AD的纵横比根据显示部40的大小来确定。因此,在纵横比例如为3:2的情况下,以使裁剪区域Tarea的纵横比为3:2的方式确定其大小以及左右上下位置。另外,在纵横比例如为16:9的情况下,以使裁剪区域Tarea的纵横比为16:9的方式确定其大小以及左右上下位置。

控制部50在由驾驶员确定输入左上顶点TR与右上顶点TL的位置时,生成指定这些位置的控制信号C1而向图像处理部21供给。裁剪处理部218将由控制信号C1指定的左上顶点TR的位置与右上顶点TL的位置分别设为左上顶点以及右上顶点,并且决定与显示区域AD的纵横比相应的裁剪区域Tarea,执行裁剪图像信号DRS所示的图像中的裁剪区域Tarea的裁剪处理。

裁剪区域Tarea的指定的方法是任意的。例如,也可以代替指定左上顶点以及右上顶点而采用指定左下顶点与右下顶点的位置的构成。另外,也可以采用指定一条短边(即,左上顶点与左下顶点的位置或者右上顶点与右下顶点的位置)的构成。另外,也能够采用将与显示区域AD的纵横比相应的矩形框显示于显示部40、并通过触摸操作来自由变更矩形框的位置、大小的构成。

此外,也可以构成为驾驶员通过手来移动与以往相同的操作杆等而使预定的大小的矩形框沿左右上下方向移动,由此能够指定裁剪区域Tarea。

在该例中,图像信号DRS与显示区域AD所具备的像素数量一致,因此其一部分、即裁剪区域Tarea的像素数量比显示区域AD所具备的像素数量少。因此,需要使裁剪区域Tarea的像素数量与显示区域AD所具备的像素数量一致。尺寸调节处理部219执行通过在指定裁剪区域Tarea之后进行插值处理来放大裁剪区域Tarea的尺寸调节处理。图11B表示尺寸调节处理后的图像的一个例子。由图11A以及图11B可知,通过尺寸调节处理,图11A所示的裁剪区域Tarea所示的图像被放大,生成显示区域AD所具备的像素数量的图像信号DTL。

此外,尺寸调节处理部219为任意的构成。即,可以利用畸变校正处理,生成W行×Z列(W是M<W<P的自然数,Z是N<Z<Q的自然数)的图像,实施从该图像切出M行×N列的图像的裁剪处理。在这种情况下,裁剪区域Tarea成为M行×N列,因此不需要尺寸调节处理,能够提高图像的品质。

根据这样的裁剪处理,与例如在摄像部将摄像机自身的拍摄朝向设为可动来变更摄像范围的构成相比较,由于不需要用于使摄像机的朝向可动的机构,因此存在成本得到抑制这样的优点。而且,在裁剪处理中,在裁剪区域Tarea被指定之后与显示区域AD的尺寸相符地放大,因此也存在驾驶员想看到的区域被放大显示这样的优点。

如图9所示,图像处理部21还具备:翻转图像信号D的左右的镜像生成部220、将实施裁剪处理之后的图像信号D以行为单位沿水平方向缩小以及放大的水平方向缩小放大处理部221、以及将实施了水平方向缩小放大处理的图像信号D以行为单位沿垂直方向缩小或者放大的垂直方向缩小放大处理部222。

图11C表示通过镜像生成部220执行的左右翻转处理来生成的图像的一个例子。车辆的驾驶员观察映在以往类型的侧后视镜、后视镜中的镜像而进行车辆的后方以及后侧方的安全确认。然而,从左侧后方区域摄像部10-1输出的摄像信号DS是通过将摄像机朝向后方拍摄被摄体而成的,因此由图像传感器12输出的图像的朝向与映在以往类型的侧后视镜、后视镜的镜像是左右相反的。因此,在镜像生成部220中,使从裁剪处理部218输出的图像信号DT所示的图像(图11B)左右翻转,进行生成镜面图像即图像信号DF(图11C)的左右翻转处理。根据该左右翻转处理,能够通过与映在以往的侧后视镜、外部后视镜等的镜像左右为相同方向的图像来进行安全确认,因此消除了因映出与以往左右相反的图像而使驾驶员混乱的担心。

图12A是本实施方式的图像的放大缩小处理的概念图。图示的例子是基于从左侧后方区域摄像部10-1输出的摄像信号DS的图像。如图示那样,在放大缩小处理中,将从镜像生成部220输出的图像信号DF的图像区分(分割)为左上区域LR1、左中央区域LR2、左下区域LR3、中央上区域LR4、中央区域LR5、中央下区域LR6这六个区域。在左右方向上,左侧的区域(远离车身的区域)与中央的区域(靠近车身的区域)的长度之比为“2:3”(即“40%:60%”),在上下方向上,上侧的区域、中央的区域与下侧的区域的长度之比为“1:3:1”(即“20%:60%:20%”)。以下,有时将该比率称为“分割比率”。

另外,在各区域中,预先设定预定的水平方向缩放倍率(左右方向上的放大倍率或者缩小倍率)与预定的垂直方向缩放倍率(上下方向上的放大倍率或者缩小倍率)。映在侧后视镜的图像中的、处于靠近车身的区域LRC(图2)的图像与车辆接触的危险性高,因此是车辆的安全驾驶所需的信息。相反,处于远离车身的区域LRL的图像、例如沿道的建筑物等的图像的安全确认的重要度低。因此,在本实施方式中,将左右方向上的放大倍率或者缩小倍率设定为与远离车身的区域LRL相比,在左右方向上靠近车身的区域LRC被相对地放大。另外,基于摄像信号DS的图像中的其它车辆、行人等的图像是对于车辆的安全驾驶而言必要的信息,但图像之上的区域中的天空、山等景色的图像、图像之下的区域中的路面的图像的重要度低。因此,在本实施方式中,将上下方向上的放大倍率或者缩小倍率设定为与上或者下的区域相比,上下方向上的中央的区域被相对地放大。

具体来说,如图12A所示,对于远离车身、且是作为上或者下的区域的左上区域LR1与左下区域LR3,将左右方向的缩小倍率H2以及上下方向的缩小倍率V2、V3一并设定为25%。另外,对于远离车身但在上下方向上是中央的区域的左中央区域LR2,将左右方向的缩小倍率H2设定为25%,并且将上下方向的放大倍率V1设定为150%。另外,对于靠近车身但是上或者下的区域的中央上区域LR4与中央下区域LR6,将左右方向的放大倍率H1设定为150%,将上下方向的缩小倍率V2、V3一并设定为25%。然后,对于靠近车身且在上下方向上也是中央的区域的中央区域LR5,将左右方向的放大倍率H1以及上下方向的放大倍率V1一并设定为150%。通过这样设定,能够提高基于摄像信号DS的图像中的在确认车辆的驾驶时的安全中更必要的区域的可视性。另外,与例如构成为在侧后视镜的镜面设置平面镜部与凸面镜部而使映在凸面镜部的镜像被压缩相比较,不需要物理性加工处理,并且提高更靠近车身、在上下方向上更靠中央的区域的可视性。

另外,左右方向上的放大倍率H1以及缩小倍率H2被确定为在对于靠近车身的区域将左右方向的长度设为X1、对于远离车身的区域将左右方向的长度设为X2时,X1+X2=X1·H1+X2·H2,上下方向上的中央的区域的放大倍率V1、上区域的缩小倍率V2以及下区域的缩小倍率V3被确定为在对于中央的区域将上下方向的长度设为Y1、对于上区域将上下方向的长度设为Y2、对于下区域将上下方向的长度设为Y3时,Y1+Y2+Y3=Y1·V1+Y2·V2+Y3·V3。通过这样设定放大倍率以及缩小倍率,无需变更基于摄像信号DS的图像本身的大小(像素数量),就能够生成各区域间的大小的比率被变更的图像信号DH。换言之,能够使图像信号DH与显示区域AD所具备的像素数量一致。

图12B是用于说明水平方向缩小放大处理部221执行的水平方向缩小放大处理的概念图,图12C是用于说明垂直方向缩小放大处理部222执行的垂直方向缩小放大处理的概念图。

在水平方向缩小放大处理部221中,对从镜像生成部220输出的图像信号DF,执行对于左右方向与远离车身的区域相比,相对地放大靠近车身的区域的处理(第一处理)。具体来说,对于各区域LR1~LR6的图像,执行与设定的放大倍率H1或者缩小倍率H2相应的缩放处理。该缩放处理是以行为单位来执行的处理。例如在将1行中的像素数量设为100个(即100列)的情况下,进行将属于左上区域LR1、左中央区域LR2、左下区域LR3的第1列至第40列的像素以缩小倍率H2(25%)缩小的处理。即,进行将像素数量从40个缩小至10个的处理。在该缩小处理中,任意采用例如对于相邻的预定量的像素将受光元件输出的表示检测信号的值算术平均等公知的方法。另外,进行将属于中央上区域LR4、中央区域LR5、中央下区域LR6的第41列至第100列的像素以放大倍率H1(150%)放大的处理。即,进行将像素数量从60个增加至90个的处理。在该放大处理中任意采用最邻近插值等公知的方法。当对于全部的行实施第一处理时,生成将各区域LR1~LR6的图像的大小的比率如图12B所示那样变更的图像(图像信号DH所示的图像)。

垂直方向缩小放大处理部222对从水平方向缩小放大处理部221以行为单位输出的图像信号DH1,执行对于上下方向将中央的区域与上或者下的区域相比较相对地放大的处理(第二处理)。具体来说,对各区域LR1~LR6的图像,执行与设定后的放大倍率V1或者缩小倍率V2或者V3相应的缩放处理。该缩放处理是与多个行为单位来执行的处理。在例如将图像信号DH的行数设为100行的情况下,进行抽取属于左上区域LR1以及中央上区域LR4的第1行至第20行中的、与缩小倍率V2(25%)相应的条数的行的处理。即,进行在4行中抽取1行的处理。另外,对属于左中央区域LR2以及中央区域LR5的第21行至第80行的像素,进行与放大倍率V1(150%)相应的插值处理。进行抽取属于左下区域LR3与中央下区域LR6的第81行至第100行中的、与缩小倍率V3(25%)相应的条数的行的处理。当对于全部的行实施第二处理时,生成各区域LR1~LR6的图像的大小的比率如图12C所示那样变更后的图像(图像信号D所示的图像)。

图13是经过第一处理以及第二处理的图像信号D所示的图像的一个例子。如图示那样,生成与其它区域相比,在左右方向上靠近车身且在上下方向上是中央的区域被相对地放大的图像。

图12A所示的分割比率、水平方向缩放倍率以及垂直方向缩放倍率能够适当地设定。图12D~图12F表示将水平方向缩放倍率以及垂直方向缩放倍率设定为与图12A的例子不同的值的例子。在该例子中,分割比率的值与图12A的例子相同。如图12D所示,对于远离车身并且是上或者下的区域的左上区域LR1与左下区域LR3,将左右方向的缩小倍率H2以及上下方向的缩小倍率V2、V3一并设定为50%。另外,对于远离车身但在上下方向上是中央的区域的左中央区域LR2,将左右方向的缩小倍率H2设定为50%,并且将上下方向的放大倍率V1设定为133%。另外,对于靠近车身但是上或者下的区域的中央上区域LR4与中央下区域LR6,将左右方向的放大倍率H1设定为133%,将上下方向的缩小倍率V2、V3一并设定为50%。然后,对于靠近车身且在上下方向上也是中央的区域的中央区域LR5,将左右方向的放大倍率H1以及上下方向的放大倍率V1一并设定为133%。

根据该例子,水平方向缩小放大处理部221执行的水平方向缩小放大处理后的图像(图像信号DH所示的图像)为图12E所示那样的图像。另外,垂直方向缩小放大处理部222执行的垂直方向缩小放大处理后的图像(图像信号D所示的图像)为图12F所示那样的图像。

图12G~图12I表示其它的设定例。如图12G所示,在该例子中,将左右方向的分割比率设定为“30%:70%”而不是“40%:60%”。上下方向的分割比率与图12A的例子相同。对于远离车身且是上或者下的区域的左上区域LR1与左下区域LR3,将左右方向的缩小倍率H2以及上下方向的缩小倍率V2、V3一并设定为50%。另外,对于远离车身但在上下方向上是中央的区域的左中央区域LR2,将左右方向的缩小倍率H2设定为50%并且将上下方向的放大倍率V1设定为121%。另外,对于靠近车身但是上或者下的区域的中央上区域LR4与中央下区域LR6,将左右方向的放大倍率H1设定为121%,将上下方向的缩小倍率V2、V3一并设定为50%。然后,对于靠近车身且在上下方向上也是中央的区域的中央区域LR5,将左右方向的放大倍率H1以及上下方向的放大倍率V1一并设定为121%。

根据该例子,水平方向缩小放大处理部221执行的水平方向缩小放大处理后的图像(图像信号DH所示的图像)为图12H所示那样的图像。另外,垂直方向缩小放大处理部222执行的垂直方向缩小放大处理后的图像(图像信号D所示的图像)为图12I所示那样的图像。

然而,若驾驶员能够自由地设定在显示部40中显示的图像(图像信号D所示的图像)的水平方向以及垂直方向上的缩放倍率,则较为方便。

图12J是用于说明缩放倍率变更处理的概念图。在图示的例子中,驾驶员通过使作为左上区域LR1的右下顶点的点P1或者作为左上区域LR1的右上顶点的点P2移动,能够变更(输入)水平方向缩放倍率(H1、H2)以及垂直方向缩放倍率(V1、V2、V3)。移动的方法能够任意采用公知的方法,但在本实施例中,在触摸面板(操作部60)上,通过在驾驶员触摸点P1或者点P2的状态下使点P1或者点P2朝向显示区域AD的内侧方向或者外侧方向移动的操作(所谓的“拖曳操作”),变更水平方向缩放倍率(H1、H2)以及垂直方向缩放倍率(V1、V2、V3)。

点P1是左中央区域LR2的右上顶点,也是中央上区域LR4的左下顶点,也是中央区域LR5的左上顶点,因此当使点P1向进一步减小中央区域LR5的放大倍率的方向(即显示区域AD的内侧方向)移动时,不仅对于左中央区域LR2、中央上区域LR4与中央区域LR5减小放大倍率(V1以及H2)(放大倍率的值(%)减少),左上区域LR1、左中央区域LR2以及中央上区域LR4的缩小倍率(V2、H2)也相反地增大(缩小倍率的值(%)增加)。另外,若显示区域AD的纵横比例如为4:3,则放大缩小后的各区域的图像的纵横比也需要为4:3,因此当使点P1移动时,点P2也连动移动。因此,通过点P1朝向内侧方向的移动,对于左下区域LR3与中央下区域LR6也使缩小倍率(V3、H2)增大(缩小倍率的值(%)增加),放大倍率(H1)变小(放大倍率的值(%)减少)。同样,在利用拖曳操作使点P2移动的情况下点P1移动。根据该方案,驾驶员能够根据喜好来变更各区域的放大倍率以及缩小倍率。

此外,当缩小倍率过度小时,车辆A的安全驾驶所需的图像的可视性降低。因此,从安全性的观点出发,期望对缩小倍率设置下限。缩小倍率的下限值能够任意设定,但例如像图示的例子那样优选构成为,关于垂直方向缩小倍率V1、V3与水平方向缩小倍率H2,设为能够在25%以上且不足100%的范围内变更缩小倍率,关于垂直方向放大倍率V1与水平方向放大倍率H1,设为能够在大于100%且在150%以下的范围内变更放大倍率。

在不采用拖曳操作而是采用由其它公知的输入单元以数值输入缩放倍率的方法的情况下,例如例示了从显示于触摸面板的数字键输入放大倍率或者缩小倍率的构成。

图像处理部21当通过上述说明那样的处理来生成图像信号D[m]时,将生成的图像信号D[m]存储于行缓冲器22并且将表示图像信号D[m]向行缓冲器22的存储结束的写入结束信号PtA向时机控制部30输出。

显示部40的显示区域AD能够显示1画面量的图像的时间长度短于摄像部10能够拍摄1画面量的图像的时间长度。因此,在想要以液晶面板42能够显示的周期显示图像的情况下,来不及进行来自摄像部10的摄像信号DS的输出。对此,在本实施方式的车辆用摄像显示系统1中,通过利用图像处理电路100来调节来自图像处理电路100的图像信号D的输出时机,使显示部40的显示速度追随来自摄像部10的摄像信号DS的输出周期。

在本实施方式中,写入结束信号PtA是表示与基于图像处理部21的向行缓冲器22的写入结束后的图像信号D对应的行的编号ma的信号(ma是满足1≤ma≤M的自然数)。写入结束信号PtA所示的值、即行编号ma是表示图像处理结束的行的“图像处理行信息”的一个例子。

此外,写入结束信号PtA不限于表示行的编号的信号,也可以是包括在基于图像处理部21的图像信号D[m]的生成结束的情况下提升为高电平那样的脉冲波形在内的双值的信号。在写入结束信号PtA为双值的信号的情况下,时机控制部30例如通过在一个画面的显示开始之后对写入结束信号PtA所含的脉冲的个数进行计数,通过图像处理部21来计算生成结束的图像信号D[m]的行编号即可。在这种情况下,写入结束信号PtA所含的脉冲波形(或者脉冲波形的个数)与“图像处理行信息”相当。

图像信号输出部23根据时机控制部30的控制从行缓冲器22以1行为单位读取图像信号D,将读取出的1行量的图像信号D[m]向显示部40输出。

此外,以下,在为了方便说明而需要区别的情况下,将图像处理部21生成而存储于行缓冲器22的图像信号D称为图像信号DGA,将图像信号输出部23从行缓冲器22获取而向显示部40输出的图像信号D称为图像信号DGB。另外,将图像处理部21存储于行缓冲器22的图像信号DGA中的、表示在显示区域AD的第m行的行应显示的图像的图像信号DGA称为图像信号DGA[m],将图像信号输出部23向显示部40输出的图像信号DGB中的、表示在显示区域AD的第m行的行应显示的图像的图像信号DGB称为图像信号DGB[m]。

图像信号输出部23在从行缓冲器22读取图像信号DGB[m]而向显示部40输出该图像信号DGB[m]的处理结束的情况下,将表示图像信号DGB[m]朝向显示部40的输出结束的输出结束信号PtB向时机控制部30输出。在本实施方式中,输出结束信号PtB是表示与基于图像信号输出部23的向显示部40输出结束的图像信号D对应的行的编号m的信号。以下,将输出结束信号PtB所示的行的编号m特别称为“行编号mb”(mb是基本上满足0≤mb≤M的自然数)。作为输出结束信号PtB所示的值的行编号mb是表示对显示部40的输出结束的图像信号D[m]的行的“显示输出行信息”的一个例子。

详见后述,图像信号输出部23有时向显示部40输出无效信号Dmy来代替输出图像信号DGB[m](参照图14D)。在这种情况下,图像信号输出部23不输出输出结束信号PtB。

此外,mb在输出1帧的最终行之后成为mb=M,以后维持mb=M。然后,在下一帧用的图像输出准备完成的时刻(在输出垂直同步信号之后的垂直后沿期间结束后的时机),mb信号被复位,成为mb=0。

此外,输出结束信号PtB不限于表示行的编号的信号,也可以是包括在结束基于图像信号输出部23的图像信号D[m]的输出的情况下提升为高电平那样的脉冲波形在内的双值的信号。

如图6所示,时机控制部30具备:基于写入结束信号PtA以及输出结束信号PtB生成输出控制信号CTR(准确来说为CTR[m])的输出控制部31、生成各种定时信号而控制图像信号输出部23输出图像信号DGB[m]的时机的定时发生器32、以及向控制器41发送预定控制器41的动作的设定参数PRM的参数发送部33。

输出控制部31基于写入结束信号PtA以及输出结束信号PtB来判定是否完成使图像信号输出部23向显示部40输出表示在显示区域AD的第m行应显示的图像的图像信号D[m](图像信号DGB[m])的准备,并生成表示判定结果的输出控制信号CTR(准确来说为CTR[m])。

在此,“结束输出图像信号D[m](图像信号DGB[m])的准备”是指,满足以下的第一条件以及第二条件。

(第一条件)

图像处理部21结束第m行的图像信号D[m](图像信号DGB[m])的图像处理,图像信号DGA[m]向行缓冲器22的写入结束。

(第二条件)

图像信号输出部23结束第m-1行的图像信号D[m-1](图像信号DGB[m-1])的输出。

第一条件表示写入结束信号PtA所示的行编号ma为行编号m以上的情况,换句话说,符合满足“m≤ma”的情况。第二条件符合在输出结束信号PtB所示的行编号mb满足“mb=m-1”的情况(严格来说,在“m=1”的情况下,符合满足“mb=0”(“mb=M”后的垂直同步信号的输出后的垂直后沿期间结束后的时机)中,mb信号被复位,成为mb=0)的情况)。

在本说明书,有时将显示以输出控制部31为判定的对象的图像信号D[m]所示的图像的显示区域AD的行称为“显示对象行”。

此外,严格来说,图像信号输出部23为了输出图像信号D[m](图像信号DGB[m]),需要满足以下的第三条件。

(第三条件)

图像信号输出部23输出第m行的图像信号D[m](图像信号DGB[m])的时机包含于显示区域AD能够显示图像的期间(由图14C以及图14D后述的水平有效数据期间DHI)。

但是,在满足上述的第一条件以及第二条件的情况下,定时发生器32控制来自图像信号输出部23的图像信号D[m](图像信号DGB[m])的输出时机,由此必然符合第三条件。因此,在本实施方式中,在输出控制部31中的判定下不考虑第三条件。

以下,更详细记载输出控制部31的控制方法的实现方法。输出控制部31能够例如通过以下的两个方式来执行判定“输出图像信号D[m](图像信号DGB[m])的准备是否完成”。

作为第一方式,是输出控制部31直接执行是否符合第一条件的判定(第一判定)与是否符合第二条件的判定(第二判定)这两个判定的方式。

具体来说,输出控制部31在图像处理部21输出写入结束信号PtA时,基于写入结束信号PtA所示的行编号ma而对于m判定是否满足“m≤ma”(执行第一判定),在图像信号输出部23输出输出结束信号PtB时,判定输出结束信号PtB所示的行编号mb是否满足“mb=m-1”(执行第二判定),在第一判定的判定结果与第二判定的判定结果这两者肯定的情况下,判定为“输出图像信号D[m]的准备完成”。

在这种情况下,输出控制部31通过执行第一判定而作为“处理状况判定部”发挥功能,所述处理状况判定部判定是否生成与在显示对象行应显示的图像对应的图像信号,并且通过执行第二判定而作为“显示判定部”发挥功能,所述显示判定部判定能否进行显示对象行中的图像的显示。

此外,输出控制部31在第一判定的判定结果或者第二判定的判定结果为否定的情况下,重复第一判定以及第二判定直至第一判定的判定结果与第二判定的判定结果这两者成为肯定。具体来说,输出控制部31例如在每次从图像处理部21输出写入结束信号PtA时执行第一判定、并且在每次从图像信号输出部23输出输出结束信号PtB时执行第二判定,直至第一判定以及第二判定这两者的判定结果成为肯定即可。另外,例如,输出控制部31也可以通过后述的水平扫描期间Hd的周期反复进行第一判定以及第二判定,直至第一判定以及第二判定这两者的判定结果成为肯定。然后,在第一判定的判定结果与第二判定的判定结果这两者成为肯定时,将输出控制信号CTR(准确来说为CTR[m])设定为表示判定结果肯定的值。

接下来,作为判定“输出图像信号D[m](图像信号DGB[m])的准备是否完成”的第二方式,是输出控制部31在上次的判定(输出图像信号D[m-1]的准备是否完成的判定)的结果成为肯定之后,在图像信号输出部23输出了输出结束信号PtB所示的行编号mb=m-1的时机下,执行是否符合第一条件的判定(第一判定)的方式。

在该方式中,输出控制部31在第一判定的判定结果为否定的情况下,反复进行第一判定,直至第一判定的判定结果成为肯定,在第一判定的判定结果成为肯定时,将输出控制信号CTR设定为表示判定结果肯定的值(CTR[m])。具体来说,输出控制部31例如在输出结束信号PtB被输出的时机内第一判定的判定结果为否定的情况下,之后每次图像处理部21输出写入结束信号PtA时,基于该写入结束信号PtA所示的行编号ma对于m判定是否满足“m≤ma”,在满足“m≤ma”时,判定为符合第一条件即可。

如上述那样,图像处理部21按照行编号依次生成图像信号D[m](图像信号DGA[m]),图像信号输出部23按照行编号依次输出图像信号D[m](图像信号DGB[m])。然后,在本实施方式中,在第m-2行的图像信号D[m-2]的输出结束,并且输出控制部31判定为“输出图像信号D[m-1]的准备完成”之后,图像信号输出部23输出图像信号D[m-1]。因此,输出控制部31进行判定“输出图像信号D[m](图像信号DGB[m])的准备是否完成”的时机是从图像信号输出部23输出图像信号D[m-2](图像信号DGB[m-2])之后的时机,并且是输出控制部31判定为“输出图像信号D[m-1](图像信号DGB[m-1])的准备完成”之后的时机。换句话说,输出控制部31在进行判定“输出图像信号D[m]的准备是否完成”的时机内,使图像信号输出部23输出的输出结束信号PtB所示的行编号mb成为“m-1”。

因此,在第二方式中,输出控制部31根据来自图像信号输出部23的输出结束信号PtB的输出而视为符合第二条件。然后,输出控制部31通过在从图像信号输出部23输出了输出结束信号PtB的时机内执行是否符合第一条件的判定(第一判定),进行“图像信号D[m](图像信号DGB[m])的输出准备是否完成”的判定。

在本实施方式中,以采用上述的两个方式中的第二方式为前提,进行以下的说明。

定时发生器32生成显示垂直同步信号DVsync、垂直有效数据信号DVactive、显示水平同步信号DHsync、显示点时钟信号DCLK以及使能信号DEnb,将生成的上述信号对图像信号输出部23以及显示部40输出。

图14A至图14D是用于说明定时发生器32生成的、显示垂直同步信号DVsync、垂直有效数据信号DVactive、显示水平同步信号DHsync、显示点时钟信号DCLK以及使能信号DEnb的时序图。

如图14A以及图14B所示,显示垂直同步信号DVsync是预定用于由液晶面板42的显示区域AD整体(M行量)的像素显示图像的显示垂直扫描期间Fd(即显示部40的帧期间)的信号。显示水平同步信号DHsync是规定用于由显示区域AD的1行量的像素显示图像的水平扫描期间Hd的信号。显示点时钟信号DCLK是规定用于由显示区域AD的各像素显示图像的时机的信号。

在本实施方式中,水平扫描期间Hd具有预定的恒定的时间长度。另外,在本实施方式中,显示垂直扫描期间Fd由多个水平扫描期间Hd构成,具有比摄像垂直扫描期间Fs的时间长度(周期)短的时间的可变的时间长度(周期)。因此,各显示垂直扫描期间Fd所含的水平扫描期间Hd的个数成为可变。在图14A所示的例子中例示出如下情况:图14A所示的多个显示垂直扫描期间Fd中的、作为最初的显示垂直扫描期间Fd的显示垂直扫描期间Fd1比与显示垂直扫描期间Fd1后续的显示垂直扫描期间Fd2短,显示垂直扫描期间Fd2比与显示垂直扫描期间Fd2后续的显示垂直扫描期间Fd3短。

此外,将显示垂直同步信号DVsync具有的波形中的、预定显示垂直扫描期间Fd的开始以及结束的时机的脉冲状的波形称为垂直同步脉冲PlsV。另外,将显示水平同步信号DHsync具有的波形中的、预定水平扫描期间Hd的开始以及结束的时机的脉冲状的波形称为水平同步脉冲PlsH。

如图14B所示,显示垂直扫描期间Fd由垂直同步期间DVp、垂直后沿期间DVb、垂直有效数据期间DVI与垂直前沿期间DVf构成。

垂直同步期间DVp是显示垂直同步信号DVsync有源(在该图的例子中为低电平)的期间,是与显示垂直扫描期间Fd开始同时开始的具有预定时间长度的期间。垂直后沿期间DVb是与垂直同步期间DVp后续的期间,是具有预定的时间长度的期间。垂直有效数据期间DVI是与垂直后沿期间DVb后续的可变的时间长度的期间。在该垂直有效数据期间DVI中,从图像信号输出部23输出图像信号DGB(图像信号DGB[1]~DGB[M])。垂直前沿期间DVf是与垂直有效数据期间DVI后续的期间,是与显示垂直扫描期间Fd的结束同时结束的、具有预定的时间长度的期间。

垂直有效数据期间DVI是在各显示垂直扫描期间Fd内从使能信号DEnb最初成为有源的水平扫描期间Hd的开始至使能信号DEnb第M次成为有源的水平扫描期间Hd的结束为止的期间(关于使能信号DEnb成为有源的情况见后述)。

该垂直有效数据期间DVI例如基于对使能信号DEnb成为有源的次数进行计数的计数器(未图示)输出的计数值来确定即可。其中,在本实施方式中,为了方便说明,在各显示垂直扫描期间Fd内,在从使能信号DEnb最初成为有源的水平扫描期间Hd的开始至使能信号DEnb第M次成为有源的水平扫描期间Hd的结束为止的期间导入成为有源(在该图的例中为高电平)的垂直有效数据信号DVactive。即,在本实施方式中,将垂直有效数据信号DVactive有源的期间作为垂直有效数据期间DVI进行说明。此外,该垂直有效数据信号DVactive为了方便说明采用导入的信号,输出控制部31也可以是不输出该垂直有效数据信号DVactive的构成。

如图14C以及图14D所示,水平扫描期间Hd由水平同步期间DHp、水平后沿期间DHb、水平有效数据期间DHI以及水平前沿期间DHf构成。

水平同步期间DHp是显示水平同步信号DHsync有源(在该图的例子中为低电平)的期间,是与水平扫描期间Hd开始同时开始的、具有预定的时间长度的期间。水平后沿期间DHb是与水平同步期间DHp后续的期间,是具有预定的时间长度的期间。水平有效数据期间DHI是与水平后沿期间DHb后续的、具有预定的时间长度的期间。水平前沿期间DHf是与水平有效数据期间DHI后续的期间,是与水平扫描期间Hd的结束同时结束的具有预定的时间长度的期间。

在本实施方式中,在水平扫描期间Hd内存在图像信号输出部23用于输出图像信号D[m]的有效水平扫描期间Hd-A(参照图14C)、代替输出图像信号D[m]而输出无效信号Dmy[m]的无效水平扫描期间Hd-D(参照图14D)。

图14C例示有水平扫描期间Hd为有效水平扫描期间Hd-A的情况。如该图所示,使能信号DEnb在水平扫描期间Hd为有效水平扫描期间Hd-A的情况下,在水平有效数据期间DHI内成为有源(在该图的例子中为高电平)。然后,在使能信号DEnb成为有源的水平有效数据期间DHI,从图像信号输出部23输出图像信号D[m](图像信号DGB[m])。另一方面,使能信号DEnb在有效水平扫描期间Hd-A中的、水平有效数据期间DHI以外的期间(水平同步期间DHp、水平后沿期间DHb、水平前沿期间DHf)成为非有源。图像信号输出部23在有效水平扫描期间Hd-A中的、使能信号DEnb成为非有源的水平有效数据期间DHI以外的期间,停止以图像信号D[m](图像信号DGB[m])的行数据的像素为单位的输出,输出无效行信号DGB-dmy。

通过使定时发生器32在水平有效数据期间DHI将使能信号DEnb设为有源而符合上述的第三条件。即,具备输出控制部31以及定时发生器32的时机控制部30在上述的第一条件~第三条件全部符合的时机下,对于与显示对象行对应的图像信号D[m](图像信号DGB[m])的行数据以像素为单位从图像信号输出部23输出。

图14D例示出水平扫描期间Hd为无效水平扫描期间Hd-D的情况。如该图所示,使能信号DEnb在水平扫描期间Hd为无效水平扫描期间Hd-D的情况下,在水平有效数据期间DHI成为非有源(即DEnb为低电平)。然后,图像信号输出部23在无效水平扫描期间Hd-D中的、水平有效数据期间DHI代替图像信号D[m](图像信号DGB[m])而输出无效信号Dmy。另一方面,使能信号DEnb在无效水平扫描期间Hd-D中的、水平有效数据期间DHI以外的期间(水平同步期间DHp、水平后沿期间DHb、水平前沿期间DHf)中也成为非有源。图像信号输出部23在无效水平扫描期间Hd-D中的、水平有效数据期间DHI以外的期间停止图像信号D[m](图像信号DGB[m])的输出而输出无效行信号DGB-dmy。

此外,定时发生器32基于输出控制部31输出的输出控制信号CTR而将水平扫描期间Hd设为有效水平扫描期间Hd-A或者无效水平扫描期间Hd-D中的任一者,换言之,决定在水平有效数据期间DHI内是否将使能信号DEnb设为有源。该输出控制信号CTR、使能信号DEnb以及水平扫描期间Hd的种类的关系见后述。

图15是用于说明定时发生器32生成的各种信号与液晶面板42的显示区域AD内的图像的显示时机的关系的说明图。

如该图所示,从显示区域AD具有的第一行的行至第M行的行的M行×N列的像素在显示垂直扫描期间Fd内的、垂直有效数据信号DVactive成为有源的垂直有效数据期间DVI,显示图像信号D[1]~D[M]所示的1画面量的图像。

另外,显示区域AD内的构成第m行的行的N个像素在水平扫描期间Hd(有效水平扫描期间Hd-A)内的、使能信号DEnb成为有源的水平有效数据期间DHI,显示以图像信号D[m]所示的行数据的像素为单位的图像。

此外,垂直有效数据期间DVI根据该垂直有效数据期间DVI所含的无效水平扫描期间Hd-D的个数来延长,但在该图中,假定了垂直有效数据期间DVI所含的水平扫描期间Hd全部是有效水平扫描期间Hd-A的情况。

接下来,参照图16来说明左侧显示部40-1。

图16是表示左侧显示部40-1的构成的框图。如上述那样,左侧显示部40-1具备控制液晶面板42的动作的控制器41、以及用于显示与图像信号D相应的图像的液晶面板42。

在液晶面板42上,如上述那样,设有用于显示与图像信号D相应的图像的显示区域AD。显示区域AD构成为包括在图15中沿X轴方向延伸的M行的扫描线、沿Y轴方向延伸的N列的数据线、以及与扫描线以及数据线的交叉对应地设置的M行×N列的像素。另外,液晶面板42具备用于选择扫描线的扫描线驱动电路421、以及用于驱动数据线的数据线驱动电路422。

控制器41具备:从图像信号输出部23输入图像信号D(图像信号DGB)的数据输入部411、在各垂直有效数据期间DVI对有效水平扫描期间Hd-A的个数(使能信号DEnb成为有源的次数)进行计数的计数器412、生成预定液晶面板42的驱动时机的各种定时信号的时机生成部413、向液晶面板42输出图像信号D(图像信号DGC)的数据输出部414、以及用于存储预定控制器41的动作的设定参数PRM的寄存器415。

此外,在本实施方式中,各图像处理电路100(图像信号生成部20以及时机控制部30)与控制器41之间的数据传送通过并行接口(未图示)进行。

设定于寄存器415的设定参数PRM是用于与液晶面板42的规格相应地使控制器41动作的、预定控制器41的动作的值。

作为设定参数PRM,例如可以包括水平扫描期间Hd的时间长度(或者是水平扫描期间Hd所含的显示点时钟信号DCLK的时钟数。以下,将显示点时钟信号DCLK的时钟数简称为“时钟数”)、水平有效数据期间DHI的时间长度(或者是显示区域AD中的X轴方向的像素数量(N))、水平同步期间DHp的时间长度(或者是时钟数)、水平后沿期间DHb的时间长度(或者是时钟数)、水平前沿期间DHf的时间长度(或者是时钟数)、在垂直有效数据期间DVI不包含无效水平扫描期间Hd-D的情况下的垂直有效数据期间DVI的时间长度(或者是显示区域AD中的Y轴方向的行数(M)。即,垂直有效数据期间DVI所含的有效水平扫描期间Hd-A的个数)、垂直同步期间DVp的时间长度(或者是时钟数)、垂直后沿期间DVb的时间长度(或者是时钟数)、垂直前沿期间DVf的时间长度(或者是时钟数)等。

在本实施方式的车辆用摄像显示系统1中,能够从图像处理电路100设定与液晶面板42的规格相应的控制器41的动作时机,因此即使在变更液晶面板42的尺寸的情况、变更帧速率等液晶面板42的规格的情况下,也不需要变更控制器41。因此,能够提高系统的通用性。

在数据输入部411中,从图像处理电路100供给显示点时钟信号DCLK、来自包括图像信号D(图像信号DGB)、无效行信号DGB-dmy以及无效信号Dmy的图像信号输出部23的输出信号、以及使能信号DEnb。

数据输入部411在使能信号DEnb成为有源时,获取在该使能信号DEnb有源的期间与显示点时钟信号DCLK同步地从图像信号输出部23供给的1行量的图像信号D[m],将获取的图像信号D[m]对数据输出部414输出。另一方面,数据输入部411在使能信号DEnb非有源的情况下,不取得从图像信号输出部23供给的无效信号Dmy并放弃。

在计数器412中,从图像处理电路100供给使能信号DEnb、显示垂直同步信号DVsync。

计数器412对使能信号DEnb的上升沿进行计数,将表示计数结果的计数值Cnt向时机生成部413输出。另外,计数器412在显示垂直同步信号DVsync成为有源、作为显示垂直同步信号DVsync被供给垂直同步脉冲PlsV时,将计数值Cnt复位为“0”。因此,计数器412能够对各显示垂直扫描期间Fd所含的有效水平扫描期间Hd-A的个数进行计数。即,计数值Cnt在获取了数据输入部411指定在第m行的行应显示的图像的图像信号D[m]的情况下,表示与该图像信号D[m]对应的行编号(m)。

在时机生成部413中,从图像处理电路100供给显示垂直同步信号DVsync、显示水平同步信号DHsync、设定参数PRM,并且从计数器412供给计数值Cnt。

如上述那样,时机生成部413在从图像处理电路100供给设定参数PRM时,将被供给的设定参数PRM设定于寄存器415。

时机生成部413在计数值Cnt表示“m”的情况下,对扫描线驱动电路421进行与计数值Cnt对应的第m行的行(扫描线)的选择。另外,时机生成部413在计数值Cnt表示“m”的情况下,对数据输出部414使数据输入部411获取的1行量的图像信号D[m]作为图像信号DGC[m]向数据线驱动电路422供给。在这种情况下,数据线驱动电路422对与扫描线驱动电路421选择的第m行的扫描线对应设置的N个像素(第m行的行)经由数据线写入从数据输出部414供给的图像信号DGC[m]。由此,将选择出的行的图像显示于显示区域AD。此外,在本实施方式中,图像信号DGA以及DGB是数字的信号,但图像信号DGC可以是数字的信号也可以是模拟的信号。

这样,控制器41使从图像信号输出部23供给的图像信号D所示的图像(即图像信号DL所示的图像)显示于液晶面板42的显示区域AD。

图17表示左侧挡风A柱部中的图像信号DL所示的图像的显示例。如图示那样,图像信号DL所示的图像显示为在处于车辆A的挡风玻璃的左侧的左侧挡风A柱部FP,在室内侧表面附近的区域A-1被驾驶员看到。在左侧显示部40-1中,当矩形的显示区域AD所显示的图像信号DL所示的图像从微型投影仪401L朝向透射型屏幕402L照射时,在透射型屏幕402L上形成实像,其照射光从合成仪404L反射。从合成仪404L反射的照射光中的、仅是到达椭圆形的开口部OpL的内侧的部分向左侧挡风A柱部FP的外部输出,其结果是,如图示的例子那样,椭圆形的图像被驾驶员看到。

右侧后方区域摄像部10-3、图像处理电路100-3以及右侧显示部40-3的构成除了具有左右的差异这点与左侧后方区域摄像部10-1、图像处理电路100-1以及左侧显示部40-1的构成相同。具体来说,在左侧显示部40-1中的缩小放大处理为图12A、图12D以及图12G所示的处理的情况下,右侧显示部40-3中的缩小放大处理在图18A、图18B以及图18C中分别表示。

如图18D所例示的那样,基于右侧后方区域摄像部10-3拍摄的摄像信号DS的图像(图像信号DR所示的图像)中,在左右方向上靠近车身的区域RRC(图2)比远离车身的区域RRR放大,上下方向上的中央的区域被放大。图像信号DR所示的图像从右侧显示部40-3的微型投影仪401R朝向透射型屏幕402R投射,被合成仪404R反射,在处于车辆A的挡风玻璃的右侧的右侧挡风A柱部的、室内侧表面附近的区域A-3被驾驶员看到。

关于左侧显示部40-1如上述那样,在水平方向缩小放大处理以及垂直方向缩小放大处理中使用的画面的分割比率、垂直方向缩放倍率以及水平方向缩放倍率能够任意设定。

接下来,中央后方区域摄像部10-2、图像处理电路100-2以及中央显示部40-2的构成与左侧后方区域摄像部10-1、图像处理电路100-1以及左侧显示部40-1的构成相同。但是,在图像处理电路100-2的图像处理部21中,在基于水平方向缩小放大处理部221的处理与放大的基于垂直方向缩小放大处理部222的处理中,放大以及缩小的比率不同。

图19是对基于中央后方区域摄像部10-2拍摄的摄像信号DSC的图像实施的放大缩小处理的概念图。图示的例子表示对摄像信号DSC实施裁剪处理以及左右翻转处理后的图像信号DF。如图示那样,在放大缩小处理中,将从镜像生成部220输出的图像信号DI的图像区分为左上区域BR1、左中央区域BR2、左下区域BR3、中央上区域BR4、中央区域BR5、中央下区域BR6、右上区域BR7、右中央区域BR8、右下区域BR9这九个区域。左右方向上的左的区域BRL(图2)、中央的区域BRC与右的区域BRR的长度之比、以及上下方向上的上的区域、中央的区域与下的区域的长度之比能够任意确定。在图19所示的例子中,将左右方向分割为20%、60%以及20%,将上下方向分割为20%、60%、以及20%。

另外,在各区域中,预先设定预定的水平方向缩放倍率(左右方向上的放大倍率或者缩小倍率)与预定的垂直方向缩放倍率(上下方向上的放大倍率或者缩小倍率)。具体来说,如图19所示,对于在左右方向以及上下方向中的任一方作为端的区域的左上区域BR1、左下区域BR3、右上区域BR7以及右下区域BR9,将左右方向的缩小倍率以及上下方向的缩小倍率一并设定为50%。另外,对于在左右方向上是端的区域但在上下方向上作为中央的区域的左中央区域BR2与右中央区域BR8,将左右方向的缩小倍率设定为50%,并且将上下方向的放大倍率设定为133%。另外,对于在左右方向上是中央的区域但作为上或者下的区域的中央上区域BR4与中央下区域BR6,将左右方向的放大倍率设定为133%,将上下方向的缩小倍率设定为50%。然后,对于在左右方向以及上下方向中的任一方均作为中央的区域的中央区域BR5,将左右方向的放大倍率以及上下方向的放大倍率一并设定为133%。通过这样设定,能够提高基于摄像信号DS的图像中的、在确认车辆的驾驶时的安全中更必要的区域的可视性。另外,与例如在后视镜的镜面设置平面镜部与凸面镜部而使映在凸面镜部的镜像内压缩的构成相比较,不需要物理性加工处理,并且能够提高左右以及上下方向上的中央的区域的可视性。

这样生成的图像信号DC所示的图像从中央显示部40-2的微型投影仪401C朝向透射型屏幕402C投射,被合成仪404C反射,在车辆A的挡风玻璃下部的区域A-2中被驾驶员看到。

图20是用于说明输出控制信号CTR与使能信号DEnb的说明图。

如上述那样,输出控制部31在判定为图像信号D[m]的输出准备完成时、换句话说在符合第一条件以及第二条件时,在输出控制信号CTR中设定表示判定结果为肯定的值CTR[m]。在此,为了方便,输出控制部31在判定为图像信号D[m]的输出准备完成时,在输出控制信号CTR中输出暂时上升为高电平的脉冲状的波形,如图20所示,将表示输出在输出控制信号CTR中设定的图像信号D[m]的准备完成的主旨的判定结果的输出脉冲波形成为输出允许脉冲PL[m](=CTR[m])。

如上述那样,本实施方式的输出控制部31根据从图像信号输出部23输出了输出结束信号PtB,视为符合第二条件。然后,输出控制部31通过在输出结束信号PtB被输出时执行图像信号D[m]的图像处理是否结束(是否符合第一条件)的判定(第一判定),判定图像信号D[m]的输出准备是否完成。

如图20所示,在输出控制部31进行图像信号D[m]的输出准备是否完成的判定的情况下,将输出控制部31判定为图像信号D[m]的图像处理结束(判定为符合第一条件)的时机、换句话说第一判定的结果成为肯定的时机称为图像处理判定时刻TA[m]。

另外,将向输出控制部31供给输出结束信号PtB(视为符合第二条件)的时机称为显示准备判定时刻TB[m]。

另外,以下,为了方便说明,将基于图像处理部21的图像信号D[m]的生成实际结束的时刻定义为图像信号生成时刻TC[m]。换句话说,图像信号生成时刻TC[m]是与图像处理部21输出写入结束信号PtA的时刻大致相同的时刻。

显示准备判定时刻TB[m]是与来自输出控制部31的图像信号D[m-1]的输出结束的时刻大致相同的时刻,是与图像信号D[m-1]被输出的有效水平扫描期间Hd-A(称为有效水平扫描期间Hd-A[m-1])的水平有效数据期间DHI结束的时刻大致相同的时刻。此外,在显示准备判定时刻TB[m]之后最初的水平扫描期间Hd[m]的水平有效数据期间DHI开始的时刻是“可显示时刻”的一个例子。

此外,在本说明书中“大致相同的时刻”是包括,在具有以信号的接收发送为起因的时滞、以各种处理为起因的时滞的情况下,在忽略这些时滞的情况下能够视为同一时刻的情况的概念。

图像处理判定时刻TA[m]在直至显示准备判定时刻TB[m]结束了图像信号D[m](图像信号DGA[m])的生成的情况、即直至显示准备判定时刻TB[m]经过了图像信号生成时刻TC[m]的情况(称为Case-1)下,成为与显示准备判定时刻TB[m]大致相同的时刻。

此外,在Case-1的情况下,在显示准备判定时刻TB[m]的时机(=视为符合第二条件的时机),输出控制部31基于直至该显示准备判定时刻TB[m]为止向输出控制部31供给的写入结束信号PtA所示的行编号ma对于m进行满足“m≤ma”的主旨的判定,进行该判定的时机是图像处理判定时刻TA[m],因此在图像处理判定时刻TA[m]以及显示准备判定时刻TB[m]之间实际上存在时滞,但在以下,为了简化,将两时刻视为大致相同。

另一方面,对于图像处理判定时刻TA[m],在直至显示准备判定时刻TB[m]为止图像信号D[m](图像信号DGA[m])的生成没有结束的情况(即,直至显示准备判定时刻TB[m]为止图像信号生成时刻TC[m]未到来的情况(称为Case-2))下,图像处理部21成为使图像信号D[m]的生成结束的时刻(即,与图像信号生成时刻TC[m]大致相同的时刻)。

此外,在Case-2的情况下,图像处理部21在图像信号生成时刻TC[m]结束图像信号D[m]的生成之后,图像处理部21输出写入结束信号PtA,接收该写入结束信号PtA的供给的输出控制部31进行满足“m≤ma”的主旨的判定的时机是图像处理判定时刻TA[m],因此在图像处理判定时刻TA[m]以及图像信号生成时刻TC[m]之间存在时滞,但在以下,为了简化,将两时刻视为大致相同。

这样能够具有Case-1与Case-2的情况,因此当总结两个事件时,输出控制部31在图像信号生成时刻TC[m]以及显示准备判定时刻TB[m]中的延迟的一方的时刻(即该时刻是图像处理判定时刻TA[m]),在输出控制信号CTR中设定输出允许脉冲PL[m]。换句话说,该输出允许脉冲PL[m]在符合对于图像信号D[m]的第一条件以及第二条件时被输出。然后,定时发生器32在输出允许脉冲PL[m]被输出之后且符合第三条件时,换言之,在输出允许脉冲PL[m]被输出之后最初使能信号DEnb成为有源时,以从图像信号输出部23输出图像信号D[m]的方式控制。

以下,为了方便说明,将对于图像信号D[m]而第一条件~第三条件全部符合的时刻称为输出条件充足时刻TJ[m]。

在本实施方式中,定时发生器32基于输出控制信号CTR而决定在定时发生器32的内部处理中使用的内部处理信号IS的电平。然后,定时发生器32基于内部处理信号IS来决定将使能信号DEnb设为有源的时机、以及水平扫描期间Hd的种类(有效水平扫描期间Hd-A或者无效水平扫描期间Hd-D)。

具体来说,如图20所示,定时发生器32当在输出控制信号CTR中设定输出允许脉冲PL[m]时将内部处理信号IS设为有源(在该图的例子中为高电平)。

定时发生器32在水平扫描期间Hd开始的时机中内部处理信号IS为有源的情况下,将该水平扫描期间Hd的种类决定(分类)为有效水平扫描期间Hd-A[m],在该有效水平扫描期间Hd-A[m]的水平有效数据期间DHI开始的时机将使能信号DEnb设为有源。该使能信号DEnb成为有源的时机相当于输出条件充足时刻TJ[m]。

然后,定时发生器32在该有效水平扫描期间Hd-A[m]的水平有效数据期间DHI开始而使能信号DEnb成为有源的时机、换句话说输出条件充足时刻TJ[m],将内部处理信号IS设为非有源。

另一方面,定时发生器32在水平扫描期间Hd开始的时机中内部处理信号IS为非有源的情况下,将该水平扫描期间Hd的种类决定(分类)为无效水平扫描期间Hd-D,在该无效水平扫描期间Hd-D之间将使能信号DEnb设为非有源。

在此,在图20所示的例子中,在显示准备判定时刻TB[1]以前,PtB信号的mb在输出1帧的最终行之后维持mb=M。然后,在垂直同步信号的输出后的垂直后沿期间结束后的某一时刻,能够进行下一帧的数据输出。因此,在显示准备判定时刻TB[1]的时刻,mb信号被复位,成为mb=0(Case-0)。Case-0是用于显示开始1帧的最初的第1行的特殊时机,在1帧中仅存在一次。而且,其结果是,开始水平扫描期间Hd[2]的水平有效数据期间DHI。

接下来,记载第2行以后的例子。以下,在图20所示的例子中,输出控制部31进行图像信号D[2]的输出准备是否完成的判定,说明在输出控制信号CTR中设定输出允许脉冲PL[2]的情况(相当于Case-1)。

在图20所示的例子中,显示准备判定时刻TB[2]是图像信号D[1]的输出结束的水平扫描期间Hd[1](有效水平扫描期间Hd-A[1])的水平有效数据期间DHI的结束时。另外,在该例中,假定图像信号D[2]的图像处理结束的图像信号生成时刻TC[2]比显示准备判定时刻TB[2]提前到来的情况。因此,在该例中,图像处理判定时刻TA[2]成为与显示准备判定时刻TB[2]大致相同的时刻。因此,输出控制部31在水平扫描期间Hd[1]的水平有效数据期间DHI的结束时、换句话说显示准备判定时刻TB[2],作为输出控制信号CTR而输出输出允许脉冲PL[2]。

定时发生器32在作为输出控制信号CTR而输出允许脉冲PL[2]被输出的时机、换句话说水平扫描期间Hd[1]的水平有效数据期间DHI结束的时机,将内部处理信号IS设为有源。在这种情况下,内部处理信号IS在水平扫描期间Hd[2]的开始时也成为有源。在此,定时发生器32在水平扫描期间的开始时机(DHsync脉冲)中,基于内部处理信号IS的状态进行判定将该水平扫描期间设为有效水平扫描期间Hd-A[m]还是无效水平扫描期间Hd-D。上述的情况下,内部处理信号IS为有源。因此,定时发生器32将水平扫描期间Hd[2]设为有效水平扫描期间Hd-A[2],在水平扫描期间Hd[2]的水平有效数据期间DHI,将使能信号DEnb设为有源。

即,水平扫描期间Hd[2]的水平有效数据期间DHI的开始时刻成为关于图像信号D[2]的第一条件~第三条件全部符合的输出条件充足时刻TJ[2]。因此,在水平扫描期间Hd[2]中,图像信号D[2]被输出。另外,定时发生器32在水平扫描期间Hd[2]的水平有效数据期间DHI开始的时机,将内部处理信号IS设为非有源。

接下来,在图20所示的例子中,说明输出控制部31进行图像信号D[3]的输出准备是否完成的判定、在输出控制信号CTR中设定输出允许脉冲PL[3]的情况(相当于Case-2)。

在图20所示的例子中,显示准备判定时刻TB[3]是图像信号D[2]的输出结束的水平扫描期间Hd[2](有效水平扫描期间Hd-A[2])的水平有效数据期间DHI的结束时。在该例中,假定图像信号D[3]的图像处理结束的图像信号生成时刻TC[3]比显示准备判定时刻TB[3]靠后的情况。因此,图像处理判定时刻TA[3]成为比显示准备判定时刻TB[3]靠后的时刻。另外,在该例中,假定图像信号生成时刻TC[3]比水平扫描期间Hd[3]的开始时靠后的情况。因此,输出控制部31在比水平扫描期间Hd[3]的开始时靠后的时刻输出输出允许脉冲PL[3]。

如上述那样,定时发生器32在水平扫描期间Hd[2]的水平有效数据期间DHI的开始时将内部处理信号IS设为非有源。因此,内部处理信号IS在水平扫描期间Hd[3]的开始时成为非有源。因此,在水平扫描期间的开始时机(DHsync脉冲),内部处理信号IS的状态为非有源,因此定时发生器32将水平扫描期间Hd[3]分类为无效水平扫描期间Hd-D,在水平扫描期间Hd[3]的水平有效数据期间DHI,将使能信号DEnb设为非有源。在这种情况下,图像信号输出部23在水平扫描期间Hd[3]的水平有效数据期间DHI,不输出图像信号D[3]而是输出无效信号Dmy。

之后,定时发生器32在作为输出控制信号CTR而输出有输出允许脉冲PL[3]的时机将内部处理信号IS设为有源。在该例中,输出允许脉冲PL[3]被输出的时机是水平扫描期间Hd[4]的开始前。在这种情况下,内部处理信号IS在水平扫描期间Hd[4]的开始时(DHsync脉冲)也成为有源。因此,定时发生器32将水平扫描期间Hd[4]设为有效水平扫描期间Hd-A[3],在水平扫描期间Hd[4]的水平有效数据期间DHI,将使能信号DEnb设为有源。

即,水平扫描期间Hd[4]的水平有效数据期间DHI的开始时刻成为对于图像信号D[3]的第一条件~第三条件全部符合的输出条件充足时刻TJ[3]。因此,在水平扫描期间Hd[4],输出图像信号D[3]。

此外,在该图所示的例子中,输出控制部31对于进行图像信号D[1]的输出准备是否完成的判定并在输出控制信号CTR中设定输出允许脉冲PL[1]的情况、以及进行图像信号D[1]的输出准备是否完成的判定并在输出控制信号CTR中设定输出允许脉冲PL[1]的情况(Case-0),假定作为Case-1的条件的情况。

这样在本实施方式中,输出控制部31在符合第一条件以及第二条件时,输出允许脉冲PL[m],将内部处理信号IS的状态设为有源,在水平扫描期间的开始时(DHsync脉冲),决定是有效水平扫描期间Hd-A[m]还是无效水平扫描期间Hd-D[m]。在决定为有效水平扫描期间的情况下,图像信号输出部23在输出了输出允许脉冲PL[m]后的最初的水平扫描期间Hd进行输出图像信号D[m]的动作。通过这样的动作,将基于图像处理部21的行单位D[m]的图像处理结果的来自图像信号输出部23的图像信号D[m]的输出时机以水平扫描期间Hd的单位的精度进行输出调节。

此外,在图20所示的例子中,定时发生器32在水平扫描期间Hd开始的时机决定水平扫描期间Hd的种类,但这仅是一个例子,例如只要在从输出允许脉冲PL[m]被输出的水平扫描期间Hd的水平前沿期间DHf的开始至输出允许脉冲PL[m]被输出后的最初的水平扫描期间Hd的水平后沿期间DHb的结束为止的期间内决定即可。

另外,在图20所示的例子中,将内部处理信号IS为非有源的时机设为使能信号DEnb成为有源的时机,但这仅是一个例子,定时发生器32将内部处理信号IS设为非有源的时机只要处于从使能信号DEnb成为有源至成为非有源为止的水平有效数据期间DHI之间,可以是任意时间。

另外,在本实施方式中,定时发生器32使用内部处理信号IS,决定使能信号DEnb的波形与水平扫描期间Hd的种类,但这仅是一个例子,也可以不使用内部处理信号IS,基于输出控制信号CTR而决定这些内容。

另外,在本实施方式中,输出控制信号CTR成为包含输出允许脉冲PL[m]的波形,但这仅是一个例子,输出控制信号CTR例如也可以具有图20所示的内部处理信号IS的波形。在这种情况下,定时发生器32只要将输出控制部31进行输出控制信号CTR的波形的决定所需要的使能信号DEnb等各种信号向输出控制部31供给即可。

图21A以及图21B是用于说明有效水平扫描期间Hd-A以及无效水平扫描期间Hd-D与显示垂直扫描期间Fd的关系的说明图。

显示垂直扫描期间Fd是输出与M行的行对应的图像信号D[1]~D[M]的期间。因此,定时发生器32在各显示垂直扫描期间Fd的垂直有效数据期间DVI设置M个有效水平扫描期间Hd-A。

另一方面,本实施方式的定时发生器32将水平扫描期间Hd分类为有效水平扫描期间Hd-A或者无效水平扫描期间Hd-D中的任一者。然后,仅在水平扫描期间Hd为有效水平扫描期间Hd-A的情况下,在该水平扫描期间Hd中输出图像信号D[m]。

因此,本实施方式的定时发生器32在显示垂直扫描期间Fd的垂直有效数据期间DVI设置无效水平扫描期间Hd-D的情况下,将垂直有效数据期间DVI延长与该无效水平扫描期间Hd-D相当的时间长度,以在各显示垂直扫描期间Fd的垂直有效数据期间DVI设有M个有效水平扫描期间Hd-A的方式输出显示垂直同步信号DVsync以及垂直有效数据信号DVactive。

例如,定时发生器32在如图21A所示的显示垂直扫描期间Fd1那样将垂直有效数据期间DVI的全部水平扫描期间Hd设为有效水平扫描期间Hd-A的情况下,将垂直有效数据期间DVI的时间长度设为水平扫描期间Hd的M倍的时间长度。在此,将显示垂直扫描期间Fd1中的、除去垂直同步前沿期间(DVf)、垂直同步期间(DVp)与垂直同步后沿期间(DVb)的期间、即DVI称作垂直有效数据期间DVI,设为DVactive=H的期间。

另一方面,定时发生器32在如图21B所示的显示垂直扫描期间Fd2那样垂直有效数据期间DVI设有一个或者多个无效水平扫描期间Hd-D的情况下,将垂直有效数据期间DVI的时间长度(DVactive=H的期间)设为水平扫描期间Hd的M倍的时间长度与存在于垂直有效数据期间DVI的一个或者多个无效水平扫描期间Hd-D的合计的时间长度合在一起的时间长度。

换句话说,定时发生器32通过以水平扫描期间Hd的单位来调节显示垂直扫描期间Fd的时间长度,能够在各显示垂直扫描期间Fd使图像信号输出部23输出图像信号D[1]~D[M]。

此外,如图21A所示的显示垂直扫描期间Fd1那样,将垂直有效数据期间DVI的全部的水平扫描期间Hd为有效水平扫描期间Hd-A的情况下的显示垂直扫描期间Fd的时间长度称作标准垂直扫描时间Td。另外,有时将能够由显示部40显示的最高的帧速率、即显示垂直扫描期间Fd的时间长度为标准垂直扫描时间Td的情况下的帧速率、即“1/Td”称作“第二帧速率”。另外,有时将时机控制部30执行的时机的控制中的、如通过第二帧速率输出图像信号D那样控制时机的情况称作“第一时机控制”。

另外,如图21B所示的显示垂直扫描期间Fd2那样,在垂直有效数据期间DVI设有一个或者多个无效水平扫描期间Hd-D的情况下的该一个或者多个无效水平扫描期间Hd-D的时间长度的合计值称作延长垂直扫描时间Tex。换句话说,在垂直有效数据期间DVI设置一个或者多个无效水平扫描期间Hd-D的情况下的显示垂直扫描期间Fd的时间长度是标准垂直扫描时间Td与延长垂直扫描时间Tex的合计。此外,将时机控制部30执行的时机的控制中的、如在设有一个或者多个无效水平扫描期间Hd-D的垂直有效数据期间DVI中输出图像信号D那样控制时机的情况称作“第二时机控制”。详见后述,在第二时机控制中,时机控制部30以利用第一帧速率输出图像信号D的方式控制时机。

此外,控制器41在检测出计数值Cnt与设定于寄存器415的显示区域AD的行数“M”相等的情况下,在检测后最初被供给显示水平同步信号DHsync的时机、换句话说垂直前沿期间DVf开始的时机,对数据输入部411以及数据输出部414进入改帧处理的准备。然后,在垂直前沿期间DVf开始之后,时机生成部413对数据输入部411以及数据输出部414输出用于指令改帧处理的执行的改帧处理开始信号Cng。

在此,改帧处理是指用于在下一个显示垂直扫描期间Fd显示图像的准备的处理,例如包含执行在数据输入部411以及数据输出部414具备的缓存器中存储的数据的消除的处理等。改帧处理在垂直前沿期间DVf的开始以后开始。另外,改帧处理优选直至垂直前沿期间DVf的结束而结束。

<3.图像信号的输出>

接下来,说明来自摄像部10的摄像信号DS[p]的输出时机与来自图像信号生成部20的图像信号D[m]的输出时机的关系。

图22是概略表示如下时机的关系的时序图,包括:在连续的多个摄像垂直扫描期间Fs(Fs0~Fs3)中的、摄像垂直扫描期间Fs1~Fs3各自中摄像部10输出摄像信号DS(DS[1]~DS[P])的时机;基于该摄像信号DS而图像处理部21生成图像信号D(D[1]~D[M])即图像信号DGA(DGA[1]~DGA[M]),将生成的图像信号DGA存储于行缓冲器22的时机;在连续的多个显示垂直扫描期间Fd(Fd0~Fd3)中的显示垂直扫描期间Fd1~Fd3各自中,图像信号输出部23从行缓冲器22获取图像信号D即图像信号DGB(DGB[1]~DGB[M])而将其对显示部40输出的时机。此外,将摄像垂直扫描期间Fs中的、摄像信号DS被输出的期间称作“摄像信号DS的帧”。另外,将显示垂直扫描期间Fd中的、可以输出图像信号D的期间、即垂直有效数据期间DVI称作“图像信号D的帧”。然后,如图22所示,将从摄像信号DS的帧的开始至图像信号D的开始的时间称作相位差PD。

在图22中,为了方便说明,有时将在摄像垂直扫描期间Fs0~Fs3中输出的摄像信号DS[p]分别区别表现为摄像信号DS0[p]~DS3[p]。

另外,如在图10中说明的那样,从图像处理部21中的图像信号D[1]~D[M]的生成这样的观点出发,从摄像部10输出的摄像信号DS[1]~DS[P]是摄像信号DGS[1]~DGS[M]。以下,为了方便说明,有时将在摄像垂直扫描期间Fs0~Fs3中输出的摄像信号DGS[m]分别区别表现为摄像信号DGS0[m]~DGS3[m]。

同样,有时将基于摄像信号DGS0[m]~DGS3[m]生成的图像信号D[m](DGA[m]、DGA[m])分别区别表现为图像信号D0[m]~D3[m](DGA0[m]~DGA3[m]、DGB0[m]~DGB3[m])。

如上述那样,摄像部10对于每个摄像水平同步信号SHsync以行单位依次输出摄像信号DS[1]~DS[P]。另外,图像处理部21在开始与摄像信号DGS[m]对应的摄像信号DS[p]的供给时,开始用于生成图像信号DGA[m]的图像处理。换句话说,图像处理部21开始用于生成图像信号DGA[m]的图像处理的垂直同步期间中的时机因生成的DGA[m]的处理行位置而不同。

在图22中,由线L1表示摄像部10向图像处理部21供给摄像信号DGS[1]~DGS[M]的1行单位的输入时机。换句话说,由线L1表示图像处理部21以行为单位依次开始用于生成图像信号DGA[1]~DGA[M]各自的图像处理的时刻方向的样子(时机)。

另外,由线L2表示基于图像处理部21的图像信号DGA[1]~DGA[M]的生成结束、将它们以行为单位依次存储于行缓冲器22的时刻方向的样子(时机)。图像信号输出部23在图像信号DGA[m]的生成结束之后输出图像信号DGB[m]。因此,图像信号DGB[m]不会在比线L2所示的时刻提前的时刻被输出。此外,线L2是连结图20所说明的图像信号生成时刻TC[1]~TC[M]的线。

另外,由线L3表示图像信号输出部23在对于显示部40理想的时机下供给图像信号DGB[1]~DGB[M]的情况、即如以显示部40能够显示的最高的帧速率(显示垂直扫描期间Fd的时间长度为标准垂直扫描时间Td的情况下的帧速率)进行显示的方式供给图像信号DGB[1]~DGB[M]的情况下的、图像信号输出部23以行为单位依次读取并输出图像信号DGB[1]~DGB[M]的时机。换句话说,线L3是表示在假定为显示部40能够显示1行量的图像的每一个水平扫描期间Hd中图像信号输出部23输出1行量的图像信号DGB[m]的情况(换句话说,显示部40的帧速率为第二帧速率的情况)下,显示部40在每一个水平扫描期间Hd按照行顺序读取并显示图像信号DGB[1]~DGB[M]所示的图像的时机的线,具有每一个水平扫描期间Hd增加1行那样的趋势。即,线L3假定垂直有效数据期间DVI所含的水平扫描期间Hd全部为有效水平扫描期间Hd-A的情况,在也假定垂直有效数据期间DVI包含无效水平扫描期间Hd-D的情况的基础上,表示以第m-1行的图像信号D[m-1]的输出的结束(第二条件的符合)为前提的图像信号D[m]的输出时刻的显示准备判定时刻TB[m]不一定一致。

图像信号输出部23在显示部40能够显示时输出图像信号DGB[m]。因此,图像信号DGB[m]不会在比线L3所示的时刻提前的时刻读取并输出图像信号。

另外,在图22中,将用于生成每一行的图像信号DGA[m]的图像处理所需的时间设为图像处理时间UA。以下,为了方便说明,有时将与图像信号DGA0[m]~DGA3[m]各自对应的图像处理时间UA区别表现为图像处理时间UA0~UA3。

另外,在图22中,将图像信号DGA[m]存储于行缓冲器22之后,通过图像信号输出部23对显示部40输出为止的时间设为等待时间UB。以下,为了方便说明,有时将与图像信号DGB1[m]~DGB3[m]各自对应的等待时间UB区别表现为等待时间UB1~UB3。

如上述那样,有时摄像信号DS[1]~DS[P]与摄像信号DGS[1]~DGS[M]并非1对1对应,生成与各行对应的图像信号D[m]的图像处理的开始间隔发生变动。因此,线L1通常不形成直线而是成为折线,但在图22中,为了方便图示而描绘为直线。此外,在线L1为直线的情况(例如线L1的起点与终点呈直线相连的情况)下,线L1的倾斜根据摄像部10的帧速率、即第一帧速率来确认。

另外,如上述那样,摄像信号DGS[1]~DGS[M]各自所含的摄像信号DS[p]的行数有时因行的位置而不同。换句话说,如图10所说明的那样,图像处理部21若存在基于由3行量的摄像信号DS[p]构成的摄像信号DGS[m]而生成图像信号DGA[m]的情况,也存在基于由5行量的摄像信号DS[p]构成的摄像信号DGS[m]而生成图像信号DGA[m]的情况,后者的情况与前者的情况相比较而图像处理时间UA变长。即,图像处理部21用于生成图像信号DGA[1]~DGA[M]的图像处理时间UA通常根据行的位置来变动。因此,线L2通常不形成直线而是形成折线,但在图22中,为了方便图示而描绘为直线。

如图22所示,表示基于在摄像垂直扫描期间Fs1中从摄像部10输出的摄像信号DS1[p](DGS1[m])而图像处理部21生成图像信号D1[m](DGA1[m])的时刻的线L2比表示在显示垂直扫描期间Fd1中显示部40能够显示图像信号D1[m](DGA1[m])所示的图像的最早的时刻的线L4(将与所述的线L3的定义不同的假想的时机作为线L4进行说明)在时间上提前。将这样的线L2比线L3(线L4)在时间上提前的状态称作“第一状态”。

即,第一状态是指在图像处理部21基于摄像信号DS[p]生成图像信号D[m]时,未完成在显示部40中显示该图像信号D[m]所示的图像的准备这样的状态。在此,未完成在显示部40中显示图像信号D[m]的准备的情况是指,例如在生成图像信号D1[m]时,显示部40在图像信号D1之前应显示的图像信号D0所示的图像处于显示中,显示部40无法显示图像信号D1[m]所示的图像的情况等。

换句话说,在第一状态下,即使图像处理部21生成图像信号D[m],由于来不及进行用于显示图像信号D[m]的显示部40侧的准备,因此显示部40中的图像的显示中,显示部40侧的显示准备成为瓶颈,处于延迟的状态。换言之,第一状态是指,在成为显示部40能够显示图像信号D[m]的时机,能够无延迟地迅速显示图像信号D[m]这样的状态。

然而,在显示部40中显示一个画面所需要的时间(周期)比在摄像部10中拍摄一个画面所需要的时间(周期)短,因此显示部40侧的显示准备成为瓶颈的显示的延迟缓慢地缩小直至消除。

在图22中,为了方便图示,作为第一状态,仅记载一个摄像垂直扫描期间Fs(Fs1)以及一个显示垂直扫描期间Fd(Fd1)的1组垂直扫描期间,但实际上有时存在多组垂直扫描期间。在这种情况下,第一状态下的相位差PD1(作为第一状态下的相位差PD,如图22所示标注附图标记PD1)每次缩短与显示垂直扫描期间Fd和摄像垂直扫描期间Fs的差值相当的时间。换言之,每一组垂直扫描期间的线L3与线L2的距离大体每次缩短与显示垂直扫描期间Fd和摄像垂直扫描期间Fs的差值相当的时间。

显示部40侧的显示准备成为瓶颈的显示的延迟被消除之前,线L2比线L3(线L4)在时间上提前。另一方面,关于形成显示准备成为瓶颈的显示的延迟被消除那样的状态的情况,实际上不会成为这样的情况,但是将表示在显示部40侧能够显示图像的最早的时刻的线L4作为假想的状态假定为比线L2在时间上提前的时机。即,在显示准备成为瓶颈的显示的延迟被消除的时机,在假想状态下,判定为在最快的状态下使线L2与线L4相交的时机。

此外,如上述那样,存在线L2不成为直线而是成为折线的情况。在这种情况下,线L2以及假想的线L4的交叉有时产生多次。

在图22所示的例子中,表示基于在摄像垂直扫描期间Fs2内摄像部10输出的摄像信号DS2[p](DGS2[m])而图像处理部21生成图像信号D2[m](DGA2[m])的时刻的线L2与表示在显示垂直扫描期间Fd2中显示部40能够显示图像信号D2[m](DGA2[m])所示的图像的最早的时刻的线L4交叉。将这样的线L2与线L4交叉的状态称作“第二状态”。此外,在线L2以及线L4的交叉产生多次的情况下,将这样的交叉最初产生的状态称作“第二状态”。另外,将线L2与线L4交叉的时刻称作时刻Tth。此外,在线L2以及线L4的交叉产生多次的情况下,将最初产生交叉的时刻设为时刻Tth。

即,第二状态是指,从在图像处理部21基于摄像信号DS[p]生成图像信号D[m]时在显示部40未完成显示该图像信号D[m]所示的图像的准备这样的状态(线L2始终比线L3在时间上提前的状态)向在显示部40中能够显示图像信号D[m]所示的图像时图像处理部21未结束用于生成图像信号D[m]的图像处理的情况存在这样的状态(存在线L4比线L2在时间上提前的情况这样的状态)迁移。

换句话说,第二状态是指,在时刻Tth以前,在显示部40能够显示图像信号D[m]所示的图像的时机,无延迟地显示图像信号D[m]所示的图像这样的状态,另一方面,在时刻Tth以后,即使到达在显示部40侧能够显示图像信号D[m]的时刻,由于来不及进行用于生成图像信号D[m]的图像处理部21中的图像处理,因此显示部40中的图像的显示存在图像处理部21的图像处理成为瓶颈并延迟的情况这样的状态。该第二状态下的相位差PD2(作为第二状态下的相位差PD,如图22所示标注附图标记PD2)如图22所示比相位差PD1短。

此外,在时刻Tth以后,定时发生器32在垂直有效数据期间DVI中插入一次无效水平扫描期间Hd-D,调节来自图像信号输出部23的图像信号D[m]的输出时机(显示部40中的图像信号D[m]所示的图像的显示时机)。其中,在即使进行一次无效水平扫描期间Hd-D的插入但来不及进行用于生成图像信号D[m]的图像处理部21中的图像处理的情况下,进一步重复下一个无效水平扫描期间Hd-D的插入。然后,显示部40等待用于生成图像信号D[m]的图像处理的结束,在生成有图像信号D[m]的情况下,在水平扫描期间Hd以下的时间以内,显示该图像信号D[m]所示的图像。即,时刻Tth以后,通过利用无效水平扫描期间Hd-D的插入来调节来自图像信号输出部23的图像信号D[m](DGB[m])的输出时机,使显示部40侧的显示时机以水平扫描期间Hd的精度追随图像处理部21中的图像处理的结束时机。

如图22所示,表示在显示垂直扫描期间Fd3中显示部40能够显示图像信号D3[m](DGA3[m])所示的图像的最早的时刻的线L4比表示基于在摄像垂直扫描期间Fs3中输出的摄像信号DS3[p](DGS3[m])而图像处理部21生成图像信号D3[m](DGA3[m])的时刻的线L2在时间上提前。将这样的、线L4比线L2在时间上提前的状态称作“第三状态”。换言之,时刻Tth以后开始的摄像垂直扫描期间Fs以及显示垂直扫描期间Fd中的状态为第三状态。

即,第三状态是指,在显示部40中显示图像信号D[m]所示的图像的准备完成时图像处理部21用于生成图像信号D[m]的图像处理没有结束的情况始终发生这样的状态。

换句话说,在第三状态下,即使用于显示图像信号D[m]的显示部40侧的准备完成,也来不及进行用于生成图像信号D[m]的图像处理部21中的图像处理这样的状况始终产生,因此显示部40中的图像的显示处于因图像处理部21的图像处理成为瓶颈而延迟的状态。

该第三状态中的相位差PD3(作为第三状态中的相位差PD,如图22所示标注附图标记PD3)如图22所示比相位差PD2短。此外,第一状态下的相位差PD1大于图像处理时间UA(更具体来说为图像处理时间UA[1]~UA[M]的最大值),第三状态下的相位差PD3成为图像处理时间UA[1]~UA[M]的最大值以下。

如上述那样,图像处理时间UA以行为单位进行变动。但是,其变动幅度与摄像垂直扫描期间Fs相比充分小。因此,在使图像信号D[m]的输出的时机(显示部40侧的显示时机)追随图像处理部21中的图像处理的结束时机的状态下,摄像部10输出摄像信号DS3的期间的时间长度与图像信号输出部23输出图像信号DGB3的期间的时间长度大致相同。换言之,在第三状态下,时机控制部30调节图像信号D[m]被输出的时机,使得显示部40的帧速率成为摄像部10的帧速率即第一帧速率(第二时机控制)。

此外,在图22中,为了方便图示,作为第三状态,仅记载有一个摄像垂直扫描期间Fs(Fs3)以及一个显示垂直扫描期间Fd(Fd3)的一组垂直扫描期间,但实际上存在多组垂直扫描期间。在第三状态下,在多组垂直扫描期间各自中调节图像信号D[m]被输出的时机,使得摄像部10输出摄像信号DS3的期间的时间长度与图像信号输出部23输出图像信号DGB3的期间的时间长度大致相同。即,在第三状态中,在多组垂直扫描期间各自中调节图像信号D[m]被输出的时机,使得显示部40的帧速率成为摄像部10的帧速率即第一帧速率。因此,在第三状态中,在多组垂直扫描期间各自中,相位差PD3成为大致相同的时间长度。

以下,参照图22以及图23,以在摄像垂直扫描期间Fs1中摄像部10输出的摄像信号DS1(DGS1)与在显示垂直扫描期间Fd1中图像信号生成部20向显示部40输出的图像信号D1(DGB1)的关系为例,说明第一状态。

图23是用于说明摄像信号DS1[p](摄像信号DGS1[m])与图像信号D1[m](图像信号DGA1[m]以及图像信号DGB1[m])的关系的时序图。

此外,在图23与后述的图24以及图25中,为了简化,假定摄像信号DS所示的图像的行数为5行(P=5)、图像信号D所示的图像的行数为4行(M=4)的情况。另外,在图23至图25所示的例子中假定如下情况,摄像信号DGS[1]包含摄像信号DS[1]以及DS[2],摄像信号DGS[2]包含摄像信号DS[2]以及DS[3],摄像信号DGS[3]包含摄像信号DS[3]以及DS[4],摄像信号DGS[4]包含摄像信号DS[4]以及DS[5]。即,在图23至图25所示的例子中假定如下情况,图像信号D[1]基于摄像信号DS[1]以及DS[2]来生成,图像信号D[2]基于摄像信号DS[2]以及DS[3]来生成,图像信号D[3]基于摄像信号DS[3]以及DS[4]来生成,图像信号D[4]基于摄像信号DS[4]以及DS[5]来生成。另外,在图23至图25所示的例子中,假定线L2以及线L3的交叉仅产生一次的情况。

如图23所示,当从摄像部10输出摄像信号DS1[m]以及DS1[m+1](出于方便,设为摄像信号DGS1[m]的输出开始)时,图像处理部21基于该摄像信号DGS1[m]而开始图像信号DGA1[m]的生成。然后,图像处理部21从图像处理的开始经过图像处理时间UA1[m]之后结束图像信号DGA1[m]的生成,将其存储于行缓冲器22。

另一方面,图23所示的例子例示上述的第一状态,线L2比线L3在时间上提前。换句话说,在图23所示的例子中,在基于图像处理部21的图像信号DGA1[m]的生成结束的时机,未完成在显示部40中显示图像信号DGB1[m]所示的图像的准备。换言之,在基于图像处理部21的图像信号DGA1[m]的生成结束的时机,没有从输出控制部31输出输出允许脉冲PL[m]。

因此,图像信号输出部23直至输出允许脉冲PL[m]被输出后的最初的水平扫描期间Hd1[m]为止,以等待时间UB1[m]等待图像信号DGB1[m]的输出,之后,在水平扫描期间Hd1[m]输出图像信号DGB1[m]。

另外,图23所例示的第一状态是,直至基于图像处理部21的图像处理的结束为止,来不及进行基于显示部40的显示准备的情况。换言之,直至水平扫描期间Hd1[m]开始为止,基于图像处理部21的图像信号DGA1[m]的生成结束,成为能够从图像信号输出部23输出图像信号DGB1[m]的状态。因此,在图23所例示的第一状态下,显示垂直扫描期间Fd1的垂直有效数据期间DVI所含的全部水平扫描期间Hd成为有效水平扫描期间Hd-A。即,在第一状态下,显示垂直扫描期间Fd的时间长度成为标准垂直扫描时间Td。

这样,在图23所例示的第一状态下,虽然用于生成图像信号D1的图像处理在具有充分富余的情况下结束,但显示部40侧的显示准备成为瓶颈,显示部40中的显示延迟。

因此,在摄像部10输出摄像信号DS1之后直至显示部40显示图像信号D1所示的图像为止的延迟时间ΔT1成为图像信号生成部20中的图像处理所需的时间(图像处理时间UA)与在图像处理的结束后用于等待显示部40中的显示准备的时间(等待时间UB)的合计时间。

接下来,参照图22以及图24,以在摄像垂直扫描期间Fs2中摄像部10输出的摄像信号DS2(DGS2)与在显示垂直扫描期间Fd2中图像信号生成部20向显示部40输出的图像信号D2(DGB2)的关系为例,说明第二状态。

图24是用于说明摄像信号DS2[p](摄像信号DGS2[m])与图像信号D2[m](图像信号DGA2[m]以及图像信号DGB2[m])的关系的时序图。

如图24所示,从摄像部10输出由摄像信号DS2[m]以及DS2[m+1]构成的摄像信号(出于方便,设为DGS2[m]的输出开始时),图像处理部21基于该摄像信号DGS2[m]而开始图像信号DGA2[m]的生成。然后,图像处理部21从图像处理的开始经由图像处理时间UA2[m]之后结束图像信号DGA2[m]的生成,将其存储于行缓冲器22。

此外,在图24所示的例子中假定如下情况,图像信号D2[1]、D2[2]以及D2[3]是在时刻Tth以前图像信号输出部23输出的图像信号D[m],图像信号D2[4]是在时刻Tth以后图像信号输出部23输出的图像信号D[m]。

在时刻Tth以前,线L2比线L3(线L4)在时间上提前。换句话说,在时刻Tth以前,在基于图像处理部21的图像信号DGA2[m]的生成结束的时机,不会从输出控制部31输出输出允许脉冲PL[m]。

因此,图像信号输出部23在时刻Tth以前直至输出允许脉冲PL[m]被输出后的最初的水平扫描期间Hd2[m]为止,以等待时间UB2[m]等待图像信号DGB2[m]的输出,之后,在水平扫描期间Hd2[m]输出图像信号DGB2[m]。

在图24所示的例子中,图像信号输出部23在图像信号DGA2[1]生成之后,以等待时间UB2[1]等待图像信号DGB2[1]的输出,之后,在水平扫描期间Hd2[1]输出图像信号DGB2[1]。同样,图像信号输出部23在图像信号DGA2[2]生成之后,以等待时间UB2[2]等待图像信号DGB2[2]的输出,之后,在水平扫描期间Hd2[2]输出图像信号DGB2[2]。

另一方面,在时刻Tth以后,通常,线L4比线L2在时间上提前。在线L4比线L2在时间上提前的情况下,当图像处理部21生成图像信号DGA2[m]时,显示部40能够立即(在之后的水平扫描期间Hd)显示该图像信号DGB2[m]所示的图像。因此,在线L4比线L2在时间上提前的情况下,在基于图像处理部21的图像信号DGA2[m]的生成结束的时机,从输出控制部31输出输出允许脉冲PL[m]。

在图24所示的例子中,图像信号输出部23在生成图像信号DGA2[3]、且输出允许脉冲PL[3]被输出后的最初的水平扫描期间Hd2[3],输出图像信号DGB2[3]。

另外,在该图所示的例子中,生成图像信号DGA2[4]是在水平扫描期间Hd2[4]的开始后。因此,图像信号输出部23在生成图像信号DGA2[4]、且输出允许脉冲PL[4]被输出后的最初的水平扫描期间Hd2[5],输出图像信号DGB2[4]。然后,定时发生器32将水平扫描期间Hd2[4]设为无效水平扫描期间Hd-D。

这样,在图24所例示的第二状态下,在时刻Tth以后,产生以图像处理为起因的显示的延迟,因此在显示垂直扫描期间Fd2的垂直有效数据期间DVI,插入无效水平扫描期间Hd-D。换句话说,在第二状态下,显示垂直扫描期间Fd的时间长度成为标准垂直扫描时间Td以及延长垂直扫描时间Tex的合计。

另外,关于在摄像部10输出摄像信号DS2之后直至显示部40显示图像信号D2所示的图像为止延迟时间ΔT2,在时刻Tth以前是图像信号生成部20中的图像处理所需的时间(图像处理时间UA)与用于等待显示部40中的显示准备的时间(等待时间UB)的合计时间,在时刻Tth以后,在线L4比线L2在时间上提前的情况下,仅成为图像信号生成部20中的图像处理所需的时间(图像处理时间UA)。因此,第二状态的延迟时间ΔT2比第一状态的延迟时间ΔT1短。

接下来,参照图22以及图25,以在摄像垂直扫描期间Fs3中摄像部10输出的摄像信号DS3(DGS3)与在显示垂直扫描期间Fd3中图像信号生成部20向显示部40输出的图像信号D3(DGB3)的关系为例,说明第三状态。

图25是用于说明摄像信号DS3[p](摄像信号DGS3[m])与图像信号D3[m](图像信号DGA3[m]以及图像信号DGB3[m])的关系的时序图。

如图25所示,从摄像部10输出由摄像信号DS3[m]以及DS3[m+1]构成的摄像信号(出于方便,设为DGS3[m]的输出开始)时,图像处理部21基于该摄像信号DGS3[m]而开始图像信号DGA3[m]的生成。然后,图像处理部21从图像处理的开始经过图像处理时间UA3[m]之后结束图像信号DGA3[m]的生成,将其存储于行缓冲器22。

在第三状态下,通常,线L4比线L2在时间上提前。线L4比线L2在时间上提前的情况下,当图像处理部21生成图像信号DGA3[m]时,显示部40能够立即(在之后的水平扫描期间Hd中)显示该图像信号DGB3[m]所示的图像。因此,在这种情况下,在基于图像处理部21的图像信号DGA3[m]的生成结束的时机,从输出控制部31输出输出允许脉冲PL[m]。

具体来说,在图25所示的例子中,图像信号输出部23在生成图像信号DGA3[1]且输出允许脉冲PL[1]被输出后的最初的水平扫描期间Hd3[3],输出图像信号DGB3[1],在生成图像信号DGA3[2]且输出允许脉冲PL[2]被输出后的最初的水平扫描期间Hd3[5],输出图像信号DGB3[2],在生成图像信号DGA3[3]且输出允许脉冲PL[3]被输出后的最初的水平扫描期间Hd3[7],输出图像信号DGB3[3],在生成图像信号DGA3[4]且输出允许脉冲PL[4]被输出后的最初的水平扫描期间Hd3[9],输出图像信号DGB3[4]。此外,在这种情况下,定时发生器32开始显示垂直扫描期间Fd1的垂直有效数据期间DVI,但不输出输出允许脉冲PL[1],因此在水平扫描期间Hd3[1]、Hd3[2]中,输出无效水平扫描期间Hd-D,同样在Hd3[4]、Hd3[6]以及Hd3[8]中,进行输出无效水平扫描期间Hd-D的处理。

这样,在图25所例示的第三状态下,产生以图像处理为起因的显示的延迟,因此在显示垂直扫描期间Fd3的垂直有效数据期间DVI插入无效水平扫描期间Hd-D。其结果是,在第三状态下,以水平扫描期间Hd的精度来调节显示垂直扫描期间Fd的时间长度,使得显示部40能够进行与在摄像垂直扫描期间Fs输出的摄像信号DS同步的显示。换句话说,在第三状态中,概略来看,将显示垂直扫描期间Fd调节为与摄像垂直扫描期间Fs大致相同的时间。

另外,在第三状态下,线L4比线L2在时间上提前的情况下,在图像处理部21生成图像信号D[m]之后的最初的水平扫描期间Hd,显示部40显示图像信号D[m]所示的图像。因此,在摄像部10输出摄像信号DS3之后直至显示部40显示图像信号D3所示的图像为止的延迟时间ΔT3与图像信号生成部20中的图像处理所需的时间(图像处理时间UA)大致相同。具体来说,在第三状态下,在摄像部10开始摄像信号DS[p]的输出之后直至显示部40开始图像信号D[m]所示的图像的显示为止的延迟时间ΔT3、以及图像处理部21生成图像信号D[m]所需的图像处理时间UA以水平扫描期间Hd的精度相等。

因此,在第三状态下,能够将从基于摄像部10的摄像至基于显示部40的显示的延迟以水平扫描期间Hd的精度最小化。在这种情况下,延迟时间ΔT3比第一状态的延迟时间ΔT1短,并且成为第二状态的延迟时间ΔT2以下。

另外,如上述那样,由显示部40显示一个画面所需的时间(周期)比由摄像部10拍摄一个画面所需的时间(周期)短。因此,即使在车辆用摄像显示系统1以第一状态动作而产生了显示部40侧的显示准备成为瓶颈的显示的延迟的情况下,在每个摄像垂直扫描期间Fs中该显示的延迟也缓慢缩小。

换句话说,车辆用摄像显示系统1即使在最初以第一状态动作的情况下,最终也移至第三状态下的动作,在开始第三状态下的动作之后,能够维持第三状态下的动作。其结果是,能够使显示部40侧的显示时机以水平扫描期间Hd的精度追随图像处理部21中的图像处理的结束时机。

因此,当车辆用摄像显示系统1开始动作时,除了刚开始动作之后,能够维持从基于摄像部10的摄像至显示部40中的图像显示为止的延迟时间最小化的状态。

<4.第一实施方式的效果>

在本实施方式的车辆用摄像显示系统1中,在符合第一条件以及第二条件的情况下从图像信号输出部23输出图像信号D[m],在不符合第一条件或者第二条件的情况下,通过插入无效水平扫描期间Hd-D,以水平扫描期间Hd的精度来调节来自图像信号输出部23的图像信号D[m]的输出时机。即,在本实施方式的车辆用摄像显示系统1中,在图像处理部21生成图像信号D[m]之后的最初的水平扫描期间Hd,显示部40能够显示图像信号D[m]所示的图像。由此,能够使从基于摄像部10的摄像至基于显示部40的显示为止的延迟以水平扫描期间Hd的精度最小化。因此,通过缩短从摄像至显示的延迟时间,能够显示对车辆的安全驾驶有用的车辆外部的图像。

另外,在本实施方式的车辆用摄像显示系统1中,通过向垂直有效数据期间DVI插入无效水平扫描期间Hd-D,能够将显示垂直扫描期间Fd的时间长度设为可变,并且维持与摄像垂直扫描期间Fs的时间长度大致相同的状态。

因此,能够实现抑制显示的闪烁等的高品质的显示。另外,在相位差大于预定时间的情况下,直至相位差成为预定时间以下为止,能够阶段性缩短相位差,在相位差收敛于预定时间以下之后维持该相位差,因此降低产生驾驶员不可能预测的延迟的可能性。

另外,根据本实施方式,例如即使在具有与图像处理的手法的变更等相伴的图像处理时间的变更的情况、以行为单位使图像处理时间UA变动的情况、将摄像部10更换为帧速率不同的构成的情况、或者将显示部40更换为帧速率不同的构成的情况等、摄像部10以及显示部40的相位差、摄像部10的帧速率以及由显示部40能够显示的最高的帧速率中的一部分或者全部变化的情况下,也能够使相位差PD自动地收敛在图像处理时间UA以下的长度。

<B.第二实施方式>

在上述的第一实施方式中,如图20所示,通过向垂直有效数据期间DVI插入无效水平扫描期间Hd-D,以水平扫描期间Hd的精度来调节图像信号D[m]的输出时机,将水平扫描期间Hd的时间长度设为固定长度。

与之相对,在第二实施方式的车辆用摄像显示系统中,在将水平扫描期间Hd的时间长度设为可变长度而以例如显示点时钟信号DCLK的周期调节图像信号D[m]的输出时机这点与第一实施方式的车辆用摄像显示系统1不同。

以下,参照图26至图28对第二实施方式的车辆用摄像显示系统进行说明。此外,对于在以下例示的第二实施方式中作用、功能与第一实施方式同等的要素,沿用在以上的说明中参照的附图标记而适当省略各自的详细说明(对于以下说明的变形例也是相同的)。

图26是用于说明第二实施方式的车辆用摄像显示系统具备的时机控制部30(输出控制部31以及定时发生器32)生成的、输出控制信号CTR、使能信号DEnb与显示水平同步信号DHsync2的关系的说明图。

第二实施方式的车辆用摄像显示系统所具备的时机控制部30中,除了定时发生器32生成具有可变周期的水平同步脉冲PlsH的显示水平同步信号DHsync2来代替显示水平同步信号DHsync、生成具有可变周期的垂直同步脉冲PlsV的显示垂直同步信号DVsync2来代替显示垂直同步信号DVsync这点,与第一实施方式的车辆用摄像显示系统1(参照图20)同样地构成。

如图26所示,第二实施方式的输出控制部31与第一实施方式同样地在图像处理判定时刻TA[m]以及显示准备判定时刻TB[m]中的较迟一方的时刻(在该图中采用上述的第二方式,因此为图像处理判定时刻TA[m]),向输出控制信号CTR设定输出允许脉冲PL[m]。

另外,如图26所示,第二实施方式的定时发生器32从向输出控制部31输出的输出控制信号CTR设定有输出允许脉冲PL[m]的时机经过作为固定的时间长度的基准前沿时间TP之后,作为显示水平同步信号DHsync2而输出水平同步脉冲PlsH。

因此,在直至显示准备判定时刻TB[m]为止图像信号D[m]的生成结束且经过了图像信号生成时刻TC[m]的情况(Case-1)下,水平前沿期间DHf的时间长度成为基准前沿时间TP。

另一方面,在直至显示准备判定时刻TB[m]为止图像信号D[m]的生成没有结束的情况、即比显示准备判定时刻TB[m]靠后而图像信号生成时刻TC[m]到来的情况(Case-2)下,水平前沿期间DHf的时间长度成为基准前沿时间TP与从显示准备判定时刻TB[m]至图像信号生成时刻TC[m](图像处理判定时刻TA[m])为止的时间长度即延长前沿时间TPX的合计值。

这样,第二实施方式的定时发生器32等待,输出控制部31判定为图像信号D[m]的输出准备完成并作为输出控制信号CTR而输出输出允许脉冲PL[m],在输出允许脉冲PL[m]被输出之后经过基准前沿时间TP后,开始水平扫描期间Hd[m]。换言之,第二实施方式的定时发生器32延长水平前沿期间DHf,直至图像信号D[m]的输出准备完成。

因此,图像信号输出部23即使在图像处理部21中的图像信号D[m]的图像处理延迟的情况下,也能够在水平扫描期间Hd[m]输出图像信号D[m]。在这种情况下,在摄像部10输出摄像信号DGS[m]之后直至显示部40显示基于图像信号D[m]的图像为止的延迟时间以显示点时钟信号DCLK的精度最小化。

图27是用于说明达到显示部40中的显示准备成为瓶颈的显示的延迟被消除的状态(即图24所说明的第二状态)下、第二实施方式的车辆用摄像显示系统的动作的时序图。另外,图28是用于说明图像处理部21的图像处理成为瓶颈而使显示产生延迟的状态(即图25所说明的第三状态)下、第二实施方式的车辆用摄像显示系统的动作的时序图。此外,在图27以及图28中,沿用图22至图25所说明的附图标记。

在图27中,例如,直至水平扫描期间Hd2[2]中的使能信号DEnb的下降的时机,生成图像信号DGA2[3]。因此,在水平扫描期间Hd2[2]中的使能信号DEnb的下降的时机,输出输出允许脉冲PL[3]。在这种情况下,水平扫描期间Hd2[2]的水平前沿期间DHf的时间长度成为基准前沿时间TP。

另一方面,在该图所示的例子中,生成图像信号DGA2[4]的时机比水平扫描期间Hd2[3]中的使能信号DEnb的下降的时机靠后。因此,在生成图像信号DGA2[4]的时机下,输出输出允许脉冲PL[4]。在这种情况下,水平扫描期间Hd2[3]的水平前沿期间DHf的时间长度成为基准前沿时间TP、以及延长前沿时间TPX(从水平扫描期间Hd2[3]中的使能信号DEnb的下降的时机至输出允许脉冲PL[4]被输出为止的时间)的合计的时间长度。即,显示部40中的显示准备成为瓶颈的显示的延迟被消除的时刻Tth以后,根据图像处理的状况来延长水平扫描期间Hd。

另外,在图28中,生成图像信号DGA3[m]的时机比水平扫描期间Hd3[m-1]中的使能信号DEnb的下降的时机靠后。因此,在生成图像信号DGA3[m]的时机,输出输出允许脉冲PL[m]。在这种情况下,水平扫描期间Hd3[m]的水平前沿期间DHf的时间长度成为基准前沿时间TP与延长前沿时间TPX(从水平扫描期间Hd3[m]中的使能信号DEnb的下降的时机至输出允许脉冲PL[m]被输出为止的时间)的合计的时间长度。即,在图像处理部21的图像处理成为瓶颈而使显示产生延迟的状态(第三状态)下,根据图像处理的状况来延长水平扫描期间Hd。

此外,由图27以及图28明确可知,在第二实施方式中,不存在无效水平扫描期间Hd-D,全部的水平扫描期间Hd成为有效水平扫描期间Hd-A。

另外,在第二实施方式中,水平扫描期间Hd例如以显示点时钟信号DCLK的单位成为可变,因此显示垂直扫描期间Fd也具有可变的时间长度。

<C.变形例>

以上的各方式能够进行各种各样的变形。以下例示具体的变形方案。从以下的例示中任意选择的两个以上的方案能够在相互不矛盾的范围内适当地合并。此外,在以下说明的变形例中,为了避免说明的重复,省略说明与上述的本发明的实施方式共用的构成。

<变形例1>

在上述的实施方式中,作为各显示部40而例示了HUD,但本发明不限定于这样的方案,也可以是背面投射型的投影仪、液晶显示装置、OLED(organic light emitting diode:有机发光二极管)显示装置、等离子体显示装置。

<变形例2>

在上述的实施方式以及变形例中,利用并行接口进行图像处理电路100与显示部40之间的数据传送,但也可以通过低电压差动(LVDS)的串行接口、Ethernet(注册商标)的实时接口等来进行。

<变形例3>

在上述的实施方式以及变形例中,由摄像垂直同步信号SVsync预定的摄像垂直扫描期间Fs具有由显示垂直同步信号DVsync(或者DVsync2)预定的显示垂直扫描期间Fd以上的时间长度,但本发明不限于这样的方案,摄像垂直扫描期间Fs也可以具有比显示垂直扫描期间Fd短的时间长度。

<变形例4>

在上述的实施方式以及变形例中,输出控制部31基于图像处理部21输出的写入结束信号PtA与图像信号输出部23输出的输出结束信号PtB来判定输出图像信号D[m]的准备是否完成,但本发明不限于这样的方案,也可以使输出控制部31周期性参照行缓冲器22,从而判定在行缓冲器22记录有图像信号D[m]、以及从行缓冲器22读取图像信号D[m-1],由此判定输出图像信号D[m]的准备是否完成。

<变形例5>

在上述的实施方式以及变形例中,例示说明了以行为单位使图像处理时间UA[m]变动的情况,但本发明不限于这样的方案,也可以使图像处理时间UA[m]在各行之间相同。

<变形例6>

在上述的实施方式中,在图像处理部21中,说明了执行使对于左右方向的靠近车身的区域比远离车身的区域相对放大的处理(第一处理)以及使对于上下方向的中央的区域比上或者下的区域相对放大的处理(第二处理)这两者的方案,但也可以执行其任一方。

另外,使对于左右方向的靠近车身的区域比远离车身的区域相对放大的处理(第一处理)是能够通过缩小远离车身的区域的处理或者放大靠近车身的区域的处理中的至少任一者来实现的处理。即,在放大靠近车身的区域的情况下不一定需要缩小远离车身的区域的处理,在缩小远离车身的区域的情况下不一定需要放大靠近车身的区域的处理。同样,使对于上下方向的中央的区域比上或者下的区域相对放大的处理(第二处理)是能够通过放大中央的区域的处理、缩小上的区域的处理或者缩小下的区域的处理中的任一者来实现的处理。即,在放大中央的区域的情况下不一定需要放大上或者下的区域的处理,在缩小上或者下的区域的情况下不一定需要放大中央的区域的处理。

此外,在放大缩小处理中,各区域LR1~LR6(图12)、各区域BR1~BR9(图19)间的比率、区分的区域的个数以及其放大倍率或缩小倍率能够适当地变更。

<变形例7>

在上述的实施方式中,在裁剪处理之后执行镜像生成处理,之后执行水平方向缩小放大处理以及垂直方向缩小放大处理,但不限于此,其执行顺序能够适当地变更。另外,在上述的实施方式中,在裁剪处理中裁剪后的裁剪区域Tarea的图像与显示区域AD的大小相应地暂时放大之后,执行镜像生成处理、水平方向缩小放大处理以及垂直方向缩小放大处理,但也可以不进行裁剪后的图像的放大处理,而是执行镜像生成处理,之后在水平方向缩小放大处理以及垂直方向缩小放大处理中执行用于与显示区域AD的大小匹配的放大处理。通过如此构成,能够缩短图像处理时间。

<变形例8>

在上述的实施方式中,在图3A、图3B以及图3C中,示出了表示左侧后方区域LR的图像被看到的区域、表示后方区域BR的图像被看到的区域、表示右侧后方区域RR的图像被看到的区域的例子,但这些区域在不损害本发明的主旨的范围内能够适当地变更。

<变形例9>

在夜间驾驶时,有时因映在侧后视镜、后视镜的图像的亮度不足而使驾驶员无法察觉危险。对此,除了由上述实施方式说明的图像生成处理之外,图像处理部21也可以执行校正基于摄像信号DS的图像的亮度的处理。通过执行提高基于摄像信号DS的图像的亮度的校正,即便是在较暗场所拍摄的图像,也能够显示对车辆的安全驾驶有用的车辆外部的图像。

附图标记说明

1、车辆用摄像显示系统;10-1、左侧后方区域摄像部;10-2、中央后方区域摄像部;10-3、右侧后方区域摄像部;11、摄像光学系统;12、图像传感器;13、定时发生器;20、图像信号生成部;21、图像处理部;218、裁剪处理部;219、尺寸调节处理部;220、镜像生成部;221、水平方向缩小放大处理部;222、垂直方向缩小放大处理部;22、行缓冲器;23、图像信号输出部;30、时机控制部;31、输出控制部;32、定时发生器;33、参数发送部;40-1、左侧显示部;40-2、中央显示部;40-3、右侧显示部;41、控制器;42、液晶面板;50、控制部;60、操作部;100-1、100-2、100-3、图像处理电路。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1