本公开涉及一种用于显示车辆周围的摄像图像的面向车载的图像处理装置。
背景技术
近年来，将车载摄像机和显示器组合而成的电子镜装置得以实用化，期待将来代替后视镜(室内镜等室内后视镜)和侧面镜(包含车门镜等车外后视镜)。在电子镜装置中，由车载摄像机来拍摄车辆周围，摄像图像显示于显示器。
以往的室内镜有时视野被后部座席的乘员、货物遮挡。与此相对，在电子镜装置中，由设置于车辆后部的车载摄像机来拍摄车辆后方，因此能够不被遮挡视野地确认车辆后方。另外，侧面镜配置成从车辆突出，因此相应地容易与障碍物、行人接触，但是通过应用电子镜装置能够来略侧面镜。当前以欧洲为首，已规范化地开始电子镜装置的标准化。
一般在电子镜装置中，表示由车载摄像机拍摄的图像的信号(以下称为“图像信号”)输入到图像处理装置，在被实施包含失真校正处理、视角变换处理(图像的旋转、放大/缩小)以及降噪处理等在内的高图像质量处理之后输出到显示器。由此，能够在显示器上显示高质量的图像。例如，专利文献1公开了可应用于电子镜等的面向车载的图像处理装置。
专利文献1：日本特开2003-259354号公报
技术实现要素：
然而，在上述的图像处理装置中，为了利用帧存储器来进行高图像质量处理，从通过车载摄像机输入图像信号起至与该图像信号对应的图像显示到显示器为止，产生几帧的延迟。高图像质量处理一般是在被称为soc(system-on-a-chip：片上系统)的集成电路的内部高速地进行运算，但是伴随着功能的复杂化，内部处理的帧延迟量有增加的倾向。这样，在电子镜装置中帧延迟是不可避免的，但是当过于重视图像品质而导致帧延迟量变大时，驾驶者无法可靠地掌握后方的状况(后续车辆的接近状况等)，容易有损安全性。
例如在后续车辆比本车辆快地接近的情况下，从显示于显示器的图像来识别的后续车辆看起来比实际的行驶位置远。因此，存在如下担忧：虽然在驾驶者的意识中是有余裕的驾驶操作(例如车道变更)，但是实际上为后续车辆已相当接近的状况下的不恰当的驾驶操作。特别是，在车辆的行驶速度为高速的情况下，从显示图像识别的后续车辆的行驶位置和实际的行驶位置大为不同，因此需要相当的注意。
本公开的目的在于提供一种图像处理装置，其能够提高应用于显示车辆周围的摄像图像的电子镜装置等的情况下的安全性。
反映了本公开的一个侧面的图像处理装置具备：帧存储器，其将图像信息以帧为单位来保存；图像输入部，其将行驶的车辆的周围的摄像图像的图像信息作为输入图像信息来保存于帧存储器；图像质量变换部，其对保存于帧存储器的输入图像信息以帧为单位来进行图像质量的变换；图像输出部，其从帧存储器读出图像信息并输出到显示装置；控制部，其基于车辆的行驶状态来控制图像质量变换部的功能，对从图像输出部输出的图像信息相对于该图像信息的输入的帧延迟量进行切换；以及插补帧设定部，其设定插补帧，该插补帧在用于从控制部进行切换前的第一帧延迟量向切换后的第二帧延迟量转变的转变期间被输出。图像输出部在转变期间内输出插补帧的图像信息之后输出具有第二帧延迟量的帧的图像信息。
根据本公开，基于车辆的行驶状态来切换输出的图像相对于该图像的输入的帧延迟量，因此应用于显示车辆周围的摄像图像的电子镜装置等的情况下的安全性显著得到提高。
附图说明
图1是表示应用了第一实施方式所涉及的图像处理装置的电子镜装置的框图。
图2是表示高图像质量处理部的一个例子的框图。
图3是表示插补帧设定部的一个例子的框图。
图4是表示显示装置和车载摄像机的设置状态的图。
图5是表示基于块匹配来生成插补帧的图。
图6是表示进行高图像质量显示的情况下的输入图像和输出图像的关系的图。
图7是表示进行低图像质量显示的情况下的输入图像和输出图像的关系的图。
图8是表示第一实施方式中的图像质量切换处理的一个例子的流程图。
图9是表示第一实施方式中的从高图像质量显示切换为低图像质量显示的情况下的输出图像的一个例子的图。
图10是表示第一实施方式中的从低图像质量显示切换为高图像质量显示的情况下的输出图像的一个例子的图。
图11是表示应用了第二实施方式所涉及的图像处理装置的电子镜装置的框图。
图12是表示第二实施方式中的图像质量切换处理的一个例子的流程图。
图13是表示第二实施方式中的从高图像质量显示切换为低图像质量显示的情况下的输出图像的一个例子的图。
图14是表示从高图像质量显示切换为低图像质量显示的情况下的输出图像的其它一个例子的图。
图15是表示从低图像质量显示切换为高图像质量显示的情况下的输出图像的其它一个例子的图。
具体实施方式
以下，参照附图详细地说明本公开的实施方式。
[第一实施方式]
图1是表示应用了第一实施方式所涉及的图像处理装置10a的电子镜装置1a的框图。如图1所示，电子镜装置1a具备图像处理装置10a、显示装置20以及车载摄像机30。ecu(electroniccontrolunit：电子控制单元)40是进行车辆的驱动系控制的计算机。电子镜装置1a与ecu40能够通信地连接，获取在ecu40中生成的速度信息sp。电子镜装置1a例如被用作室内镜、侧面镜的代替物。
车载摄像机30配置于例如车辆v的后玻璃(参照图4)。车载摄像机30具有透镜等光学元件和ccd(charge-coupleddevice：电荷耦合器件)型图像传感器或者cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)型图像传感器等摄像元件。光学元件使接受到的光成像到摄像元件上。摄像元件将通过光学元件所形成的光像变换为电信号(rgb信号)。车载摄像机30将基于由摄像元件生成的rgb信号的输入图像信号vin通过无线通信或者有线通信来发送到图像处理装置10a。输入图像信号vin是例如将rgb信号变换为亮度信号y和两个色差信号uv而成的yuv信号(例如yuv422)。此外，输入图像信号vin也可以是rgb信号。
显示装置20是例如具有显示面板和背光灯(省略图示)的液晶显示器，例如安装于车厢内的前玻璃的上部中央(参照图4)。显示装置20基于来自图像处理装置10a的输出图像信号vout来进行图像显示。此外，显示装置20也可以应用有机el(electroluminescence：电致发光)显示器。
图像处理装置10a具备控制部11、图像输入部12、高图像质量处理部13(图像质量变换部)、插补帧设定部14、图像输出部15以及帧存储器16等。
在图像处理装置10a中，为了利用帧存储器16来进行高图像质量处理，从通过车载摄像机30输入图像信号起至与该图像信号对应的图像显示到显示装置20为止，产生几帧的延迟。在高图像质量处理部13的功能为有效的情况下，与高图像质量处理部13无效的情况相比图像质量变好，但是帧延迟量变大。
控制部11具备cpu(centralprocessingunit：中央处理单元)111、rom(readonlymemory：只读存储器)112、ram(randomaccessmemory：随机存取存储器)113等。cpu111例如从rom112读出与处理内容相应的程序并展开到ram113，与展开的程序协作来集中控制图像处理装置10a的各块的动作。
在本实施方式中，cpu111分析从ecu40获取到的速度信息sp，向高图像质量处理部13和插补帧设定部14输出使能信号en。使能信号en是表示将高图像质量处理部13的功能设为有效还是无效的控制信号。变更信号chg是将使能信号en的设定值发生了变更、即对高图像质量处理部13的功能的有效/无效进行了切换这一情况向插补帧设定部14进行通知的控制信号。使能信号en和变更信号chg用于根据车速来对高图像质量处理部13的功能的有效/无效进行切换时。
具体地说，在在电子镜装置1a刚起动后的初始设定时以及低速行驶(例如车速小于80km/h)的情况下，cpu111对使能信号en设定“1”，使高图像质量处理部13的功能有效。也就是说，认为在车速小于80km/h的低速行驶的情况下、即使车辆周围的摄像图像的显示定时稍微延迟也能够确保安全性，因此进行重视图像质量的图像处理。
另一方面，在高速行驶(例如车速为80km/h以上)的情况下，cpu111对使能信号en设定“0”，使高图像质量处理部13的功能无效。也就是说，在车速为80km/h以上的高速行驶的情况下，帧延迟量越大，安全性越下降，因此进行重视实时性的图像处理。此外，能够设想到在高速行驶的情况下驾驶者不会注意图像到能够识别图像质量的差异的程度，因此可以认为不会有驾驶者对图像质量的下降的不满。
另外，在cpu111将使能信号en从“1”变更为“0”或者从“0”变更为“1”的情况下，对变更信号chg设定“1”，执行插补帧设定部14中的处理。
此外，预先设定从高图像质量显示转变到低图像质量显示时的转变期间和从低图像质量显示转变到高图像质量显示时的转变期间。
图像输入部12基于来自车载摄像机30的输入图像信号vin来生成第一图像信息vdat1(例如yuv420)并输出。第一图像信息vdat1保存于帧存储器16。输入图像信号vin的帧频例如是60fps。
高图像质量处理部13对保存于帧存储器16的第一图像信息vdat1以帧为单位进行图像质量的变换。具体地说，高图像质量处理部13基于来自控制部11的使能信号en来对第一图像信息vdat1进行包括图像的失真校正、视角变换以及降噪等在内的高图像质量处理，输出高图像质量的第二图像信息vdat2。高图像质量处理部13在来自控制部11的使能信号en被设定为“1”的情况下进行高图像质量处理，在使能信号en被设定为“0”的情况下不进行高图像质量处理。第二图像信息vdat2保存于帧存储器16。
插补帧设定部14基于来自控制部11的使能信号en和变更信号chg来在从高图像质量显示切换到低图像质量显示或者从低图像质量显示切换到高图像质量显示的情况下设定在转变期间输出的插补帧。具体地说，插补帧设定部14在基于输入的使能信号en和变更信号chg来判断为使能信号en从“1”变更为“0”的情况下、也就是说从低速行驶变成高速行驶的情况下，为了平滑地转变到低图像质量显示，设定在转变期间输出的插补帧。另外，插补帧设定部14在使能信号en从“0”变更为“1”的情况下、也就是说从高速行驶变成低速行驶的情况下，为了平滑地转变到高图像质量显示，设定在转变期间输出的插补帧。插补帧的图像信息vdat3(以下称为“第三图像信息vdat3”)保存于帧存储器16。第三图像信息vdat3既可以是从保存于帧存储器16的第一图像信息vdat1中选择(复制)的，也可以是基于第一图像信息vdat1来新生成的。
图像输出部15将保存于帧存储器16的第一图像信息vdat1、第二图像信息vdat2以及第三图像信息vdat3中的某一个作为输出图像信息vdat4来读出，并且变换为rgb形式来作为输出图像信号vout输出。
如以上那样，基于控制部11的信号来切换作为输出图像信号vout输出的输出图像信息vdat4。
具体地说，在低速行驶的情况下，图像输出部15读出高图像质量的第二图像信息vdat2来作为输出图像信息vdat4，在高速行驶的情况下，读出低图像质量的第一图像信息vdat1来作为输出图像信息vdat4。另外，在车速发生变化从而从高图像质量显示切换到低图像质量显示的情况下的转变期间和从低图像质量显示切换到高图像质量显示的情况下的转变期间，图像输出部15读出第三图像信息vdat3。输出图像信号vout被输入到显示装置20。在显示装置20中，伴有一些帧延迟地显示用车载摄像机30拍摄到的摄像图像。
帧存储器16以帧为单位来存储由车载摄像机30拍摄到的摄像图像。帧存储器16至少具有保存多个(例如5帧)第一图像信息vdat1的区域、保存1帧第二图像信息vdat2的区域以及保存1帧第三图像信息vdat3的区域。
图2是表示高图像质量处理部13的一个例子的框图。如图2所示，高图像质量处理部13具有失真校正处理部131、视角变换处理部132以及噪声去除处理部133。
此外，高图像质量处理部13既可以包括用于校正车载摄像机30的抖动的抖动校正部、用于去除透镜污垢的污垢去除部等主要在数字摄像机中利用的图像质量处理部，也可以包括超分辨率处理部、存储色校正部等主要在电视机中利用的图像质量处理部。高图像质量处理部13中进行的图像质量处理越多，输出图像的帧延迟量越大。
失真校正处理部131对保存于帧存储器16的第一图像信息vdat1去除由车载摄像机的特性引起的图像的失真成分来输出第一中间信息dcout。第一中间信息dcout被输入到视角变换处理部132。在使能信号en被设定为“1”的情况下，失真校正处理部131有效。失真校正处理部131以帧为单位来进行失真校正处理，因此在该过程中产生1帧的处理延迟。
视角变换处理部132对来自失真校正处理部131的第一中间信息dcout进行用于摄像机瞄准的任意区域的剪切以及对剪切出的图像进行旋转、放大或缩小来输出第二中间信息scout。第二中间信息scout被输入到噪声去除处理部133。在使能信号en被设定为“1”的情况下，视角变换处理部132有效。视角变换处理部132以帧为单位来进行视角变换处理，因此在该过程中产生1帧的处理延迟。
噪声去除处理部133具有所谓的帧循环型(framecirculationtype)的降噪功能。噪声去除处理部133通过对来自视角变换处理部132的第二中间信息scout进行时间方向的滤波来去除随机噪声成分，输出第二图像信息vdat2。第二图像信息vdat2保存于帧存储器16。在使能信号en被设定为“1”的情况下，噪声去除处理部133有效。噪声去除处理部133以帧为单位来进行噪声去除处理，因此在该过程中产生1帧的处理延迟。
图3是表示插补帧设定部14的一个例子的框图。如图3所示，插补帧设定部14具有运动检测部141和插补帧生成部142。在变更信号为“1”时使运动检测部141和插补帧生成部142有效。
运动检测部141基于保存于帧存储器16的第一图像信息vdat1来检测连续的多个帧间的运动，向插补帧生成部142输出运动矢量信息mv。运动检测部141例如通过对保存于帧存储器16的连续的两个第一图像信息vdat1执行mpeg编码中经常使用的块匹配(blockmatching)来计算出运动矢量信息mv。
在块匹配中，首先如图5所示那样将前帧f1和后帧f2分割为多个图像块(例如16×16块)。接着，关注前帧f1内的一个图像块b1(以下称为“特定块”)，在该特定块b1与后帧f2的任意的图像块之间针对块内的所有像素(例如16×16像素)计算对应像素间的像素值之差的绝对值，并计算出将该绝对值累计得到的值(sad：sumofabsolutedifference)。然后，针对前帧f1的特定块b1，在与后帧f2的所有图像块之间进行该处理。sad值最小的图像块b2为在后帧f2内的所有图像块中相关性与前帧f1的特定块b1最高的图像块(以下称为“类似块b2”)。前帧f1的特定块b1和后帧f2的类似块b2的位置之差被检测为针对特定块b1的运动矢量mv1。运动矢量信息mv包含对前帧f1的所有图像块中的各个图像块检测到的运动矢量。
插补帧生成部142根据第一图像信息vdat1和运动矢量信息mv生成成为插补帧的第三图像信息vdat3，并保存到帧存储器16。插补帧生成部142例如通过使用运动矢量信息mv将连续的两个帧(第一图像信息vdat1)进行平均化来生成插补帧(第三图像信息vdat3)。如图5所示，插补帧f3中的像素p3的像素值是通过将前帧f1中的对应像素p1的像素值与后帧f2中的对应像素p2的像素值相加后除以2的处理来生成的。根据生成的运动矢量的关系，关于在插帧f3中没有被分配像素值的像素，基于被分配的周边像素的像素值来设定像素值。
如上所述，当在高图像质量处理部13中进行各个图像质量处理时，产生3帧的帧延迟。因而，如图6所示，在从接收输入图像起延迟了4帧的定时，显示与该输入图像对应的输出图像。例如，如在图6中以点划线所示那样输入帧#7时，在显示装置20中显示被实施了高图像质量处理的帧#3。另一方面，在如图7所示那样高图像质量处理部13的功能无效的情况下，在从接收输入图像起延迟了1帧的定时，显示与该输入图像对应的输出图像。
此外，在图6、图7的输出图像中，图6的以阴影显示的帧表示被实施了高图像质量处理的帧(即，第二图像信息vdat2)，没有阴影的帧表示没有被实施高图像质量处理的帧(即，第一图像信息vdat1)。另外，在图6、图7中，将1帧延迟、2帧延迟··表述为1v延迟、2v延迟··。
图8是表示图像处理装置10a中的图像质量切换处理的一个例子的流程图。例如伴随着电子镜装置1a的起动，cpu111调用保存于rom112中的图像处理程序并执行，由此实现该处理。此外，设为从ecu40始终向控制部11输入速度信息sp。
在步骤s101中，控制部11进行高图像质量处理部13的初始设定。具体地说，控制部11对使能信号en设定“1”，使高图像质量处理部13(失真校正处理部131、视角变换处理部132以及噪声去除处理部133)的功能有效。在显示装置20中以4帧延迟地显示高图像质量的输出图像(第二图像信息vdat2)(参照图6)。
在步骤s102中，控制部11判定是否为v消隐期间(参照图6)。当为v消隐期间时(步骤s102中“是”)，转变到步骤s103的处理。即，步骤s103以后的处理是在帧被更新的定时下进行的。
在步骤s103中，控制部11基于来自ecu40的速度信息sp来判定车速是否为80km/h以上。在车速为80km/h以上的情况下(在步骤s103中“是”)，转变到步骤s104的处理。在车速小于80km/h的情况下(在步骤s103中“否”)，转变到步骤s109的处理。
在步骤s104中，控制部11判定使能信号en是否被设定了“1”、即高图像质量处理部13是否为有效。在使能信号en被设定了“1”、高图像质量处理部13有效的情况下(在步骤s104中“是”)，从低速行驶切换到高速行驶。在该情况下，转变到步骤s105的处理，进行用于将输出图像从高图像质量(4帧延迟)平滑地切换到低图像质量(1帧延迟)的处理。在使能信号en被设定了“0”、高图像质量处理部13无效的情况下(在步骤s104中“否”)，将维持高速行驶。在这种情况下，转变到步骤s102的处理，低图像质量的输出图像(第一图像信息vdat1)的显示继续。
在步骤s105中，控制部11对使能信号en设定“0”、并且对变更信号chg设定“1”。由此，高图像质量处理部13被无效化，插补帧设定部14被有效化。
在此，当将输出图像从高图像质量(图6所示的4帧延迟)立即切换到低图像质量(图7所示的1帧延迟)时，帧间的连续受损。例如，在图6中，当输入帧#6时，显示高图像质量的帧#2(4帧延迟)，但是在输入帧#7的定时(帧#6与#7之间的v消隐期间)中从低速行驶变成高速行驶的情况下显示低图像质量的帧#6(1帧延迟)时，帧#3～5这3帧丢帧。因此，变成不自然的显示，担心给驾驶者带来不协调感。因此，进行步骤s106以后的处理，使得平滑地切换输出图像。
在步骤s106中，控制部11控制插补帧设定部14，设定低图像质量转变用的插补帧(第三图像信息vdat3)。插补帧设定部14设定在转变期间显示的插补帧。
在步骤s107中，控制部11判定用于转变的帧插补处理是否完成。例如根据是否经过预先设定的转变期间来进行该判定处理。继续插补帧的设定直到用于转变的帧插补处理完成为止。在转变期间内，作为该插补帧的图像信息的第三图像信息vdat3作为输出图像信息vdat4被读出，并显示到显示装置20。
当帧插补处理完成时(在步骤s107中“是”)，转变到步骤s108的处理。
在步骤s108中，控制部11对变更信号chg设定“0”，使插补帧设定部14无效化，转变到步骤s102的处理。从下一帧开始，1帧延迟的第一图像信息vdat1作为输出图像信息vdat4被读出，显示低图像质量的图像。
图9是表示从高图像质量显示(4帧延迟)切换到低图像质量显示(1帧延迟)的情况下的输出图像的图。在图9中，表示在帧#5与#6之间的v消隐期间内从低速行驶切换到高速行驶的情况。另外，在图9中转变期间是9帧。
如图9所示，直到帧#6的输入为止，高图像质量的第二图像信息vdat2(4帧延迟)作为输出图像信息vdat4被读出并显示。转变期间被设定为9帧，因此在输入10帧后的帧#16时，与帧#15对应的低图像质量的第一图像信息vdat1(1帧延迟)作为输出图像信息vdat4被读出并显示。
在输入作为转变期间的帧#7～#15时，读出被设定的插补帧的图像信息、即第三图像信息vdat3并显示。在输入帧#7时输出的帧#3.3是在输入帧#6时生成的。因此，高图像质量处理的切换定时和转变开始定时错开1帧。插补帧例如是以相对于输入图像的帧延迟量逐渐变小的方式基于连续的多个帧来生成的。在图9中，帧#3.3是以相对于作为输入图像的帧#7的帧延迟量为3.7帧(7-3.3)的方式基于连续的多个帧(例如帧#2、#3、#4)来生成的。关于帧#4.6、#5.9、#7.2、#8.5、#13.7也同样。也就是说，在图9所示的例子中，以在转变期间中帧延迟量以0.3步长减小的方式基于连续的多个帧来生成了插补帧。
在转变期间内，以输出图像的帧延迟量从4帧向1帧逐渐变小的方式设定插补帧，因此帧的连续性不会被破坏地从4帧延迟的高图像质量显示平滑地切换到1帧延迟的低图像质量显示。与单纯地对帧进行间除的方法相比，需要长的转变期间，但是能够减轻运动图像的运动变得不连续，能够抑制质量的劣化。
另一方面，在图8的步骤s103中，当车速小于80km/h时(在步骤s103中“否”)转变到步骤s109的处理。在步骤s109中，控制部11判定使能信号en是否被设定为了“0”、即高图像质量处理部13是否无效。在使能信号en被设定了“0”、高图像质量处理部13无效的情况下(在步骤s109中“是”)，从高速行驶切换到低速行驶。在该情况下，转变到步骤s110的处理，进行用于将输出图像从低图像质量(1帧延迟)平滑地切换到高图像质量(4帧延迟)的处理。在使能信号en被设定为“1”、高图像质量处理部13有效的情况下(在步骤s109中“否”)，维持低速行驶。在这种情况下，转变到步骤s102的处理，基于高图像质量的输出图像(第二图像信息vdat2)的显示继续。
在步骤s110中，控制部11对使能信号en设定“1”、并且对变更信号chg设定“1”。由此，高图像质量处理部13被有效化，插补帧设定部14也被有效化。在此，当将输出图像从低图像质量(图7所示的1帧延迟)立即切换到高图像质量(图6所示的4帧延迟)时(参照图6、图7)，与从高图像质量切换到低图像质量的情况同样地，帧间的连续性受损。因此，进行步骤s111以后的处理使得平滑地切换输出图像。
在步骤s111中，控制部11控制插补帧设定部14来设定高图像质量转变用的插补帧(第三图像信息vdat3)。插补帧设定部14设定在转变期间显示的插补帧。
在步骤s112中，控制部11判定用于转变的帧插补处理是否完成。例如根据是否经过预先设定的转变期间来进行该判定处理。继续插补帧的设定直到用于转变的帧插补处理完成为止。在转变期间内，作为该插补帧的图像信息的第三图像信息vdat3作为输出图像信息vdat4被读出，并显示到显示装置20。当帧插补处理完成时(在步骤s112中“是”，转变到步骤s108的处理。
在步骤s108中，控制部11对变更信号chg设定“0”，使插补帧设定部14无效化，转变到步骤s102的处理。从下一帧开始，4帧延迟的第二图像信息vdat2作为输出图像信息vdat4被读出，显示高图像质量的图像。此外，重复图像质量切换处理1直到电子镜装置1a的电源关闭为止。
图10是表示从低图像质量显示(1帧延迟)切换到高图像质量显示(4帧延迟)的情况下的输出图像的图。在图10中，示出在帧#4与#5之间的v消隐期间从高速行驶切换到低速行驶的情况。另外，在图10中转变期间是7帧。
如图10所示，直到输入帧#5为止，低图像质量的第一图像信息vdat1(1帧延迟)作为输出图像信息vdat4被读出并显示。在输入帧#6时输出的帧#4.5是在输入帧#5时生成的。因此，高图像质量处理的切换定时和转变开始定时错开1帧。转变期间被设定为7帧，因此在8帧后的帧#13输入时，与帧#9对应的高图像质量的第二图像信息vdat2(4帧延迟)作为输出图像信息vdat4被读出并显示。
在作为转变期间的帧#6～#12输入时，读出被设定的插补帧的图像信息、即第三图像信息vdat3并显示。插补帧被设定成帧延迟量逐渐变大。在图9中，成为帧#6、#9、#12输入时的输出图像的插补帧(帧#4.5、#6.5、#8.5)是基于连续的多个帧来生成的。关于成为帧#7、#8、#10、#11输入时的输出图像的插补帧(帧#5、#6、#7、#8)，原样地利用第一图像信息vdat1。在图10中，帧#4.5的输出图像的延迟量是1.5帧，帧#6.5的输出图像的延迟量是2.5帧，帧8.5的输出图像的延迟量是3.5帧。
以在转变期间内输出图像的帧延迟量从1帧向4帧逐渐变大的方式设定插补帧，因此帧的连续性不被破坏地从1帧延迟的低图像质量显示平滑地切换到4帧延迟的高图像质量显示。与单纯地重复帧的方法相比，需要长的转变期间，但是能够减轻运动图像的运动变得不连续，能够抑制品质的劣化。
这样，第一实施方式所涉及的图像处理装置10a具备：帧存储器16，其以帧为单位来保存图像信息；图像输入部12，其将行驶的车辆的周围的摄像图像的图像信息作为第一图像信息vdat1(输入图像信息)来保存到帧存储器16；高图像质量处理部13(图像质量变换部)，其对保存于帧存储器16的第一图像信息vdat1以帧为单位来进行图像质量的变换；图像输出部15，其从帧存储器16读出图像信息并输出到显示装置20；控制部11，其基于车辆的行驶状态来控制高图像质量处理部13的功能，对从图像输出部15输出的图像信息相对于该图像信息的输入的帧延迟量进行切换；以及插补帧设定部14，其设定用于在从控制部11进行切换前的第一帧延迟量向切换后的第二帧延迟量转变的转变期间输出的插补帧。图像输出部15在转变期间内输出第三图像信息vdat3(插补帧的图像信息)之后，输出第一图像信息vdat1或者第二图像信息vdat2(具有第二帧延迟量的帧的图像信息)。
具体地说，控制部11在车辆的车速小于规定速度(例如80km/h)的情况下使高图像质量处理部13(图像质量变换部)的功能有效化，在车辆的车速是规定速度以上的情况下使高图像质量处理部13的功能无效化。
根据图像处理装置10a，根据车辆的车速(行驶状态的一个例子)来切换所输出的图像相对于该图像的输入的帧延迟量，因此在实时性重要的行驶状态(例如高速行驶状态)中，驾驶者也能够可靠地掌握后方的状况(后续车辆的接近状况等)。另外，在切换显示图像的图像质量(帧延迟量)的情况下，不是立即切换，而是设置转变期间，在该转变期间显示由插补帧设定部14来设定的插补帧，因此能够没有图像的不自然的中断地平滑地进行切换。因而，应用于显示车辆周围的摄像图像的电子镜装置1a等的情况下的安全性显著提高。
[第二实施方式]
图11是表示应用了第二实施方式所涉及的图像处理装置10b的电子镜装置1b的框图。图像处理装置10b除了第一实施方式所涉及的图像处理装置10a(参照图1)的结构要素以外，还具备车辆检测部17。其它的结构与第一实施方式相同，因此只说明与车辆检测部17有关的事项。
图像输入部12基于来自车载摄像机30的输入图像信号vin来生成第一图像信息vdat1(例如yuv420)并输出。第一图像信息vdat1被保存到帧存储器16并且输入到车辆检测部17。
车辆检测部17分析来自图像输入部12的第一图像信息vdat1，检测与第一图像信息vdat1对应的图像中是否包含有车辆(后续车辆)。车辆检测部例如根据模板匹配法来检测图像中的车辆。具体地说，车辆检测部17基于第一图像信息vdat1来制作亮度信息的直方图分布图。通过比较制作出的直方图分布和预先保有的车辆的直方图(模板)来检测图像中的车辆。表示检测结果的车辆检测信息dt被输入到控制部11。在图像中有车辆的情况下，对车辆检测信息dt设定“1”，在图像中没有车辆的情况下，对车辆检测信息dt设定“0”。
控制部11基于来自车辆检测部17的车辆检测信息dt来判断车辆的有无，只在图像中不存在车辆的情况下进行图像质量(帧延迟量)的切换。具体地说，控制部11按照图12所示的流程图来执行图像切换处理。
图12是表示图像处理装置10b中的图像质量切换处理的一个例子的流程图。例如伴随电子镜装置1b的起动，cpu111调用保存于rom112的图像处理程序并执行，由此实现该处理。此外，设为从ecu40始终向控制部11输入速度信息sp。
在图12的流程图中，与第一实施方式的图像质量切换处理1所涉及的流程图(参照图8)相比追加有步骤s201。在步骤s201中，控制部11基于车辆检测信息dt来判定图像中是否存在后续车辆。在图像中存在后续车辆的情况下(在步骤s201中“是”)，转变到步骤s102的处理，待机到下一消隐期间到来为止。在图像中不存在后续车辆的情况下(在步骤s201中“否”)，转变到步骤s103的处理，与第一实施方式同样地，根据需要来进行图像质量的切换处理。
图13是表示从高图像质量显示(4帧延迟)切换到低图像质量显示(1帧延迟)的情况下的输出图像的图。如图13所示，在帧#6与#7之间的v消隐期间从低速行驶切换到高速行驶，但是在该定时，图像中存在后续车辆，因此不进行图像质量的切换处理。当在帧#13与#14之间的v消隐期间判定为图像中没有后续车辆时，进行图像质量的切换处理(图12的步骤s103以后)。
也就是说，在第二实施方式中，即使从低速行驶切换到高速行驶，在有后续车辆的情况下也不立即进行图像质量的切换，而是在没有后续车辆后进行图像质量的切换。
另外，也可以利用红外线传感器、激光或者超声波传感器来直接地检测车辆的有无，来代替基于图像信息来检测车辆的车辆检测部17。
这样，第二实施方式所涉及的图像处理装置10b除了第一实施方式所涉及的图像处理装置10a的结构以外还具备基于输入图像信息vdat1来检测图像中的车辆的有无的车辆检测部17。控制部11基于车辆检测部17的检测结果、具体地说检测到图像中不存在车辆的情况下、或者检测到在离本车辆固定的距离以内不存在车辆的情况下，进行帧延迟量的切换。
对图像质量的变化敏感的驾驶者有可能对微妙的图像质量的变化也会感到不协调感。对于这种驾驶者而言，当在如在本车辆的周围有后续车辆行驶那样的紧张的状况下进行图像质量的切换处理时，驾驶者的视线被图像抢夺，担心安全性受损。根据图像处理装置10b，只在本车辆的周围不存在后续车辆的比较安全的状况下进行图像质量的切换处理，因此能够避免如上所述的问题。
此外，在第二实施方式中，也可以是，在即使本车辆的周围有后续车辆行驶但与本车辆的车间距离为固定距离以上(例如100m以上)、车间距离在固定时间以上(例如5秒以上)没有变化的情况下，进行图像质量的切换处理。另外，在道路复杂、本车辆的周围始终有后续车辆行驶的情况下，即使车速发生变化也不进行图像质量的切换处理，因此也可以在周围的车辆变少的定时(例如后续车辆为1台的定时)进行图像质量的切换处理。
另外，本车辆进入到隧道、地下停车场等车辆周围的明亮度发生变化的情况也可以说是紧张的状况。因而，也可以是，不在车辆周围的明亮度刚发生变化之后进行图像质量的切换处理，而是在恢复到原来的明亮度之后或者明亮度在固定时间没有变化的情况下开始图像质量的切换处理。例如能够通过监视第一图像信息vdat1的平均亮度来检测车辆周围的明亮度的变化。另外例如在车辆周围的明亮度的检测中，也能够利用安装于车辆的照度传感器、车辆的照明信号。
以上，基于实施方式来具体地说明了由本发明人完成的发明，但是本发明不限定于上述实施方式，能够在不超出其宗旨的范围内进行变更。
例如，在上述实施方式中，插补帧设定部14也可以复制保存于帧存储器16的第一图像信息vdat1来设定为插补帧。例如，也可以是，如图14所示，在从高图像质量显示切换到低图像质量显示的情况下，将帧#4、#6设定为插补帧，单纯地跳过帧#3、#5。在该情况下，与新生成插补帧来进行设定的情况(参照图9)相比，转变开始的定时早(与切换指示相同的定时)，另外能够在短期间内完成图像质量的切换处理。另外，例如，也可以是，如图15所示，在从低图像质量显示切换到高图像质量显示的情况下，不是以逐渐地加大帧延迟量的方式新生成插补帧，而是重复帧#4、#6。在该情况下，与新生成插补帧来进行设定的情况(参照图10)相比，转变开始的定时早(与切换指示相同的定时)，另外能够减轻插补帧设定部14的处理负担。
另外，例如，在实施方式中，以车速为80km/h以上的情况和小于80km/h的情况这两个阶段进行图像质量的切换处理，但是也可以设置多个作为阈值的规定速度，以3个阶段以上来进行图像质量的切换处理。
并且，作为车辆的行驶状态，也可以不是利用实际的车速，而是利用能够从车辆导航系统等获取的行驶信息来判断本车辆是否行驶在高速路上，在驶入高速公路时和从高速公路驶出时进行图像质量的切换处理。
应认为本次公开的实施方式所有方面都是例示性的而非限制性的，本发明的范围不是由上述的说明来表示，而是由权利要求书来表示，意图包含与权利要求书等同的意思和范围内的所有变更。
产业上的可利用性
本发明适于应用到用于显示车辆周围的摄像图像的电子镜装置等的面向车载的图像处理装置。
附图标记说明
1a、1b：电子镜装置；10a、10b：图像处理装置；11：控制部；12：图像输入部；13：高图像质量处理部(图像质量变换部)；14：插补帧设定部；15：图像输出部；16：帧存储器；17：车辆检测部；20：显示装置；30：车载摄像机；40：ecu。