图像监视装置、可移动体、程序及故障判断方法
【专利摘要】图像监视装置(10)具有图像获取单元(15)、图像处理单元(16)和判断单元(17)。图像获取单元(15)连续地获取周边图像。图像获取单元(15)在周边图像的预定位置上叠加周期性变化信号。图像处理单元(16)通过预定图像处理来处理叠加有信号的周边图像。判断单元(17)基于通过预定图像处理处理过的周边图像上叠加的信号中有无周期变化来判断图像处理单元的故障。
【专利说明】图像监视装置、可移动体、程序及故障判断方法
[0001]相关申请的交叉引用
[0002]本申请要求于2012年7月26日提交的第2012-166257号日本专利申请的优先权，该申请全部内容通过弓I用并入本文。
【技术领域】
[0003]本发明涉及基于拍摄的周边图像判断故障的图像监视装置、可移动体、程序和故障判断方法。
【背景技术】
[0004]将图像监视装置安装在诸如车辆的可移动体上是已知的。安装图像监视装置使得显示车辆的驾驶员座位的盲区中的周边图像，从而允许驾驶员在确保安全的情况下驾驶车辆。
[0005]当图像监视装置出现故障时，驾驶员需通过使用诸如后视镜的辅助设备来确认盲区。然而，对图像监视装置的故障感测偶尔可能会困难。例如，如果显示器上显示的图像冻结，即如果在实时显示图像的移动期间图像停止，在显示器上显示周边图像自身，从而很难感测到故障。
[0006]因此，已提出了基于轮胎的转数和速度计的速度来检测车辆是否行进，如果车辆行进，基于适时在不同时间点所获得的图像的对比来判断图像监视装置是否出现故障(参见专利文献I)。
[0007]引用列表
[0008]专利文献I JP2011-188134A
【发明内容】
[0009]技术问题
[0010]然而，通过专利文献I中所述的图像监视装置，需要从外部设备获得轮胎的转数和速度。因此，不能单独地判断图像监视装置的故障。
[0011]因此，鉴于以上情况构想的本发明的目的是提供图像监视装置、可移动体、程序和故障判断方法，其中，该图像监视装置在无需从外部设备获得信息的情况下单独地判断故障。
[0012]解决技术问题的手段
[0013]为了解决上述问题，根据第一方面的图像监视装置包括:图像获取单元、图像处理单元以及判断单元，其中图像获取单元连续地获取周边图像并且在周边图像的预定位置上叠加周期性变化信号，图像处理单元通过预定图像处理来处理叠加有信号的周边图像，判断单元基于通过预定图像处理所处理的周边图像的叠加后的信号中有无周期变化来判断图像处理单元的故障。
[0014]而且，根据第二方面的图像监视装置包括:图像获取单元以及判断单元，其中图像获取单元连续地获取周边图像并且在周边图像的预定位置上叠加周期性变化信号，判断单元基于在叠加有信号的周边图像的叠加后的信号中有无周期变化来判断图像获取单元的故障。
[0015]而且，在根据第三方面的图像监视装置中，优选的是，信号中的周期变化为有无增加信号、颜色、亮度和形状中的至少一种。
[0016]另外，在根据第四方面的图像监视装置中，优选的是，图像监视装置还包括警报单元，当判断单元确定出故障时，警报单元警报图像监视单元处于故障状态。
[0017]而且，在根据第五方面的图像监视装置中，优选是，警报单元通过显示用于指示故障状态的图像来提供警报。
[0018]而且，根据第六方面的图像监视装置包括:图像获取单元、图像处理单元以及判断单元，其中图像获取单元连续地获取周边图像并且在与周边图像对应的图像信号的预定位置上叠加周期性变化信号，图像处理单元通过预定图像处理来处理叠加有信号的图像信号，判断单元基于通过预定图像处理所处理的图像信号的叠加后的信号中有无周期变化来判断图像处理单元的故障。
[0019]根据第七方面的图像监视装置包括:图像获取单元以及判断单元，其中图像获取单元连续地获取周边图像并且在与周边图像相对应的图像信号的预定位置上叠加周期性变化信号，判断单元基于叠加有信号的图像信号的叠加后的信号中有无周期变化来判断图像获取单元的故障。
[0020]根据第八方面的可移动体包括:图像获取单元、图像处理单元以及判断单元，其中图像获取单元连续地获得周边图像并且在周边图像的预定的位置上叠加周期性变化信号，图像处理单元通过预定图像处理来处理叠加有信号的周边图像，判断单元基于通过预定图像处理所处理的周边图像上的叠加后的信号中有无周期变化来判断图像处理单元的故障。
[0021]虽然对本发明的问题的解决方案被阐述为上述设备，但是应该了解，本发明也可以以方法、程序以及存储与设备对应的程序的存储介质实现，并且也都包括在本发明的范围内。
[0022]例如，根据本发明的第九方面的程序使得图像监视装置用作:
[0023]图像获取单元，该图像获取单元连续地获取周边图像并且在周边图像的预定位置上叠加周期性变化信号；
[0024]图像处理单元，该图像处理单元通过预定图像处理来处理叠加有信号的周边图像；以及
[0025]判断单元，该判断单元基于通过预定图像处理所处理的周边图像上的叠加后的信号中有无周期变化来判断图像处理单元的故障。
[0026]而且，根据本发明的第十方面的故障判断方法包括:连续地获取周边图像的第一获取步骤；在周边图像的预定位置上叠加周期性变化信号的叠加步骤；通过预定图像处理来处理叠加有信号的周边图像的图像处理步骤；以及判断步骤，其中基于通过预定图像处理所处理的周边图像的叠加后的信号中有无周期变化来判断预定图像处理的故障。
[0027]发明效果
[0028]根据如上配置的图像监视装置、可移动体、程序以及故障判断方法，无需从外部获得信息就能够单独地判断故障。
【专利附图】
【附图说明】
[0029]图1为根据本发明的第一实施方式的安装在车辆上的图像监视装置的图；
[0030]图2为示出图1中图像监视装置的示意性配置的功能框图；
[0031]图3为示出在第一实施方式中由控制器执行故障判断处理的流程图；
[0032]图4为示出图像信号的数据配置的图；以及
[0033]图5为示出在第二实施方式中由控制器执行故障判断处理的流程图。
【具体实施方式】
[0034]现将参照附图在下面描述本发明的实施方式。
[0035]首先，描述根据本发明的第一实施方式的图像监视装置。图1为根据本发明的第一实施方式被安装在车辆上的图像监视装置的图。
[0036]如图1所示，在车辆13中设置有图像监视装置10，成像单元11和显示器12。图像监视装置10可设置在车辆13中的任意位置，并且在该实施方式中，图像监视装置10设置为靠近驾驶员的座位。成像单元11也可设置在车辆13中的任意位置，在该实施方式中，为了拍摄后面将要描述的视野范围内的周边图像，成像单元11固定在车辆13的后部。显示器12被设置使得可从驾驶员座位能够观察到。
[0037]如图2所示，图像监视装置10配置为包括总线14、图像获取单元15、图像处理单元16、判断单元17、警报单元18、图像输出单元19和控制器20。
[0038]总线14连接图像获取单元15、图像处理单元16、判断单元17、警报单元18、图像输出单元19以及控制器20并且发送数据和指令。
[0039]图像获取单元15从成像单元11获得周边图像。另外，图像获取单元15向成像单元11发送指令以驱动成像单元11。成像单元11具有摄像机。摄像机固定在车辆13的后部使其能够拍摄车辆13后的特定视野中的周边图像。摄像机为具有图像传感器的电子摄像机，并且通过图像传感器，以预定帧速率(例如1/30 fps)连续地产生与周边图像对应的图像信号。
[0040]另外，图像获取单元15在周边图像的预定位置上叠加周期性变化信号。例如，图像获取单元15将对于每帧颜色在“白”与“黑”之间可选地转换的点描绘在驾驶员不易注意的位置上，诸如周边图像的角落。换言之，图像获取单元15在周边图像上叠加与白点对应的信号和与黑点对应的信号。
[0041]图像处理单元16通过预定的图像处理来处理由图像获取单元15所获得的周边图像。预定的图像处理包括，例如白平衡处理、差值处理、伽玛校正处理、额外信息(诸如用于表示车辆通过区域的标记)的叠加处理等。
[0042]判断单元17判断由图像处理单元16通过预定的图像处理处理过的、叠加在周边图像上的信号是否已从前一帧的叠加在周边图像上的信号发生改变。当叠加后的信号中没有变化时，判断单元17确定图像获取单元15和图像处理单元16中的至少一个出现故障。
[0043]当判断单元17确定出图像获取单元15和图像处理单元16中的至少一个出现故障时，警报单元18将用于指示故障状态的警报叠加在由处理单元16通过预定的图像处理处理过的周边图像上。
[0044]图像输出单元19将由图像处理单元16通过预定的图像处理处理过的周边图像或者由警报单元18叠加有警报的周边图像输出至显示器12。
[0045]控制器20控制构成图像监视装置10的每个单元。例如，当图像监视装置10的输入单元检测到用户用于执行图像观测的输入时，控制器20使成像单元11拍摄周边图像并使显示器12显示周边图像。另外，如下面将要描述的，控制器20控制每个单元以判断图像监视装置10的故障。
[0046]接下来，使用图3的流程图描述第一实施方式中由控制器20执行的故障判断处理。当检测到用于执行图像观测的输入时，控制器20开始故障判断处理。当检测到用于结束图像观测的输入时，故障判断过程结束。
[0047]在步骤S100，控制器20将描绘在周边图像上的点的颜色重置为例如黑色。应注意，重置时间处的颜色可以为白色。在重置点的颜色之后，过程行进至步骤S101。
[0048]在步骤S101，控制器20使图像获取单元15获取一帧的周边图像。当获得周边图像后，过程行进至步骤S102。
[0049]在步骤S102，控制器20使图像获取单元15在周边图像的预定位置上描绘具有在步骤SlOO中或步骤S107中确定的颜色的点。当在周边图像上描绘了点之后，过程行进至步骤S103。
[0050]在步骤S103，控制器20使图像处理单元16通过图像处理对其上描绘有在步骤S102中所描绘的点的周边图像进行处理。在图像处理之后，过程行进至步骤S104。
[0051]在步骤S104，控制器20使判断单元17判断在前一帧和当前帧之间，在步骤S103通过预定图像处理被处理的周边图像上的点的颜色是否存在变化。如果点的颜色没有变化，则确定出图像获取单元15和图像处理单元16中的至少一个出现故障，并且过程行进至步骤S105。如果点的颜色有变化，则确定出图像处理单元16是正常的，并且过程跳过步骤S105并行进至步骤S106。
[0052]在步骤S105，控制器20使警报单元18将警报叠加在步骤S103通过预定图像处理处理过的周边图像上。在叠加有警报之后，过程行进至步骤S106。
[0053]在步骤S106，控制器20使图像输出单元19将在步骤S103中通过预定图像处理处理过的周边图像或在步骤S105中叠加有警报的周边图像输出至显示器12。在输出周边图像之后，过程行进至步骤S107。
[0054]在步骤S107中，控制器20改变待描绘于周边图像上的点的当前颜色。当点的颜色为黑色时，改为白色，以及当点的颜色为白色时，改为黑色。在点的颜色改变之后，过程返回至步骤S101。
[0055]根据以上述方式配置的第一实施方式的图像监视装置，在获取的周边图像上叠加周期性变化信号，并且在预定图像处理之后，监视叠加后的信号中的周期变化，从而允许判断图像获取单元15和图像处理单元16中的至少一个的故障。根据这种配置，无需来自外部设备的信息，并且能够通过图像监视装置单独地判断故障。
[0056]接下来，阐述本发明的第二实施方式。在第二实施方式中，叠加周期性变化信号的位置不同于在第一实施方式中的位置。下面将描述的第二实施方式侧重与第一实施方式不同的方面。应注意，与第一实施方式具有相同配置的段分配相同的参考标号。
[0057]与第一实施方式相同，第二实施方式的图像监视装置10配置为包括总线14、图像获取单元15、图像处理单元16、判断单元17、警报单元18、图像输出单元19和控制器20。在第二实施方式中，总线14、图像处理单元16、警报单元18、图像输出单元19以及控制器20的功能和配置与第一实施方式的那些相同。
[0058]与第一实施方式相同，第二实施方式中的图像获取单元15从成像单元11获取周边图像。另外，图像获取单元15向成像单元11发送指令以驱动成像单元11。
[0059]另一方面，与第一实施方式不同，第二实施方式中的图像获取单元15在与获得的周边图像相对应的图像信号的预定位置上叠加周期变化信号。如图4所示，图像信号具有图像成分和信息成分。图像成分为对应于构成图像传感器的每个像素的信号成分，其中该图像传感器包括光学黑体。信息成分是指示与同一帧的图像成分相关的信息的信号成分，诸如产生日期，成像模式等。信息成分通过成像单元11或图像获取单元15加到由图像传感器产生的图像成分中。叠加有周期性变化信号的图像信号的预定位置可以是图像成分或信息成分。然而，优选的是信息成分的任意位置。另外，当信号被叠加到图像成分上时，优选信号被叠加到与光学黑体对应的位置上。在第二实施方式中，周期性变化信号例如为根据NTSC系统的帧号(I到30)，或者例如为在图像获取单元15为8比特时能够表示的数字(O 到 255)。
[0060]判断单元17判断在由图像处理单元16通过预定图像处理处理过的、叠加在图像信号上的信号是否已从前一帧叠加在图像信号上的信号改变。当叠加的信号中没有变化时，判断单元17确定图像获取单元15和图像处理单元16中的至少一个出现故障。
[0061]接下来，参照图5的流程图描述第二实施方式中由控制器20执行的故障判断处理。当检测到用于执行图像观测的输入时，控制器20开始故障判断处理。当检测到用于结束图像观测的输入时，图像判断处理结束。
[0062]在步骤S200，控制器20将周期性变化信号的信号值例如重置为零。在重置之后，过程行进至步骤S201。
[0063]在步骤S201，控制器20使图像获取单元15获得一帧的周边图像。在获得周边图像之后，过程行进至步骤S202。
[0064]在步骤S202，控制器20使图像获取单元15在图像信号的预定位置上叠加周期性变化信号。在叠加周期性变化信号之后，过程行进至步骤S203。
[0065]在步骤S203，控制器20使图像处理单元16通过图像处理来处理在步骤S202中叠加有周期性变化信号的图像信号。在图像处理之后，过程行进至步骤S204。
[0066]在步骤S204，控制器20使判断单元17判断在步骤S203中通过预定图像处理所处理的、其上叠加有图像信号的信号的信号值在前一帧和当前帧之间是否有变化。如果信号值没有变化，那么确定图像获取单元15和图像处理单元16中的至少一个出现故障，并且过程行进至步骤S205。如果信号值有变化，那么确定出图像处理单元16正常，并且过程跳过步骤S205并行进至步骤S206。
[0067]在步骤S205，控制器20使警报单元18将警报叠加在步骤S203中通过预定图像处理所处理的图像信号上。在叠加警报之后，过程行进至步骤S206。
[0068]在步骤S206，控制器20使图像输出单元19将在步骤S203中通过预定图像处理所处理的图像信号或者在步骤S205中叠加有警报的图像信号输出至显示器12。在输出图像信号之后，过程行进至步骤S207。
[0069]在步骤S207，控制器20判断周期性变化信号值是否为上限值。例如，当使用NTSC系统的帧号作为周期性变化信号值时，上限值为30，并且当使用能够以8比特表示的数字作为周期性变化信号值时，上限值为225。当周期性变化信号值为上限值时，过程返回至步骤S200。当周期性变化信号值不是上限值时，过程行进至步骤S208。
[0070]在步骤S208，控制器20将周期性变化信号值加上I。在信号值加上I之后，过程返回至S201。
[0071]以上述方式配置的第二实施方式中的图像监视装置也能够判断图像获取单元15和图像处理单元16中的至少一个的故障。这种配置也无需来自外部设备的信息，并且图像监视装置能够单独地判断故障。
[0072]尽管基于各附图和实施方式描述了本发明，但是本领域技术人员应注意到，基于本公开能够容易地作各种变化和变型。因此，应注意到，这些变化和变型也都包括在本发明的范围内。
[0073]例如，在第一实施方式中，虽然图像监视装置10配置为周期性改变用于叠加的信号使得颜色对于每帧在“白”与“黑”之间切换的点被描绘在周边图像的预定位置上，但是图像监视装置10并不限于这种配置。例如，图像监视装置10可配置为对于每帧在“有信号增加”和“无信号增加”之间切换、对于每帧切换颜色、对于每帧切换周边图像或图像信号的图画形状、对于每帧从I到30更新帧的数量、或者对于每帧对能够由图像获取单元15表示的数量进行计数。而且，在第二实施方式中，如同在对于每帧的值增加的情况中，图像监视单元10被配置为周期性地改变叠加在图像信号上的信号。然而，图像监视装置并不限于这种配置。例如，可以配置使得信号值为分别对应于白和黑的255和O。
[0074]另外，在第一实施方式和第二实施方式中，虽然图像监视装置10被配置为，当确定出图像获取单元15和图像处理单元16中的至少一个出现故障时通过将警报叠加到周边图像向用户提供警报，但是并不限于这种配置。例如，图像监视装置10可以配置为在显示器12上显示用于指示图像获取单元15和图像处理单元16中的至少一个出现故障的图像、或者配置为通过提供警报声来警告用户出现故障。而且，图像监视装置10可以配置为通过向用户诉诸触觉来提供故障警报。
[0075]另外，在第一实施方式和第二实施方式中，虽然图像监视装置10被配置为，当确定出图像获取单元15和图像处理单元16中的至少一个出现故障时，将叠加有警报的图像输出至显示器12，但是判断之后的操作并不限于输出叠加有警报的图像。例如，故障信息可以输出至位于可移动体13侧的ECU(电子控制单元)。而且，图像监视装置10可以自动停止。另外，用于指示故障的图像可以输出至显示器12等。而且，模式可转换为待机模式，即输出停止模式。
[0076]而且，在第一实施方式和第二实施方式中，虽然图像监视装置10被配置为与成像单元11和显示器12连接，但是其也可与二者中的至少一个集成。
[0077]另外，在第一实施方式和第二实施方式中，虽然图像监视装置10被配置为安装在诸如车辆的可移动体上，但是图像监视装置10的安装位置并不限于车辆和可移动体。
[0078]另外，在第一实施方式中，虽然图像监视装置10被配置为对于每帧改变点的颜色，但是并不限制于每帧，并且与点的颜色对应的信号可周期性地切换。
[0079]参考标号的说明
[0080]10图像监视装置
[0081]11成像单元
[0082]12显示器
[0083]13车辆
[0084]14总线
[0085]15图像获取单元
[0086]16图像处理单元
[0087]17判断单元
[0088]18警报单元
[0089]19图像输出单元
[0090]20控制器
【权利要求】
1.一种图像监视装置，包括: 图像获取单元，连续地获取周边图像并且在所述周边图像的预定位置上叠加周期性变化信号； 图像处理单元，通过预定图像处理来处理叠加有所述周期性变化信号的周边图像；以及 判断单元，基于在经过所述预定图像处理所处理过的所述周边图像上叠加的信号中有无周期变化来判断所述图像处理单元的故障。
2.一种图像监视装置，包括: 图像获取单元，连续地获取周边图像并且在所述周边图像的预定位置上叠加周期性变化信号；以及 判断单元，基于在叠加有所述周期性变化信号的周边图像上叠加的信号中有无周期变化来判断所述图像获取单元的故障。
3.根据权利要求1或权利要求2所述的图像监视装置，其中，所述信号中的周期变化为有无信号增加、颜色、亮度和形状中的至少一种。
4.根据权利要求1至3中任一项所述的图像监视装置，还包括警报单元，其中，当所述判断单元确定出故障时，所述警报单元警报所述图像监视装置处于故障状态。
5.根据权利要求4所述的图像监视装置，其中，所述警报单元通过显示用于指示所述故障状态的图像来提供警报。
6.一种图像监视装置，包括: 图像获取单元，连续地获取周边图像并且在与所述周边图像对应的图像信号的预定位置上叠加周期性变化信号； 图像处理单元，通过预定图像处理来处理叠加有所述周期性变化信号的所述图像信号；以及 判断单元，基于在经过所述预定图像处理所处理过的所述图像信号上叠加的信号中有无周期变化来判断所述图像获取单元的故障。
7.一种图像监视装置，包括: 图像获取单元，连续地获取周边图像并且在与所述周边图像对应的图像信号的预定位置上叠加周期性变化信号；以及 判断单元，基于在叠加有所述周期性变化信号的所述图像信号上叠加的信号中有无周期变化来判断所述图像获取单元的故障。
8.—种可移动体，包括根据权利要求1至7中的任一项所述的图像监视装置。
9.一种程序，所述程序使图像监视装置用作: 图像获取单元，连续地获取周边图像并且在所述周边图像的预定位置上叠加周期性变化信号； 图像处理单元，通过预定图像处理来处理叠加有所述周期性变化信号的所述周边图像；以及 判断单元，基于在经过所述预定图像处理所处理过的所述周边图像上叠加的信号中有无周期变化来判断所述图像处理单元的故障。
10.一种故障判断方法，包括: 连续地获取周边图像的第一获取步骤； 在所述周边图像的预定位置上叠加周期性变化信号的叠加步骤； 通过预定图像处理来处理叠加有所述信号的所述周边图像的图像处理步骤；以及判断步骤，其中基于在通过所述预定图像处理所处理过的所述周边图像上叠加的信号中有无周期变化来判断所述预定图像处理的故障。
【文档编号】H04N7/18GK104396235SQ201380033799
【公开日】2015年3月4日 申请日期:2013年7月26日 优先权日:2012年7月26日
【发明者】横田匡司, 柳泽治生, 中田圭俊 申请人:京瓷株式会社