故障检测设备及故障检测程序的制作方法
【技术领域】
[0001]本公开内容涉及检测成像器件的故障的故障检测设备以及故障检测程序。
【背景技术】
[0002]常规技术中，已知通过使用立体相机进行成像的成像器件。例如，日本专利第4953498号公开了一种对下述进行检测的成像器件:由于一些不良环境条件如背光下成像而不能适当地进行成像。
[0003]然而，根据上述成像器件，存在以下问题:该成像器件不能识别是由于不良环境条件还是由于该成像器件的故障而不能进行成像。
【发明内容】
[0004]从而，期望提供检测成像器件的故障的故障检测设备以及故障检测程序。
[0005]在根据本公开内容的故障检测设备中，获取单元获取由多个成像器件捕获的多个图像，多个成像器件的曝光能够被单独地控制。所述多个图像均包括表示图像交叠的区域的交叠区域。区域提取单元从由获取单元获取的多个图像中提取多个交叠区域。特征提取单元从由区域提取单元提取的多个交叠区域中提取图像特征。此外，比较单元在多个交叠区域之间比较图像特征，并且相似度确定单元基于由比较单元进行比较的结果来确定图像特征是否相似。当相似度确定单元确定出图像特征不相似时，故障确定单元确定出成像器件中的故障。
[0006]具体地，在根据本公开内容的故障检测设备中，通过使用即使当捕获图像是从不同的成像器件获取时在交叠区域也很可能存在相似的图像特征的特性，来基于图像特征是否相似进行故障确定。从而，根据本公开内容的故障检测设备，可以尽量地检测出成像器件的故障。
[0007]可以任意尽可能多地对各个权利要求的描述进行组合。在这一点上，可以排除一部分配置，只要获得本公开内容的本质即可。
【附图说明】
[0008]在附图中:
[0009]图1是示出了根据本公开内容的一种实施方式的故障检测设备的总体配置的框图；
[0010]图2是示出了由根据该实施方式的控制单元中的CPU执行的故障判定过程的流程图；
[0011]图3是示出了交叠区域的说明图；
[0012]图4是示出了当与右相机对应的图像特征和左相机的图像特征相似时的亮度直方图的说明图；
[0013]图5是示出了当与右相机对应的图像特征和左相机的图像特征不相似时的亮度直方图的说明图；以及
[0014]图6是示出了根据其他实施方式的故障判定过程的流程图。
【具体实施方式】
[0015]参照附图，在下文中描述了本公开内容的实施方式。
[0016][实施方式的配置]
[0017]根据本公开内容的故障检测设备I被安装在车辆(自身车辆)如客车上。故障检测设备I包括检测多个相机中的任一个相机是否有故障的功能。
[0018]如图1所示，故障检测设备I包括控制单元10、左相机21、右相机22、照度传感器23和图像处理单元26。左相机21和右相机22被配置为下述众所周知的立体相机，所述立体相机具有基于自身车辆的行驶方向的成像区域，并且所述立体相机被布置成彼此间隔开预定距离。
[0019]此外，左相机21和右相机22被布置成使得可以从车厢内部捕获沿自身车辆的行驶方向的车厢外部的图像。左相机21和右相机22被配置成根据从控制单元10发送的命令来设置相机的设定值(图像参数)如曝光控制量或增益。
[0020]左相机21和右相机22以预定周期反复捕获图像，并且将所捕获的图像发送至控制单元10。此外，当从控制单元10接收到命令输出测试图案的命令时，左相机21和右相机22将预先存储在相机中的测试图案代替所捕获的图像输出至控制单元10。
[0021]照度传感器23被配置为检测自身车辆周围的亮度的众所周知的照度传感器。照度传感器23将亮度的检测结果发送至控制单元10。图像处理单元26从控制单元10获取关于由左相机21和右相机22捕获的图像以及相机的故障的信息，并且对于由没有故障的相机捕获的图像执行图像处理。图像处理单元26从所捕获的图像中提取行人、其他车辆、标志等，并且测量对象与自身车辆之间的距离。
[0022]控制单元10被配置为设置有CPU 11以及诸如ROM和RAM的存储器12的计算机。CPU 11基于存储在存储器12中的程序(包括故障判定程序)来执行各种处理。应当注意的是，控制单元10接收表示刮水器的操作状态的信号。
[0023][根据实施方式的处理]
[0024]在如上所述配置的故障检测设备I中，控制单元10执行如图2所示的故障判定过程。该故障判定过程确定左相机21或右相机22是否有故障。该故障检测过程在自身车辆被供电时被激活，并且以每个恒定的周期反复地被执行。
[0025]在该过程中，将表示判定的数量的变量η设置成I(SllO)。变量η用于确定判定的数量是否达到识别相机的故障所需的数量N，数量N被预先设置。
[0026]随后，该处理将用于设置相同的图像参数的命令发送至左相机21和右相机22(S120)。对于图像参数，例如，设置成与由照度传感器23检测的结果对应的值。
[0027]随后，该处理确定刮水器是否正在操作(S135)。该处理可以通过确定是否接收到表示刮水器的活动状态的信号来实现。即使刮水器是活动的，当刮水器的位置在左相机21和右相机22的成像区域外部时，该处理也可以确定刮水器不是正在操作。
[0028]当刮水器正在操作(S135:是)时，该处理进行至步骤S210，稍后将对步骤S210进行描述。当刮水器不是正在操作时，该处理获取交叠区域(S140)。
[0029]交叠区域表示例如在左相机21和右相机22的各自捕获的图像之间成像区域交叠的区域。在交叠区域中，由于相似的对象由两个相机捕获，所以图像特征很可能相似。
[0030]随后，在下一个步骤中，从各个图像的交叠区域获取图像特征(S150)。关于图像特征，例如，针对配置交叠区域的相应像素来分析亮度值，并且按每个亮度值对像素进行排序，以获得如图4和图5所示的直方图。
[0031]在如图4和图5所示的直方图的水平轴中，亮度值的左端是0，并且亮度值随着其接近水平轴的右端而增大。直方图的垂直轴表示被分类到同一亮度值的像素的数量。
[0032]随后，该处理比较图像特征(S160)。该处理确定左相机21的交叠区域中的图像特征与右相机22的交叠区域中的图像特征是否相似。在如图4所示的示例中，示出了左相机21的交叠区域中的图像特征的直方图[A]的形状与示出了右相机22的交叠区域中的图像特征的直方图[B]的形状相似。
[0033]同时，在如图5所示的示例中，示出了左相机21的交叠区域中的图像特征的直方图[C]的形状与示出了右相机22的交叠区域中的图像特征的直方图[D]的形状完全互不相同，即不相似。从而，例如通过计算表示直方图的近似曲线的函数以确定这些近似曲线的各自函数的系数的差异是否在允许范围内来确定直方图是否相似。
[0034]随后，该处理执行测试图案检查(S170)。该处理命令左相机21和右相机22输出测试图案以获取相应的测试图案，从而确定测试图案是否表示正常。
[0035]可以通过平均亮度值或是否测试图案包括预定形状等来确定测试图案是否正常。由于相机21和22总是在正常条件下输出相同的测试图案，所以如果测试图案包括有缺陷的图案，则该处理能够确定出相机有故障。
[0036]随后，该处理将图像特征之间的比较结果以及在测试图案中是否存在故障的确定结果存储在存储器12中(S180)。然后，该处理将变量η与用于确定故障的数量N进行比较(S210)ο
[0037]当变量η小于数量N(S210:否)时，该处理将变量η增大并且返回至步骤S120。此外，当变量η大于或等于N(S210:是)时，该处理确定是否发生了故障以及有故障的相机(S230)ο
[0038]对于是否存在故障，例如，该处理识别出确定图像特征不相似的次数大于或等于参考值(例如，大于80%)，从而检测出相机中的任意相机的故障。此外，当在多个相机的测试图案中检测出的故障的数量大于或等于参考值(例如，80%)时，该处理可以识别出多个相机有故障。
[0039]接下来，在步骤S240处，该处理确定是否存在已经在其中识别出故障的相机。如果存在有故障的相机(S240:是)，则该处理执行故障安全处理(S250)。
[0040]在故障安全处理中，例如，该处理输出不使用由有故障的相机捕获的图像的命令。根据该实施方式，该命令被发送至图像处理单元26。在完成这样的处理之后，该处理终止故障判定过程。
[0041]在步骤S240中，当没有识别出有故障的相机时(S240:否)，该处理执行正常操作设定(S260)。在正常操作设定中，该处理不输出不使用由特定相机捕获的图像的命令，而是使用由所有相机捕获的图像来执行处理。在完成这样的处理之后，该处理终止故障判定过程。
[0042][本实施方式的优点]
[0043]在详细描述的故障检测设备I中，控制单元10获取由多个成像器件捕获的相应图像，在多个成像器件中可以单独地控制曝光，所述图像具有表示交叠的图像区域的交叠区域。控制单元10在获取的多个图像中提取相应的交叠区域，并且在提取的多个交叠区域中提取图像特征(亮度和颜色的分布(直方图)、在区域中检测到的对象的类型)。控制单元10在多个交叠区域中比较图像特征，确定这些图像特征是否相似，并且当这些图像特征不相似时确定出成像器件有故障。
[0044]具体地，在故障检测设备I中，即使在图像是由不同的成像器件捕获的情况下，通过使用在交叠区域中具有相似的图像特征的可能性高的特性，也基于图像特征是否相似来执行故障判定过程。根据上述故障检测设备1，可以顺利地检测成像器件的故障。
[0045]此外，在上述故障检测设备I中，控制单元10基于构成多个交叠区域的相应像素的亮度或颜色来生成每个交叠区域的直方图，并且在多个直方图之间比较直方图，从而确定图像特征是否相似。
[0046]根据上述故障检测设备I，与诸如图案匹配方法的图像处理方法相比，可以降低在确定相似度时的处理负荷。此外，在上述故障检测设备I中，多个成像器件被配置成:当从外部装置接