异常图像检测装置、图像处理系统及车辆的制作方法

本申请是申请日为2016年07月28日，申请号为201610615709.1且发明名称为“异常图像检测装置、图像处理系统及车辆”的发明专利申请的分案申请。

本发明涉及检测视差图像和与视差图像的生成有关的原始图像中的异常的异常图像检测装置、具有该异常图像检测装置的图像处理系统以及包含该图像处理系统的车辆。

背景技术：

已经提出具有能够基于视差图像(“视差图像”也被称为“深度图像”)来判定距被摄体的距离的立体相机的车辆。

安装到车辆的立体相机中的异常的可能原因包括：例如，由于基于在很亮/很暗的情况下(例如，在背光或黑暗的情况下)拍摄的图像所生成的视差图像以及立体相机的故障(例如，光学、机械和电气故障)，而未能精确地计算深度距离。

已经提出能够判定未受到很亮/很暗的条件(例如，背光或黑暗条件)影响的立体相机的异常情况的异常诊断装置(例如参见jp2014-006243a)。

通过安装到车辆的立体相机，能够由左相机和右相机拍摄截然不同的场景的图像。例如，在异物仅附着到两个相机中的一者的情况下拍摄图像时，由于纹理减少，不能通过立体匹配来获取校正视差值(视差图像)。在除附着异物的情况之外的某种情况下，也能够由左相机和右相机拍摄不同场景的图像。

在上述提及的jp2014-006243a中所述的异常诊断装置中，视差图像数据中的异常由视差值分布和视差值分布中的变化量(第n帧的视差值图像和第(n+1)帧的视差值图像的变化量)来判定。用于该判定的具体方法包括：

(1)判定是否检测到视差，

(2)判定是否存在等于或大于最大视差值的视差，

(3)判定视差值峰值的数量是否等于或大于阈值，以及

(4)判定视差值分布与前一帧的相似度是否低。

然而，(1)至(4)中所述的判定方法难以判定针对在上述“异物仅附着到两个相机中的一者的情况”下所拍摄的图像的视差图像数据为异常。可能所有的判定结果为“否”，并且视差图像数据被判定为正常。

技术实现要素：

本发明的目的在于提供异常图像检测装置、具有该异常图像检测装置的图像处理系统及结合该图像处理系统的车辆，其中，当由多个摄像部中的一者拍摄与其它摄像部拍摄的场景截然不同的场景的图像时，异常图像检测装置能够基于低可靠性像素的总数检测异常图像。

该目的通过独立权利要求中所定义的异常图像检测装置、图像处理系统和车辆来实现。

根据本发明，提供了一种异常图像检测装置，该装置被配置成检测从多个摄像部获取并用于生成视差图像的多个原始图像中的至少一者的异常，异常图像检测装置包括：

可靠性判定部，其被配置成判定视差图像的像素是否可靠性低；

运算部，其被配置成计算低可靠性像素的总数；以及

异常判定部，其被配置成当低可靠性像素的总数超过预定值时判定视差图像异常，

其中，可靠性判定部具有边缘强度判定部分，边缘强度判定部分被配置成：当原始图像中的像素中与视差图像中的像素相对应的一者的边缘强度至少小于或等于阈值时，判定基于原始图像的像素所生成的视差图像中的像素为低可靠性像素。

在上述的布置方式中，可靠性判定部通过使用原始图像的与视差图像的生成有关的像素来判定视差图像的像素的可靠性(“视差图像”也被称为“深度图像”)。具有弱边缘的像素被判定为低可靠性像素(低可靠性像素)，并且当低可靠性像素的总数超过预定值时视差图像被判定为异常。因此，甚至在由多个摄像部中的一者拍摄与其它摄像部拍摄的场景截然不同的场景的图像(原始图像)的情况下，也能检测异常视差图像。如果深度距离通过使用低可靠性像素而未改变低可靠性像素的方式生成的视差图像来计算，距离的精度较低，从而导致障碍物的检测精度降低。

边缘强度判定部分可以判定原始图像的各个像素的边缘强度。当原始图像的像素被判定为原始图像的像素的边缘强度至少小于或等于阈值时，则可以判定与原始图像的该像素相对应的像素为低可靠性像素。

当判定原始图像的像素中的每一者的边缘强度被判定时，像素例如为原始图像的整个区域中的像素、部分区域中的像素、或者通过从整个区域中去除端部区域所限定的中央区域中的像素。在端部区域，多个摄像部具有不同的摄像区域。因此其优选预先排除端部区域。

边缘强度判定部分所使用的“阈值”可以是预先设定的值。例如，可以采用根据经验或实验获取的值。例如，可以获取在测试运行期间拍摄的图像或视差图像的边缘强度，并且可以设定来自数据(例如，边缘强度的平均值、边缘强度的最大值、边缘强度的最小值或边缘强度的标准偏差)中的阈值。

在上述的本发明的一个实施例中，可靠性判定部具有视差值判定部分，视差值判定部分被配置成：当视差图像中的像素中的每一者的视差值超出预定范围时，判定像素可靠性低。

该布置方式以及边缘强度判定使得将视差值超出预定范围的像素识别为低可靠性像素并且当低可靠性像素的总数超过预设值时判定视差图像异常。甚至在边缘强度判定未检测到异常的情况下，异常视差图像也可以通过该视差值判定来判定。使用边缘强度判定和视差值判定两者使得视差图像异常判定具有改进的可靠性。

当视差图像的像素中的每一者的视差值被判定时，像素例如为视差图像的整个区域中的像素、部分区域中的像素或者通过从整个区域中去除端部区域所限定的中央区域中的像素。在端部区域中，多个摄像部有不同的摄像区域。因此其优选预先排除端部区域。

视差值判定部分所使用的“预定范围”可以由预先设定的值来定义。例如，可以采用根据经验或实验得到的值。在预定范围由用于上限和下限的阈值来定义。然而，预定范围或者可以仅由上限阈值或下限阈值来定义。

在上述的本发明的一个实施例中，上述视差图像包括针对多个原始图像中的第一原始图像(a)生成的第一视差图像(ab)以及针对第二原始图像(b)生成的第二视差图像(ba)，并且可靠性判定部具有视差值差值判定部分，视差值差值判定部分被配置成：当第一视差图像(ab)的第一像素(pa)的第一视差值(d1)与第二视差图像(ba)的对应于第一像素(pa)的第二像素(pb)的第二视差值(d2)之间的差值超出预定范围时，判定第一像素(pa)可靠性低。

该布置方式连同边缘强度判定或边缘强度判定和视差值判定使得将第一视差值与第二视差值之间的差值(d1-d2)超出预定范围的像素识别为低可靠性像素并且当低可靠性像素的总数超过预定值时判定视差图像异常。甚至在边缘强度判定或视差值判定未检测到异常的情况下，该视差值差值判定也能判定异常视差图像。通过使用边缘强度判定，视差值判定和视差值差值判定使得视差图像异常判定更加可靠。例如，第一原始图像(a)和第二原始图像(b)分别可以为左原始图像和右原始图像。

例如，第一像素(pa)为第一视差图像(ab)的整个区域中的像素中的一者、部分区域中的像素中的一者、或者通过从整个区域去除端部区域所限定的中央区域中的像素中的一者。在端部区域，多个摄像部具有不同的摄像区域。因此其优选预先排除端部区域。

视差值差值判定部分所使用的“预定范围”可以由预先设定的值来定义。例如，可以采用根据经验或实验获取的值。预定范围由用于上限和下限的阈值来定义。然而，预定范围或者可以仅由上限阈值或下限阈值(例如，由上限阈值)来定义。

在上述的本发明的一个实施例中，多个摄像部例如为由布置在左右位置的摄像部所形成的立体相机、由布置在上下位置的摄像部所形成的立体相机、由布置在正三角形的顶点的三个摄像部所形成的立体相机、或者具有三个或更多个摄像部的立体相机。

在上述的本发明的一个实施例中，异常图像检测装置还存储部，该存储部被配置成存储选自原始图像、通过在原始图像上执行边缘增强处理所形成的边缘增强图像、以及视差图像中的至少一组数据。存储部可以是临时存储部。

在上述的本发明的一个实施例中，异常图像检测装置还具有采集部，该采集部被配置成从外部装置接收选自原始图像、通过在原始图像上执行边缘增强处理所形成的边缘增强图像、以及视差图像中的至少一组数据。采集部例如为通信装置(无线、有线)或者用于读取存储介质的装置。

在上述的本发明的一个实施例中，原始图像至少包括左相机图像和右相机图像。

在上述的本发明的一个实施例中，视差图像(也被称为立体图像或深度图像)基于来自左相机图像和右相机图像的视差(视差值)来生成。

根据本发明的另一个方面，提供了一种图像处理系统。该图像处理系统包括多个摄像部、视差图像生成部和距离计算部，其中，该视差图像生成部配置成基于从摄像部获取的多个原始图像生成视差图像，该距离计算部被配置成基于由视差图像生成部所生成的视差图像来计算深度距离。该图像处理系统包括上述异常图像检测装置和输出部，其中，输出部被配置成当异常图像检测装置检测到视差图像中的异常时输出异常信息。

在一个实施例中，图像处理系统还具有被配置成对多个原始图像执行校正处理的图像校正部。校正处理例如为用于增强边缘的边缘增强处理。

在一个实施例中，距离计算部可以基于通过去除低可靠性像素所形成的视差图像来计算深度距离。视差图像由视差图像生成部生成。低可靠性像素是由可靠性判定部判定的可靠性低的像素。

在一个实施例中，距离计算部可以基于除在其中检测到异常的视差图像之外的视差图像来计算深度距离。

在一个实施例中，当通过使用于其中检测到异常的视差图像来计算深度距离时，该距离计算部使用通过去除低可靠性像素所形成的视差图像。

根据本发明的又一个方面，提供结合上述图像处理系统的车辆。

在一个实施例中，车辆具有沿摄像方向位于摄像部前方的前挡风玻璃，并且前挡风玻璃上没有刮水器。

根据本发明，提供了一种异常图像检测装置，当由多个摄像部中的一者拍摄与其它拍摄部拍摄的场景截然不同的场景时，其能够基于低可靠性像素的总数检测异常图像。还提供了一种具有该异常图像检测装置的图像处理系统。还可以提供了一种结合该图像处理系统的车辆。

附图说明

图1a是根据实施例1的车辆的主视图；

图1b是根据实施例1的车辆的功能框图；

图2是根据实施例1的图像处理系统的功能框图；

图3是根据实施例1的异常图像检测装置的功能框图；

图4示出左原始图像和右原始图像的示例；

图5示出通过使用图4中所示的原始图像所生成的视差图像的示例；

图6是由边缘强度判定部分进行的可靠性判定的流程图。

图7是由视差值判定部分进行的可靠性判定的流程图。

图8是由视差值差值判定部分的可靠性判定的流程图。

图9是用于获取视差值差值的说明图表；

图10示出通过增强图4中的左原始图像的边缘所形成的图像的示例；

图11示出未附着异物的原始图像的示例；

图12示出通过使用图11中所示的原始图像所生成的视差图像的示例；

图13是示出图12中所示的视差图像中的视差分布的图表；

图14是示出在图5中所示的视差图像中的视差分布图表；并且

图15是根据实施例2的异常图像检测装置的功能框图。

具体实施方式

(实施例1)

将参照附图对根据实施例1的异常图像检测装置的车辆进行描述。以下，将通过示例的方式将自主行进的高尔夫球车描述为车辆。然而，车辆并不限于高尔夫球车。“前/后”和“左/右”是相对于车辆行驶的方向来定义的。对于本实施例的描述，当与无异物的图像相比时，具有附着异物的状态下的图像被用作提供截然不同的场景的图像。这种图像并非排他性地被使用；表示截然不同的场景的任何其他种类的图像也可以满足需求。

(车辆构造的概述)

图1a、图1b、图2和图3中所示的车辆1为在高尔夫球场上自动行驶或者手动操作行驶的高尔夫球车。车辆1可以通过被电磁波引导而自主地行驶，该电磁波从嵌入到车道下方的导线中发射。车辆1包括图像处理系统5，该图像处理系统5具有摄像部51、基于从摄像部51获取的多个原始图像生成视差图像的视差图像生成部52、基于由视差图像生成部52生成的视差图像来计算深度距离的距离计算部53、检测基于从摄像部51获取的多个原始图像生成的视差图像和多个原始图像中的至少一者是否异常的异常图像检测装置2、以及如果异常图像检测装置2检测到视差图像中的异常则输出异常信息的输出部54。图像处理系统5还可以具有检测车辆1行驶的车道上的障碍物的障碍物检测装置55。在实施例1中，车辆1是通过导线引导并能够自主地行驶的车辆。然而，本发明并不限于此。车辆1还可以由驾驶员手动操作行驶，并且可以在不具有导线的车道上自由行驶。

如图1b中所示的车辆1还设置有控制车辆1沿导线自主行驶的自主行驶控制部6、当障碍物检测装置55检测到障碍物时向驾驶员和周围发出警告的警告输出部7、一旦检测到障碍物就进行减速或停止控制的行驶速度控制部9、以及驱动车轮并且其旋转速度由行驶速度控制部9控制的驱动马达11。在本实施例中，车辆1由马达驱动。然而，本发明并不限于此。车辆1可以由发动机驱动。

(图像处理系统的构造)

将参照图2对图像处理系统5进行描述。摄像部51设置在车辆1的前挡风玻璃的上中部分。摄像部51是具有左图像传感器511和右图像传感器的立体相机512。立体相机或者可以包括两个或更多个图像传感器。左图像传感器511和右图像传感器512例如为可见光相机。左图像传感器511和右图像传感器512以获得平行立体图像的位置关系来布置。在本实施例中，除非另有特别说明，左图像传感器511被假定为参照相机，并且由左图像传感器511所拍摄的图像被称为参照图像。图像处理系统5具有微处理器和存储器，通过该微处理器和存储器实现其组成部分的功能。

视差图像生成部52通过将由左图像传感器511拍摄的图像用作左原始图像并且通过将由右图像传感器512拍摄的图像用作右原始图像来生成视差图像。图4(a)示出左原始图像的示例，并且4(b)示出右原始图像的示例。左原始图像的中心部分中的较暗区域wd表示图像是在异物附着到左图像传感器511的透镜前表面的状态下拍摄的。

视差图像生成部52通过将左原始图像用作参照图像来生成视差图像。视差图像可以针对所有的帧来生成，或者视差图像可以通过提取任意帧来生成。在本实施例中，视差图像通过以预定的间隔提取帧而形成。图5示出通过使用图4中所示的左原始图像和右原始图像所生成的视差图像。视差图像生成部52还可以通过将右原始图像用作参照图像来生成用于视差值差值判定部分中的可靠判定的视差图像。每个视差图像例如可以通过立体匹配等来生成。区域相关法用作立体匹配。在区域相关法中，针对与标记的像素相关的一定尺寸的窗口，计算每个图像的匹配度，并且执行立体匹配使得使匹配度最大化。此外，在匹配度最大的状态下标记的像素的视差。由此计算出的视差表示多个图像间的像素的错位量。在实施例1中，视差是右原始图像(左原始图像)的像素与用作参照图像的左原始图像(或右原始图像)的像素的错位量。

距离计算部53基于由视差图像生成部52生成的视差图像来计算深度距离。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。换句话说，当低可靠性像素包括在正常视差图像中时，距离计算部53基于通过去除低可靠性像素所形成的正常视差图像来计算深度距离。当低可靠性像素包括在异常视差图像中时，距离计算部53基于通过去除低可靠性像素所形成的异常视差图像来计算深度距离。通过避免使用低可靠性像素，可以高精度地获得深度距离。例如，深度距离被提供给障碍物检测装置55和行驶速度控制部9。

当异常图像检测装置2检测到视差图像中的异常时，输出部54输出异常信息。例如，该输出为在显示装置上的异常信息的显示、通过扬声器的声音或语音输出、通过照明装置的输出或者可以被发送到外部装置的异常信息。

(异常图像检测装置)

图3中示出的异常图像检测装置2具有判定视差图像的像素的可靠性是否低的可靠性判定部24、计算由可靠性判定部24判定的低可靠性像素的总数的计算部25、以及当由计算部25获取的低可靠性像素的总数超过预定值时判定视差图像异常的异常判定部26。

可靠性判定部24具有边缘强度判定部分241、视差值判定部分242和视差值差值判定部分243，这将在下面进行详细描述。

将参照图6描述由边缘强度判定部分执行的边缘强度判定的方法。边缘强度判定部分241针对与视差图像的第一区域w中的像素相对应的左原始图像和右原始图像的像素中的每一者判定像素的边缘强度等于还是大于阈值。下面将给出对方法的描述，在该方法中，左原始图像的像素的判定与右原始图像的像素的判定彼此同步地进行。通过在图4(a)中所示的左原始图像和图4(b)中所示的右原始图像上执行立体匹配来生成图5中所示的视差图像。边缘强度判定部分241获取与视差图像的第一区域w中的像素p(u,v)相对应的左原始图像的像素的边缘强度el(u,v)。类似地，边缘强度判定部分241获取与视差图像的第一区域w中的像素p(u,v)相对应的右原始图像的像素的边缘强度er(u,v)(s1)。边缘强度可以通过普通边缘检测来获取。

在本实施例中，获取与第一区域w中的像素p(u,v)相对应的左原始图像的像素的边缘强度el(u,v)以及右原始图像的像素的边缘强度er(u,v)。然而，本发明并不限于此。可以对本实施例作出修改，使得获取与视差图像的区域wl中的像素pl相对应的左原始图像的像素的边缘强度el(u,v)，并且获取与视差图像的区域wr(与区域wl不同的区域)中的像素pr相对应的右原始图像的像素的边缘强度er(u,v)。

接着，边缘强度判定部分241检查边缘强度el是否等于或小于阈值el1。类似地，边缘强度判定部分241检查边缘强度er是否等于或小于阈值er1(s2)。阈值el1和阈值er1可以相等或彼此不同。

如果边缘强度el等于或小于阈值el1，则边缘强度判定部分241判定左原始图像的像素为低可靠性像素。类似地，如果边缘强度er等于或小于阈值er1，则边缘强度判定部分241判定右原始图像的像素为低可靠性像素(s3-1)。计算部25计算左原始图像中的被判定为低可靠性像素的总数tl1。类似地，计算部25计算右原始图像中的被判定为低可靠性像素的总数tr1(s4)。

另一方面，如果边缘强度el不等于或小于阈值el1，边缘强度判定部分241判定左原始图像的像素不是低可靠性像素，而是可靠性高的像素。类似地，如果边缘强度er不等于或小于阈值er1，边缘强度判定部分241判定右原始图像的像素不是低可靠性像素，而是可靠性高的像素(s3-2)。未被判定为低可靠性像素的像素被称为可靠性高的像素。针对左原始图像和右原始图像的在第一区域w内的像素中的所有像素，重复步骤s2至s4(s5)。

接着，异常判定部26判定低可靠性像素的总数tl1是否超过预定值ql1。类似地，异常判定部26判定总数tr1是否超过预定值qr1(s6)。预定值ql1和qr1预先设定。预定值ql1和qr1可以相同或彼此不同。如果低可靠性像素的总数tl1超过预定值ql1，则异常判定部26判定左原始图像为异常(非正常)。同样，如果总数tr1超过预定值qr1，则异常判定部26判定为右原始图像为异常(非正常)(s7)。当异常判定部26判定原始图像中的至少一者为异常时，它判定视差图像也为异常。输出部54可以输出指示该判定结果的信息，例如，指示检测到异常视差图像的信息。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。在低可靠性像素的总数tl1未超过预定值ql1并且总数tr1未超过预定值qr1的情况下，由视差值判定部分242执行判定。

将参照图7描述由视差值判定部分所执行的视差值判定的方法。在本实施例中，在视差图像中与视差值判定有关的第一区域、第二区域、和第三区域被描述为相同的区域w。然而，该方法并不限于此。可以对本实施例进行修改，使得第一区域、第二区域和第三区域彼此不同。

如果视差图像的第二区域中的像素p(u,v)的视差值d(u,v)超出预定范围，则视差值判定部分242判定像素p(u,v)可靠性低。视差值判定部分242首先获取像素p(u,v)的视差值d(u,v)(s11)。视差值可以通过常规方法获取。

视差值判定部分242检查视差值d(u,v)是否等于或大于下限值d1并等于或小于上限值d2(s12)。下限值d1和上限值d2预先设定。如果视差值d(u,v)等于或大于下限值d1并等于或小于上限值d2，则视差值判定部分242判定像素可靠性低(s13-1)。如果像素被判定为可靠性低，则计算部25计算低可靠性像素的总数t2(s14)。另一方面，如果视差值d(u,v)不等于或大于下限值d1并等于或小于上限值d2，则视差值判定部分242判定右原始图像的像素不是低可靠性像素，而是可靠性高的像素(s13-2)。针对第二区域w中的所有像素，重复步骤s12至s14(s15)。

接着，异常判定部分26判定低可靠性像素的总数t2是否超过预定值q2(s16)。预定值q2被预先设定。如果低可靠性像素的总数t2超过预定值q2，则异常判定部26判定为原始图像中的至少一者和视差图像异常(非正常)(s17)。当图像被判定为异常时，输出部54可以输出指示该判定结果的信息，例如，指示检测到异常视差图像的信息。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。在低可靠性像素的总数t2未超过预定值q2的情况下，由视差值差值判定部分243执行判定。

将参照图8描述由视差值差值判定部分执行的视差值判定的方法。例如，第三区域w设定在针对左原始图像参照的视差图像中，并且该区域w中的像素pl(u,v)的视差值dl(u,v)为dl(u，v)＝d。在该情况下，如果与针对右原始图像参照的视差图像的与像素pl(u，v)相对应的像素pr(u-d,v)的视差值的差值(dl-dr)超出预定范围，则视差值差值判定部分243判定像素pl(u,v)可靠性低。可以对本发明进行修改使得在针对右原始图像参照的视差图像中设定第四区域w，并且判定像素pr(u,v)的可靠性。在该情况下，与针对右原始图像参照的视差图像的视差值dr(u,v)＝d相对应的、针对左原始图像参照的视差图像的视差值为dl(u,v)。如果差值(dl-dr)超出预定范围，则视差值差值判定部分243判定像素pr(u,v)可靠性低。第三区域和第四区域可以相同或彼此不同。针对左原始图像参照的视差图像以及针对右原始图像参照的视差图像由视差图像生成部52生成。视差值差值判定部分243首先获取视差值差(dl-dr)(s21)。

视差值差值判定部分243检查视差值差值(dl-dr)是否等于或大于下限值d3并等于或小于上限值d4(s22)。下限值d3和上限值d4被预先设定。如果视差值差值(dl-dr)等于或大于下限值d3并等于或小于上限值d4，则视差值差值判定部分243判定像素pl(u,v)可靠性低(s23-1)。

将参照图9描述获取视差值差值的过程的示例。图9(a)示出针对左原始图像参照的视差图像的视差值。图9(b)示出针对右原始图像参照的视差图像的视差值。对于图9(a)和9(b)，提取相同的坐标。将针对左原始图像参照的视差图像与针对右原始图像参照的视差图像进行比较。在针对左原始图像的视差图像的帧中，u坐标为18并且视差值为4。如果u坐标(位移量)的差值为4，则在相同的v坐标处针对右原始图像参照的视差图像的相应u坐标为14(＝18-4)，并且在u坐标14处的视差值为9。视差值差值为“5(＝9-4)”。当d3＝0并且d4＝1时，视差值差值为“5”超过d4。因此，该坐标处的像素被判定为可靠性低。

如果像素被判定为可靠性低，则计算部25计算可靠性低(s24)的像素的总数t3。如果视差值差值(dl-dr)不等于或大于下限值d3并且不等于或大于上限值d4，则视差值差值判定部分243判定像素pl(u,v)不是低可靠性像素，而是可靠性高的像素(s23-2)。针对第三区域w中所有的像素重复步骤s22至s24(s25)。

接着，异常判定部分26判定低可靠性像素的总数t3是否超过预定值q3(s26)。预定值q3被预先设定。如果低可靠性像素的总数t3超过预定值q3，则异常判定部26判定原始图像中的至少一者和视差图像是否异常(非正常)(s27)。当图像被判定为异常时，输出部54可以输出指示该判定结果的信息，例如，指示检测到异常视差图像的信息。无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。在低可靠性像素的总数t3未超过预定值q3的情况下，异常判定部26判定视差图像和原始图像非异常。

(实施例1的变形例)

在上述实施例1中，边缘强度判定部分241判定边缘强度是否大于或等于阈值。这部分的操作并不限于此。边缘强度判定部分241可以判定边缘强度是否在预定范围内。

在上述实施例1中，边缘强度可以是例如由边缘增强装置(诸如sobel滤波器)进行处理后的值(亮度值)。图10示出通过增强图4所示的左原始图像的边缘而获得的示例。

在上述实施例1中，当视差值d(u,v)等于或小于阈值时，视差值判定部分242可以判定相应的像素p(u,v)可靠性低。

在上述实施例1中，当视差值差值(dl-dr)等于或小于阈值时，视差值判定部分242可以判定像素可靠性低。

在上述实施例1中，边缘强度判定部分241同时对左原始图像和右原始图像进行处理(s1至s7)。该部分的操作并不限于此。边缘强度判定部分241可以对原始图像的一者进行处理，并且其后对另一个原始图像进行处理。

在上述实施例1中，由边缘强度判定部分241进行的处理、由视差值判定部分242进行的处理以及由视差值差值判定部分243进行的处理依次执行。处理的顺序并不限于此。或者可以选择由边缘强度判定部分241进行的处理、由视差值差值判定部分243执行的处理以及由视差值判定部分242执行的处理的顺序。

在上述实施例1中，或者可以采用异常图像检测装置2未设置在车辆1上的布置。在该情况下，图像处理系统5和异常图像检测装置2经由网络彼此连接。另外，或者可以采用图像处理系统5未设置在车辆1上的布置。由设置在车辆1上的摄像部51拍摄的图像经由网络发送给图像处理系统5。

在上述实施例1中，视差图像生成部52可以由通过对左图像传感器511和右图像传感器512拍摄的图像进行各种校正所获取的图像来生成视差图像。在该情况下，图像处理系统5具有用于对图像进行各种校正的图像校正部(未示出)。由图像校正部校正的图像被输出到视差图像生成部52。图像校正处理的示例为：用于校正例如归因于透镜的孔和颜色的多个图像传感器之间的亮度变化的亮度校正处理、用于校正归因于用于图像传感器的透镜的畸变的畸变校正处理、以及用于增强所拍摄的图像的边缘的边缘增强处理。这些种类的图像处理中的至少一者可被执行以用于图像校正。从左图像传感器511和右图像传感器512的内在特性所获取的图像的特性的均匀性可以通过执行用于在左图像传感器511和右图像传感器512之间进行亮度校正的处理、用于校正透镜畸变的处理、和用于增强边缘的处理中的至少一者来改进。基于拍摄的图像所生成的视差图像的准确性可以通过降低左图像传感器511和右图像传感器512之间的个体差异来改进，从而使得精确地检测视差间断部分。

上述实施例1还可以具有指标计算部，该指标计算部计算视差图像的预定区域(像素)中的视差值的标准偏差(离差)的指标。如果由指标计算部计算出的指标超出预定范围(或者指标超过上限阈值)，则异常判定部判定为视差图像异常。通过这种布置方式，能够通过判定视差值中的大的变化来判定原始图像异常。例如，“视差图像的预定区域”为整个像素区域或者通过从整个像素区域中去除端部区域来限定的中央区域。在端部区域，多个摄像部具有不同的摄像区域。因此，其优选预先排除端部区域。“视差图像的预定区域”可以与上述“视差图像的第一区域”、“视差图像的第二区域”和“视差图像的第三区域”相同，或者可以不同于这些区域。

上述“视差图像的第一区域”、“视差图像的第二区域”和“视差图像的第三区域”中的每一者均为通过从整个区域中去除端部区域来限定的中央区域。然而，第一区域至第三区域并不限于此。第一区域至第三区域中的每一者可以是整个区域。

上述实施例1还包括像素值差值运算部和指标运算部，该像素值差值运算部针对至少两个原始图像的预定区域中的像素计算原始图像的在相同坐标处的像素的像素值(亮度值)，该指标运算部计算选自由像素值差值计算部获取的像素值之间的差值的总偏差、平均偏差、最大偏差、最小偏差和标准偏差中的一个或多个数据。如果指标超出预定范围(或者指标超过上限阈值)，则异常判定部判定两个原始图像中的至少一者异常。通过这种布置方式，能够通过判定亮度值中的大的差值来判定原始图像异常。例如，“原始图像的预定区域”为整个像素区域或者通过从整个像素区域去除端部区域来限定的中央区域。

上述实施例1中的车辆1具有沿摄像方向设置在摄像部的前方的前挡风玻璃。然而，本发明并不限于此。例如，摄像部可以设置在车辆的前部。

在实施例1，无论是异常视差图像还是正常视差图像，距离计算部53基于通过去除低可靠性像素所形成的视差图像来计算深度距离。然而，其不限于以上方面，也可以是以下方面。距离计算部可以基于除于其中检测到异常的视差图像之外的视差图像来计算深度距离。当通过使用检测到异常的视差图像来计算深度距离时，距离计算部使用通过去除低可靠性像素所形成的视差图像。

(实施例2)

根据实施例2的异常图像检测装置2被布置为与图像处理系统5分离的装置。图15中所示的异常图像检测设备2还包括通信部21(对应于采集部)和存储部22，该通信部接收左原始图像、右原始图像和来自外部装置的视差图像，该存储部存储左原始图像、右原始图像和由通信部21所接收的视差图像。通信部21的功能在于将被判定为异常的原始图像和视差图像有关的信息发送给外部装置或不同的装置。例如，通信部21将用于识别原始图像和视差图像的信息发送给外部装置或不同的装置。外部装置可以是经由网络连接到异常图像检测装置2的服务器或图像处理系统5。

[示例]

上述实施例1中的可靠性判定和以上提及的jp2014-006243a中的使用视差分布的可靠性判定可以在附着异物的状态下使用视差图像来进行以及在没有异物的状态下使用视差像素来进行。图11(a)示出没有附着异物的左原始图像，并且图11(b)示出没有附着异物的右原始图像。图12示出来自左原始图像和右原始图像的视差图像。具有附着异物的视差图像是图5中所示的图像。图13示出图12中所示的视差图像中的视差分布。12。图14示出图5中所示的视差图像中的视差分布。横坐标表示视差分布中的视差值，并且纵轴表示视差值的频率。

在根据上述实施例1的判定中，可以判定具有附着异物的右原始图像异常。在使用根据jp2014-006243a的视差分布的判定中，附着异物的情况下的视差分布与未附着异物的情况下的视差分布的差值仅使得某些视差的频率减小。因此，根据jp2014-006243a的判定方法难以精确地判定图像异常。

(其他实施例)

根据另一个实施例的异常图像检测装置是这样的异常图像检测装置：该装置检测基于从多个摄像部获取的多个原始图像所生成的视差图像以及多个原始图像中的至少一者是否异常，并且该装置具有指标计算部和异常判定部，该指标计算部计算视差图像的预定区域(像素)中的视差值的标准偏差(离差)指标，如果指标计算部计算的指标超出预定范围(或者如果指标超出上限阈值)，则该异常判定部判定视差图像异常。通过这种布置方式，可以通过判定视差值中的大的变化来判定原始图像异常。异常图像检测装置还可以具有根据上述实施例1或2的异常图像检测装置2的部件和部件的功能。

根据又一个实施例的异常图像检测装置是这样的异常图像检测装置：该装置检测基于从多个摄像部获取的多个原始图像所生成的视差图像以及多个原始图像中的至少一者是否异常，并且该装置具有像素值差值运算部、指标运算部和异常判定部，该像素值差值运算部针对至少两个原始图像的预定区域中的像素计算原始图像的在相同坐标处的像素的像素值(亮度值)之间的差值，该指标运算部计算选自从像素值差值运算部获取的像素值之间的差值的总偏差、最大偏差、最小偏差和标准偏差的一个或多个指标，并且如果指标超出预定范围(或者如果指标超过上限阈值)，则该异常判定部判定两个原始图像中的至少一者异常。通过这种布置方式，能够通过判定亮度值中的大的差值来判定原始图像异常。异常图像检测装置还可以具有根据上述实施例1或2的异常图像检测装置2的部件和部件的功能。

根据本发明的每个“阈值”可以是预先设定的固定值或者是通过基于环境条件或行驶条件对固定值进行校正而获得的校正值。

此外，如果预定值由a表示；另一个预定值由b表示；并且a比b小，根据本发明的“预定范围内”包括下列所有情况：

大于a并且小于b；大于a并且小于或等于b；大于或等于a并且小于或等于b；以及大于或等于a并且小于b。

根据本发明的车辆不限于高尔夫球车。车辆的车轮的数量不受限制。车辆可以是骑乘式车辆，其包括除速可达之外的摩托车类型。骑乘式车辆可以是除摩托车之外的任何车辆，诸如全地形车(atv)。骑乘式车辆指由骑手骑乘的车辆。

[附图标记列表]

1车辆

2异常图像检测装置

21通信部

22存储部

24可靠性判定部

241边缘强度判定部分

242视差值判定部分

243视差值差值判定部分

25计算部

26异常判定部

5图像处理系统

51摄像部

52视差图像生成部

53距离计算部

54输出部