物体检测装置、物体检测方法以及记录介质与流程

本公开涉及检测物体的物体检测装置、物体检测方法以及物体检测程序，例如涉及根据图像等信息在失效保护(failsafe)下检测物体的物体检测装置、物体检测方法以及物体检测程序。

背景技术：

近年来，正在大量进行取代驾驶员而由机器驾驶的自动驾驶车(机器人车)的研究和商品化。作为该自动驾驶车的要素功能之一，使用检测一般物体的物体检测装置(一般物体检测装置)，一般物体检测装置根据从摄像头装置或雷达、立体摄像头等测距传感器装置等传送的图像等信息来检测一般物体。成为必要条件的是：一般物体包括行人、车辆、道路标识、建筑物以及道路的区域等，自动驾驶车的一般物体检测装置对这些物体进行检测，自动驾驶车的行驶控制装置基于来自一般物体检测装置的检测信息，控制自动驾驶车本体，安全地向目标场所移动。

由此，一般物体检测装置必须是即使在发生异常时也能安全应对的设计。这样的设计结构也被称为失效保护，失效保护的设计是指在装置发生了异常的情况下始终在安全侧进行控制、或者使得实现该控制的设计方法，是可靠性设计之一。也就是说，将装置或系统一定会发生故障作为前提。

现有技术文献

专利文献1：日本特开2014-21709号公报

专利文献2：日本特开2008-47991号公报

技术实现要素：

发明要解决的技术问题

然而，在上述现有的技术中，仅公开了针对雷达装置等取得物体信息的装置中的不良情况的失效保护技术，对于针对执行检测物体的物体检测处理的物体检测器的失效保护技术，并没有任何研究，关于针对物体检测器的失效保护技术，需要进一步的改善。

用于解决问题的技术方案

本公开的一个技术方案的装置，是检测物体的装置，具备：接收部，其接收通过传感器对所述物体检测到的信息；多个检测电路，其根据所述信息，执行各不相同的检测处理，由此检测所述物体，以及控制电路，其控制所述多个检测电路，所述控制电路，基于所述多个检测电路的各检测电路的工作或状态的变化，检测所述多个检测电路的各检测电路是否为异常状态，在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，使所述第1检测电路停止正在执行的检测处理，使所述第1检测电路以外的一个以上的检测电路执行与正在执行的检测处理不同的检测处理，由此检测所述物体。

根据本公开，即使多个检测电路中的一个检测电路成为异常状态，也能够一边将追加的构成要素抑制到最小限度一边进行失效保护的物体检测。

附图说明

图1是表示搭载有本公开的实施方式1的物体检测装置的车辆的主要构成的一例的框图。

图2是表示图1所示的物体检测装置的构成的一例的框图。

图3是表示图2所示的物体检测装置的启动时物体检测处理的一例的流程图。

图4是表示图2所示的检测器切换部所使用的检测处理分配表的一例的图。

图5是表示图2所示的物体检测器在物体检测处理中使用的图像信息所表示的图像的一例的图。

图6是用于说明物体检测器从图5所示的图像中检测到的物体的一例的图。

图7是表示对显示在图1所示的显示装置上的自动驾驶状态进行表示的测量仪表图像的一例的图。

图8是表示在图2所示的物体检测装置的物体检测器之一发生了异常的情况下的异常时物体检测处理的一例的流程图。

图9是表示在图2所示的物体检测器之一发生了异常的情况下检测器切换部所使用的检测处理分配表的一例的图。

图10是用于说明在图2所示的物体检测装置的物体检测器之一发生了异常的情况下的失效保护工作的一例的框图。

图11是在图2所示的物体检测器之一发生了异常的情况下显示于显示装置的测量仪表图像的一例的图。

图12是在图2所示的物体检测器之一发生了异常的情况下检测器切换部所使用的检测处理分配表的另一例的图。

图13是表示本公开的实施方式2的物体检测装置的构成的一例的框图。

图14是表示图13所示的物体检测装置的启动时物体检测处理的一例的流程图。

图15是图13所示的物体检测装置的物体检测器所参照的nn保存部的一例的图。

图16是表示在图13所示的物体检测装置的物体检测器之一发生了异常的情况下的异常时物体检测处理的一例的流程图。

图17是表示在图13所示的物体检测装置的物体检测器之一发生了异常的情况下物体检测器所参照的nn保存部的一例的图。

标号的说明

1车辆

11摄像头装置

12测距传感器装置

13行驶控制装置

14显示装置

101、101a物体检测装置

102信息取得部

103、103a物体检测部

104检测器异常检测部

105检测器切换部

106驾驶控制信号发送部

113、113a、123、123a、133、133a物体检测器

201nn保管部

202nn存储部

213、223、233nn保存部

具体实施方式

(成为本公开的基础的见解)

上述专利文献1所记载的技术公开了如下的物体位置检测装置：即使在雷达装置难以判定物体的前后方向的位置的情况下，也能够推定物体的前后方向的位置。该物体位置检测装置的特征在于：在通过雷达故障判定部判定为雷达装置发生了故障的情况下，通过摄像头装置来推定物体的移动方向，基于该推定出的移动方向来推定物体的前后方向位置。也就是说，是将在向物体检测部输入拍频信号的雷达传感器装置发生了故障的情况下切换到其他装置(摄像头装置)来继续运用设为主要关注点的失效保护技术。但是，专利文献1虽然公开了针对雷达装置等取得物体信息的装置中的不良情况的失效保护技术，但却没有公开任何与执行检测物体的物体检测处理的物体检测器有关的失效保护技术。

另外，上述专利文献2公开了如下的图像处理装置：即使在监视对象区域的环境发生变化那样的情况下，也能够使用适合于环境的物体检测方法来提高物体检测的性能。在该图像处理装置中，基于与由不同于拍摄装置的其他传感器检测到的环境有关的信息，使用所具备的多个物体检测部中的适合于环境的物体检测部。但是，专利文献2的图像处理装置由于具备多个物体检测部，因此也能够设想在物体检测部发生了故障的情况下失效保护用的物体检测部进行应对的运用，而在该情况下，存在需要另行设置失效保护用的物体检测部的问题。

另外，在自动驾驶车的领域中，对于摄像头装置和/或测距传感器装置发生了故障的情况下的失效保护技术，提出了各种方案。然而，对于从摄像头装置等接收信息且检测一般物体的物体检测装置也发生故障而考虑了物体检测装置中的失效保护的设计和/或技术上的解决措施，却没有任何研究。

因此，本发明人研究了以下的改善措施。

(1)本公开的一个技术方案的装置，是检测物体的装置，具备：接收部，其接收通过传感器对所述物体检测到的信息；多个检测电路，其根据所述信息，执行各不相同的检测处理，由此检测所述物体，以及控制电路，其控制所述多个检测电路，所述控制电路，基于所述多个检测电路的各检测电路的工作或状态的变化，检测所述多个检测电路的各检测电路是否为异常状态，在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，使所述第1检测电路停止正在执行的检测处理，使所述第1检测电路以外的一个以上的检测电路执行与正在执行的检测处理不同的检测处理，由此检测所述物体。

根据这样的构成，在检测到多个检测电路中的一个检测电路的异常的情况下，停止被检测到异常的检测电路的检测处理，变更正常的检测电路的检测处理，因此不用新设置失效保护用的检测电路，能够使正常的检测电路来代办被检测到异常的检测电路的检测处理。其结果是，即使多个检测电路中的一个检测电路成为异常状态，也能够一边将追加的构成要素抑制到最小限度一边进行失效保护的物体检测。

(2)在上述技术方案中，也可以：所述信息包括至少包含所述物体的图像信息和表示从所述装置到所述物体为止的距离的距离信息的任一方。

(3)在上述技术方案中，也可以：所述控制电路在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，基于对所述各不相同的检测处理分配的优先级，使所述第1检测电路以外的一个以上的检测电路中的执行与最低的优先级对应的检测处理的第2检测电路执行所述第1检测电路所执行的检测处理，由此检测所述物体。

根据这样的构成，在检测到多个检测电路中的一个检测电路的异常的情况下，将正常的检测电路中的执行优先级最低的检测处理的正常的检测电路的检测处理变更为被检测到异常的检测电路的检测处理，因此能够使执行优先级最低的检测处理的正常的检测电路来代办被检测到异常的检测电路的检测处理，能够一边将对物体检测的性能降低抑制到必要最小限度一边继续执行优先级高的检测处理。

(4)在上述技术方案中，也可以：所述多个检测电路至少包括三个以上的检测电路，所述控制电路在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，使所述第1检测电路以外的第3检测电路执行与对所述各不相同的检测处理分配的优先级中的最高的优先级对应的检测处理，使所述第1检测电路以及所述第3检测电路以外的第4检测电路执行与对所述各不相同的检测处理分配的优先级中的第二高的优先级对应的检测处理，由此检测所述物体。

根据这样的构成，在检测到多个检测电路中的一个检测电路的异常的情况下，使正常的检测电路中的一个检测电路执行优先级最高的检测处理，并且使其余的检测电路执行优先级次高的检测处理，因此能够切实地继续执行优先级高的检测处理。

(5)也可以：所述多个检测电路至少包括三个以上的检测电路，所述控制电路在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，使所述第1检测电路以外的第3检测电路执行与对所述各不相同的检测处理分配的优先级中的最高的优先级对应的检测处理，使所述第1检测电路以及所述第3检测电路以外的第4检测电路执行当前正在执行的检测处理以及所述第1检测电路所执行的检测处理，由此检测所述物体。

根据这样的构成，在检测到多个检测电路中的一个检测电路的异常的情况下，使正常的检测电路中的一个检测电路执行优先级最高的检测处理，并且使其余的检测电路除了执行已在执行的检测处理之外还执行被检测到异常的检测电路的检测处理，因此能够继续执行所有的检测处理。

(6)在上述技术方案中，也可以：所述控制电路在所述第1检测电路停止了检测处理时，执行用于使所述第1检测电路恢复为正常状态的复原处理。

根据这样的构成，在被检测到异常的检测电路停止了检测处理时，执行使被检测到异常的检测电路恢复正常的复原处理，因此能够使被检测到异常的检测电路提前恢复正常。

(7)在上述技术方案中，也可以：还具备存储器，所述控制电路，使用所述存储器所存储的数据群来生成在所述多个检测电路要执行的检测处理中使用的各神经网络，将所述各神经网络分配给所述多个检测电路的各检测电路，在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，使所述第1检测电路以外的一个以上的检测电路使用与在正在执行的检测处理中使用的神经网络不同的神经网络来执行检测处理，由此检测所述物体。

根据这样的构成，使用用于生成检测物体用的神经网络的数据群，生成供多个检测电路分别使用的神经网络，将所生成的各神经网络分配给多个检测电路的各检测电路，多个检测电路分别使用被分配来的神经网络来检测物体。在该状态下，检测到多个检测电路中的一个检测电路的异常的情况下，变更正常的检测电路要使用的神经网络，因此在检测到多个检测电路中的一个检测电路的异常的情况下，能够节省新生成神经网络要花费的时间，并防止检测处理的空白期间。

(8)在上述技术方案中，也可以：所述存储器将所述各神经网络存储于各区域，所述控制部在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，通过变更与正在使用的所述神经网络对应的所述存储器的区域，从而使所述第1检测电路以外的一个以上的检测电路使用所述不同的神经网络来执行检测处理，由此检测所述物体。

根据这样的构成，在检测到多个检测电路中的一个检测电路的异常的情况下，通过使正常的检测电路要参照的存储器的单独区域变更，对正常的检测电路要使用的神经网络进行变更，因此能够瞬间变更正常的检测电路要使用的神经网络，能够切实地继续执行使用了神经网络的检测处理。

(9)在上述技术方案中，也可以：所述多个检测电路的各检测电路具有相同性能。

根据这样的构成，能够使正常的检测电路容易地代办被检测到异常的检测电路的检测处理，并且能够降低装置的成本。

(10)在上述技术方案中，也可以：所述传感器是预定的摄像头，所述信息是包含所述物体的图像信息，所述接收部从所述预定的摄像头接收所述图像信息。

根据这样的构成，使用由摄像头拍摄了物体而得到的图像信息，能够检测包括行人、车辆、道路标识、建筑物以及道路的区域等的一般物体。

(11)在上述技术方案中，也可以：所述装置搭载于车辆，所述车辆具备对所述车辆的行驶进行控制的车辆控制装置，所述控制电路基于整合后的所述多个检测电路对所述物体检测的检测结果，将所述车辆的行驶所涉及的控制信号输出给所述车辆控制装置。

根据这样的构成，装置搭载于车辆，基于整合后的多个检测电路的检测结果，将车辆的行驶所涉及的控制信号输出给车辆控制装置，因此，即使在检测电路发生了异常时，也能够检测车辆的行驶控制所需要的包括行人、其他车辆、道路标识、建筑物以及道路的区域等的一般物体，使用整合后的检测结果，能够实现自动驾驶车的失效保护的自动驾驶控制。

(12)在上述技术方案中，也可以：所述多个检测电路还包括第2检测电路和第3检测电路，所述物体包括位于以所述车辆为起点的第1距离范围的第1物体、位于以所述车辆为起点的第2距离范围的第2物体、和位于以所述车辆为起点的第3距离范围的第3物体，按所述第1距离范围、所述第2距离范围、所述第3距离范围的顺序接近所述车辆，所述第1检测电路执行对所述第1物体进行检测的第1检测处理，所述第2检测电路执行对所述第2物体进行检测的第2检测处理，所述第3检测电路执行对所述第3物体进行检测的第3检测处理，所述控制电路在检测到所述多个检测电路中的第1检测电路为异常状态的情况下，使所述第1检测电路停止所述第1处理，使所述第3检测电路执行所述第1处理。

根据这样的构成，在检测到第1检测电路的异常的情况下，停止第1检测电路的检测处理，变更第3检测电路的检测处理以使第3体检测电路检测第1物体，因此，即使在第1检测电路发生了异常时，也能够检测位于与车辆最接近的第1距离范围的第1物体、例如行人、其他车辆、道路标识、建筑物以及道路的区域等，能够继续自动驾驶车的自动驾驶。

另外，本公开不仅能够作为具备以上那样的特征性结构的装置来实现，也能够作为执行与装置所具备的特征性结构对应的特征性处理的方法等来实现。另外，还能够作为存储有使处理器执行这样的方法所包含的特征性处理的程序的记录介质来实现。因此，对于以下的其他技术方案，也能够起到与上述的装置同样的效果。

(13)本公开的另一技术方案涉及的方法，包括：接收通过传感器对所述物体检测到的信息，根据所述信息，执行各不相同的多个检测处理，由此检测所述物体，基于所述多个检测处理的各检测处理的工作或状态的变化，检测所述多个检测处理的各检测处理是否为异常状态，在检测到所述多个检测处理中的一个检测处理为异常状态的情况下，停止所述一个检测处理，通过执行与所述一个检测处理以外的一个以上的检测处理不同的检测处理来检测所述物体。

(14)本公开的另一技术方案涉及的记录介质，是存储有检测物体的程序的非瞬时性记录介质，所述程序使处理器执行：接收通过传感器对所述物体检测到的信息，根据所述信息，执行各不相同的多个检测处理，由此检测所述物体，基于所述多个检测处理的各检测处理的工作或状态的变化，检测所述多个检测处理的各检测处理是否为异常状态，在检测到所述多个检测处理中的一个检测处理为异常状态的情况下，停止所述一个检测处理，通过执行与所述一个检测处理以外的一个以上的检测处理不同的检测处理来检测所述物体。

并且，当然能够使上述那样的程序经由互联网等通信网络进行流通。另外，也可以将本公开的一个实施方式涉及的装置的构成要素的一部分和除此以外的构成要素作为分散到多个计算机的系统来构成。

此外，以下说明的实施方式都是用于表示本公开的一个具体例子的实施方式。以下的实施方式中示出的数值、形状、构成要素、步骤、步骤的顺序等是一例，并非旨在限定本公开。另外，对于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。另外，在所有的实施方式中，都能够组合各个实施方式的内容。

以下，参照附图对本公开的各实施方式涉及的物体检测装置系统进行说明。

(实施方式1)

图1是表示搭载有本公开的实施方式1的物体检测装置的车辆的主要构成的一例的框图。如图1所示，车辆1具备摄像头装置11、测距传感器装置12、行驶控制装置13、显示装置14以及物体检测装置101。车辆1是使用控制行驶状态的行驶控制装置13以及检测物体的物体检测装置101来进行自动驾驶的自动驾驶车。此外，车辆1并不特别限定于自动驾驶车，也可以是驾驶员进行驾驶的通常的车辆。

摄像头装置11由ccd(chargecoupleddevices，电荷耦合器件)图像传感器等构成，拍摄包含位于车辆1的前方的各种物体(一般物体)的图像，将拍摄了物体而得到的图像信息输出给物体检测装置101。此外，摄像头装置11的构成并不特别限定于该例，也可以通过多个摄像头装置来拍摄车辆1的后方、右侧方、左侧方等的物体。

测距传感器装置12由雷达装置等构成，测定到位于车辆1的前方的各种物体(一般物体)为止的距离，将表示所测定出的距离的距离信息输出给物体检测装置101。此外，测距传感器装置12的构成并不特别限定于该例，也可以通过多个测距传感器装置来测定到位于车辆1的后方、右侧方、左侧方等的物体为止的距离；和/或使用立体摄像头等来输出对表示到物体为止的距离的距离信息进行了图像化后的图像信息等。

物体检测装置101在自动驾驶车的情况下，作为一般物体而检测行人、车辆、道路标识、建筑物以及道路的区域等的物体，将基于物体检测结果的控制信号(驾驶控制信号)输出给行驶控制装置13。

行驶控制装置13由发动机控制单元等构成，基于包括物体检测装置101的物体检测结果的各种信息，控制车辆1的行驶状态，自动地控制加速器操作、制动器操作以及方向盘操作等。

显示装置14由设置于车辆1的仪表面板的液晶显示器等构成，显示从行驶控制装置13输出的各种信息、例如自动驾驶的状态和/或物体检测装置101的工作状态等。

图2是表示图1所示的物体检测装置的构成的一例的框图。如图2所示，物体检测装置101具备信息取得部102、物体检测部103、检测器异常检测部104、检测器切换部105以及驾驶控制信号发送部106。物体检测部103具备3个物体检测器113、123、133。

作为与物体有关的物体信息，信息取得部102从摄像头装置11取得拍摄了物体而得到的图像信息，并且从测距传感器装置12取得表示到物体为止的距离的距离信息，将所取得的图像信息以及距离信息输出给物体检测部103。此外，物体信息并不特别限定于上述的例子，也可以使用与成为检测对象的物体有关的其他各种信息。

物体检测部103对物体检测器113、123、133的工作进行管理，将从信息取得部102输出的图像信息以及距离信息提供给物体检测器113、123、133，使物体检测器113、123、133执行物体检测处理。物体检测器113、123、133分别使用图像信息以及距离信息来执行预定的物体检测处理。物体检测器113、123、133分别是相同性能的物体检测器，优选是相同结构的物体检测器。此外，物体检测器的数量以及结构并不特别限定于上述的例子，也可以使用2个或4个以上的物体检测器和/或使用不同性能的物体检测器，可以进行各种变更。另外，物体检测器处理的信息并不特别限定于上述的图像信息等，也可以根据与电波、热、声、红外线等对应的各种传感器装置的检测信号所对应的信息等来检测一般物体。

另外，物体检测器123、133将通过物体检测处理而检测到的物体的检测结果输出给物体检测器113，物体检测器113对自身的检测结果和物体检测器123、133的检测结果进行整合，将整合检测结果输出给驾驶控制信号发送部106。

检测器异常检测部104检测物体检测器113、123、133各自的异常状态，将对被检测到异常状态的物体检测器进行报告的检测器异常信息通知给检测器切换部105以及驾驶控制信号发送部106。例如，检测器异常检测部104通过以硬件方式监视物体检测器113、123、133的温度和/或耗电量的变化、和/或以软件方式监视物体检测器113、123、133的检测结果的输出频度，由此检测物体检测器113、123、133的异常状态。此外，检测器异常检测部104在物体检测器113、123、133正常工作的情况下，也可以将所有的物体检测器113、123、133都正常之意的检测器正常信息发送给驾驶控制信号发送部106。

检测器切换部105通过控制物体检测部103并切换物体检测器113、123、133的处理内容，在由检测器异常检测部104检测到物体检测器113、123、133中的一个物体检测器的异常状态的情况下，停止被检测到异常状态的异常物体检测器的物体检测处理，变更未被检测到异常状态的正常物体检测器的物体检测处理。物体检测部103在异常物体检测器停止物体检测处理时，执行使异常物体检测器恢复为正常状态的复原处理。

另外，物体检测器113、123、133各自的物体检测处理具有处理的优先级，检测器切换部105在由检测器异常检测部104检测到物体检测器113、123、133中的一个物体检测器的异常状态的情况下，控制物体检测部103，将未被检测到异常状态的正常物体检测器中的执行优先级最低的物体检测处理的正常物体检测器的物体检测处理变更为被检测到异常状态的异常物体检测器的物体检测处理。

另外，检测器切换部105在由检测器异常检测部104检测到物体检测器113、123、133中的一个物体检测器的异常状态的情况下，控制物体检测部103，使未被检测到异常状态的正常物体检测器中的一个正常物体检测器执行优先级最高的物体检测处理，并且使其余的正常物体检测器执行优先级次高的物体检测处理。

另外，物体检测装置101要检测的物体包括位于与车辆1最接近的范围的第1距离范围的第1物体、位于离车辆1比第1距离范围远的第2距离范围的第2物体、和位于离车辆1比所述第2距离范围远的第3距离范围的第3物体。物体检测器113检测位于第1距离范围的第1物体，物体检测器123检测位于第2距离范围的第2物体，物体检测器133检测位于第3距离范围的第3物体。

另外，检测器切换部105在由检测器异常检测部104检测到物体检测器113的异常状态的情况下，控制物体检测部103，停止物体检测器113的物体检测处理，变更物体检测器133的物体检测处理以使物体检测器133检测位于第1距离范围的第1物体。

另外，检测器切换部105在由检测器异常检测部104检测到物体检测器113、123、133中的一个物体检测器的异常状态的情况下，控制物体检测部103，使未被检测到异常状态的正常物体检测器中的一个正常物体检测器执行优先级最高的物体检测处理，并且使其余的正常物体检测器除了执行已在执行的物体检测处理之外还执行被检测到异常状态的异常物体检测器的物体检测处理。

驾驶控制信号发送部106基于对物体检测器113、123、133的检测结果进行了整合后的整合检测结果，向行驶控制装置13输出驾驶控制信号。

接着，对图2所示的物体检测装置101的工作进行说明。图3是表示图2所示的物体检测装置101的启动时物体检测处理的一例的流程图。图3所示的启动时物体检测处理是物体检测装置101被搭载于车辆1(自动驾驶车)并在自动驾驶功能开始时执行的处理。

首先，检测器切换部105基于内部的存储器(图示省略)所存储的检测处理分配表，将物体检测器113、123、133要实施的物体检测处理的处理内容通知给对物体检测器113、123、133进行管理的物体检测部103(步骤s11)。

在此，检测器切换部105将使标识物体检测器的检测器id(标识序号)、处理内容和优先级相关联而得到的检测处理分配表以表的形式存储在内部的存储器中。图4是表示图2所示的检测器切换部105使用的检测处理分配表的一例的图。如图4所示，检测处理分配表t1由与各物体检测器113、123、133关联的标识符即检测器idt2、其处理内容t3、和其优先级t4构成。

在图4所示的例子中，作为检测器idt2，为了易于说明，使用“物体检测器113”、“物体检测器123”以及“物体检测器133”，作为处理内容t3，使用“近距离”、“中距离”、“远距离”以及“检测结果整合”，作为优先级t4，使用“1”、“2”以及“3”。另外，“近距离”表示对相对于车辆1位于近距离(第1距离范围)的一般物体进行检测处理内容，“中距离”、“远距离”同样地表示对相对于车辆1位于中间距离(第2距离范围)、远距离(第3距离范围)的一般物体进行检测的处理内容，“检测结果整合”表示对各物体检测器113、123、133的检测结果进行整合的处理。优先级t4表示数值越小则优先级就越高的处理。

例如，检测器切换部105基于图4所示的检测处理分配表t1，向物体检测部103进行通知，使得：将物体检测器113的处理内容设定为优先级“1”且“近距离”以及“检测结果整合”，将物体检测器123的处理内容设定为优先级“2”且“中距离”，将物体检测器133的处理内容设定为优先级“3”且“远距离”。

此外，作为检测处理分配表的保管方法，说明了检测器切换部105进行保管的例子，但并不特别限定于该例，也可以是物体检测装置101以外的装置保管检测处理分配表。另外，也可以是物体检测部103存储处理内容t3与优先级t4的对信息、且检测器切换部105将检测器idt2与优先级t4的对信息通知给物体检测部103。另外，优先级t4是以从车辆1到一般物体的距离为基准而决定的，但并不特别限定于该例，也可以根据处理内容t3中的检测对象的一般物体的种类(人物、道路标识、障碍物、动物等)来变更优先级的值(例如，按人物、道路标识、障碍物、动物的顺序使优先级降低)。

在此，物体检测器113、123、133是相同性能的物体检测器，检测对象的一般物体处于越远的距离，成为检测对象的一般物体在被摄像头装置11拍摄到的图像内相对越小，因此物体检测器123的计算量比物体检测器113的计算量大，物体检测器133的计算量比物体检测器123的计算量大。

因此，在本实施方式中，物体检测器133的1个图像(一帧)的物体检测处理的时间会比物体检测器113、123长。因此，在本实施方式中，作为一例，信息取得部102以60fps(framespersecond，帧每秒)向物体检测部103传送图像，作为检测频度，物体检测器113以60fps检测一般物体，物体检测器123以30fps检测一般物体，物体检测器133以15fps检测一般物体。另外，物体检测器113以检测频度60fps对各物体检测器113、123、133的检测结果进行整合。

也就是说，物体检测器113的检测结果按每帧被更新，而物体检测器123的检测结果按每2帧被更新，物体检测器133的检测结果按每4帧被更新。另外，相对于一般物体的距离，通过来自测距传感器装置12的距离信息来决定。此外，在不使用测距传感器装置12的情况下，也可以根据各物体检测器113、123、133设为检测对象的一般物体相对于一帧的图像面积的大小来决定相对于一般物体的距离。

接着，物体检测部103将来自信息取得部102的图像信息等输入物体检测器113、123、133，按照来自检测器切换部105的通知即检测处理分配表，使物体检测器113、123、133分别以被通知来的处理内容以及优先级来执行物体检测处理，使物体检测器113、123、133的工作开始(步骤s12)。此时，信息取得部102也可以取得摄像头装置11的图像信息，并且以图像化的方式取得由测距传感器装置12得到的与一般物体的距离信息。另外，物体检测部103将来自物体检测器113、123、133的一般物体的检测结果传送给驾驶控制信号发送部106。

图5是表示图2所示的物体检测器113、123、133在物体检测处理中使用的图像信息所表示的图像的一例的图，图6是用于说明物体检测器113、123、133从图5所示的图像中检测到的物体的一例的图。

当表示图5所示的一帧图像p1的图像信息被输入信息取得部102、且物体检测器113、123、133对从信息取得部102传送来的图像p1执行了物体检测处理时，表示与图6所示的检测结果图像p2等效的图像的图像信息被传送给驾驶控制信号发送部106。

在图6所示的例子中，基于检测处理分配表t1，物体检测器113检测出道路的可通行区域n1和其他车辆n2作为近距离的物体，物体检测器123检测出道路的可通行区域m1和人物m2作为中距离的物体，物体检测器133检测出道路的可通行区域f1和道路标识f2作为远距离的物体。物体检测器113对这些检测结果进行整合并传送给驾驶控制信号发送部106。如此，以从车辆1起的距离为基准而被分配了各处理内容的物体检测器113、123、133检测有可能存在于各距离范围的一般物体。

接着，当物体检测部103开始工作时，检测器异常检测部104开始各物体检测器113、123、133的监视(步骤s13)。此时，检测器异常检测部104检测物体检测器113、123、133各自的异常状态，将被检测到异常状态的物体检测器通知给检测器切换部105以及驾驶控制信号发送部106。

接着，驾驶控制信号发送部106基于来自物体检测部103的检测结果，向行驶控制装置13输出驾驶控制信号，行驶控制装置13基于驾驶控制信号，开始车辆1的自动驾驶(步骤s14)。

图7是表示对显示在图1所示的显示装置14上的自动驾驶状态进行表示的测量仪表图像的一例的图。在物体检测器113、123、133在正常状态下工作的情况下，例如，图7所示的测量仪表图像被显示在设置于车辆1的仪表面板的显示装置14上。本例是车辆1为电动汽车的情况下的例子，作为测量仪表图像，例如显示有电池余量计bm、速度计sm以及功率计pm。

另外，在速度计sm的中央下部，作为驾驶模式，显示有表示正在正常地进行自动驾驶的“巡航模式(cruisemode)”m1。另外，在其上方显示有表示物体检测器113的工作状态(正在以100％的处理能力执行近距离的物体检测处理的状态)的“100％短(short)”d1，在其上方显示有表示物体检测器123的工作状态(正在以100％的处理能力执行中距离的物体检测处理的状态)的“100％中(middle)”d2，在其上方显示有表示物体检测器133的工作状态(正在以100％的处理能力执行远距离的物体检测处理的状态)的“100％长(long)”d3。

通过使上述那样的测量仪表图像显示于显示装置14，能够将处于自动驾驶这一情况和各物体检测器113、123、133的状态呈现给乘员。

以上成为本实施方式的物体检测装置101的自动驾驶车启动时(自动驾驶功能启动时)的处理内容。

接着，作为物体检测装置101的失效保护工作的一例，说明在自动驾驶开始后物体检测器113、123、133之一发生了异常的情况。图8是表示图2所示的物体检测装置101的物体检测器113、123、133之一发生了异常的情况下的异常时物体检测处理的一例的流程图。

首先，检测器异常检测部104在检测到物体检测器113、123、133之一的工作异常的情况下，向检测器切换部105以及驾驶控制信号发送部106通知表示哪个物体检测器为异常状态的检测器异常信息(步骤s21)。例如，在物体检测器113发生了异常的情况下，检测器异常检测部104向检测器切换部105以及驾驶控制信号发送部106通知表示物体检测器113为异常状态的检测器异常信息。

接着，接收到检测器异常信息的检测器切换部105将要使用的检测处理分配表从图4所示的检测处理分配表t1变更为物体检测器113、123、133之一发生异常时的检测处理分配表，向物体检测部103通知对物体检测器113、123、133的处理内容进行切换以使得进行符合该检测处理分配表的失效保护工作(步骤s22)。在此，物体检测器113、123、133之一发生异常时的检测处理分配表，与图4所示的检测处理分配表t1同样地，按异常状态的物体检测器存储于检测器切换部105内部的存储器，检测器切换部105从内部的存储器读出异常状态的物体检测器用的检测处理分配表来使用。此外，异常状态的物体检测器用的检测处理分配表并不特别限定于在上述的内部存储器中进行存储的例子，例如，也可以是检测器切换部105等基于物体检测器113、123、133的处理能力来制作可进行适当的失效保护工作的检测处理分配表。

图9是表示在图2所示的物体检测器113发生了异常的情况下检测器切换部105使用的检测处理分配表的一例的图。在图9所示的检测处理分配表t1a中，处理内容t3a以及优先级t4a被变更，物体检测器113的处理内容以及优先级被变更为“复原处理”以及“-”(无优先级)，物体检测器133的处理内容以及优先级被变更为“近距离，检测结果整合”以及“1”，物体检测器123的处理内容以及优先级得以维持。在此，“复原处理”表示停止被检测到异常状态的异常物体检测器的工作并使异常物体检测器恢复为正常状态的处理。

例如，在物体检测器113发生了异常的情况下，检测器切换部105基于图9所示的检测处理分配表t1a，向物体检测部103进行通知，使得：将物体检测器113的处理内容设定为优先级“-”且“复原处理”，将物体检测器123的处理内容设定为优先级“2”且“中距离”，将物体检测器133的处理内容设定为优先级“1”且“近距离”以及“检测结果整合”。

接着，物体检测部103基于物体检测器113、123、133之一发生异常时的检测处理分配表，变更物体检测器113、123、133的处理，将变更后的整合检测结果输出给驾驶控制信号发送部106(步骤s23)。例如，在物体检测器113发生了异常的情况下，物体检测部103基于处理内容t3a，进行用于使物体检测器113恢复为正常状态的“复原处理”，基于处理内容t3a以及优先级t4a将物体检测器133的物体检测处理变更为“近距离、检测结果整合”以及“优先级1”。

图10是用于说明图2所示的物体检测装置101的物体检测器113发生了异常的情况下的失效保护工作的一例的框图。如图10所示，在物体检测器113发生了异常的情况下，物体检测部103执行用于使物体检测器113恢复为正常状态的复原处理，另外，物体检测器123以优先级2执行中距离的物体检测处理，将检测结果输出给物体检测器133，物体检测器133以优先级1进行近距离的物体检测处理以及检测结果的整合处理，将整合检测结果输出给驾驶控制信号发送部106。

并且，驾驶控制信号发送部106基于检测器异常信息和/或物体检测部103的整合检测结果，向车辆1的行驶控制装置13发送驾驶控制信号，该驾驶控制信号是用于进行使车辆1的行驶速度下降和/或使车辆在安全场所停止等的失效保护驾驶的信号(步骤s24)。

图11是表示在图2所示的物体检测器113、123、133之一发生了异常的情况下显示于显示装置14的测量仪表图像的一例的图。例如，在物体检测器113发生异常且实施了图8所示的异常时物体检测处理的情况下，图11所示的测量仪表图像被显示于在车辆1的仪表面板设置的显示装置14。在本例中，作为测量仪表图像，与图7所示的测量仪表图像同样地显示有电池余量计bm以及功率计pm，但速度计sma的显示内容被变更。

即，在速度计sma的中央下部，作为驾驶模式，显示有表示正在进行失效保护驾驶这一情况的“失效保护模式(failsafemode)”m2。另外，在其上方显示有表示物体检测器113处于异常状态、物体检测处理被停止、并正在进行复原处理这一情况的“0％恢复(recovery)”d1a，在其上方显示有表示物体检测器123的工作状态(正在以100％的处理能力执行中距离的物体检测处理的状态)的“100％中(middle)”d2，在其上方显示有表示物体检测器133的工作状态(正在以100％的处理能力执行近距离的物体检测处理的状态)的“100％短(short)”d3a。

通过使上述那样的测量仪表图像显示于显示装置14，能够将物体检测器113处于复原状态、且成为了用于避免危险的失效保护驾驶状态这一情况呈现给乘员。

通过上述的处理，在本实施方式中，在检测到多个物体检测器113、123、133中的一个物体检测器的异常状态的情况下，停止被检测到异常状态的异常物体检测器的物体检测处理，变更未被检测到异常状态的正常物体检测器的物体检测处理，因此不用新设置失效保护用的物体检测器，能够使正常物体检测器来代办异常物体检测器的物体检测处理。其结果是，即使多个物体检测器113、123、133中的一个物体检测器成为异常状态，也能够一边将追加的构成要素限制到最小限度，一边进行失效保护的物体检测。

此外，在检测到多个物体检测器113、123、133中的一个物体检测器的异常状态的情况下，未被检测到异常状态的正常物体检测器的物体检测处理的变更内容，并不特别限定于图9所示的例子，能够进行各种变更。例如，根据车辆1的状态和/或外部环境，也可以基于图12所示那样的检测处理分配表来变更正常物体检测器的物体检测处理。

图12是表示在图2所示的物体检测器113发生了异常的情况下检测器切换部105使用的检测处理分配表的另一例的图。在图12所示的检测处理分配表t1b中，物体检测器113、133的处理内容以及优先级和物体检测器123的优先级与图9所示的检测处理分配表t1a同样，但物体检测器123的处理内容t3b被变更为“远距离和中距离、检测频度50％”。

在本实施方式中，作为通常状态下的检测频度，近距离的物体检测处理为60fps，中距离的物体检测处理为30fps，远距离的物体检测处理为15fps，而在图12所示的例子中，在物体检测器113发生了异常时，基于检测处理分配表t1b的处理内容t3b，物体检测器123将运算资源的一半分配给中距离的物体检测处理并将另一半分配给远距离的物体检测处理来检测一般物体。也就是说，在该情况下，检测频度被变更为：近距离的物体检测处理为60fps，中距离的物体检测处理为15fps，远距离的物体检测处理为7fps。

因此，在检测到物体检测器113的异常状态的情况下，使物体检测器133执行优先级最高的近距离的物体检测处理以及检测结果整合处理，并且使物体检测器123除了执行已在执行的中距离的物体检测处理之外还执行远距离的物体检测处理，因此能够继续执行所有的物体检测处理。

(实施方式2)

图13是表示本公开的实施方式2的物体检测装置的构成的一例的框图。在本实施方式中，使用图13对使用了自动驾驶车中的神经网络(以下，称为“nn”)的物体检测装置101a进行说明。此外，图13所示的物体检测装置101a，除了使用以下说明的神经网络来进行物体检测处理这一点以外，基本上与图2所示的物体检测装置101同样，因此对相同部分标注相同标号，省略再次的说明。

如图13所示，物体检测装置101a具备信息取得部102、物体检测部103a、检测器异常检测部104、检测器切换部105、驾驶控制信号发送部106、nn(神经网络)保管部201。物体检测部103a具备3个物体检测器113a、123a、133a以及nn(神经网络)存储部202。nn存储部202具有3个nn(神经网络)保存部213、223、233来作为单独的存储区域。

作为使用了nn的一般物体检测，近年来，通过使用按照被称为“deeplearning”(深度学习)的方法实施了学习后的nn，能够获得较高的检测性能，担任起了使用手动设计的特征量的以往的物体检测器的替代品。在本实施方式中，如以下这样，利用使用深度学习实施了学习后的神经网络来执行物体检测处理。

nn保管部201存储有nn(神经网络)生成数据来作为用于生成检测物体用的神经网络的数据群。nn生成数据是指对与为了生成按照深度学习方法分目的地进行了学习后的nn所需要的节点有关的参数、和/或节点间的网络结构等进行了规定的数据。此外，nn生成数据的取得方法并不特别限定于该例，例如，也可以省略nn保管部201而经由预定的网络从预定的服务器等取得。

物体检测部103a从nn保管部201读出nn生成数据，使用nn生成数据来生成物体检测器113a、123a、133a各自要使用的神经网络，将生成的各神经网络分别保存于nn存储部202的保存部213、223、233。此外，nn存储部202的构成并不特别限定于上述的例子，例如，也可以是在单独的存储部存储各神经网络。另外，存储所生成的各神经网络的存储器区域(保存部213、223、233)也可以为了提高抗故障性而进行复用化，并复制到物体检测器113a、123a、133a能够参照的场所。

另外，物体检测部103a对物体检测器113a、123a、133a的工作进行管理，将从信息取得部102输出的图像信息以及距离信息提供给物体检测器113a、123a、133a，另外，按照基于来自检测器切换部105的检测处理分配表的物体检测器113a、123a、133a的处理内容，将nn保存部213、223、233的神经网络分配给物体检测器113a、123a、133a。

物体检测器113a、123a、133a分别使用来自信息取得部102的图像信息以及距离信息，执行使用了被分配来的神经网络的物体检测处理。物体检测器113a、123a、133a分别是相同性能的物体检测器，优选是相同结构的物体检测器。

另外，物体检测器123a、133a将通过使用了被分配来的神经网络的物体检测处理而检测出的物体的检测结果输出给物体检测器113a，物体检测器113a对自身的检测结果和物体检测器123a、133a的检测结果进行整合，将整合检测结果输出给驾驶控制信号发送部106。

检测器异常检测部104检测物体检测器113a、123a、133a各自的异常状态，将对被检测到异常状态的物体检测器进行报告的检测器异常信息通知给检测器切换部105以及驾驶控制信号发送部106。

检测器切换部105通过控制物体检测部103a并切换物体检测器113a、123a、133a的处理内容，在由检测器异常检测部104检测到物体检测器113a、123a、133a中的一个物体检测器的异常状态的情况下，停止被检测到异常状态的异常物体检测器的物体检测处理，变更未被检测到异常状态的正常物体检测器的物体检测处理。物体检测部103a在异常物体检测器停止了物体检测处理时，执行使异常物体检测器恢复为正常状态的复原处理。

另外，检测器切换部105在由检测器异常检测部104检测到物体检测器113a、123a、133a中的一个物体检测器的异常状态的情况下，通过使正常物体检测器要参照的nn存储部202的nn保存部213、223、233变更，对正常物体检测器要使用的神经网络进行变更。

接着，对图13所示的物体检测装置101a的工作进行说明。图14是表示图13所示的物体检测装置101a的启动时物体检测处理的一例的流程图。图14所示的物体检测处理是物体检测装置101a被搭载于车辆1(自动驾驶车)(参照图1)并在自动驾驶功能开始时执行的处理。

首先，检测器切换部105基于内部的存储器所存储的检测处理分配表(例如，图4所示的检测处理分配表)，将物体检测器113a、123a、133a要实施的物体检测处理的处理内容通知给对物体检测器113a、123a、133a进行管理的物体检测部103a(步骤s31)。

接着，物体检测部103a基于从检测器切换部105通知来的信息，从nn保管部201读出nn生成数据，生成各物体检测器113a、123a、133a用的神经网络并分别保存于nn保存部213、223、233，将nn保存部213、223、233的神经网络分配给物体检测器113a、123a、133a(步骤s32)。

图15是表示图13所示的物体检测装置101a的物体检测器113a、123a、133a要参照的nn保存部213、223、233的一例的图。在图15所示的例子中，在nn存储部202的nn保存部213中存储有近距离的物体检测处理用的神经网络，在nn保存部223中存储有中距离的物体检测处理用的神经网络，在nn保存部233中存储有远距离的物体检测处理用的神经网络。

此时，物体检测部103a对物体检测器113a分配nn保存部213，对物体检测器123a分配nn保存部223，对物体检测器133a分配nn保存部233。因此，物体检测器113a参照nn保存部213来使用近距离的物体检测处理用的神经网络，物体检测器123a参照nn保存部223来使用中距离的物体检测处理用的神经网络，物体检测器133a参照nn保存部233来使用远距离的物体检测处理用的神经网络。

接着，物体检测部103a将来自信息取得部102的图像信息等输入物体检测器113a、123a、133a，按照来自检测器切换部105的通知即检测处理分配表，使物体检测器113a、123a、133a分别以被通知来的处理内容以及优先级执行使用了nn保存部213、223、233的神经网络的物体检测处理，使物体检测器113a、123a、133a的工作开始(步骤s33)。

接着，当物体检测部103a开始工作时，检测器异常检测部104开始各物体检测器113a、123a、133a的监视(步骤s34)。

接着，驾驶控制信号发送部106基于来自物体检测部103a的检测结果，向行驶控制装置13输出驾驶控制信号，行驶控制装置13基于驾驶控制信号，开始车辆1的自动驾驶(步骤s35)。

以上成为本实施方式的物体检测装置101a的自动驾驶车启动时(自动驾驶功能启动时)的处理内容。

接着，作为物体检测装置101a的失效保护工作的一例，说明在自动驾驶开始后物体检测器113a、123a、133a之一发生了异常的情况。图16是表示在图13所示的物体检测装置101a的物体检测器113a、123a、133a之一发生了异常的情况下的异常时物体检测处理的一例的流程图。

首先，检测器异常检测部104在检测到物体检测器113a、123a、133a之一的工作异常的情况下，向检测器切换部105以及驾驶控制信号发送部106通知表示哪个物体检测器为异常状态的检测器异常信息(步骤s41)。例如，在物体检测器113a发生了异常的情况下，检测器异常检测部104向检测器切换部105以及驾驶控制信号发送部106通知表示物体检测器113a为异常状态的检测器异常信息。

接着，接收到检测器异常信息的检测器切换部105将要使用的检测处理分配表从图4所示的检测处理分配表t1变更为物体检测器113a、123a、133a之一发生异常时的检测处理分配表(例如，图9所示的检测处理分配表t1a)，向物体检测部103a通知对物体检测器113a、123a、133a的处理内容进行切换以使得进行符合该检测处理分配表的失效保护工作(步骤s42)。

接着，物体检测部103a基于物体检测器113a、123a、133a之一发生异常时的检测处理分配表，变更nn保存部213、223、233的神经网络向物体检测器113a、123a、133a的分配，对物体检测器113a、123a、133a要参照的nn保存部213、223、233进行切换，由此变更物体检测器113a、123a、133a的处理，将变更后的整合检测结果输出给驾驶控制信号发送部106(步骤s43)。例如，在物体检测器113a发生了异常的情况下，物体检测部103a基于处理内容t3a，进行用于使物体检测器113a恢复为正常状态的“复原处理”，基于处理内容t3a以及优先级t4a，将物体检测器133a的物体检测处理变更为“近距离、检测结果整合”以及“优先级1”。

图17是表示在图13所示的物体检测装置101a的物体检测器113a、123a、133a之一发生了异常的情况下物体检测器113a、123a、133a要参照的nn保存部213、223、233的一例的图。图17所示的例子是物体检测器113a发生了异常时的例子，物体检测部103a使物体检测器113a停止，对物体检测器123a分配nn保存部223，对物体检测器133a分配nn保存部213。

因此，物体检测器133a参照nn保存部213来使用近距离的物体检测处理用的神经网络，物体检测器123a参照nn保存部223来使用中距离的物体检测处理用的神经网络。

并且，驾驶控制信号发送部106基于检测器异常信息和/或物体检测部103a的整合检测结果，向车辆1的行驶控制装置13发送驾驶控制信号，该驾驶控制信号是用于进行使车辆1的行驶速度下降和/或使车辆1在安全场所停止等的失效保护驾驶的信号(步骤s44)。

通过上述的处理，在本实施方式中，除了实施方式1的效果之外，在检测到多个物体检测器113a、123a、133a中的一个物体检测器的异常状态的情况下，通过变更正常物体检测器要参照的nn保存部213、223、233，对未被检测到异常状态的正常物体检测器要使用的神经网络进行变更，因此，在检测到多个物体检测器113a、123a、133a中的一个物体检测器的异常状态的情况下，能够节省新生成神经网络要花费的时间，并防止物体检测处理的空白期间。其结果是，即使在检测到多个物体检测器113a、123a、133a中的一个物体检测器的异常状态的情况下，也能够瞬间变更正常物体检测器要使用的神经网络，能够切实地继续执行使用了神经网络的物体检测处理，能够防止自动驾驶的空白。

此外，在上述的说明中，对将本公开的物体检测装置适用于自动驾驶车的例子进行了说明，但并不特别限定于该例，也可以适用于机器人、无人机(无人飞行器)等不同的产品领域。

另外，各实施方式中说明的各构成要素也可以作为软件来实现。该情况下，软件被记录在一个或多个rom(readonlymemory，只读存储器)、光盘、硬盘驱动器等非瞬时性记录介质中，在软件被处理装置(processor，处理器)执行时，由该软件确定的功能被处理装置以及外围装置执行。

另外，各实施方式中说明的各构成要素，典型而言也可以实现为作为集成电路的lsi(largescaleintegration，大规模集成电路)来实现。各构成要素可以单独地单芯片化，也可以以包含一部分或全部的方式单芯片化。虽然此处称为lsi，但根据集成度不同，有时也被称为ic(半导体集成电路)、系统lsi(systemlsi)、超大lsi(superlsi)、特大lsi(ultralsi)。另外，集成电路化的方法不限于lsi，也可以通过专用电路或者通用处理器来实现。也可以利用在lsi制造后能够编程的fpga(fieldprogrammablegatearray；现场可编程门阵列)和能够对lsi内部的电路单元的连接以及设定进行重构的可重构处理器(reconfigurableprocessor)。进而，随着半导体技术的发展或者派生的其他技术的出现，如果出现能够替代lsi的集成电路化的技术，当然也可以利用该技术进行构成要素的集成化。