图像处理装置、摄像装置的制作方法

本发明涉及图像处理装置及摄像装置。

背景技术：

以往，已知有如下技术：根据由搭载于车辆的立体相机得到的图像，计算到观测对象物的距离和观测对象物的运动矢量，并将这些计算结果用于观测对象物的识别处理，从而实现包括步行者在内的车辆周边的观测对象物的检测(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2011－248640号公报

技术实现要素：

发明要解决的课题

在专利文献1所公开的技术中，不论车辆状态如何，都需要将距离计算处理和运动矢量计算处理分别独立地并行进行。因此，需要使用能够同时执行这些处理的具有高处理能力或电路规模的运算电路，导致产品成本的增加。

用来解决课题的手段

本发明的图像处理装置搭载于车辆，具备：运动特征提取部，根据包括上述车辆的周边的观测对象物的摄像图像，生成表示上述观测对象物的运动的运动信息；距离特征提取部，基于上述摄像图像，计算从上述车辆到上述观测对象物的距离；以及识别部，基于上述运动特征提取部和距离特征提取部的处理结果，进行上述观测对象物的识别处理；基于规定的车辆状态，使上述运动特征提取部和上述距离特征提取部的运算处理量分别变化。

本发明的摄像装置具备：图像处理装置；以及一个或两个以上的相机部，连接于上述图像处理装置，取得上述摄像图像。

发明效果

根据本发明，能够以低成本提供进行车辆周边的观测对象物的检测的装置。

附图说明

图1是表示有关本发明的第1实施方式的摄像装置的结构的图。

图2是表示有关本发明的第2实施方式的摄像装置的结构的图。

图3是表示有关本发明的第3实施方式的摄像装置的结构的图。

图4是表示有关本发明的第4实施方式的摄像装置的结构的图。

图5是表示运算资源部的分配的一例的图。

图6是由图像处理装置执行的处理流程的一例。

图7是表示运算资源分配决定处理的处理流程的图的一例。

图8是说明基于车速的运算资源比例的决定方法的一例的图。

图9是说明基于车速的运算资源比例的决定方法的别的一例的图。

图10是说明基于行驶模式的运算资源比例的决定方法的一例的图。

图11是说明基于地图信息的运算资源比例的决定方法的一例的图。

图12是说明基于交通状况的运算资源比例的决定方法的一例的图。

图13是说明基于地图信息和车速的运算资源比例的决定方法的一例的图。

图14是表示根据车速使距离特征提取部和运动特征提取部的运算处理量分别变化的情况下的状况的图。

具体实施方式

以下，使用附图说明本发明的实施方式。

<第1实施方式>

图1是表示有关本发明的第1实施方式的摄像装置1a的结构的图。图1所示的摄像装置1a具备图像处理装置10a和连接在图像处理装置10a上的相机部20，并且与车辆控制部60连接。

相机部20设置于车辆50以便能够拍摄车辆50的周边、例如车辆50的前方的规定范围，取得包含车辆50的周边的观测对象物的摄像图像，向图像处理装置10a输出。另外，车辆50的周边的观测对象物例如包括存在于车辆50的周边的其他车辆、步行者、自行车、障碍物、构造物、道路标示、道牙等。

图像处理装置10a与相机部20一起搭载于车辆50。图像处理装置10a作为其功能而具备距离特征提取部110、运动特征提取部111和识别处理部114。从相机部20输出给图像处理装置10a的摄像图像在图像处理装置10a中分别输入至距离特征提取部110和运动特征提取部111。图像处理装置10a例如具有未图示的cpu、rom、ram等，通过由cpu执行存储在rom中的规定的程序，能够实现距离特征提取部110、运动特征提取部111和识别处理部114。或者，也可以使用fpga等硬件来实现这些功能。

距离特征提取部110基于从相机部20输入的摄像图像，执行用来计算从车辆50到观测对象物的距离的距离特征提取处理。距离特征提取部110例如可以基于摄像图像中的观测对象物的位置，考虑相机部20的设置位置、摄像方向、视场角等，通过周知的计算方法来计算从车辆50到观测对象物的距离。距离特征提取部110在计算从车辆50到观测对象物的距离之后，将表示其计算结果的距离信息向识别处理部114输出。

运动特征提取部111基于从相机部20输入的摄像图像，执行用来提取从车辆50看到的观测对象物的运动的运动特征提取处理。运动特征提取部111例如能够基于以时间序列顺序取得的多个摄像图像中的观测对象物的位置的变化，通过周知的方法来提取观测对象物的运动。运动特征提取部111在提取观测对象物的运动之后，将表示该运动的运动信息向识别处理部114输出。

识别处理部114基于运动特征提取部111、距离特征提取部110各自的运算处理结果，进行观测对象物的识别处理。识别处理部114例如通过基于从距离特征提取部110输入的距离信息和从运动特征提取部111输入的运动信息执行周知的识别处理，来求出观测对象物对于车辆50的行驶的危险度、车辆50的行进方向。识别处理部114在执行观测对象物的识别处理之后，将基于其处理结果的检测信息向车辆控制部60输出。识别处理部114输出的检测信息例如包含检测出的观测对象物的位置信息、种类信息、动作信息、危险信息等。位置信息例如是表示观测对象物相对于车辆50的方向和距离等的信息。种类信息例如是表示步行者、大人、儿童、高龄者、动物、落石、自行车、周边车辆、周边构造物、道牙等的信息。动作信息例如是表示步行者或自行车的摇晃、跃出、横穿、移动方向、移动速度、移动轨跡等的信息。危险信息例如是表示步行者的跃出、落石、周边车辆的异常动作(急停止、急减速、急转弯等)等的信息。

车辆控制部60基于识别处理部114的处理结果进行车辆50的控制。车辆控制部60例如基于从识别处理部114输入的检测信息，控制车辆50的刹车、操舵角、加速器开度、各种灯的点亮状态、警告音的输出等。此外，也可以控制相机部20的运动，或对经由网络与车辆50连接的周边车辆或中央设备输出基于识别处理部114的处理结果的关于观测对象物的信息。进而，也可以使用由相机部20得到的摄像图像进行用来使车辆50的驾驶者识别观测对象物的图像显示，或对搭载在车辆50中的导航装置等信息设备提供基于识别处理部114的处理结果的观测对象物的信息。

此外，车辆控制部60将表示车辆50的规定的车辆状态的车辆信息向图像处理装置10a输出。该车辆信息在图像处理装置10a中分别被输入至距离特征提取部110和运动特征提取部111。距离特征提取部110和运动特征提取部111根据从车辆控制部60供给的车辆信息来控制各自的运算处理负荷。作为运算处理负荷的控制的一例，例如有进行控制以使距离特征提取部110的运算处理负荷和运动特征提取部111运算处理负荷的合计不超过规定的处理负荷的方法。由此，图像处理装置10a能够基于车辆50的状态，使运动特征提取部111和距离特征提取部110的运算处理量分别变化。

从车辆控制部60输出的车辆信息表示的车辆状态例如包含车辆50的车速、加速度、操舵角、行驶模式、与地图上的车辆50的位置相应的地图信息、及车辆50行驶的道路的交通状况等。行驶模式中例如有基于行驶路径的行驶模式、基于行驶状况的行驶模式、基于周围自然环境的行驶模式、以节电或低燃耗行驶的节能模式等。基于行驶路径的行驶模式中例如有市区行驶模式、普通公路行驶模式、高速公路行驶模式等。基于行驶状况的行驶模式中例如有拥堵时行驶模式、停车场模式、与周围车辆的位置及运动相应的行驶模式等。基于周围自然环境的行驶模式中例如有夜间行驶模式、逆光时行驶模式等。在与地图上的车辆50的位置相应的地图信息中，作为表示地图上的车辆50的位置的属性的信息而例如有道路类别信息、道路形状信息、道路面地物信息、路宽信息、车线信息、道路坡度信息等。道路类别信息例如是表示小巷、国道、高速公路等的信息。道路形状信息例如是表示直线路、弯曲路、t字路、交叉口等的信息。道路面地物信息例如是表示信号、车道、人行道、铁路平交道口、自行车停放场、汽车停车场、人行横道等的信息。车辆50行驶的道路的交通状况中例如有拥堵状况、速度限制或通行禁止等的交通管制的有无、与当前的行驶线路不同的行驶线路的有无等。

图14作为与摄像装置1a的车辆信息相应的运算处理负荷控制的例子，示出了车辆信息表示车辆50的车速、根据车速使距离特征提取部110和运动特征提取部111的运算处理量分别变化的情况下的状况。在图14中，横轴表示车速的大小，纵轴表示运算处理负荷的大小。

如图14所示，在车辆50的车速小的情况下，分别控制运动特征提取部111和距离特征提取部110的运算处理量，以使曲线图l140所示的运动特征提取处理的运算处理负荷相对地变高，曲线图l141所示的距离特征提取处理的运算处理负荷相对地变低。此外，从这里开始，随着车辆50的车速上升，分别控制运动特征提取部111和距离特征提取部110的运算处理量，以使曲线图l140所示的运动特征提取处理的运算处理负荷逐渐减小、另一方面使曲线图l141所示的距离特征提取处理的运算处理负荷逐渐增加。由此，能够在使两处理的运算处理负荷对应于车速适当地变化的同时，使其总和成为100％以下。

如以上说明，根据本实施方式，能够在使距离特征提取部110与运动特征提取部111的运算处理量的总和成为100％以下的同时，对应于车速而使它们的运算处理量成为适当的分配。即，在低速行驶时，为了提取在车辆50的周边处于近距离的观测对象物的详细的运动信息，使运动特征提取部111的运算处理量相对地变高。另一方面，在高速行驶时，为了提取到在车辆50的周边处于远方的观测对象物为止的更详细的距离信息，使距离特征提取部110的运算处理量相对地变高。结果，能够根据车辆50的状态灵活地变更距离信息和运动信息的精度，所以即使图像处理装置10a仅具有有限的运算处理量，也能够适当地检测观测对象物。

根据以上说明的本发明的第1实施方式，搭载在车辆50上的图像处理装置10a具备：运动特征提取部111，根据包括车辆50的周边的观测对象物的摄像图像，生成表示观测对象物的运动的运动信息；距离特征提取部110，基于摄像图像计算从车辆50到观测对象物的距离；和识别处理部114，基于运动特征提取部111与距离特征提取部110的处理结果进行观测对象物的识别处理，上述图像处理装置10a基于规定的车辆状态，使运动特征提取部111和距离特征提取部110的运算处理量分别变化。由此，能够以低成本提供进行车辆周边的观测对象物的检测的图像处理装置。

<第2实施方式>

图2是表示有关本发明的第2实施方式的摄像装置1b的结构的图。图2所示的摄像装置1b具备图像处理装置10b和连接于图像处理装置10b的相机部20，并且与车辆控制部60连接。另外，关于相机部20及车辆控制部60，由于与在第1实施方式中说明的内容相同，所以以下省略说明。

图像处理装置10b与在第1实施方式中说明的图像处理装置10a同样，搭载于车辆50。图像处理装置10b中，作为其功能，除了与图像处理装置10a相同的距离特征提取部110、运动特征提取部111及识别处理部114以外，还具备运算资源部112和运算资源分配决定部113。

运算资源部112是距离特征提取部110和运动特征提取部111共同利用的运算资源。运算资源部112例如是执行规定的运算处理的cpu，或装入了规定的运算电路的fpga等。

在本实施方式中，从车辆控制部60向图像处理装置10b输出的车辆信息在图像处理装置10b中被输入至运算资源分配决定部113。运算资源分配决定部113基于从车辆控制部60供给的车辆信息表示的车辆50的状态，决定向运动特征提取部111和距离特征提取部110分别分配的运算资源部112的比例、即运算资源比例。并且，将表示所决定的各个运算资源比例的运算资源分配信息向距离特征提取部110、运动特征提取部111及运算资源部112输出。例如，作为运算资源分配信息而可以使用对由运动特征提取部111执行的运动特征提取处理或由距离特征提取部110执行的距离特征提取处理中的某一方分配的运算资源部112的分配率、或对距离特征提取处理和运动特征提取处理分别分配的运算资源部112的比率等。

距离特征提取部110和运动特征提取部111基于从运算资源分配决定部113供给的运算资源分配信息，根据对各自分配的运算资源比例，利用运算资源部112执行各自的运算处理。由此，图像处理装置10b能够基于车辆50的状态，按照由运算资源分配决定部113决定的运算资源部112的比例，使运动特征提取部111和距离特征提取部110的运算处理量分别变化。

另外，在本实施方式中，设作为运算资源部112的分配对象的处理为距离特征提取处理和运动特征提取处理这两个，但也可以对3个以上的处理分配运算资源部112。

图5是表示运算资源部112的分配的具体的一例的图。如在图5中用涂黑的四方形表示那样，运算资源部112具有由距离特征提取部110的距离特征提取处理和运动特征提取部111的运动特征提取处理共同使用的多个运算资源501。对于运算资源部112，从运算资源分配决定部113输入运算资源分配信息500。运算资源部112基于该运算资源分配信息500，决定将各个运算资源501分配给距离特征提取处理和运动特征提取处理中的哪一个。

在图5所示的例子中，表示了将由运算资源部112具有的全部运算资源501中的30％的运算资源501构成的运算资源群502分配给距离特征提取处理、将由其余的70％的运算资源501构成的运算资源群503分配给运动特征提取处理的情况下的一例。即，对于距离特征提取部110所使用的运算资源群502，分配运算资源部112具有的总运算资源的30％，对于运动特征提取部111所使用的运算资源群503，分配运算资源部112具有的总运算资源的70％。运算资源群502从距离特征提取部110取得运算输入信息，将对该运算输入信息进行运算处理的结果得到的运算输出信息向距离特征提取部110输出。运算资源群503从运动特征提取部111取得运算输入信息，将对该运算输入信息进行运算处理的结果得到的运算输出信息向运动特征提取部111输出。

图6是由本发明的第2实施方式的图像处理装置10b执行的处理流程的一例。

在步骤s101中，图像处理装置10b将从相机部20输出的图像数据向距离特征提取部110和运动特征提取部111输入。

在步骤s102中，图像处理装置10b通过运算资源分配决定部113决定对由距离特征提取部110执行的距离特征提取处理和由运动特征提取部111执行的运动特征提取处理分别分配的运算资源部112的比例。这里，运算资源分配决定部113按照后面说明的图7的处理流程，执行用来决定对距离特征提取处理和运动特征提取处理分别分配的运算资源比例的运算资源分配决定处理。并且，生成基于所决定的运算资源比例的运算资源分配信息，向距离特征提取部110、运动特征提取部111及运算资源部112输出。

在步骤s103中，图像处理装置10b基于在步骤s102中从运算资源分配决定部113输出的运算资源分配信息，通过距离特征提取部110进行距离特征提取处理。在该距离特征提取处理中，距离特征提取部110按照运算资源分配信息表示的距离特征提取处理的运算资源比例，利用运算资源部112，生成表示到存在于车辆50的周围的观测对象物的距离的距离信息。例如，在对距离特征提取处理分配的运算资源比例是100％的情况下，能够在距离特征提取处理中使用运算资源部112具有的全部的运算资源，所以能够进行高负荷的运算处理。此外，在对距离特征提取处理分配的运算资源比例是0％的情况下，距离特征提取部110不实施距离特征提取处理。

在步骤s104中，图像处理装置10b基于在步骤s102中从运算资源分配决定部113输出的运算资源分配信息，通过运动特征提取部111进行运动特征提取处理。在该运动特征提取处理中，运动特征提取部111按照运算资源分配信息表示的运动特征提取处理的运算资源比例，利用运算资源部112，生成表示存在于车辆50的周围的观测对象物的运动的运动信息。例如，在对运动特征提取处理分配的运算资源比例是100％的情况下，能够在运动特征提取处理中使用运算资源部112具有的全部的运算资源，所以能够进行高负荷的运算处理。此外，在对运动特征提取处理分配的运算资源比例是0％的情况下，运动特征提取部111不实施运动特征提取处理。

在步骤s105中，图像处理装置10b基于在步骤s103中生成的距离信息和在步骤s104中生成的运动信息，通过识别处理部114进行用来检测观测对象物的识别处理。如果执行了步骤s105的识别处理，则图像处理装置10b将基于识别处理结果的检测信息从识别处理部114向车辆控制部60输出，结束图6所示的处理流程。

这里，参照图7，对在图6的步骤s102中执行的运算资源分配决定处理进行说明。图7是表示运算资源分配决定处理的处理流程的图的一例。

在图7的步骤s201中，运算资源分配决定部113取得用来决定运动特征提取部111和距离特征提取部110的运算处理量的车辆50的规定的车辆状态。这里，通过将从车辆控制部60供给的车辆信息向运算资源分配决定部113输入，取得车辆信息表示的规定的车辆状态。

在图7的步骤s202中，运算资源分配决定部113基于在步骤s201中取得的车辆状态，决定对距离特征提取处理和运动特征提取处理分别分配的运算资源比例。并且，按照对于所决定的各个处理的运算资源比例，生成运算资源分配信息，向距离特征提取部110、运动特征提取部111及运算资源部112输出。在执行步骤s202的处理之后，运算资源分配决定部113结束图7所示的处理流程。

以下，参照图8～图13，对运算资源分配决定部113中的基于各种各样的车辆状态的运算资源比例的决定方法进行说明。

(基于车速的运算资源比例的决定方法)

图8是说明基于车速的运算资源比例的决定方法的一例的图。在本例中，假设从车辆控制部60供给的车辆信息表示车辆50的车速。运算资源分配决定部113以该车辆信息为输入，例如按照图8所示的车速与运算资源分配率的关系，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。在图8中，横轴表示车速的大小，纵轴表示对运动特征提取部111的运算资源分配率的大小，即对运动特征提取处理分配的运算资源比例的大小。

运算资源分配决定部113基于车辆信息表示的车辆50的车速，如以下这样分别决定距离特征提取部110和运动特征提取部111的运算资源比例。例如，在车速为规定值sp0以下的情况下，如在图8中用标号f80表示那样，设对运动特征提取部111的运算资源分配率为rs0(％)，另一方面，设对距离特征提取部110的运算资源分配率为(100－rs0)(％)。此外，在车速高于规定值sp0的情况下，如用标号f81表示那样，设对运动特征提取部111的运算资源分配率为rs1(％)，另一方面，设对距离特征提取部110的运算资源分配率为(100－rs1)(％)。此时，通过将rs1设为0％，能够停止车速高于规定值sp0的情况下的运动信息的计算。因而，在车速高于规定值sp0的情况下，能够将运动特征提取部111的功能停止，或将相机部20的动作停止，由此，能够降低摄像装置1b的耗电。

通过使用以上说明那样的运算资源比例的决定方法，当车辆50在市区或小巷等以低速行驶时，能够更详细地检测存在于车辆50的周边的观测对象物的运动。此外，在通常行驶时(车速高于sp0的情况下)，对于距离特征提取处理能够进行高负荷处理，能够提高对于远方的观测对象物的距离检测性能。

图9是说明基于车速的运算资源比例的决定方法的另一例的图。在本例中，也与在图8中说明的例子同样，假设从车辆控制部60供给的车辆信息表示车辆50的车速。运算资源分配决定部113以该车辆信息为输入，例如按照图9所示的车速与运算资源分配率的关系，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。在图9中，横轴表示车速的大小，纵轴表示对运动特征提取部111的运算资源分配率的大小、即对运动特征提取处理分配的运算资源比例的大小。

运算资源分配决定部113基于车辆信息表示的车辆50的车速，按照图9的标号f90所示的函数，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。在函数f90表示的车速与对运动特征提取部111的运算资源分配率的关系中，在车速从0到规定值sp1的期间，对运动特征提取部111的运算资源分配率是rs0，在车速从sp1到sp2的期间，对运动特征提取部111的运算资源分配率从rs0逐渐变化到rs1。运算资源分配决定部113将对运动特征提取部111的运算资源分配率设为函数f90表示的值，另一方面，将对距离特征提取部110的运算资源分配率设为从100％减去运动特征提取部111的运算资源分配率得到的值。

通过使用以上说明那样的运算资源比例的决定方法，与在图8中说明的例子同样，当在市区或小巷等以低速行驶时，能够更详细地检测存在于车辆50的周边的观测对象物的运动。此外，在高速行驶时，对于距离特征提取处理能够进行高负荷处理，能够提高对于远方的观测对象物的距离检测性能。进而，在中速行驶时，随着车速下降而使对运动特征提取处理分配的运算资源部112的比例逐渐增加，由此能够抑制在转变期间中在运动信息和距离信息的精度上发生急剧的差异。

(基于行驶模式的运算资源比例的决定方法)

图10是说明基于行驶模式的运算资源比例的决定方法的一例的图。在本例中，假设从车辆控制部60供给的车辆信息表示车辆50的行驶模式。运算资源分配决定部113以该车辆信息为输入，例如按照图10所示的行驶模式与运算资源分配率的关系，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。在图10中，横轴表示行驶模式，纵轴表示对运动特征提取部111的运算资源分配率的大小、即对运动特征提取处理分配的运算资源比例的大小。

运算资源分配决定部113基于车辆信息表示的车辆50的行驶模式，如以下这样分别决定距离特征提取部110和运动特征提取部111的运算资源比例。例如，在行驶模式是市区行驶模式的情况下，如在图10中用标号f100表示那样，将对运动特征提取部111的运算资源分配率设为rs0(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs0)(％)。此外，在行驶模式是普通公路行驶模式的情况下，如用标号f101表示那样，将对运动特征提取部111的运算资源分配率设为rs2(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs2)(％)。在行驶模式是高速公路行驶模式的情况下，如由标号f102表示那样，将对运动特征提取部111的运算资源分配率设为rs1(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs1)(％)。

通过使用以上说明那样的运算资源比例的决定方法，当车辆50在市区中行驶时，能够更详细地检测存在于车辆50的周边的观测对象物的运动。此外，当在高速公路中行驶时，对于距离特征提取处理能够进行高负荷处理，能够提高对远方的观测对象物的距离检测性能。进而，当在普通公路路中行驶时，能够将运动特征提取处理和距离特征提取处理分别以平衡良好的运算处理量实施，能够在车辆50的附近检测观测对象物的运动，并且同时也检测到远方的观测对象物的距离。

(基于地图信息的运算资源比例的决定方法)

图11是说明基于地图信息的运算资源比例的决定方法的一例的图。在本例中，假设从车辆控制部60供给的车辆信息表示地图上的车辆50的位置、即与本车位置相应的地图信息。运算资源分配决定部113以该车辆信息为输入，例如按照图11所示的本车位置的地图信息与运算资源分配率的关系，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。在图11中，横轴表示地图信息表示的本车位置的属性，纵轴表示对运动特征提取部111的运算资源分配率的大小、即对运动特征提取处理分配的运算资源比例的大小。

运算资源分配决定部113基于与车辆信息表示的本车位置相应的地图信息，如以下这样分别决定距离特征提取部110和运动特征提取部111的运算资源比例。例如，在地图信息表示的本车位置的属性是小巷的情况下，如在图11中用标号f110表示那样，将对运动特征提取部111的运算资源分配率设为rs3(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs3)(％)。此外，在地图信息表示的本车位置的属性是交叉口的情况下，如用标号f111表示那样，将对运动特征提取部111的运算资源分配率设为rs4(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs4)(％)。在地图信息表示的本车位置的属性是国道的情况下，如用标号f112表示那样，将对运动特征提取部111的运算资源分配率设为rs5(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs5)(％)。在地图信息表示的本车位置的属性是高速公路的情况下，如用标号f113表示那样，将对运动特征提取部111的运算资源分配率设为rs6(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs6)(％)。

通过使用以上说明那样的运算资源比例的决定方法，能够根据车辆50的位置在地图上对应于怎样的属性，分别适当地调节运动特征提取处理和距离特征提取处理的运算处理量。

(基于交通状况的运算资源比例的决定方法)

图12是说明基于交通状况的运算资源比例的决定方法的一例的图。在本例中，假设从车辆控制部60供给的车辆信息表示车辆50行驶的道路、即行驶道路的交通状况。运算资源分配决定部113以该车辆信息为输入，按照例如图12所示的交通状况与运算资源分配率的关系，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。在图12中，横轴表示行驶道路的交通状况，纵轴表示对运动特征提取部111的运算资源分配率的大小、即对运动特征提取处理分配的运算资源比例的大小。

运算资源分配决定部113基于车辆信息表示的行驶道路的交通状况，如以下这样分别决定距离特征提取部110和运动特征提取部111的运算资源比例。例如，在行驶道路拥堵的情况下，如在图12中用标号f120表示那样，将对运动特征提取部111的运算资源分配率设为rs0(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs0)(％)。此外，在行驶道路的交通状况为通常、即不拥堵的情况下，如用标号f121表示那样，将对运动特征提取部111的运算资源分配率设为rs1(％)，另一方面，将对距离特征提取部110的运算资源分配率设为(100－rs1)(％)。

通过使用以上说明那样的运算资源比例的决定方法，当车辆50在拥堵的道路中低速行驶时，能够更详细地检测存在于车辆50的周边的观测对象物的运动。此外，当车辆50在不拥堵的道路中以通常的速度行驶时，对于距离特征提取处理能够进行高负荷处理，能够提高对远方的观测对象物的距离检测性能。

(基于地图信息和车速的运算资源比例的决定方法)

图13是说明基于地图信息和车速的运算资源比例的决定方法的一例的图。在本例中，假设从车辆控制部60供给的车辆信息除了车辆50的车速以外，还表示地图上的车辆50的位置、即与本车位置相应的地图信息。运算资源分配决定部113以该车辆信息为输入，例如按照图13所示的车速与运算资源分配率的关系，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。在图13中，横轴表示车速的大小，纵轴表示对运动特征提取部111的运算资源分配率的大小、即对运动特征提取处理分配的运算资源比例的大小。

运算资源分配决定部113基于车辆信息表示的与本车位置相应的地图信息，选择图13的标号f130～f133所示的函数中的某一个。并且，基于车辆信息表示的车辆50的车速，按照所选择的函数，分别决定距离特征提取部110和运动特征提取部111的运算资源比例。例如，在地图信息表示的本车位置的属性是小巷的情况下，选择函数f130，将对运动特征提取部111的运算资源分配率设为函数f130表示的值。此外，在地图信息表示的本车位置的属性是交叉口的情况下，选择函数f131，将对运动特征提取部111的运算资源分配率设为函数f131表示的值。在地图信息表示的本车位置的属性是国道的情况下，选择函数f132，将对运动特征提取部111的运算资源分配率设为函数f132表示的值。在地图信息表示的本车位置的属性是高速公路的情况下，选择函数f133，将对运动特征提取部111的运算资源分配率设为函数f133表示的值。在哪种情况下，都将对距离特征提取部110的运算资源分配率设为从100％减去运动特征提取部111的运算资源分配率得到的值。

通过使用以上说明那样的运算资源比例的决定方法，能够根据车辆50的位置在地图上对应于怎样的属性，对应于车速的变化而分别适当地调节运动特征提取处理和距离特征提取处理的运算处理量的比例。

另外，以上说明的运算资源比例的决定方法也可以将多个方法任意地组合而使用。此外，除了以上说明的各种例子以外，也可以根据车辆信息的种类而采用各种各样的运算资源比例的决定方法。即，在本实施方式中，只要基于车辆信息表示的规定的车辆状态来决定对运动特征提取部111和距离特征提取部110分别分配的运算资源部112的比例，不论是怎样的运算资源比例的决定方法都能够使用。

根据以上说明的本发明的第2实施方式，搭载在车辆50中的图像处理装置10b除了在第1实施方式中说明的图像处理装置1a的结构以外，还具备运动特征提取部111及距离特征提取部110共同利用的运算资源部112、和基于规定的车辆状态决定对运动特征提取部111和距离特征提取部110分别分配的运算资源部112的比例的运算资源分配决定部113。并且，按照由运算资源分配决定部113决定的运算资源部112的比例，使运动特征提取部111和距离特征提取部110的运算处理量分别变化。由此，与第1实施方式同样，能够以低成本提供进行车辆周边的观测对象物的检测的图像处理装置。

<第3实施方式>

图3是表示有关本发明的第3实施方式的摄像装置1c的结构的图。图3所示的摄像装置1c具备图像处理装置10c和连接于图像处理装置10c的相机部20及相机部30，并且与车辆控制部60连接。另外，关于相机部20及车辆控制部60，由于与在第1实施方式中说明的结构相同，所以以下省略说明。

相机部30与相机部20同样，设置于车辆50以便能够拍摄车辆50的周边、例如车辆50的前方的规定范围，取得包括车辆50的周边的观测对象物的摄像图像并向图像处理装置10c输出。

图像处理装置10c与在第1、第2实施方式中分别说明的图像处理装置10a、10b同样，搭载于车辆50。图像处理装置10c与图像处理装置10b同样，作为其功能，具备距离特征提取部110、运动特征提取部111、识别处理部114、运算资源部112及运算资源分配决定部113。

在本实施方式中，对于距离特征提取部110，输入来自相机部20的摄像图像和来自相机部30的摄像图像。距离特征提取部110基于从相机部20及相机部30分别输入的摄像图像，执行用来计算从车辆50到观测对象物的距离的距离特征提取处理。距离特征提取部110例如能够基于相机部20的摄像图像与相机部30的摄像图像的视差，计算从车辆50对观测对象物的距离。距离特征提取部110在计算出从车辆50到观测对象物的距离之后，与第1、第2实施方式同样，将表示其计算结果的距离信息向识别处理部114输出。

另一方面，对于运动特征提取部111，与第1、第2实施方式同样，输入来自相机部20的摄像图像。运动特征提取部111基于从相机部20输入的摄像图像，通过与第1、第2实施方式同样的方法，提取观测对象物的运动，将表示其运动的运动信息向识别处理部114输出。识别处理部114基于运动特征提取部111、距离特征提取部110各自的运算处理结果，与在第1实施方式中说明的内容同样，进行观测对象物的识别处理。

另外，关于运算资源部112及运算资源分配决定部113的动作、以及距离特征提取部110及运动特征提取部111的与运算资源比例相应的运算处理的执行，与在第2实施方式中说明的内容同样。因此，在本实施方式中省略关于它们的说明。

<第4实施方式>

图4是表示有关本发明的第4实施方式的摄像装置1d的结构的图。图4所示的摄像装置1d具备图像处理装置10d、和连接于图像处理装置10d的相机部20、相机部30及相机部40，并且与车辆控制部60连接。另外，关于相机部20及车辆控制部60，与在第1实施方式中说明的结构相同，所以以下省略说明。

相机部30及相机部40与相机部20同样，分别设置于车辆50以便能够拍摄车辆50的周边、例如车辆50的前方的规定范围，分别取得包括车辆50的周边的观测对象物的摄像图像，向图像处理装置10d输出。

图像处理装置10d与在第1～第3实施方式中分别说明的图像处理装置10a、10b、10c同样，搭载于车辆50。图像处理装置10d与图像处理装置10b、10c同样，作为其功能而具备距离特征提取部110、运动特征提取部111、识别处理部114、运算资源部112及运算资源分配决定部113。

在本实施方式中，对于距离特征提取部110，输入来自相机部30的摄像图像和来自相机部40的摄像图像。距离特征提取部110基于从相机部30及相机部40分别输入的摄像图像，与在第3实施方式中说明的内容同样，计算从车辆50到观测对象物的距离，将表示其计算结果的距离信息向识别处理部114输出。

另一方面，对于运动特征提取部111，与第1～第3实施方式同样，输入来自相机部20的摄像图像。运动特征提取部111基于从相机部20输入的摄像图像，通过与第1～第3实施方式同样的方法，提取观测对象物的运动，将表示其运动的运动信息向识别处理部114输出。识别处理部114基于运动特征提取部111、距离特征提取部110各自的运算处理结果，与在第1实施方式中说明的内容同样，进行观测对象物的识别处理。

另外，关于运算资源部112及运算资源分配决定部113的动作及距离特征提取部110及运动特征提取部111的与运算资源比例相应的运算处理的执行，与在第2实施方式中说明的内容同样。因此，在本实施方式中省略关于它们的说明。

根据本发明，通过使用在上述各实施方式中说明的方法，能够使用观测对象物的运动信息和距离信息，以低成本实现观测对象物的识别处理。

另外，本发明并不限定于上述的各实施方式，而包含各种各样的变形例。例如，上述的各实施方式是为了将本发明容易理解地说明而详细地说明的，并不一定限定于具备所说明的全部结构。此外，可以将一实施方式的结构的一部分替换为其他实施方式的结构，此外，也可以对一实施方式的结构添加其他实施方式的结构。此外，关于各实施方式的结构的一部分，能够进行其他结构的追加、删除、替换。

此外，在上述各实施方式中说明的结构既可以是它们的一部分或全部由硬件构成，也可以构成为通过由处理器执行程序来实现。此外，关于控制线及信息线，示出了认为在说明上需要的部分，并不一定在制品上示出了全部的控制线及信息线。实际上也可以认为几乎全部的结构被相互连接。

以上说明的实施方式及各种变形例只不过是一例，只要不损害发明的特征，则本发明并不限定于这些内容。此外，在上述中说明了各种实施方式，但本发明并不限定于这些内容。在本发明的技术思想的范围内考虑的其他的形态也包含在本发明的范围内。

下面的优先权基础申请的公开内容作为引用文而引用到本申请中。

日本专利申请2016年第189307号(2016年9月28日申请)。

标号说明

1a、1b、1c、1d摄像装置

10a、10b、10c、10d图像处理装置

20、20、40相机部

50车辆

60车辆控制部

110距离特征提取部

111运动特征提取部

112运算资源部

113运算资源分配决定部

114识别处理部