行驶控制系统的制作方法

本发明涉及一种检测本车辆周边道路的车道标识或停止位置等路面显示，并检测本车辆周边的多个移动体、障碍物等立体物，判定道路上的行驶区域来避免与立体物的碰撞，并且在预先设定的行驶车道上行驶的自动驾驶系统、辅助驾驶员的操作的驾驶辅助系统，尤其涉及使用搭载于本车辆的外界识别传感器来检测本车辆周边的路面显示、移动体、障碍物等立体物时，判定外界识别传感器的检测性能，根据外界识别传感器的检测性能来变更自动驾驶系统、驾驶辅助系统的控制的行驶控制系统。

背景技术：

以往，为了实现车辆的自动驾驶系统、驾驶辅助系统，作为本车辆周边的外界信息，除了本车辆周边的障碍物、移动体等立体物外，还识别道路上的车道标识、停止线等路面显示(路面涂料)、存在于道路周边的信号灯、标识等立体物，进行本车辆的与外界周边状况对应的行驶控制。为了通过车载传感器对外界周边状况进行识别并进行控制，需要判定本车辆周边的多个障碍物、多个移动体的种类即车辆、自行车、行人，并检测出其位置、速度等信息，并且，在本车辆行驶时，需要判定道路上的车道标识、停止线等涂料的意思、标识的意思。作为检测这样的本车辆周边的外界信息的车载传感器，有效的是使用摄像机的图像识别单元。然而，使用利用了摄像机的图像识别单元来识别外部环境的情况下，基于摄像机的图像识别单元的检测性能根据本车辆周边的天气(雨天、雾等)、时间段(夜间、傍晚、逆光等)等外部环境而变化。具体地，关于本车辆周边的移动体、障碍物、道路上的涂料的检测，基于图像识别单元的误检、漏检增加。

这样的图像识别单元的性能的下降，没有掌握本车辆周边的移动体、障碍物、道路涂料是否存在，因此有时仅通过图像识别单元难以正确地判定是否进行了误检，是否是漏检的状态。

针对这样的课题，关于本车辆前方的道路形状，在专利文献1中记载了如下的例子：根据从导航地图取得的弯道形状与由图像识别单元检测出的弯道形状，最终判定前方的道路形状的道路信息识别装置。

在专利文献1中，具备以保存于导航装置的地图信息为基础获得第1道路信息的第1道路信息检测单元、检测行驶中的道路状况并以该道路状况为基础获得第2道路信息的第2道路信息检测单元、根据第1道路信息和第2道路信息获得最终的道路信息的道路信息决定单元，具体地，关于第1道路信息，根据导航地图检测出前方的弯道，关于第2道路信息，从车载摄像机检测出前方的弯道，根据该检测结果最终判定前方的弯道。

现有技术文献

专利文献

专利文献1：日本特开平11-211492号公报

技术实现要素：

发明要解决的课题

在上述专利文献1记载的内容中，比较从导航地图得到的道路的直线、弯道等道路形状与由图像识别单元取得的前方道路的直线、弯道等道路形状，最终判定前方的道路形状，因此仅进行与前方的道路形状相关的判定。但是，在自动驾驶系统或进行碰撞避免等的驾驶辅助系统中，仅判定前方的道路形状信息，有时也难以安全地进行车辆行驶控制。例如，在本车辆的前进方向上存在移动体、障碍物的情况下，能够通过图像识别单元和导航地图来确定前方的道路形状，即使能够确定本车辆行驶的道路，也无法通过图像识别单元确定位于本车辆前方的移动体、障碍物的情况下，在导航地图中不存在所对应的障碍物的信息，因此难以确定立体物。其结果，难以判定是否通过图像识别单元检测出前方的障碍物，或是否存在立体障碍物，因此有时难以判定是进行还是解除车辆的行驶控制。

针对这样的问题，本发明提供一种安全的自动驾驶系统或驾驶辅助系统。

用于解决课题的手段

本发明的行驶控制系统，具有检测车辆的周边环境的图像识别单元和控制上述车辆的行驶的行驶控制装置，其特征在于，该行驶控制系统具有存储上述车辆的周边环境的周边环境存储单元，基于根据存储在上述周边环境存储单元中的周边环境信息和上述图像识别单元的检测信息求出的上述图像识别单元的检测性能的状态，变更通过上述行驶控制装置进行的行驶控制的模式。

另外，本发明的行驶控制系统，具有检测车辆的周边环境的图像识别单元和控制上述车辆的行驶的行驶控制装置，其特征在于，该行驶控制系统具有存储上述车辆的周边环境的周边环境存储单元，根据存储在上述周边环境存储单元中的周边环境信息和上述图像识别单元的检测信息，通知上述图像识别单元的检测性能的状态。

发明效果

根据本发明，能够使自动驾驶系统或驾驶辅助系统的安全性提高。

附图说明

图1是表示搭载了本实施方式的行驶控制系统的车辆的一实施例的整体结构的说明图。

图2(a)是表示搭载于本车辆100的图像识别装置80的外界识别区域的一例。

图2(b)是表示搭载于本车辆100的图像识别装置80的外界识别区域的另外一例。

图3是表示与本实施方式的外界检测单元相关的另一实施例的结构的说明图。

图4是与本实施方式的行驶控制装置的一实施例相关的说明图。

图5是与本实施方式的行驶控制装置的另一实施例相关的说明图。

图6是与本实施方式的行驶控制装置中的性能判定单元的一实施例相关的说明图。

图7是与本实施方式的行驶控制装置中的性能判定单元的另一实施例相关的说明图。

图8是表示与本实施方式的行驶控制相关的一实施例的流程图的图。

图9是表示与本实施方式的行驶控制相关的另一实施例的流程图的图。

图10是表示与本实施方式的行驶控制相关的另一实施例的流程图的图。

图11是表示与本实施方式的行驶控制相关的再一实施例的流程图的图。

图12是作为与本实施方式的行驶控制系统相关的行驶场景中的一实施例，作为本车辆的周边环境存储单元，存储本车辆所具有的地图和周边环境信息的情况相关的说明图。

图13是与存储于本实施方式的周边环境存储单元中的周边环境信息相关的说明图。

图14是作为与本实施方式的行驶控制系统相关的行驶场景中的一实施例，作为本车辆的周边环境存储单元，存储设置于道路等基础设施上的传感器信息和本车辆所具有的地图的情况相关的说明图。

图15是作为与本实施方式的行驶控制系统相关的行驶场景中的一实施例，作为本车辆的周边环境存储单元，存储其他车辆检测出的信息和本车辆所具有的地图的情况相关的说明图。

图16是作为与本实施方式的行驶控制系统相关的行驶场景中的一实施例，在本车辆行驶时在多个地点由图像识别装置检测出的结果和存储在本车辆的周边环境存储单元中的信息相关的说明图。

图17是在本实施方式的行驶控制系统中，根据存储于周边环境存储单元中的路面信息和由图像识别装置检测出的路面信息判定类似度的一实施例相关的说明图。

图18是在本实施方式的行驶控制系统中，根据存储于周边环境存储单元中的立体物信息和由图像识别装置检测出的立体物信息判定类似度的一实施例相关的说明图。

图19是在本实施方式的行驶控制系统中，根据第1类似度和第2类似度通知图像识别装置的性能的一实施例相关的说明图。

图20(a)表示第1类似度、第2类似度、行驶控制装置60执行的控制模式的时间变化。

图20(b)表示与图20(a)不同的场景中的表示第1类似度、第2类似度、行驶控制装置60执行的控制模式的时间变化。

具体实施方式

首先，对本发明的概要进行说明。本发明的行驶控制系统具有检测本车辆的周边环境的图像识别单元以及进行本车辆的自动驾驶或驾驶辅助的行驶控制的行驶控制装置，该行驶控制系统的特征在于，具有存储上述车辆的周边环境的周边环境存储单元，根据存储于上述周边环境存储单元的周边环境信息和上述图像识别单元的检测信息，使在上述行驶控制装置中进行的行驶控制的模式发生变更，或者，通知上述图像识别单元的检测性能的状态，该行驶控制系统具有存储与车辆的周边环境相关的信息的周边环境存储单元，具有能够根据由图像识别单元检测出的结果和存储于周边环境存储单元中的信息，判定图像识别单元是否能够检测出车辆的周边环境的效果，根据该判定结果变更为与图像识别的性能对应的行驶控制，从而具有实现最佳的自动驾驶或驾驶辅助的行驶控制的效果。

另外，本发明的行驶控制系统的特征在于，具有存储上述车辆的周边环境的周边环境存储单元，求出存储于上述周边环境存储单元中的比较对象物与由上述图像识别单元检测出的对象物的类似度，根据该类似度，使在行驶控制装置中进行的自动驾驶或驾驶辅助等行驶控制的模式发生变更，或者，根据该类似度判定上述图像识别单元的检测性能，通知上述图像识别单元的检测性能的状态，该行驶控制系统具有能够根据存储于周边环境存储单元中的与车辆的周边环境相关的信息和由图像识别单元检测出的结果的类似度来判定图像识别单元的检测性能的效果，根据检测性能变更为行驶控制，从而具有能够实现最佳的自动驾驶或驾驶辅助的行驶控制的效果。

并且，本发明的行驶控制系统的特征在于，具有存储上述车辆的周边环境的周边环境存储单元，计算出上述车辆在不同的多个地点由上述图像识别单元检测出的对象物与存储于上述周边环境存储单元中的上述不同的多个地点所对应的比较对象物的类似度，根据该类似度判定上述图像识别单元的检测性能，根据该检测性能在上述行驶控制装置中使自动驾驶或驾驶辅助等行驶控制模式发生变更，或者，根据该检测性能通知上述图像识别单元的检测性能的状态，即使在正在行驶的道路环境中表示周边环境的特征的信息较少的情况下，也能够针对本车辆行驶的多个不同的地点的比较对象物求出类似度，因此具有能够判定图像识别单元的检测性能的效果。

并且，本发明的行驶控制系统的特征在于，求出第1类似度和第2类似度这2个类似度，根据该2个类似度，对行驶控制装置的自动驾驶或驾驶辅助等控制进行变更，或者，通知图像识别单元的检测性能的性能，该行驶控制系统能够个别地判定与路面上的车道标识或停止线等路面信息相关的检测性能以及道路周边立体物的检测性能，具有能够详细判定图像识别单元的检测性能的效果，与之对应地具有能够进行详细的自动驾驶或驾驶辅助的行驶控制或通知的效果，上述第1类似度表示存储在周边环境存储单元中的车辆周边的道路的路面相关的特征量与由图像识别单元检测出的道路的路面相关的特征量的类似度，上述第2类似度表示存储在周边环境存储单元中的立体物相关的特征量与由图像识别单元检测出的道路周边的立体物相关的特征量的类似度。

以下，使用附图对本发明的实施方式进行说明。

图1表示搭载了本发明的行驶控制系统的车辆的一实施例的整体结构的概要。

在图1中，车辆100是将上侧设为前侧，将下侧设为后侧的图，通过用于驱动车辆100的原动机10、传递原动机10的动力的变速机20、对原动机10进行控制的原动机控制装置30来驱动车辆100。另外，在图1的例子中，是在前侧搭载原动机10、变速机20而驱动前侧的轮胎的例子，但在驱动后侧的轮胎，或驱动四个车轮的情况下，以下也同样如此。

车辆100除了控制原动机10和变速机20的原动机控制装置30以外，还搭载有进行车辆整体的控制的车辆控制装置60、与外部进行通信的通信装置50、控制设在车辆100的四个车轮上的制动装置(90-1、90-2、90-3、90-4)的制动控制装置40等多个控制装置，这些装置与控制用网络70连接而相互进行信息通信。在图1的实施例中，行驶控制装置60被搭载在车辆100上，接受由取得车辆100周边的外界信息的图像识别装置(80-1、80-2、80-3、80-4)取得的外界信息以及表示车辆100的状态的车辆状态量(速度、偏航率、偏航角、前后加速度、横向加速度、操舵角等)的信息，根据外界信息进行车辆100的控制。通过图1中未图示的偏航率传感器、加速度传感器、速度传感器、操舵角传感器等来检测出表示车辆100的状态的车辆状态量。

通信装置50为收发来自外部的通信的装置，例如取得路面信息(车道标识位置、停止线位置、人行横道等路面涂料种类和位置等)和立体物信息(标识、信号灯、地物等存在于道路周边的立体物)作为行驶周边的道路信息。在后边进行叙述，这些信息中，通过设置于道路基础设施等中的传感器检测出的信息、存储于数据中心中的道路周边信息(路面信息和立体物信息等)、其他车辆检测出的道路周边信息(路面信息和立体物信息等)可以使用通信装置50来取得。并且，也可以使用通信装置50将事先存储的行驶周边的道路信息变更为最新的信息。

图像识别装置80(80-1、80-2、80-3、80-4)为取得车辆100周边的外界信息的装置，作为具体的例子，有基于摄像机的图像识别。作为摄像机，有用一个摄像头识别外界的单眼摄像机和用2个摄像头识别外界的立体摄像机。在基于摄像机的图像识别中，作为车辆100的外部信息，能够同时识别车辆、行人、轻车辆(自行车等)等在车辆100周边移动的多个移动体，并且，能够对移动体的特性进行分类。此外，通过使用立体摄像机，能够检测出存在于车辆100周边的移动体或障碍物的相对距离。并且，在基于摄像机的图像识别中，作为涂抹在道路上的路面信息，能够取得车道标识(白线)的位置和大小、停止线的位置、人行横道的位置等信息。并且，作为立体物，能够取得存在于道路旁的标识的种类、大小、位置信息、信号灯的大小、位置信息、其他特定立体地物的位置信息。在使用立体摄像机的情况下，使用2个摄像机的视差图像，还可以检测出到所检测出的立体物或路面涂料的距离。

此外，在一个摄像机的图像中，还可以使用预先对每个摄像机设定的摄像机坐标系，检测出到所检测出的路面涂料或图像信息的距离。并且，通过组合一个摄像机的图像和距离检测传感器，例如雷达等，有时还能够提高距离检测的精度。

警报装置110和显示装置120显示在行驶控制装置60中判定的图像识别装置80的性能状态，或使驾驶员获知图像识别装置80的性能状态。或者，根据图像识别装置80的性能状态，事先通知或显示行驶控制装置60进行的控制的变更等。

图2(a)是表示搭载于本车辆100的图像识别装置80的外界识别区域的一例。图2(b)是表示搭载于本车辆100的图像识别装置80的外界识别区域的另一例。图2(a)、(b)的本车辆100如图1的实施例那样，作为图像识别装置80，在进行本车辆100的前方的外界识别的图像识别装置80-1、进行本车辆100的右侧方的外界识别的图像识别装置80-2、进行本车辆100的左侧方的外界识别的图像识别装置80-3、以及进行本车辆100的后方的外界识别的图像识别装置80-4中使用摄像机。尤其，在图2(a)中，进行前方的外界识别的图像识别装置80-1能够通过一个图像识别装置识别广角近旁的外界信息和远方的外界信息这两者，能够检测出存在于区域a的范围内的路面信息、立体物信息。也就是说，能够检测出存在于本车辆100的前方的道路的车道标识(白线)、停止线、人行横道等路面信息和前方车辆、对面车辆、标识、信号灯等立体物的信息。

另一方面，在图2(b)中，图像识别装置80-1为使用了2个图像识别装置的情况，个别地检测出近旁的广角区域即区域a2和远方的区域a1。在该情况下，也与图2(a)同样地，能够检测出存在于本车辆100的前方的道路的车道标识(白线)、停止线、人行横道等路面信息和前方车辆、对面车辆、标识、信号灯等立体物的信息。

并且，在图2(a)、(b)中，除了本车辆100的前方外，还可以检测出左右侧方以及后方的外界信息，能够检测出存在于区域b的道路的车道标识(白线)、停止线、人行横道等路面信息和前方车辆、对面车辆、标识、信号灯等立体物的信息。在该情况下，图像识别装置80-1～80-4从周边环境存储单元取得各个图像识别装置能够检测出的区域中的周边信息，能够判定与各图像识别装置80-1～80-4相关的图像识别的检测性能。

图3表示搭载于本车辆100的图像识别装置80的外界识别区域的其他实施例。在图3中，使用基于摄像机的图像识别装置80检测出在图2的实施例中说明的区域a1、区域a2、区域b，并且，在本车辆100的周边将与摄像机不同的激光传感器搭载于车辆周边，通过雷达检测出本车辆100的全部周围。

雷达难以进行移动体、障碍物的识别，但与摄像机相比能够比较高精度地检测出移动体、障碍物的距离、速度。在图3的实施例中，在本车辆100的前方、后方的左右4个位置搭载雷达，检测出区域d_fl、区域d_fr、区域d_rl、区域d_rr的移动体、障碍物的距离、速度。通过设为这样的结构，通过摄像机进行车辆100周边的路面信息或立体物的识别，通过雷达检测出立体物的距离，由此能够更高精度地检测立体物。

图4表示图1所示的行驶控制装置60的具体结构的一实施例。向行驶控制装置60输入由图像识别装置80-1～80-4检测出的本车辆100的周边环境的信息。在图4的实施例中，行驶控制装置60由性能判定单元61、周边环境存储单元62、车辆控制单元63、操作量运算单元64、显示单元65、警报单元66构成。

性能判定单元61以由图像识别装置80-1～80-4检测出的周边信息和存储在周边环境存储单元62中的本车辆100的位置的周边环境信息为输入，进行图像识别装置80-1～80-4的检测性能的判定。将通过性能判定单元61判定的图像识别装置80-1～80-4的检测性能的判定结果输出到车辆控制单元63。在车辆控制单元63中，根据由性能判定单元61求出的图像识别装置80-1～80-4的检测性能的判定结果，来决定本车辆100的行驶控制方法以及与图像识别装置80-1～80-4的性能相关的向驾驶员的通知。

例如，根据驾驶员的选择，检测出本车辆100前方的车道标识，通过车辆控制单元63执行维持车道的中央位置的自动操舵控制、与车辆前方的障碍物或移动体对应的自动加减速控制的情况下，当判定为图像识别装置80-1～80-4的检测性能没有下降时，车辆控制装置63持续执行当前正在进行的自动操舵控制和自动加减速控制。

并且，当判定为图像识别装置80-1～80-4的检测性能下降时，通过警报单元66向驾驶员通知图像识别装置80-1～80-4的周边环境的检测性能下降、解除当前正在进行的自动操舵控制和自动加减速控制，之后，通过解除自动操舵控制和自动加减速控制，对行驶控制的控制模式进行切换。此时，通过显示单元65显示由性能判定单元61判定的图像识别装置80-1～80-4的检测性能的状态。另外，存储于周边环境存储单元62中的周边环境信息，也可以通过通信装置50从对周边环境信息进行管理的数据中心等取得。

图5表示图1所示的行驶控制装置60的具体结构的另一实施例。与图4同样地，向行驶控制装置60输入由图像识别装置80-1～80-4检测出的本车辆100的周边环境信息。

在图5的实施例中，行驶控制装置60除了性能判定单元61、周边环境存储单元62、车辆控制单元63、操作量运算单元64、显示单元65、警报单元66外，还由图像识别存储单元67和本车辆位置存储单元构成。

与图4同样地，性能判定单元61以由图像识别装置80-1～80-4检测出的周边信息和存储在周边环境存储单元62中的本车辆100的位置周边的外界环境信息为输入，进行图像识别装置80-1～80-4的检测性能的判定。将通过性能判定单元61判定的图像识别装置80-1～80-4的检测性能的判定结果输出到车辆控制单元63。

在车辆控制单元63中，根据由性能判定单元61求出的图像识别装置80-1～80-4的检测性能的判定结果，来决定本车辆100的行驶控制方法以及与图像识别装置80-1～80-4的性能相关的向驾驶员的通知。在图5的实施例中，从图像识别存储单元67取得存储在周边环境存储单元62中的周边环境信息。

图像识别存储单元67存储过去行驶时通过图像识别装置80-1～80-4取得的周边环境信息，本车辆位置存储单元68存储取得存储在图像识别存储单元67中的信息时的本车辆100的位置。

周边环境存储单元62根据与存储在图像识别存储单元67中的周边环境信息对应的本车辆位置存储单元68的本车辆的位置信息，取得当前行驶中的周边环境的信息。在过去行驶时由图像识别装置80-1～80-4取得的周边环境信息不存在的情况下，与图4的实施例同样地，能够根据本车辆位置信息，通过通信装置50从对周边环境信息进行管理的数据中心等取得道路周边的外界信息。

此外，可以将本车辆100行驶时由图像识别装置80-1～80-4取得的周边环境信息存储在本车辆100的行驶控制装置60的图像识别存储单元67中，但为了存储行驶中取得的信息而需要庞大的存储容量。因此，存储在图像识别存储单元67中的周边环境信息，也可以通过通信装置50从本车辆100向如数据中心那样可以存储大容量数据的外部设备发送数据，并累积在外部数据中心的存储装置中。此时，根据本车辆100的当前位置信息，从大容量的周边环境信息数据中提取出当前位置的周边环境信息，使用通信装置50将本车辆100所在位置的周边环境信息输出到本车辆100。这样，在设置于本车辆100外的数据中心中，以与本车辆的位置信息相关联的数据形式对周边环境信息进行管理，从而存在能够限定本车辆100的内部处理或累积数据量的效果。

图6表示图4以及图5的行驶控制装置60中的性能判定单元61的具体结构的实施例。在图6的实施例中，性能判定单元61由类似度运算单元611和性能定量化单元612构成。

向类似度运算单元611输入由图像识别装置80-1～80-4检测出的本车辆100的周边环境信息和存储在周边环境存储单元62中的当前的周边环境信息。类似度运算单元611根据由搭载于本车辆100的图像识别装置80-1～80-4检测出的本车辆100的周边环境信息和存储在周边环境存储单元62中的当前位置的本车辆100的周边环境信息，来评价由图像识别装置80-1～80-4检测出的周边的检测结果与存储在周边存储单元62中的所对应的对象物是否一致，由此运算类似度。

例如，图像识别装置80-1～80-4从周边环境检测10个特征量(停止线等路面信息或标识等立体物)，从周边环境存储单元62取得与之相当的特征量(停止线等路面信息或标识等立体物)，在全部一致的情况下，判定为类似度高，在一致的特征量少的情况下，判定为类似度低。在此，由图像识别装置80-1～80-4检测出的周边环境的检测结果，可以根据某时刻的图像数据检测出，也可以根据预定时间内的多个地点的多个图像数据检测出。

将由类似度运算单元611运算出的类似度输入到性能定量化单元612，通过性能定量化单元612对图像识别装置80-1～80-4的各图像识别装置的检测性能进行定量化。例如，根据由图像识别装置80-1检测出的特征量和由周边环境存储单元62取得的特征量的类似度，对图像识别装置80-1的检测性能进行定量化，同样地，对于图像识别装置80-2～80-4也根据类似度对检测性能进行定量化。

作为定量化，在类似度高的情况下，将检测性能定量化为高，若类似度稍下降，则检测性能大幅度下降等，而不需要使类似度和检测性能为比例关系。类似度下降表示图像识别装置80-1～80-4的漏检、误检增加，因此当类似度低于预定阈值时，认为检测性能不能利用于自动驾驶或驾驶辅助，所以能够设定为检测性能大幅度下降。

图7表示图4、图5的行驶控制装置60中的性能判定单元61的具体结构的其他实施例。在图7的实施例中，性能判定单元61由第1类似度运算单元613、第2类似度运算单元614和性能定量化单元612构成。此外，周边环境存储单元62由作为周边环境信息存储与路面相关的信息的路面特征量存储单元621、以及存储与立体物相关的信息的立体物特征量存储单元622构成。

性能判定单元61中的第1类似度运算单元613以由图像识别装置80-1～80-4检测出的与车辆周边的路面相关的检测结果(车道标识位置、停止线位置、人行横道位置等路面涂料位置信息)和存储在周边环境存储单元62的路面特征量存储单元621中的与路面相关的信息(车道标识位置、停止线位置、人行横道位置等路面涂料位置信息)为输入，对本车辆100周边的路面相关的图像识别装置80-1～80-4的检测结果与路面特征量存储单元621的信息的类似度进行运算。例如，图像识别装置80-1～80-4从周边环境检测10个与路面相关的特征量(停止线、人行横道等)，从路面特征量存储单元621取得与之相当的特征量(停止线、人行横道等)，在全部一致的情况下，判定为第1类似度程度高，在一致的特征量少的情况下，判定为第1类似度低。在此，由图像识别装置80-1～80-4检测出的周边环境的检测结果，可以使用某时刻的图像数据检测出，也可以使用预定时间内的多个地点的多个图像数据检测出。

性能判定单元61中的第2类似度运算单元614以由图像识别装置80-1～80-4检测出的与车辆周边的立体物相关的检测结果(标识、信号灯、特定的立体地物等道路周边的固定立体物的大小或位置信息)和存储在周边环境存储单元62的立体物特征量存储单元622中的与道路周边的立体物相关的信息(标识、信号灯、特定的立体地物等道路周边的固定立体物的大小或位置信息)为输入，对本车辆100周边的立体物相关的图像识别装置80-1～80-4的检测结果与立体物特征量存储单元622的信息的类似度进行运算。例如，图像识别装置80-1～80-4从周边环境检测10个与道路周边的立体物相关的特征量(标识或信号机等)，从立体物特征量存储单元622取得与之相当的特征量(标识或信号机等)，在全部一致的情况下，判定为第2类似度程度高，在一致的特征量少的情况下，判定为第2类似度低。在此，由图像识别装置80-1～80-4检测出的周边环境的检测结果，可以使用某时刻的图像数据检测出，也可以使用预定时间内的多个地点的多个图像数据检测出。

将由第1类似度运算单元613运算出的与路面信息相关的类似度(第1类似度)和由第2类似度运算单元614运算出的与道路周边的立体物相关的类似度(第2类似度)输入到性能定量化单元612中，在性能定量化单元612中对图像识别装置80-1～80-4的各图像识别装置的路面信息的检测性能和立体物信息的检测性能进行定量化。与图6的情况同样地，根据与各个图像识别装置80-1～80-4相关的第1类似度、第2类似度，对各图像识别装置各自的检测性能进行定量化。

作为定量化，在类似度高的情况下，将检测性能定量化为高，若类似度稍下降，则检测性能大幅度下降等，类似度和检测性能既可以是比例关系，也可以不是比例关系，若类似度高，则也可以将检测性能设定为变高。类似度下降表示图像识别装置80-1～80-4的漏检、误检增加，因此当类似度低于预定阈值时，认为检测性能不能利用于自动驾驶或驾驶辅助，所以能够将检测性能设定为大幅度下降。

这样，在图7的实施例中，能够进行图像识别装置80-1～80-4的检测性能即中路面信息相关的检测性能和与立体物信息相关的检测性能这2个检测性能的定量化。其结果，能够进行向与路面相关的检测性能影响较大的行驶控制的对应或向与立体物相关的检测性能影响较大的行驶控制的对应等，与检测性能对应的行驶控制的变更。

图8是示出在本实施方式中，使用图像识别装置80-1～80-4和周边环境存储单元62对类似度和检测性能进行运算，根据其结果变更行驶控制时的流程概要的一实施例的图。

如图8所示，首先，判定本车辆100的位置(s1)。在此，判定本车辆100的位置是因为在从周边信息存储单元62取得本车辆100的周边信息时，若不能确定本车辆100的位置则无法取得。作为确定本车辆100的位置的方法，能够对利用gps确定大致的本车辆位置的方法、搭载于本车辆100的根据本车辆的速度、操舵角、偏航率等推定本车辆100的移动的方法、利用搭载于本车辆100的外界识别单元取得路标信息来修正本车辆位置的方法等进行组合，来确定本车辆100的位置。

当能够确定本车辆100的位置时，接着，判定搭载于本车辆100的图像识别装置80-1～80-4的异常(s2)。其判定图像识别装置80-1～80-4无法识别图像等作为传感器单体的异常。在此，当图像识别装置80-1～80-4被判定为异常时，解除使用图像识别装置80-1～80-4的行驶控制(s8)。

另一方面，当判定为图像识别装置80-1～80-4无异常时，从周边信息存储单元62取得与当前的本车辆100正在行驶的位置周边相关的多个周边信息的特征量(s3)。

接着，对从周边信息存储单元62取得的多个周边环境特征量和由图像识别装置80-1～80-4检测出的周边环境特征量的类似度进行运算(s4)。

当在s4中对类似度进行运算时，根据运算出的类似度，对与图像识别装置80-1～80-4的检测性能相关的定量性的性能指标进行运算(s5)。

接着，判定在s5中运算出的检测性能的指标大小。具体地，比较预先设定的预定阈值与检测性能的指标，判定是否小于预先设定的预定阈值(s6)。在此，在运算出的检测性能的指标大于预先设定的预定阈值的情况下，判定为检测性能未下降。

另一方面，在运算出的检测性能的指标小于预先设定的预定阈值的情况下，判定为图像识别装置80-1～80-4的检测性能已下降，通过显示装置等显示检测性能的下降，或通过警报通知驾驶员。并且，有时由于图像识别装置80-1～80-4的检测性能的下降，使用图像识别装置80-1～80-4的行驶控制无法继续，因此变更使用图像识别装置80-1～80-4的行驶控制(s7)。例如，具体地，执行对位于本车辆100前方的车道标识进行识别，且进行操舵控制/加减速控制使得不从车道脱离的行驶控制的情况下，若判定为图像识别装置80-1～80-4的检测性能下降，则判定图像识别装置80-1～80-4的车道标识的检测性能也下降，通知难以继续对车道标识进行识别而行驶的行驶控制模式，有时从识别车道标识并且为了不从车道脱离而进行操舵控制/加减速控制的行驶控制模式向驾驶员进行操舵和加减速控制的手动控制模式变更等。

图9是示出在本实施方式中，使用图像识别装置80-1～80-4和周边环境存储单元62对类似度和检测性能进行运算，根据其结果变更行驶控制时的流程概要的另一实施例的图。

在图9的一部分中进行与图8同样的处理。在图9中，首先判定本车辆100的位置(s10)。与图8同样地，判定本车辆100的位置是因为从周边信息存储单元62取得本车辆100的周边信息时，若无法确定本车辆100的位置则无法取得，作为确定本车辆100的位置的方法，能够通过对利用gps确定大致的本车辆位置的方法、搭载于本车辆100的根据本车辆的速度、操舵角、偏航率等推定本车辆100的移动的方法、利用搭载于本车辆100的外界识别单元取得路标信息来修正本车辆位置的方法等进行组合，来确定本车辆100的位置。

当能够确定本车辆100的位置时，接着，判定搭载于本车辆100的图像识别装置80-1～80-4的异常(s20)。其判定图像识别装置80-1～80-4无法进行图像识别处理等作为传感器单体的异常。

在此，当图像识别装置80-1～80-4被判定为异常时，解除使用图像识别装置80-1～80-4的行驶控制(s8)。

另一方面，当判定为图像识别装置80-1～80-4无异常时，从周边信息存储单元62取得与当前本车辆100正在行驶的位置周边相关的多个周边信息的特征量。作为多个周边信息的特征量的取得，从周边信息存储单元62的路面特征量存储单元621取得与路面信息相关的多个特征量(s30)，从周边信息存储单元62的立体物特征量存储单元622取得与周边的立体物相关的多个特征量(s40)。在此，作为与路面信息相关的多个特征量，表示车道标识、停止线、人行横道等路面显示(路面涂料)的特征量的位置、大小，立体物的特征量表示道路近旁的标识、信号灯、特定的立体地物等的位置、大小。

接着，对从周边信息存储单元62的路面特征量存储单元621取得的与路面信息相关的多个特征量与由图像识别装置80-1～80-4检测出的与路面信息相关的多个特征量的类似度(第1类似度)进行运算(s50)。

并且，对从周边信息存储单元62的立体物特征量存储单元622取得的与周边的立体物相关的多个特征量与由图像识别装置80-1～80-4检测出的与道路近旁的立体物相关的多个特征量的类似度(第2类似度)进行运算(s60)。

然后，根据在s50、s60中运算出的第1类似度和第2类似度，对图像识别装置80-1～80-4的检测路面信息的路面信息检测性能和检测立体物的立体物检测性能这2种检测性能的指标进行运算。

接着，判定在s70中运算出的路面信息检测性能的指标大小和立体物检测性能的指标的大小(s80，s90)。在s80中，对路面信息检测性能进行判定，比较为了判定路面信息的检测性能而预先设定的预定阈值与路面信息检测性能的指标，判定是否小于预先设定的预定阈值。例如，在运算出的路面信息检测性能的指标大于预先设定的路面信息检测性能评价用预定阈值的情况下，判定为路面信息的检测性能未下降。另一方面，在运算出的路面信息检测性能的指标小于预先设定的路面信息检测性能评价用预定阈值的情况下，判定为图像识别装置80-1～80-4的与路面信息相关的检测性能已下降。

同样地，在s90中，对立体物的检测性能进行判定，比较为了判定立体物的检测性能而预先设定的预定阈值与立体物检测性能的指标，判定是否小于预先设定的预定阈值。例如，在运算出的立体物检测性能的指标大于预先设定的立体物检测性能评价用预定阈值的情况下，判定为立体物的检测性能未下降。另一方面，在运算出的立体物检测性能的指标小于预先设定的立体物检测性能评价用预定阈值的情况下，判定为图像识别装置80-1～80-4的与立体物相关的检测性能已下降。

在s80中判定为路面信息的检测性能未下降时向s90前进，另一方面，在运算出的路面信息检测性能的指标小于预先设定的路面信息检测性能评价用预定阈值的情况下，判定为图像识别装置80-1～80-4的与路面信息相关的检测性能已下降，向s110前进。

在s110中，将图像识别装置80-1～80-4的与路面信息相关的检测性能已下降的情况显示于显示装置等，或通过警报通知给驾驶员。并且，根据图像识别装置80-1～80-4的与路面信息相关的检测性能的下降，有时存在使用图像识别装置80-1～80-4的使用路面信息检测结果的行驶控制无法继续的情况，因此解除使用路面信息的行驶控制(s110)。

例如，具体地，对位于本车辆100前方的车道标识进行识别，为了不从车道脱离而进行的操舵控制/加减速控制、以及检测本车辆100与位于前方的移动体的距离而通过操舵控制/加减速控制执行行驶控制的情况下，若判定为图像识别装置80-1～80-4的路面信息的检测性能下降，则判定图像识别装置80-1～80-4的车道标识的检测性能也下降，通知对车道标识进行识别并进行操舵控制/加减速控制以便不从车道脱离的行驶控制模式难以持续，之后，有时进行解除识别车道标识，为了不从车道脱离而进行操舵控制/加速控制的行驶控制模式那样的控制模式的变更等。

另一方面，在s80中判定为路面信息的检测性能未下降时，判定图像识别装置80-1～80-4的车道标识的检测性能未下降，继续识别车道标识并行驶的行驶控制模式。

接着，在s80中判定为路面信息的检测性能未下降时，向s90前进，进行与立体物的检测性能相关的判定。在s90中，比较为了判定立体物的检测性能而预先设定的预定阈值与立体物检测性能的指标，判定是否小于预先设定的预定阈值。在此，判定为图像识别装置80-1～80-4的与立体物相关的检测性能下降时，向s100前进。在s100中，将图像识别装置80-1～80-4的与立体物信息相关的检测性能已下降的情况显示于显示装置120等，或通过警报通知给驾驶员。并且，根据图像识别装置80-1～80-4的与立体物信息相关的检测性能的下降，有时存在使用图像识别装置80-1～80-4的立体物信息的检测结果的行驶控制无法继续的情况，因此解除使用立体物信息的行驶控制(s100)。例如，具体地，对位于本车辆100前方的车道标识进行识别，通过为了不从车道脱离而进行操舵控制/加减速控制、以及检测与位于本车辆100的前进方向上的移动体的距离并通过操舵控制/加减速控制来执行行驶控制的情况下，若判定为图像识别装置80-1～80-4的立体物信息的检测性能下降，则判定图像识别装置80-1～80-4的存在于本车辆100的前进方向的前行车、移动体、障碍物的检测性能也下降，通知检测与位于本车辆100的前进方向的移动体、障碍物的距离并进行避免碰撞那样的操舵控制/加减速控制的行驶控制模式难以继续，之后，进行解除检测与位于本车辆100的前进方向的移动体、障碍物的距离，并进行避免碰撞那样的操舵控制/加减速控制的行驶控制模式那样的控制模式的变更等。

另一方面，在s90中判定为立体物信息的检测性能未下降时，判定图像识别装置80-1～80-4的立体物的检测性能未下降，继续进行使用图像识别装置80-1～80-4来检测与位于本车辆100的前进方向的移动体、障碍物的距离来避免碰撞那样的操舵控制/加减速控制的行驶控制模式。

另外，在图9中，最初进行与路面检测相关的第1类似度和检测性能判定(s80)，接着进行与立体物相关的第2类似度和检测性能判定(s90)，但是也可以最初进行与立体物相关的第2类似度和检测性能判定，接着进行与路面检测相关的第1类似度和检测性能判定。

并且，如图10所示那样，进行与路面检测相关的第1类似度和检测性能判定以及与立体物相关的第2类似度和检测性能判定(s120)，在此，判定为路面检测的检测性能低时，向s110前进，如在图9中叙述的那样，将图像识别装置80-1～80-4的与路面信息相关的检测性能已下降的情况显示于显示装置等，或通过警报通知给驾驶员。

并且，根据图像识别装置80-1～80-4的与路面信息相关的检测性能的下降，有时存在使用图像识别装置80-1～80-4的路面信息检测结果的行驶控制无法继续的情况，因此解除使用路面信息的行驶控制。此外，在s120中判定为图像识别装置80-1～80-4的与立体物相关的检测性能已下降时，向s100前进，如在图9中叙述的那样，将图像识别装置80-1～80-4的与立体物信息相关的检测性能已下降的情况显示于显示装置等，或通过警报通知给驾驶员。

并且，根据图像识别装置80-1～80-4的与立体物信息相关的检测性能的下降，有时存在使用图像识别装置80-1～80-4的立体物信息的检测结果的行驶控制无法继续的情况，因此解除使用立体物信息的行驶控制。另一方面，在s120中判定为与路面信息相关的检测性能和立体物信息的检测性能这两者均未下降时，判定图像识别装置80-1～80-4的立体物的检测性能未下降，继续进行使用图像识别装置80-1～80-4来检测与位于本车辆100的前进方向的移动体、障碍物的距离来避免碰撞那样的操舵控制/加减速控制的行驶控制模式。

图11是示出在本实施方式中，使用图像识别装置80-1～80-4和周边环境存储单元62对类似度和检测性能进行运算，根据其结果变更行驶控制时的流程概要的另一实施例的图。

在图11的一部分中进行与图8、图9同样的处理。在图11中，s10至s90与图9所示的流程相同。与图9的不同点在于s111、s112的处理流程。在图11中，与图9同样地，在s80中判定为路面信息的检测性能未下降时向s90前进，另一方面，在运算出的路面信息检测性能的指标小于预先设定的路面信息检测性能评价用预定阈值的情况下，判定为图像识别装置80-1～80-4的与路面信息相关的检测性能已下降，向s110前进。

在s110中，将图像识别装置80-1～80-4的与路面信息相关的检测性能已下降的情况显示于显示装置等，或通过警报通知给驾驶员。并且，根据图像识别装置80-1～80-4的与路面信息相关的检测性能的下降，有时存在使用图像识别装置80-1～80-4的路面信息检测结果的行驶控制无法继续的情况，因此解除使用路面信息的行驶控制(s110)。

接着，向s112前进，解除使用路面信息的行驶控制后，通知向驾驶员的操作迁移，在预定时间后解除所有驾驶辅助行驶控制、自动驾驶控制。例如，具体地，对位于本车辆100前方的车道标识进行识别，为了不从车道脱离而进行操舵控制/加减速控制、以及检测与位于本车辆100前方的移动体的距离而通过操舵控制/加减速控制来执行行驶控制的情况下，若判定为图像识别装置80-1～80-4的路面信息的检测性能下降，则判定图像识别装置801～80-4的车道标识的检测性能也下降，通知对车道标识进行识别而以不从车道脱离的方式进行操舵控制/加减速控制的行驶控制模式难以继续，之后，进行解除识别车道标识而以不从车道脱离的方式进行操舵控制/加速控制的行驶控制模式那样的控制模式的变更等。

并且，有可能图像识别装置80-4～80-4整体的检测性能下降，因此迁移至解除对车道标识进行识别而以不从车道脱离的方式进行操舵控制/加减速控制的行驶控制模式那样的控制模式后，通知将所有操作交接给驾驶员操作，经过预定时间后，解除进行操舵控制/加减速控制的驾驶辅助行驶控制、自动驾驶行驶控制。由此，从判定图像识别装置80-1～80-4的一部分检测性能下降起预定时间后能够向驾驶员的操作进行交接，驾驶员具有充足的富裕时间能够向驾驶员操作转移。

接着，在s90中，比较为了判定立体物的检测性能而预先设定的预定阈值与立体物检测性能的指标，判定图像识别装置80-1～80-4的与立体物相关的检测性能，当判定为与立体物相关的检测性能下降时，向s100前进。在s100中，将图像识别装置80-1～80-4的与立体物信息相关的检测性能已下降的情况显示于显示装置等，或通过警报通知给驾驶员。并且，根据图像识别装置80-1～80-4的与立体物信息相关的检测性能的下降，有时存在使用图像识别装置80-1～80-4的立体物信息的检测结果的行驶控制无法继续的情况，因此解除使用立体物信息的行驶控制(s100)。

接着，向s111前进，解除使用立体物信息的行驶控制后，通知向驾驶员的操作迁移，预定时间后，解除所有驾驶辅助行驶控制、自动驾驶控制。例如，具体地，对位于本车辆100前方的车道标识进行识别，为了不从车道脱离而进行操舵控制/加减速控制、以及检测与位于本车辆100的前方的移动体的距离而通过操舵控制/加减速控制来执行行驶控制的情况下，若判定为图像识别装置80-1～80-4的立体物信息的检测性能下降，则判定图像识别装置80-1～80-4的位于本车辆100的前进方向的前行车、移动体、障碍物的检测性能也下降，通过检测与位于本车辆100的前进方向的移动体、障碍物的距离，进行避免碰撞那样的操舵控制/加减速控制的行驶控制模式难以继续，之后，进行解除检测与位于本车辆100的前进方向的移动体、障碍物的距离，而进行避免碰撞的操舵控制/加减速控制的行驶控制模式那样的控制模式的变更等。并且，有可能图像识别装置80-4～80-4整体的检测性能下降，因此迁移至解除检测与位于本车辆100的前进方向的移动体、障碍物的距离而进行避免碰撞的操舵控制/加减速控制的行驶控制模式那样的控制模式后，通知将所有操作交接给驾驶员操作，经过预定时间后，解除进行操舵控制/加减速控制的驾驶辅助行驶控制、自动驾驶行驶控制。

由此，从判定图像识别装置80-1～80-4的一部分检测性能下降起预定时间后能够向驾驶员的操作交接，驾驶员具有充足的富裕时间能够向驾驶员操作转移。

图12是作为与本实施方式的行驶控制系统相关的行驶场景中的一实施例，作为本车辆100的周边环境存储单元62，存储本车辆100所具有的地图和周边环境信息的情况相关的说明图。

图12为本车辆100正在交叉点附近行驶的行驶场景，作为本车辆100的周边环境信息中的路面信息，有本车辆100正在行驶的车道两旁的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等。

此外，作为本车辆100的周边环境信息中的立体物信息，有存在于本车辆100正在行驶的道路旁的标识a1021、标识b1022、信号灯1023、地物a1024等。此外，作为除此以外的移动体，存在其他车辆a1001、其他车辆b1002、行人1003等。

本车辆周边的移动体为时时刻刻变化的移动体，但一般路面涂料或道路周边的标识、信号灯等只要不变更，则能够认为是始终存在的物体。并且，将这样始终存在的物体即路面涂料、标识、信号灯的位置作为地图上的信息存储于周边环境存储单元62中。由此，在本车辆100正在行驶时，若本车辆100的位置被确定，则通过关联地图信息与本车辆的位置，作为本车辆100的周边环境的路面信息，能够取得本车辆100正在行驶的车道两旁的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等的位置，作为本车辆100的周边环境的立体物信息，能够取得存在于本车辆100正在行驶的车道旁的标识a1021、标识b1022、信号灯1023、地物a1024等的位置或大小、高度信息。

另一方面，在图12的实施例中，本车辆100正在行驶的车道两旁的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等的路面信息，存在于能够通过搭载在本车辆100上的图像识别装置80-1～80-4检测出的区域。因此，在图像识别装置80-1～80-4的检测性能未下降的状态下，能够检测出这些路面信息，并能够根据由图像识别装置80-1～80-4检测出的路面信息和存储于周边环境存储单元62中的路面信息求出第1类似度。

此外，作为本车辆100的周边环境信息中的立体物信息，存在于本车辆100正在行驶的车道旁的标识a1021、标识b1022、信号灯1023、地物a1024等存在于能够通过搭载在本车辆100上的图像识别装置80-1～80-4检测出的区域。因此，在图像识别装置80-1～80-4的检测性能未下降的状态下，能够检测出这些立体物信息，并能够根据由图像识别装置80-1～80-4检测出的立体物信息和存储于周边环境存储单元62中的立体物信息求出第2类似度。

图13是存储于本实施方式的周边环境存储单元62中的与周边环境信息相关的说明图。在图13中，作为存储于周边环境存储单元62的信息，至少如图13所示那样，有路面信息和立体物信息这2种信息。

路面信息为存储于路面特征量存储单元621中的信息，例如如图13所示，作为其种类，有车道标识、停止线、路面涂料、人行横道等，通过表现这些路面涂料存在于地图上的哪个位置的坐标来表现。此外，根据路面涂料的种类，将该涂料的大小存储为信息。

由此，本车辆100在地图上的位置被确定时，获知在从本车辆100的位置起的哪个位置存在路面涂料。此外，立体物信息为存储于立体物特征量存储单元622中的信息，例如如图13所示那样，作为其种类，有标识、广告牌、信号灯、其他立体地物等，通过表现这些存在于道路周边的立体物位于地图上的哪个位置的坐标来表现。此外，也可以将立体物的高度、宽度等表现立体物的大小的参数存储为信息。由此，本车辆100在地图上的位置被确定时，获知在从本车辆100的位置起的哪个位置存在哪些立体物。

图14是与本实施方式的行驶控制系统相关的行驶场景中的一实施例，是作为本车辆100的周边环境存储单元62，存储设置于道路等基础设施上的传感器信息和本车辆100所具有的地图的情况相关的说明图。

与图12同样地，图14为本车辆100正在交叉点附近行驶的行驶场景，作为本车辆100的周边环境信息中的路面信息，有本车辆100正在行驶的车道两旁的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等。

此外，作为本车辆100的周边环境信息中的立体物信息，有存在于本车辆100正在行驶的道路旁的标识a1021、标识b1022、信号灯1023、地物a1024等。此外，作为除此以外的移动体，存在其他车辆a1001、其他车辆b1002、行人1003等。

本车辆周边的移动体为时时刻刻变化的移动体，但一般路面涂料或道路周边的标识、信号灯等只要不变更，则能够认为是始终存在的物体。在这样的交叉点，为了将交通状况的监视、交叉点近旁的交通信息提供给进入交叉点的各车辆来进行驾驶的辅助，有时在道路近旁设置基础设施设置传感器2000。作为该基础设施设置传感器2000的一例，有时应用图像识别装置，在基础设施设置传感器2000的图像识别装置中，有时对道路周边的环境进行识别。该基础设施设置传感器2000为了在恶劣环境下掌握交通状况，有时通过红外线摄像机等多个传感器对交通状况进行检测。本车辆100通过通信装置取得由这样的基础设施设置传感器2000检测出的与道路周边的移动体、立体物、路面相关的信息，从而能够将存储在本车辆100的周边环境存储单元62中的周边环境信息更新为最新的信息。

由此，将存储于周边环境存储单元62中的路面信息、立体物信息设为当前的最新信息，从而有能够将图像识别装置80-1～80-4的检测性能的判定结果设为具有更高可靠性的效果。此外，在基础设施设置传感器2000中还具有如下效果：还能够对仅当前存在的移动体进行检测，通过比较这样的仅当前存在的移动体的检测结果与由车辆100的图像识别装置80-1～80-4检测出的移动体相关的信息，来进行移动立体物的检测性能的判定。在上述例子中，对作为基础设施设置传感器2000使用图像识别装置的例子进行了叙述，但有时也可以使用扫描式雷达来取得存在于道路周边的立体物或涂料的信息。

本车辆100通过通信装置取得以上那样由基础设施设置传感器2000检测出的信息，可以将路面的涂料、标识、信号灯的位置作为地图上的信息存储于周边环境存储单元62中。由此，与在图12中说明的情况同样地，在本车辆100正在行驶时，若本车辆100的位置被确定，则通过关联地图信息与本车辆的位置，作为本车辆100的周边环境的路面信息，能够取得本车辆100正在行驶的车道两旁的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等的位置，作为本车辆100的周边环境的立体物信息，能够取得存在于本车辆100正在行驶的车道旁的标识a1021、标识b1022、信号灯1023、地物a1024等的位置或大小、高度信息。

并且，通过搭载于本车辆100的图像识别装置80-1～80-4检测本车辆100正在行驶的车道两侧的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等路面信息，能够根据由图像识别装置80-1～80-4检测出的路面信息和存储于周边环境存储单元62的路面信息求出第1类似度，通过搭载于本车辆100的图像识别装置80-1～80-4检测存在于本车辆100正在行驶的道路旁的标识a1021、标识b1022、信号灯1023、地物a1024等立体物信息，能够根据由图像识别装置80-1～80-4检测出的立体物信息和存储于周边环境存储单元62的立体物信息求出第2类似度。

图15作为与本实施方式的行驶控制系统相关的行驶场景中的一实施例，是作为本车辆100的周边环境存储单元62，存储其他车辆检测出的信息和本车辆所具有的地图的情况相关的说明图。

与图12、图14同样地，图15为本车辆100正在交叉点附近行驶的行驶场景，作为本车辆100的周边环境信息中的路面信息，有本车辆100正在行驶的车道两旁的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等。

此外，作为本车辆100的周边环境信息中的立体物信息，有存在于本车辆100正在行驶的道路旁的标识a1021、标识b1022、信号灯1023、地物a1024等。此外，作为除此以外的移动体，存在其他车辆a1001、其他车辆b1002、其他车辆c1004、行人1003等。本车辆周边的移动体为时时刻刻变化的移动体，但一般路面涂料或道路周边的标识、信号灯等只要不变更，则能够认为是始终存在的物体。

在这样的行驶场景中，其他车辆a1001、其他车辆b1002、其他车辆c1004分别搭载有检测各车辆的周边信息的车载传感器，有时能够通过通信装置与其他车辆或数据中心通信车辆所具有的信息。存在具有这样的检测周边环境的传感器和通信装置的其他车辆的情况下，其他车辆a1001具有由车载传感器检测出的路面信息(停止线位置、车道标识位置、人行横道位置等)、立体物信息(标识a、b的位置、信号灯a的位置、地物a的位置)、本车辆(其他车辆a1001)以外的移动体的位置以及本车辆(其他车辆a1001)的位置的信息，本车辆100可以通过通信而取得其他车辆a1001所具有的这些信息。

由此，能够取得不是由本车辆100所具有的图像识别单元80-1～80-4检测出的信息的周边信息。通过使本车辆100的周边信息存储单元62存储这些周边信息，可以将存储于本车辆100的周边环境存储单元62的周边环境信息更新为最新的信息。也就是说，将存储于周边环境存储单元62中的路面信息、立体物信息设为当前的最新信息，从而存在将图像识别装置80-1～80-4的检测性能的判定结果设为具有更高可靠性的效果。

并且，从其他车辆a1001以外的其他车辆b1002、其他车辆c1004也同样地取得信息，因此能够广范围地更新存储于本车辆100的周边环境存储单元62的路面信息、立体物信息。此外，其他车辆a1001、其他车辆b1002、其他车辆c1004还具有如下效果：还能够对仅当前存在的移动体进行检测，通过比较这样的仅当前存在的移动体的检测结果与由本车辆100的图像识别装置80-1～80-4检测出的移动体相关的信息，来进行移动立体物的检测性能的判定。并且，还具有如下效果：还能够取得其他车辆a1001、其他车辆b1002、其他车辆c1004的各车辆的位置，能够通过比较各车辆的位置与由本车辆100的图像识别装置80-1～80-4检测出的移动体相关的信息，来进行车辆的检测性能的判定。

如上所述，本车辆100可以通过通信装置取得其他车辆检测出的周边信息，将路面的涂料、标识、信号灯的位置以及移动体的位置作为地图上的信息存储于周边环境存储单元62中。由此，与在图12、图14中说明的情况同样地，在本车辆100正在行驶时，若本车辆100的位置被确定，则通过关联地图信息与本车辆的位置，作为本车辆100的周边环境的路面信息，能够取得本车辆100正在行驶的车道两旁的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等的位置，作为本车辆100的周边环境的立体物信息，能够取得存在于本车辆100正在行驶的车道旁的标识a1021、标识b1022、信号灯1023、地物a1024等的位置或大小、高度信息。

并且，通过搭载于本车辆100的图像识别装置80-1～80-4检测本车辆100正在行驶的车道两侧的车道标识1011、1012、位于本车辆100的前进方向前方的停止线1013、位于本车辆100的前进方向前方的人行横道1014、人行横道1015等路面信息，能够根据由图像识别装置80-1～80-4检测出的路面信息和存储于周边环境存储单元62的路面信息求出第1类似度，通过搭载于本车辆100的图像识别装置80-1～80-4检测存在于本车辆100正在行驶的道路旁的标识a1021、标识b1022、信号灯1023、地物a1024等立体物信息，能够根据由图像识别装置80-1～80-4检测出的立体物信息和存储于周边环境存储单元62的立体物信息求出第2类似度。并且，具有如下效果：能够取得其他车辆a1001、其他车辆b1002、其他车辆c1004的位置，因此通过与由图像识别装置80-1～80-4检测出的车辆结果进行比较，在图像识别装置80-1～80-4的立体物检测的性能中，也能够判定车辆检测的性能。

图16作为与本实施方式的行驶控制系统相关的行驶场景中的一实施例，是在本车辆100行驶时在多个地点由图像识别装置80-1～80-4检测出的结果和存储于本车辆100的周边环境存储单元62中的信息相关的说明图。

图16为本车辆100在具有多个交叉点的直线道路上进行直线行驶的行驶场景，作为本车辆100的周边环境信息的路面信息，有本车辆100正在行驶的车道两旁的车道标识1011、1012、1016、1017、位于本车辆100的前进方向前方的停止线1013、1018、位于本车辆100的前进方向前方的人行横道1014、1015、1019等。

此外，作为本车辆100的周边环境信息的立体物信息，有存在于本车辆100正在行驶的道路旁的标识a1021、标识b1022、标识c1025、标识c1027、信号灯a1023、信号灯b1028、地物a1024、地物b1026等。此外，作为除此以外的移动体，存在其他车辆1001、1002、1004、1006、行人1003、1005等。

上述移动体时时刻刻变化，但如上所述那样，路面涂料、道路周边的标识、信号灯等只要不变更，则始终存在，将这样的路面涂料、标识、信号灯的位置作为地图上的信息存储于周边环境存储单元62中。

由此，在本车辆100正在行驶时，若本车辆100的位置被确定，则通过关联地图信息与本车辆的位置，作为本车辆100的周边环境的路面信息，能够取得本车辆100正在行驶的车道两旁的车道标识、停止线、人行横道等的位置，作为本车辆100的周边环境的立体物信息，能够取得存在于本车辆100正在行驶的车道旁的标识、信号灯、地物等的位置或大小、高度信息。

在图16的例子中，本车辆100从位置a向位置b移动。本车辆100在位置a的地点能够通过图像识别装置80-1～80-4检测出车道标识1011、1012、停止线1013、人行横道1014、人行横道1015等作为本车辆100的周边环境的路面信息，检测出标识a1021、标识b1022、信号灯a1023、地物a1024等的位置或大小作为本车辆100的周边环境的立体物信息。

此外，在该位置a的地点能够取得存储于周边信息存储单元62中的路面信息和立体物信息，因此能够存储该位置a的通过图像识别装置80-1～80-4检测出的路面信息与存储于周边信息存储单元62中的路面信息的类似度、通过图像识别装置80-1～80-4检测出的立体物信息与存储于周边信息存储单元62中的立体物信息的类似度。

并且，本车辆100移动，在位置b也同样能够通过图像识别装置80-1～80-4检测出车道标识1016、1017、停止线1018、人行横道1019等作为本车辆100的周边环境的路面信息，检测出标识c1025、标识d1027、信号灯b1028、地物b1026的位置、大小作为本车辆100的周边环境的立体物信息。

此外，在该位置b的地点能够取得存储于周边信息存储单元62中的路面信息和立体物信息，因此能够存储该位置b的通过图像识别装置80-1～80-4检测出的路面信息与存储于周边信息存储单元62中的路面信息的类似度、通过图像识别装置80-1～80-4检测出的立体物信息与存储于周边信息存储单元62中的立体物信息的类似度。这样在本车辆100移动的过程中存储了多个位置的与路面信息相关的类似度和与立体物信息相关的类似度，使用这些多个位置的类似度信息，能够最终求出当前的与立体物、路面相关的类似度。

这样，通过存储多个位置的类似度信息来求出最终的与立体物、路面相关的类似度，在各位置可用于判定的路面信息(停止线、人行横道等)、立体物信息(标识、信号灯等)较少的情况下，也可以通过使用多个位置的可利用的路面信息(停止线、人行横道等)、立体物信息(标识、信号灯等)，使判定所需要的数据量增加，提高检测性能的判定的可靠性。

图17是在本实施方式的行驶控制系统中，根据存储于周边环境存储单元62中的路面信息和由图像识别装置80-1～80-4检测出的路面信息判定类似度的一实施例相关的说明图。

作为存储于周边环境存储单元62中的路面信息，如图17的例子所示那样，有左右的车道标识、停止线、人行横道等路面涂料信息。这些信息根据本车辆的位置而变化。本车辆100在某位置通过图像识别装置80-1～80-4检测出本车辆100周边的路面信息时，与检测出的位置和种类所对应的存储于周边环境存储单元62中的路面信息进行比较。

例如，在图17的例子中，对于本车辆100前方x[m]前的右侧的车道标识，图像识别装置80-1～80-4进行检测，作为存储于周边环境存储单元62中的路面信息有同样的信息的情况下，作为类似判定结果设定1。同样地，对于本车辆100前方x[m]前的右侧的车道标识，图像识别装置80-1～80-4进行检测，作为存储于周边环境存储单元62中的路面信息有同样的信息的情况下，作为类似判定结果设定1。

此外，作为存储于周边环境存储单元62中的路面信息，本车辆100的前方k[m]前有停止线a，但在本车辆100前方的同样的位置，图像识别装置80-1～80-4无法检测出停止线的情况下，作为类似判定结果设定0。

并且，作为存储于周边环境存储单元62中的路面信息，本车辆100的前方l[m]前有人行横道a，在本车辆100前方的同样的位置，通过图像识别装置80-1～80-4检测出人行横道的情况下，作为类似判定结果设定1。通过以上这样的方法，求出与路面信息相关的类似判定结果。作为根据这些结果求出类似度的方法，能够设定类似判定结果的总和相对于进行了类似判定的对象物总数的比例作为类似度。

也就是说，进行了类似判定的总数和类似判定结果的综合相同时，类似度为1，当类似判定结果的总和为0时类似度为0。在此，为了求出类似度而使用的进行了类似判定的对象物也可以从最新检测出的结果追溯到过去而利用预定的总数来进行。此外，也可以设为从现在起在过去预定时间内进行了类似判定的全部对象物。通过还利用过去的类似判定结果来求出类似度，能够掌握图像识别装置80-1～80-4的检测性能的变化历史，具有能够判定检测性能的下降的效果。

图18是在本实施方式的行驶控制系统中，根据存储于周边环境存储单元62中的立体物信息和由图像识别装置80-1～80-4检测出的立体物信息判定类似度的一实施例相关的说明图。

作为存储于周边环境存储单元62中的立体物信息，如图18的例子所示那样，有信号灯、标识、立体物等道路周边的立体物信息。这些信息根据本车辆的位置而变化。本车辆100在某位置通过图像识别装置80-1～80-4检测出本车辆100周边的立体物信息时，与检测出的位置和种类所对应的存储于周边环境存储单元62中的立体物信息进行比较。

例如，在图18的例子中，对于本车辆100前方x[m]前的信号灯a，图像识别装置80-1～80-4对信号灯a进行检测，作为存储于周边环境存储单元62中的立体物信息有同样的信号灯的信息的情况下，作为类似判定结果设定1。对于本车辆100前方y[m]前的标识b，图像识别装置80-1～80-4进行检测，作为存储于周边环境存储单元62中的立体物信息有同样的标识信息的情况下，作为类似判定结果设定1。

并且，作为存储于周边环境存储单元62中的立体物信息，本车辆100的前方z[m]前有标识a，但在本车辆100前方的同样的位置，图像识别装置80-1～80-4无法检测出标识a的情况下，作为类似判定结果设定0。

通过如上所述地比较存储于周边环境存储单元62中的各立体物信息和本车辆100的图像识别装置80-1～80-4的检测结果，作为类似判定结果设定0或1。通过以上这样的方法求出与立体物信息相关的类似判定结果。作为根据这些结果求出类似度的方法，能够设定类似判定结果的总和相对于进行了类似判定的对象物总数的比例作为类似度。也就是说，进行了类似判定的总数和类似判定结果的总和相同时类似度为1，当类似判定结果的总和为0时类似度为0。

在此，为了求出类似度而使用的进行了类似判定的对象物，也可以从最新检测出的结果追溯到过去而利用预定的总数来进行。此外，也可以设为从现在起在过去预定时间内进行了类似判定的全部对象物。通过还利用过去的类似判定结果来求出类似度，能够掌握图像识别装置80-1～80-4的检测性能的变化历史，具有能够判定检测性能的下降的效果。

另外，通过所有图像识别装置80-1～80-4对周边的路面、立体物进行检测，还能够求出作为整体的第1类似度或第2类似度，能够针对图像识别装置80-1～80-4的各自的可检测区域求出类似度，求出各个图像识别装置的第1类似度、第2类似度，求出各图像识别装置的检测性能的变化。

图19是在本实施方式的行驶控制系统中，根据第1类似度和第2类似度通知图像识别装置80-1～80-4的性能的一实施例相关的说明图。图19是从上到下示出了第1类似度、第2类似度、路面信息检测警报、立体物信息检测警报的时间变化的例子。

对于第1类似度和第2类似度分别设定判定值j11、j12和判定值j21、j22。此外，对于路面信息检测警报、立体物信息检测警报，有警告显示模式和控制解除模式这2个模式，其中，警告显示模式是显示路面信息检测、立体物信息检测正在下降的模式，控制解除模式是显示路面信息检测、立体物信息检测正在下降，难以使用路面信息检测结果、立体物信息检测结果来进行行驶控制的模式。

图19为与路面信息相关的第1类似度下降的情况的例子。第1类似度随着时间下降，在时刻t1低于判定值j11。在第1类似度低于判定值j11的时刻t1，在路面信息检测警报中显示成为警告显示模式，路面信息检测正在下降。然后，与路面信息相关的第1类似度持续下降，在时刻t2低于判定值j12。在第1类似度低于判定值j12的时刻t2，在路面信息检测警报中显示成为控制解除模式，路面信息检测下降，难以继续使用了路面信息检测结果的行驶控制，实际上解除使用了路面信息检测结果的行驶控制。

在本实施例中，示出了涉及路面信息检测警报的例子，但对于立体物信息检测警报也同样如此。此外，使用第1类似度和第2类似度进行了说明，但使用根据第1类似度运算出的路面检测性能的指标或根据第2类似度运算出的立体物检测性能的指标也同样如此。

如上所述，根据类似度的下降或检测性能的指标进行检测性能下降的判定和显示，进行检测性能下降的判定和显示后，进行伴随检测性能下降的行驶控制的解除，从而不对驾驶员急剧地解除控制，因此存在能够使驾驶员事先对应伴随检测性能下降的控制的解除的效果。

图20是在本实施方式的行驶控制系统中，根据第1类似度和第2类似度变更行驶控制装置60的行驶控制的一实施例相关的说明图。图20(a)示出第1类似度、第2类似度、行驶控制装置60执行的控制模式的时间变化。此外，图20(b)表示与(a)不同的场景中的第1类似度、第2类似度、行驶控制装置60执行的控制模式的时间变化。

与图19同样地，对于图20(a)、(b)所示的第1类似度和第2类似度，分别设定判定值j11、j12和判定值j21、j22。此外，行驶控制装置60具有模式a、模式b、模式c、取消这4个模式作为控制模式。在此，作为模式a、b、c、取消的例子，模式a为融合了对本车辆100前方的车道标识进行检测而使车辆维持在车道中央的控制以及对本车辆100前方的移动体或障碍物进行检测来避免碰撞的控制的自动行驶控制模式，模式b为对本车辆100前方的移动体或障碍物进行检测来避免碰撞的控制模式，模式c为对本车辆100前方的车道标识进行检测而使车辆维持在车道中央的控制模式，取消为解除所有自动驾驶或驾驶辅助模式的控制模式。

对图20(a)的例子进行说明。图20(a)为如下情况的例子：首先，以融合了对本车辆100前方的车道标识进行检测而使车辆维持在车道中央的控制以及对本车辆100前方的移动体或障碍物进行检测来避免碰撞的控制的自动行驶控制模式(模式a)行驶，与路面信息相关的第1类似度下降。如图20(a)所示，第1类似度随着时间而下降，在时刻t1低于判定值j11。在时刻t1低于判定值j11时，向驾驶员显示路面检测性能下降，但控制模式不发生变化而维持模式a。然后，与路面信息相关的第1类似度进一步下降，在时刻t2低于判定值j12时，判定为路面检测性能下降，难以维持基于路面检测的控制。其结果，判定为无法进行对本车辆100前方的车道标识进行检测而使车辆维持在车道中央的控制，仅能够维持对本车辆100前方的移动体或障碍物进行检测来避免碰撞的控制，控制模式从模式a迁移至模式b。在图像识别装置80-1～80-4的检测性能下降而从模式a迁移至模式b的情况下，迁移后经过预定时间时，在时刻t3由于图像识别装置80-1～80-4的检测性能下降而模式迁移，因此向解除全部自动控制的取消模式迁移。

接着，对图20(b)的例子进行说明。图20(b)为如下情况的例子：首先，以融合了对本车辆100前方的车道标识进行检测而使车辆维持在车道中央的控制以及对本车辆100前方的移动体或障碍物进行检测来避免碰撞的控制的自动行驶控制模式(模式a)行驶，与立体物信息相关的第2类似度下降。如图20(b)所示，第2类似度随着时间而下降，在时刻t1低于判定值j21。在时刻t1低于判定值j21时，向驾驶员显示立体物检测性能已下降，但控制模式不发生变化而维持模式a。然后，与立体物信息相关的第2类似度进一步下降，在时刻t2低于判定值j22时，判定为立体物检测性能下降，难以维持基于立体物检测的控制。其结果，判定为无法维持对本车辆100前方的移动体或障碍物进行检测而避免碰撞的控制，仅能够维持对本车辆100前方的车道标识进行检测而使车辆维持在车道中央的控制，控制模式从模式a迁移至模式c。在图像识别装置80-1～80-4的检测性能下降而从模式a迁移至模式c的情况下，迁移后经过预定时间时，在时刻t3由于图像识别装置80-1～80-4的检测性能下降而模式迁移，因此向解除全部自动控制的取消模式迁移。

在本实施例中，使用第1类似度和第2类似度进行了说明，但使用根据第1类似度运算出的路面检测性能的指标或根据第2类似度运算出的立体物检测性能的指标也同样如此。

如上所述，根据类似度的下降或检测性能的指标进行检测性能下降的判定和显示，进行检测性能下降的判定和显示后，进行伴随检测性能下降的行驶控制的解除，从而不对驾驶员急剧地解除控制，因此存在能够使驾驶员事先对应伴随检测性能下降的控制解除的效果。此外，在路面检测性能、立体物检测性能中的某一个下降了的情况下，最初解除使用了性能先下降了的检测结果的控制，接着解除使用了另一检测结果的控制，从而能够使驾驶员具有富余地解除全部控制。

符号说明

10原动机；

20变速机；

30原动机控制装置；

40制动控制装置；

50通信装置；

60行驶控制装置；

61性能判定单元；

62周边环境存储单元；

63车辆控制单元；

64操作量运算单元；

65显示装置；

66警报单元；

67图像识别存储装置；

68本车辆位置存储单元；

80-1图像识别装置；

80-2图像识别装置；

80-3图像识别装置；

80-4图像识别装置；

90制动装置；

100车辆、本车辆；

110警报装置；

120显示装置；

611类似度运算单元；

612性能定量化单元；

613第1类似度运算单元；

614第2类似度运算单元；

621路面特征量存储单元；

622立体物特征量存储单元。