图像处理装置、图像处理方法和程序与流程

本公开涉及图像处理装置、图像处理方法和程序，并且更具体地涉及允许关于是否有必要进行相机校准的判定的图像处理装置、图像处理方法和程序。

背景技术：

在通过联合由多个相机捕获的图像执行的图像处理中，重要的是以高准确度控制相机的三维(3d)位置与朝向(姿势)之间的关系。而且，相机的3d位置与朝向之间的关系依赖于震动、温度、时间流逝等而变化。因此，这些关系的控制参数需要定期更新。

由相机捕获的图像的校正被认为是控制相机的3d位置与朝向之间的关系使得存在给定关系的做法。作为确定用于图像校正的参数的做法(即，例如相机校准方法)，找到校正参数，使得作为利用相应相机捕获特殊图案的结果而产生期望的图像。这种方法需要拍摄特殊图案，从而使得难以定期更新参数。

为此，提出了一种确定参数的方法，使得通过使用在正常使用情况下由多个相机捕获的图像来增强每个图像中的已知位图的相似性而不使用特殊图案(例如参考ptl1)。这种方法允许在正常使用情况下确定参数，由此允许参数的定期更新。而且，构想了通过拍摄任意场景来确定参数的方法。

[引文列表]

[专利文献]

[ptl1]

jp2012-75060a

技术实现要素：

[技术问题]

顺便提及，相机校准需要相对较多的处理。因此，期望通过判定是否有必要进行相机校准并且仅在需要时校准相机来减少处理量。

鉴于上述问题设计了本公开，并且本公开的目标是允许判定相机校准是否有必要。

[问题的解决方案]

本公开的一方面的图像处理装置包括判定部分，该判定部分使用由第一成像部分在第一时间捕获的第一图像和由第一成像部分在晚于第一时间的第二时间捕获的第二图像来判定是否有必要校准第一成像部分。

本公开的一方面的图像处理方法和程序与本公开的一方面的图像处理装置相关联。

在本公开的一方面中，是否有必要校准第一成像部分是使用由第一成像部分在第一时间捕获的第一图像和由第一成像部分在晚于第一时间的第二时间捕获的第二图像来判定的。

[发明的有益效果]

根据本公开的一方面，有可能执行图像处理。而且，根据本公开的一方面，有可能判定是否有必要进行相机校准。

应当注意的是，本文描述的效果不一定是受限的，并且可以是本公开中描述的效果中的任何一个。

附图说明

图1是图示对其应用本公开的车载相机系统的第一实施例的概述的图。

图2是图示安装到图1中所绘出的车辆的图像处理装置的配置例的框图。

图3是图示图2中所绘出的行进量估计部分的配置例的框图。

图4是图示图2中所绘出的位置检测部分的配置例的框图。

图5是描述图2中所绘出的图像处理装置的图像处理的流程图。

图6是描述图5中所绘出的校准判定处理的细节的流程图。

图7是描述图5中所绘出的相机关系识别处理的细节的流程图。

图8是图示对其应用本公开的车载相机系统的第二实施例的概述的图。

图9是图示图8中所绘出的车载相机系统的位置检测部分的配置例的框图。

图10是图示对其应用本公开的车载相机系统的第三实施例的概述的图。

图11是图示对其应用本公开的车载相机系统的第四实施例的概述的图。

图12是图示安装到图11中所绘出的车辆的图像处理装置的配置例的框图。

图13是描述图12中所绘出的图像处理装置的校准判定处理的流程图。

图14是图示对其应用本公开的车载相机系统的第五实施例的概述的图。

图15是图示计算机的硬件配置例的框图。

图16是图示车辆控制系统的示意性配置的示例的框图。

图17是图示车外信息检测部分和成像部分的安装位置的示例的解释图。

具体实施方式

下面将给出用于执行本公开的模式(在下文中被称为实施例)的描述。应当注意的是，将按照以下次序给出描述：

1.第一实施例：车载相机系统(图1至图7)

2.第二实施例：车载相机系统(图8和9)

3.第三实施例：车载相机系统(图10)

4.第四实施例：车载相机系统(图11至图13)

5.第五实施例：车载相机系统(图14)

6.第六实施例：计算机(图15)

7.第七实施例：车辆控制系统(图16和17)

<第一实施例>

(车载相机系统的第一实施例的概述)

图1是图示对其应用本公开的车载相机系统的第一实施例的概要的图。

图1中所绘出的车载相机系统10包括车辆11、相机12和13等。应当注意的是，在本说明书中，将正常行进时面向车辆11的行进方向的前、后、右和左称为车辆11的前、后、右和左。

相机12(第一成像部分)和相机13(第二成像部分)安装到车辆11的车顶前部，使得成像区域重叠。在图1中所绘出的示例中，道路标志21，在车辆11前方的已知物体，被包括在相机12和13的成像区域中。

虽然道路标志21在第一实施例中是已知物体，但是已知物体可以是道路上除道路标志以外的物体或者车辆11的物体(诸如车号牌和徽章)，只要它是已知尺寸和形状的物体即可。

安装到车辆11的图中未绘出的图像处理装置估计道路标志21相对于相机12和13中的每一个的3d位置和朝向。

应当注意的是，相对于相机12(相机13)的3d位置是例如当相机12(相机13)的成像平面的给定位置(例如，中心)被假设为原点时并且当其成像平面的水平和垂直方向以及垂直于成像平面的方向被假设为分别是x、y和z方向时在x、y和z方向上的位置。而且，相对于相机12(相机13)的朝向是关于这些x、y和z方向的旋转角度。

图像处理装置基于道路标志21相对于相机12和13中的每一个的3d位置和朝向来识别相机12和13的3d位置与朝向之间的关系，并且基于这些关系执行相机12和13的校准。

相机12和13的3d位置之间的关系是指例如当相机12和13之一的成像平面的给定位置(例如，中心)被假设为原点时并且当其成像平面的水平和垂直方向以及垂直于成像平面的方向被假设为分别是x、y和z方向时相机12和13中的另一个的成像平面的给定位置在x、y和z方向上的位置。而且，相机12和13的朝向之间的关系是指例如相机12和13中的另一个的成像平面相对于这些x、y和z方向的旋转角度。

(图像处理装置的配置例)

图2是图示安装到图1中所绘出的车辆11的图像处理装置的配置例的框图。

图2中所绘出的图像处理装置40包括行进量估计部分41、判定部分42、行进量估计部分43、判定部分44、位置检测部分45以及校正部分46。

由相机12和13捕获的图像被输入到图像处理装置40。由相机12捕获的图像被供应给行进量估计部分41、行进量估计部分43、位置检测部分45和校正部分46，并且由相机13捕获的图像被供应给行进量估计部分41、行进量估计部分43、位置检测部分45和校正部分46。而且，成像参数从相机12和13被输入到图像处理装置40，并被供应给位置检测部分45。

应当注意的是，成像参数是例如当图像上的位置被转换成真实世界的3d空间中的位置时所使用的内部参数(诸如基于焦距、像素尺寸等的水平和垂直放大率)。例如，在ptl1中描述了内部参数的细节。

图像处理装置40的行进量估计部分41使用从相机12供应的不同时间(帧)的图像来估计相机12在那些时间之间的3d位置和朝向的行进量，并将行进量供应给判定部分42。

判定部分42基于从行进量估计部分41供应的行进量和由安装到车辆11的速度计(未绘出)测得的车辆11的速度来判定是否有必要校准相机12。判定部分42将判定结果供应给位置检测部分45和校正部分46。

行进量估计部分43使用在不同时间(帧)从相机13供应的图像来估计在那些时间期间相机13的3d位置和朝向的行进量，并且将行进量供应给判定部分44。

判定部分44基于从行进量估计部分43供应的行进量和由安装到车辆11的速度计(未绘出)测得的车辆11的速度来判定是否有必要校准相机13。判定部分44将判定结果供应给位置检测部分45和校正部分46。

在根据判定部分42和判定部分44中的至少一个供应的判定结果有必要校准的情况下，位置检测部分45检测作为常见的已知物体包括在从相机12和13供应的图像中的道路标志21。

然后，位置检测部分45基于从相机12和13中的每一个供应的成像参数来估计道路标志21相对于相机12和13中的每一个的3d位置和朝向。位置检测部分45基于这些3d位置和朝向识别相机12与13的3d位置和朝向之间的关系。位置检测部分45将这些关系供应给校正部分46。

校正部分46基于从位置检测部分45供应的相机12和13之间的关系以及从判定部分42和判定部分44供应的判定结果来确定用于校正相机12和13中的至少一个的图像的校正参数，并保存(retain)(更新)校正参数。校正部分46使用保存的校正参数来校正从相机12和13供应的图像，并输出校正的图像。而且，所保存的用于相机12的校正参数被行进量估计部分41读取并将其用于估计相机12的行进量。所保存的用于相机13的校正参数被行进量估计部分43读取并将其用于估计相机13的行进量。

例如，可以确定校正参数，使得相机12和13的朝向及其在y和z方向上的位置相同。在这种情况下，作为校正部分46校正的结果，由相机12和13捕获的图像彼此平行。

(行进量估计部分的配置例)

图3是图示图2中所绘出的行进量估计部分41的配置例的框图。

行进量估计部分41包括图像校正部分61、图像校正部分62、特征点检测部分63、视差检测部分64、位置计算部分65、特征量计算部分66、地图信息存储部分67、运动匹配部分68和行进量计算部分69。

图像校正部分61基于由图2中所绘出的校正部分46保存的用于相机12的校正参数来校正从相机12供应的图像，使得该图像与从相机13供应的图像面向相同的方向。图像校正部分61将校正的图像作为左图像供应给视差检测部分64和运动匹配部分68。

图像校正部分62基于由图3中所绘出的校正部分46保存的用于相机13的校正参数来校正从相机13供应的图像，使得该图像与从相机12供应的图像面向相同的方向。图像校正部分62将校正的图像作为右图像供应给特征点检测部分63。

特征点检测部分63检测从图像校正部分62供应的右图像的特征点。特征点检测部分63向视差检测部分64和特征量计算部分66供应指示在右图像上检测到的每个特征点的位置以及右图像。

视差检测部分64基于从特征点检测部分63供应的右特征点位置信息和右图像从图像校正部分61供应的左图像中检测与右图像的特征点之一对应于的每个特征点。视差检测部分64向位置计算部分65供应指示在左图像上检测到的每个特征点的位置的左特征点位置信息以及右特征点位置信息。而且，视差检测部分64针对每个特征点检测由右特征点位置信息指示的位置与由左特征点位置信息指示的位置之间的差作为立体视差，并将每个特征点的立体视差供应给位置计算部分65。

位置计算部分65基于从视差检测部分64供应的立体视差、右特征点位置信息和左特征点位置信息来计算每个特征点在真实世界的3d空间中的位置。位置计算部分65向特征量计算部分66供应指示每个特征点在真实世界的3d空间中的位置的3d位置信息。

特征量计算部分66基于从特征点检测部分63供应的右特征点位置信息和右图像来计算每个特征点的特征量。特征量计算部分66在地图信息存储部分67中存储包括每个特征点的3d位置信息和特征量的特征点信息。

运动匹配部分68从地图信息存储部分67读取从过去的左图像和右图像检测到的每个特征点的特征点信息。运动匹配部分68基于读取的特征点信息中包括的每个特征点的特征量并且根据从图像校正部分61供应的当前左图像来检测与那个特征点对应的特征点。运动匹配部分68向行进量计算部分69供应包括在读取的特征点信息中的每个特征点的3d位置信息以及用于那个特征点的左特征点位置信息。

行进量计算部分69基于从运动匹配部分68供应的每个过去的特征点的3d位置信息以及与那个特征点对应的当前特征点的左特征点位置信息来估计相机12的3d位置和朝向的帧-帧行进量。行进量计算部分69将估计出的行进量供应给图2中所绘出的判定部分42。

应当注意的是，虽然图3中所绘出的行进量估计部分41基于立体视差来计算每个特征点的3d位置，但是可以基于移动视差来计算每个特征点的3d位置。在这种情况下，视差检测部分64在不同时间使用左图像(右图像)检测左图像(右图像)的每个特征点的移动视差。然后，位置计算部分65基于由视差检测部分64检测到的移动视差和左特征点位置信息(右特征点位置信息)来计算每个特征点的3d位置。

而且，虽然没有绘出，但是，除右图像而不是左图像被输入到运动匹配部分68之外，行进量估计部分43具有与图3中所绘出的行进量估计部分41相似的配置。应当注意的是，在这里，行进量估计部分41和判定部分42二者以及行进量估计部分43和判定部分44二者是分开提供的，因此校准相机12和13的需要是分开判定的。但是，在行进量估计部分41如图3中所绘出的那样配置的情况下，关于相机12和13的校准需要的判定结果是相同的。因此，可以仅提供行进量估计部分41和判定部分42。在这种情况下，判定部分42基于从行进量估计部分41供应的行进量和由安装在车辆11的速度计(未绘出)测得的车辆11的速度来判定是否有必要校准相机12和13二者。而且，行进量估计部分41可以使用移动视差而不是立体视差来估计行进量。在这种情况下，行进量估计部分41和判定部分42二者以及行进量估计部分43和判定部分44二者是分开提供的，并且是否有必要校准相机12和13是分开判定的。

(位置检测部分的配置例)

图4是图示在图2中所绘出的位置检测部分45的配置例的框图。

图4中绘出的位置检测部分45包括字典部分80、特征点检测部分81、匹配部分82、估计部分83、特征点检测部分84、匹配部分85、估计部分86和识别部分87。

字典部分80保存道路标志21(已知物体)的多个特征点的特征量。

特征点检测部分81响应于从图2中所绘出的判定部分42和44供应的判定结果而从由相机12供应的图像中检测特征点，以用作已知物体的特征点候选。特征点检测部分81将已知物体的特征点候选的特征量和图像上的二维(2d)位置供应给匹配部分82。

匹配部分82从字典部分80中读取道路标志21的多个特征点的特征量。匹配部分82针对道路标志21的每个读取的特征点执行那个特征点的特征量与从特征点检测部分81供应的特征点候选的特征量之间的匹配，选择具有最高相似度的特征点候选作为道路标志21的特征点。匹配部分82向估计部分83供应图像上道路标志21的所选特征点的2d位置。

但是，应当注意的是，如果例如道路标志21的给定数量的特征点或更多特征点的最高相似度等于阈值或更小，那么匹配部分82判定道路标记21在从相机12供应的图像中不存在，并且不向估计部分83供应任何东西。

估计部分83基于从匹配部分82供应的图像上道路标志21的每个特征点的2d位置和从相机12供应的成像参数来找出道路标志21的每个特征点相对于相机12的3d位置。估计部分83基于道路标志21的每个特征点相对于相机12的3d位置来估计道路标志21相对于相机12的3d位置和朝向，并将该3d位置和朝向供应给识别部分87。

特征点检测部分84响应于从图2中所绘出的判定部分42和44供应的判定结果从由相机13供应的图像中检测特征点，以用作已知物体的特征点候选。特征点检测部分84将已知物体的特征点候选的特征量和图像上的2d位置供应给匹配部分85。

匹配部分85从字典部分80中读取道路标志21的多个特征点的特征量。匹配部分85针对道路标志21的每个读取的特征点执行那个特征点的特征量与从特征点检测部分84供应的特征点候选的特征量的匹配，选择具有最高相似度的特征点候选作为道路标志21的特征点。匹配部分85向估计部分86供应图像上道路标志21的所选特征点的2d位置。

但是，应当注意的是，如果例如道路标志21的给定数量的特征点或更多特征点的最高相似度等于阈值或更小，那么匹配部分85判定道路标记21在从相机13供应的图像中不存在，并且不向估计部分86供应任何东西。

估计部分86基于从匹配部分82供应的图像上道路标记21的每个特征点的2d位置和从相机13供应的成像参数来找出道路标志21的每个特征点相对于相机13的3d位置。估计部分86基于道路标记21的每个特征点相对于相机13的3d位置来估计道路标记21相对于相机13的3d位置和朝向，并将该3d位置和朝向供应给识别部分87。

识别部分87基于来自估计部分83的道路标记21相对于相机12的3d位置和朝向以及来自估计部分86的道路标记21相对于相机13的3d位置和朝向来识别相机12与13的3d位置和朝向之间的关系。识别部分87将识别出的相机12与13的3d位置和朝向之间的关系供应给图2中所绘出的校正部分46。

(由图像处理装置处理的处理的描述)

图5是描述图2中所绘出的图像处理装置40的图像处理的流程图。例如，当由相机12和13捕获的图像被输入到图像处理装置40时，这个图像处理开始。

在图5中所绘出的步骤s11中，图像处理装置40执行判定是否有必要校准相机12和13的校准判定处理。将参考将在后面描述的图6来描述这个校准判定处理的细节。

在步骤s12中，位置检测部分45基于从判定部分42和判定部分44供应的判定结果来判定是否有必要校准相机12和13中的至少一个。

具体而言，在根据从判定部分42和判定部分44中的至少一个供应的判定结果有必要校准的情况下，位置检测部分45判定有必要校准相机12和13中的至少一个。另一方面，在根据判定部分42和判定部分44供应的两个判定结果都没必要校准的情况下，位置检测部分45判定没必要校准两个相机12和13。

在步骤s12中判定相机12和13中的至少一个需要校准的情况下，位置检测部分45在步骤s13中执行识别相机12与13的3d位置和朝向之间的关系的相机关系识别处理。将参考将在后面描述的图7来描述这个相机关系识别处理的细节。

在步骤s14中，校正部分46基于从判定部分42供应的判定结果来判定是否有必要校准相机12。

在步骤s14中判定相机12需要校准的情况下，处理前进到步骤s15。在步骤s15中，校正部分46基于从位置检测部分45供应的相机12与13的3d位置和朝向之间的关系来确定用于校正相机12的图像的校正参数，并且保存(更新)校正参数。然后，处理前进到步骤s16。

另一方面，在步骤s14中判定相机12不需要校准的情况下，处理前进到步骤s16。

在步骤s16中，校正部分46基于从判定部分44供应的判定结果来判定是否有必要校准相机13。

在步骤s16中判定相机13需要校准的情况下，处理前进到步骤s17。在步骤s17中，校正部分46基于从位置检测部分45供应的相机12与相机13的3d位置和朝向之间的关系来确定用于校正相机13的图像的校正参数，并且保存(更新)校正参数。然后，处理前进到步骤s18。

另一方面，在步骤s16中判定相机13不需要校准的情况下，处理前进到步骤s18。

而且，在步骤s12中判定相机12和13都不需要校准的情况下，处理前进到步骤s18。

在步骤s18中，校正部分46使用所保存的校正参数来校正从相机12和13供应的图像，输出校正的图像，并且终止处理。

图6是关于图5中步骤s11中的校准判定处理描述用于相机12的校准判定处理的细节的流程图，该处理判定是否有必要校准相机12。

在图6中所绘出的步骤s31中，图像校正部分61基于由图2中所绘出的校正部分46所保存的相机12的校正参数来校正从相机12供应的图像，使得该图像与从相机13供应的图像面向相同的方向。图像校正部分61将校正的图像作为左图像供应给视差检测部分64和运动匹配部分68。而且，图像校正部分62基于由图2中所绘出的校正部分46所保存的相机13的校正参数来校正从相机13供应的图像，使得该图像与从相机12供应的图像面向相同的方向。图像校正部分62将校正的图像作为右图像供应给特征点检测部分63。

在步骤s32中，特征点检测部分63检测从图像校正部分62供应的右图像的特征点。特征点检测部分63将每个检测到的特征点的右特征点位置信息及右图像供应给视差检测部分64和特征量计算部分66。

在步骤s33中，视差检测部分64基于从特征点检测部分63供应的右特征点位置信息和右图像从图像校正部分61供应的左图像中检测与右图像的每个特征点对应的特征点。视差检测部分64向位置计算部分65供应每个检测到的特征点的左特征点位置信息以及右特征点位置信息。

在步骤s34中，视差检测部分64检测由右特征点位置信息指示的位置与由左特征点位置信息指示的位置之间的差作为立体视差，并将每个特征点的立体视差供应给位置计算部分65。

在步骤s35中，位置计算部分65基于从视差检测部分64供应的立体视差、右特征点位置信息和左特征点位置信息来计算每个特征点在真实世界的3d空间中的位置。位置计算部分65将每个特征点的3d位置信息供应给特征量计算部分66。

在步骤s36中，特征量计算部分66基于从特征点检测部分63供应的右特征点位置信息和右图像来计算每个特征点的特征量。

在步骤s37中，特征量计算部分66将包括每个特征点的3d位置信息的特征点信息供应给地图信息存储部分67用于存储。

在步骤s38中，运动匹配部分68从地图信息存储部分67读取从过去的左图像和右图像检测到的每个特征点的特征点信息。

在步骤s39中，运动匹配部分68基于包括在读取的特征点信息中的每个特征点的特征量从图像校正部分61供应的当前左图像中检测与那个特征点对应的特征点。运动匹配部分68向行进量计算部分69供应包括在读取的特征点信息中的每个特征点的3d位置信息和与那个特征点对应的左特征点位置信息。

在步骤s40中，行进量计算部分69基于从运动匹配部分68供应的3d位置信息和左特征点位置信息来估计相机12的3d位置和朝向的帧-帧行进量。行进量计算部分69将估计的行进量供应给判定部分42。

在步骤s41中，判定部分42基于从行进量估计部分41供给的相机12的行进量和由安装到车辆11的速度计(未示出)测得的车辆11的速度来判定是否有必要校准相机12。判定部分42将判定结果供应给位置检测部分45和校正部分46。

应当注意的是，关于校准判定处理，因为这个处理除了从步骤s39到步骤s41的处理之外类似于图6中所绘出的用于相机12的校准判定处理，因此没有绘出判定是否有必要校准相机13的用于相机13的校准判定处理。

在用于相机13的校准判定处理中，在步骤s39中从右图像检测特征点，在步骤s40中估计相机13的3d位置和朝向的行进量，并且在步骤s41中判定相机13是否需要校准。

图7是描述图5的步骤s13中的相机关系识别处理的细节的流程图。

在图7中所绘出的步骤s51中，特征点检测部分81(图4)从相机12供应的图像中检测特征点，以用作道路标志21的特征点候选。特征点检测部分81将道路标记21的特征点候选的特征量和图像上的2d位置供应给匹配部分82。

在步骤s52中，匹配部分82针对其特征量由字典部分80保存的道路标记21的每个特征点在那个特征点的特征量与从特征点检测部分81供应的道路标志21的特征点候选的特征点之间进行匹配。匹配部分82选择作为匹配结果获得的具有最高相似度的道路标志21的特征点候选作为道路标志21的特征点。

在步骤s53中，匹配部分82判定道路标志是否包括在从相机12供应的图像中。例如，在关于道路标志21的所选特征点中其相似度等于阈值或更小的特征点的数目小于给定数量的情况下，匹配部分82判定道路标志被包括在从相机12供应的图像中，并且如果特征点的数量等于或大于给定数量，那么匹配部分82判定不包括道路标志。

在步骤s53中判定道路标志被包括在从相机12供应的图像中的情况下，匹配部件82将图像上道路标志21的所选特征点的2d位置供应给估计部分83。

然后，在步骤s54中，估计部分83基于从匹配部分82供应的图像上道路标志21的特征点的2d位置以及从相机12供应的成像参数来估计道路标志21相对于相机12的3d位置和朝向。估计部分83向识别部分87供应道路标记21相对于相机12的估计的3d位置和朝向。

在步骤s55中，特征点检测部分84从相机13供应的图像中检测特征点，以用作道路标志21的特征点候选。特征点检测部分84将道路标志21的特征点候选的特征量和图像上的2d位置供应匹配部分85。

在步骤s56中，匹配部分85针对其特征量由字典部分80保存的道路标志21的每个特征点在那个特征点的特征量与从特征点检测部分84供应的道路标志21的特征点候选的特征点之间进行匹配。匹配部分85选择作为匹配结果获得的具有最高相似度的道路标志21的特征点候选作为道路标志21的特征点。

在步骤s57中，匹配部分85如匹配部分82那样判定道路标志是否包括在从相机13供应的图像中。在步骤s57中判定道路标志包括在从相机13供应的图像中的情况下，匹配部分85将图像上道路标志21的所选特征点的2d位置供应给估计部分86。

然后，在步骤s58中，估计部分86基于从匹配部分85供应的图像上道路标志21的特征点的2d位置以及从相机13供应的成像参数来估计道路标志21相对于相机13的3d位置和朝向。估计部分83向识别部分87供应道路标记21相对于相机13的估计的3d位置和朝向。

在步骤s59中，识别部分87基于道路标志21相对于相机12的3d位置和朝向以及道路标志21相对于相机13的3d位置和朝向来识别相机12与13的3d位置和朝向之间的关系。识别部分87将相机12与13的3d位置和朝向之间的关系供应给图2中所绘出的校正部分46。然后，处理返回到图5中所绘出的步骤s13并且前进到步骤s14。

另一方面，在步骤s53中判定道路标志不包括在从相机12供应的图像中的情况下，或者在步骤s57中判定道路标志不包括在从相机13供应的图像中的情况下，处理前进到图5中所绘出的步骤s18。

因此，图像处理装置40估计道路标志21(在车载相机系统10的正常使用情况下常常由相机12和13捕获并且在道路上以中等数量存在的已知物体)相对于相机12和13的3d位置。然后，图像处理装置40基于那个3d位置来识别相机12与13之间的位置关系并且基于那个关系来校准相机12和13。

因此，与诸如拍摄需要特殊环境和装备的特殊图案的校准相比，有可能增加相机12和13的校准频率。而且，它不容易受到拍摄环境的影响，从而使得有可能以高准确度校准相机12和13。另外，相机12和13的校准仅需要有限量的处理。

而且，图像处理装置40使用由相机12(相机13)在不同时间捕获的图像来估计相机12(相机13)的行进量，并且基于该行进量来判定是否有必要校准相机12(相机13)。

因此，有可能仅当相机12(相机13)的3d位置或朝向偏离时才校准相机12(相机13)。因此，有可能降低图像处理装置40的功耗和实现图像处理装置40的处理器的能力和数量。

<第二实施例>

(车载相机系统的第二实施例的概述)

图8是图示对其应用本公开的车载相机系统的第二实施例的概述的图。

关于图8中所绘出的部件，与图1中所绘出的部件完全相同的部件用相同的标号表示。适当地省略冗余的描述。

图8中所绘出的车载相机系统100的配置与图1中所绘出的车载相机系统10的配置的不同之处在于存在两个已知物体，即，道路标志21和车号牌111。

安装到车辆11的图像处理装置(未绘出)估计道路标志21和车号牌111相对于相机12和13中的每一个的3d位置和朝向。然后，图像处理装置基于道路标志21和车号牌111相对于相机12和13中的每一个的3d位置和朝向以及3d位置和朝向的估计准确度来识别相机12与13的位置和朝向之间的关系。图像处理装置基于这些关系来校准相机12和13。

除了位置检测部分45的配置之外，第二实施例的图像处理装置的配置与图2中所绘出的图像处理装置40的配置类似。因此，下面将仅描述位置检测部分45。

(位置检测部分的配置例)

图9是图示车载相机系统100的位置检测部分45的配置例的框图。

关于图9中所绘出的部件，与图4中所绘出的部件完全相同的部件用相同的标号表示。适当地省略冗余的描述。

图9中所绘出的位置检测部分45的配置与图4中所绘出的配置的不同之处在于，代替字典部分80、匹配部分82、估计部分83、匹配部分85、估计部分86和识别部分87，提供了字典部分120、匹配部分122、估计部分123、匹配部分125、估计部分126和识别部分127。

字典部分120保存道路标志21和车号牌111(已知物体)的多个特征点的特征量。

匹配部分122从字典部分120中读取道路标志21和车号牌111的多个特征点的特征量。匹配部分122为道路标志21的每个读取的特征点从特征点检测部分81供应的特征点候选中选择道路标志21的特征点，如图4中所绘出的匹配部分82一样。

而且，匹配部分122针对车号牌111的每个读取的特征点在那个特征点的特征量与从特征点检测部分81供应的特征点候选的特征量之间执行匹配。匹配部分122选择作为匹配结果获得的具有最高相似度的特征点候选作为车号牌111的特征点。

匹配部分122将图像上道路标志21和车号牌111的所选特征点的2d位置供应给估计部分123。而且，匹配部分122向识别部分127供应与道路标志21和车号牌111的所选特征点相关联的相似度，作为估计部分123的估计准确度。

但是，应当注意的是，如果例如道路标志21的给定数量的特征点或更多特征点的最高相似度等于阈值或更小，那么匹配部分122判定道路标志21在从相机12供应的图像中不存在，并且不向估计部分123供应任何东西。对于车号牌111也是如此。

估计部分123基于从匹配部分122供应的图像上道路标志21的特征点的2d位置以及从相机12供应的成像参数来估计道路标志21相对于相机12的3d位置和朝向，如图4中所绘出的估计部分83那样。估计部分123向识别部分127供应道路标志21相对于相机12的3d位置和朝向。

而且，估计部分123基于从匹配部分122供应的图像上车号牌111的特征点的2d位置以及相机12的成像参数来找出车号牌111相对于相机12的每个特征点的3d位置。然后，估计部分123基于车号牌111的每个特征点相对于相机12的3d位置来估计车号牌111相对于相机13的3d位置和朝向，并将该3d位置和朝向供应给识别部分127。

匹配部分125从字典部分120中读取道路标志21和车号牌111的多个特征点的特征量。匹配部分125为道路标志21的每个读取的特征点从特征点检测部分84供应的特征点候选中选择道路标志21的特征点，如图4中所绘出的匹配部分85那样。

而且，匹配部分125针对车号牌111的每个读取的特征点在那个特征点的特征量与从特征点检测部分84供应的特征点候选的特征量之间执行匹配。匹配部分125选择作为匹配结果获得的具有最高相似度的特征点候选作为车号牌111的特征点。

匹配部分125将图像上道路标志21和车号牌111的所选特征点的2d位置供应给估计部分126。而且，匹配部分125向识别部分127供应与道路标志21和车号牌111的所选特征点相关联的相似度，作为估计部分126的估计准确度。

但是，应当注意的是，如果例如道路标志21的给定数量的特征点或更多特征点的最高相似度等于阈值或更小，那么匹配部分125判定道路标志21在从相机13供应的图像中不存在，并且不向估计部分126供应任何东西。对于车号牌111也是如此。

估计部分126基于从匹配部分125供应的图像上道路标志21的特征点的2d位置以及从相机13供应的程序参数来估计道路标志21相对于相机13的3d位置和朝向，如图4中所绘出的估计部分86那样。估计部分126向识别部分127供应道路标志21相对于相机13的3d位置和朝向。

而且，估计部分126基于从匹配部分125供应的图像上车号牌111的特征点的2d位置以及相机13的成像参数来估计车号牌111相对于相机13的3d位置和朝向，并将该3d位置和朝向供应给识别部分127。

识别部分127基于道路标志21和车号牌111相对于相机12和13中的每一个的3d位置和朝向以及估计部分123和126的估计准确度来识别相机12与13的3d位置和朝向之间的关系。

具体而言，例如，识别部分127选择与估计部分123和126关于道路标志21的平均估计准确度或者关于车号牌111的平均估计准确度中更高的一个相关联的道路标志21或者车号牌111。识别部分127基于道路标志21或车号牌111相对于相机12和13中的每一个的3d位置和朝向来识别相机12与13的3d位置和朝向之间的关系。

可替代地，识别部分127基于估计部分123和估计部分126关于道路标志21的平均估计准确度来指定道路标志21的权重，使得平均估计准确度越高，权重越大。而且，识别部分127基于估计部分123和估计部分126关于车号牌111的平均估计准确度来指定车号牌111的权重，使得平均估计准确度越高，权重越大。

然后，识别部分127针对道路标志21和车号牌111中的每一个基于相对于相机12和13中的每一个的3d位置和朝向来识别相机12与13的3d位置和朝向之间的关系。识别部分127使用指定的权重对于从道路标志21和车号牌111的3d位置和朝向中识别出的相机12和13的3d位置和朝向执行加权相加。识别部分127将加权相加的结果识别为相机12与13的3d位置和朝向之间的最终关系。

识别部分127向图2中所绘出的校正部分46供应识别出的相机12与13的3d位置和朝向之间的关系。

应当注意的是，虽然在这里估计部分123和126的估计准确度分别是匹配部分122和125中的相似度，但是估计部分123和126的估计准确度可以基于由估计部分123和126估计的3d位置和朝向来确定。

而且，除了道路标志21被道路标志21和车号牌111代替并且估计部分123和126的估计准确度被用于步骤s59中的处理之外，由图9中绘出的位置检测部分45处理的相机关系识别处理类似于图7中绘出的相机关系识别处理。因此省略其描述。

应当注意的是，在道路标志21和车号牌111中仅一个包括在从两个相机12和13供应的图像中的情况下，识别部分127可以基于道路标志21和车号牌111之一相对于相机12和13中的每一个的3d位置和朝向来识别相机12与13的3d位置和朝向之间的关系，如图4中所绘出的识别部分87那样。

<第三实施例>

(车载相机系统的第三实施例的概述)

图10是图示对其应用本公开的车载相机系统的第三实施例的概述的图。

关于图10中所绘出的部件，与图8中所绘出的部件完全相同的部件用相同的标号表示。适当地省略冗余的描述。

图10中所绘出的车载相机系统140的配置与图8中所绘出的车载相机系统100的配置的不同之处在于在于不仅相机12和13而且相机141安装到车辆11。

相机141安装到车辆11的后部，以向前成像车辆11。相机12、13和141中的每一个具有与至少一个其它相机的成像区域重叠的成像区域。

在图10中所绘出的示例中，道路标志21(在车辆11前方的已知物体)包括在相机12和13的成像区域中。而且，车号牌111(在车辆11前方的已知物体)包括在相机12、13和141的成像区域中。

在这种情况下，安装到车辆11的图像处理装置(未绘出)估计道路标志21相对于相机12和13中的每一个的3d位置和朝向。而且，图像处理装置估计车号牌111相对于相机12、13和141中的每一个的3d位置和朝向。

图像处理装置基于道路标志21相对于相机12和13中的每一个的3d位置和朝向、车号牌111相对于相机12、13和141中的每一个的3d位置和朝向以及3d位置和朝向的估计准确度来识别相机12、13与141的3d位置和朝向之间的关系。

具体而言，例如，图像处理装置基于道路标志21和车号牌111相对于相机12和13中的每一个的3d位置和朝向以及3d位置和朝向的估计准确度来识别相机12与13的3d位置和朝向之间的关系，如第二实施例的图像处理装置那样。

而且，图像处理装置基于车号牌111相对于相机12和13中具有更高估计准确度的任一个的3d位置和朝向以及车号牌111相对于相机141的3d位置和朝向来识别相机12或13与相机141的3d位置和朝向之间的关系。

然后，图像处理装置基于相机12与13的3d位置和朝向之间的关系以及相机12或13与相机141的3d位置和朝向之间的关系来校准相机12、13和141。

除了以相似的方式不仅执行用于相机12和13的处理而且还执行用于相机141的处理之外，第三实施例的图像处理装置与第二实施例的图像处理装置相似。

应当注意的是，第三实施例的图像处理装置找出了三个行进量。因此，可以基于这三个行进量的分布来判定是否有必要校准相机12、13和141，而无需使用由速度计测得的车辆11的速度。在这种情况下，判定其行进量是三个行进量的分布的离群值的相机12、13或141需要校准。

<第四实施例>

(车载相机系统的第四实施例的概述)

图11是图示对其应用本公开的车载相机系统的第四实施例的概述的图。

关于图11中所绘出的部件，与图1中所绘出的部件完全相同的部件用相同的标号表示。适当地省略冗余的描述。

图11中所绘出的车载相机系统160的配置与图1中所绘出的车载相机系统10的配置的不同之处在于代替相机12和13而提供了相机161和162。一定注意的是，图11是从上方看到的车辆11的视图。

相机161(第一成像部分)和相机162(第二成像部分)被安装成使得它们的光轴的方向大致垂直于车辆11的行进方向。在图11中所绘出的示例中，相机161和162安装到车辆11的右侧车顶。

在车载相机系统160中，安装到车辆11的图像处理装置(未绘出)基于由相机161和162捕获的图像的视差而不是行进量来判定是否有必要校准相机161和162。

(图像处理装置的配置例)

图12是图示安装到图11中所绘出的车辆11的图像处理装置的配置例的框图。

关于图12中所绘出的部件，与图2中所绘出的部件完全相同的部件用相同的标号表示。适当地省略冗余的描述。

图12中所绘出的图像处理装置180的配置与图2中所绘出的图像处理装置40的不同之处在于，代替行进量估计部分41和43而提供了估计部分181，并且代替判定部分42和44而提供了判定部分182。

估计部分181包括移动视差估计部分191、移动视差估计部分192和立体视差估计部分193。

估计部分181的移动视差估计部分191保存由相机161捕获并从相机161输入的图像。移动视差估计部分191(第一移动视差估计部分)使用保存的过去(第一时间)图像和当前(第二时间)图像来估计当前图像的移动视差(运动视差)。移动视差估计部分191将估计的移动视差供应给判定部分182。

移动视差估计部分192保存由相机162捕获并从相机162输入的图像。移动视差估计部分192(第二移动视差估计部分)使用保存的过去(第一时间)图像和当前(第二时间)图像来估计当前图像的移动视差(运动视差)。移动视差估计部分192将估计的移动视差供应给判定部分182。

立体视差估计部分193使用由相机161捕获的当前图像和由相机162捕获的当前图像来估计两个图像之间的视差(在下文中称为立体视差)，并将立体视差供应给判定部分182。

判定部分182基于从移动视差估计部分191和192供应的移动视差和从立体视差估计部分193供应的立体视差来判定是否有必要校准相机161和162。判定部分182将判定结果供应给位置检测部分45。

(由图像处理装置处理的处理的描述)

除了相机12和13被相机161和162代替并且除了校准判定处理之外，由图12中所绘出的图像处理装置180处理的图像处理与图5中所绘出的相似。因此，下面将仅描述校准判定处理。

图13是描述图像处理装置180的校准判定处理的流程图。

在图13中所绘出的步骤s71中，估计部分181的移动视差估计部分191保存从相机161输入的图像，并且移动视差估计部分192保存从相机162输入的图像。

在步骤s72中，移动视差估计部分191使用保存的相机161的过去图像以及当前图像来估计当前图像的移动视差并将该移动视差供应给判定部分182。

在步骤s73中，移动视差估计部分192使用保存的相机162的过去图像以及当前图像来估计当前图像的移动视差并将该移动视差供应给判定部分182。

在步骤s74中，立体视差估计部分193使用相机161的当前图像和相机162的当前图像来估计立体视差，并将立体视差供应给判定部分182。

在步骤s75中，判定部分182判定从移动视差估计部分191和192供应的移动视差中的至少一个与从立体视差估计部分193供应的立体视差之间的差值是否等于阈值或更大。

如果在步骤s75中判定差值等于阈值或更大，那么判定部分182在步骤s76中判定相机161和162需要校准并且将判定结果供应给位置检测部分45。然后，校准判定处理结束。

另一方面，在步骤s75中在从移动视差估计部191和192供应的两个移动视差与立体视差之间的差值都小于阈值的情况下，处理前进到步骤s77。在步骤s77中，判定部分182判定相机161和162不需要校准并且将判定结果供应给位置检测部分45。

<第五实施例>

(车载相机系统的第五实施例的概述)

图14是图示对其应用本公开的车载相机系统的第五实施例的概述的图。

关于图14中所绘出的部件，与图1中所绘出的部件完全相同的部件用相同的标号表示。适当地省略冗余的描述。应当注意的是，图14是从上方看到的车辆11的视图。

图14中所绘出的车载相机系统210的配置与图1中所绘出的车载相机系统10的配置的不同之处在于，代替相机12和13，四个相机211至214安装到车辆11。

相机211至214分别安装到车辆11的车顶的前面、右侧、后面和左侧。安装到车辆11的图像处理装置(未绘出)针对相应的相机211至214执行与第一实施例至第三实施例中相似的处理，并校准相机211至214。

应当注意的是，在这个时候找出四个行进量。因此，如第三实施例中那样，可以基于四个行进量的分布来判定是否有必要校准相机211至214，而无需使用由速度计测得的车辆11的速度。

<第六实施例>

(对其应用本公开的计算机的描述)

上述图像处理装置的一系列处理不仅可以由硬件执行，而且可以由软件执行。在由软件执行一系列处理的情况下，构成该软件的程序被安装到计算机。在这里，计算机包括内置到专用硬件中的计算机和通用个人计算机(诸如能够在安装各种程序时执行各种功能的计算机)。

图15是图示使用程序执行上述一系列处理的计算机的硬件配置例的框图。

在计算机300中，cpu(中央处理单元)301、rom(只读存储器)302和ram(随机存取存储器)303通过总线304彼此连接。

i/o接口305进一步连接到总线304。输入部分306、输出部分307、存储部分308、通信部分309和驱动器310连接到i/o接口305。

输入部分306包括键盘、鼠标、麦克风等。输出部分307包括显示器、扬声器等。存储部分308包括硬盘和非易失性存储器。通信部分309包括网络接口等。驱动器310驱动可移除介质311(诸如磁盘、光盘、磁-光盘或半导体存储器)。

在如上所述配置的计算机300中，上述一系列处理是在cpu301经由i/o接口305和总线304将例如存储在存储部分308中的程序加载到ram303中以供执行时执行的。

由计算机300(cpu301)执行的程序可以被提供，例如，被记录在作为封装介质的可移除介质311上。可替代地，可以经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)来提供程序。

在计算机300中，当可移除介质311被插入到驱动器310中时，程序可以经由i/o接口305被安装到存储部分308。而且，程序可以由通信部分309经由有线或无线传输介质接收并安装到存储部分308。除了以上所述，程序还可以预先安装到rom302或存储部分308。

应当注意的是，由计算机300执行的程序可以是根据本说明书中描述的顺序按时间顺序、或者并行地或者在程序被调用时的必要时间执行处理的程序。

<第七实施例>

(对其应用本公开的车辆控制系统的描述)

图16是图示对其应用本公开的车辆控制系统的示意性配置的示例的框图。

车辆控制系统2000包括经由通信网络2010连接的多个电子控制单元。在图16中所绘出的示例中，车辆控制系统2000包括驱动系统控制单元2100、车体系统控制单元2200、电池控制单元2300、车外信息检测单元2400、车内信息检测单元2500以及集成控制单元2600。连接多个这些控制单元的通信网络2010可以是符合任意标准的车载通信网络(诸如can(控制器区域网络)、lin(局域互联网络)、lan(局域网)和flexray(注册商标))。

每个控制单元包括微型计算机、存储部分和驱动电路。微型计算机根据各种程序处理操作。存储部分存储由微型计算机执行的程序或用于各种操作的参数等。驱动电路驱动要被控制的各种装置。每个控制单元不仅包括用于经由通信网络2010与其它控制单元通信的网络i/f，而且还包括用于以有线或无线方式与车内和车外装置或传感器通信的通信i/f。在图16中，微型计算机2610、通用通信i/f2620、专用通信i/f2630、定位部分2640、信标接收部分2650、车内装置i/f2660、音频/图像输出部分2670、车载网络i/f2680和存储部分2690被描述为集成控制单元2600的功能部件。其它控制单元类似地包括微型计算机、通信i/f、存储部分等。

驱动系统控制单元2100根据各种程序来控制车辆的驱动系统装置的动作。例如，驱动系统控制单元2100用作用于生成车辆的驱动力的驱动力生成装置(诸如内燃机和驱动马达)的控制装置、用于将驱动力发送到车轮的驱动力传输机制、用于调节车辆的转向角的转向机制以及用于生成车辆的制动力的制动装置。驱动系统控制单元2100还可以具有作为控制装置(诸如abs(防抱死制动系统)或esc(电子稳定性控制))的功能。

车辆状态检测部分2110连接到驱动系统控制单元2100。车辆状态检测部分2110包括例如以下至少一个：用于检测车体的轴向旋转运动的角速度的陀螺仪传感器，用于检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的压下量、制动踏板的压下量、方向盘的转向角、每分钟发动机转数、车轮旋转速度等的传感器。驱动系统控制单元2100使用从车辆状态检测部分2110输入的信号执行操作，由此控制内燃机、驱动马达、电动转向装置或制动装置。

车体系统控制单元2200根据各种程序控制在车体上提供的各种装置的动作。例如，车体系统控制单元2200用作无钥匙进入系统、智能钥匙系统和电动车窗装置或各种灯(诸如前照灯、尾灯、刹车灯、转向灯或雾灯)的控制装置。在这种情况下，从便携式发送器发送的代替钥匙的无线电波或者各种开关信号可以被输入到车体系统控制单元2200。车体系统控制单元2200接受这些无线电波和信号输入并控制车辆的车门锁装置、电动车窗装置、灯等。

电池控制单元2300根据各种程序控制二次电池2310(驱动马达的电源)。例如，从具有二次电池2310的电池装置向电池控制单元2300输入电池温度、电池输出电压、剩余电池电量或其它信息。电池控制单元2300使用这些信号执行算术处理，由此控制二次电池2310、在电池装置上提供的冷却装置或其它装置的温度调节。

车外信息检测单元2400检测装备有车辆控制系统2000的车辆外部的信息。例如，成像部分2410和车外信息检测部分2420中的至少一个连接到车外信息检测单元2400。成像部分2410包括tof(飞行时间)相机、立体相机、单目相机、红外相机和其它相机中的至少一个。车外信息检测部分2420例如包括检测当前天气或气候的环境传感器或者检测在装备有车辆控制系统2000的车辆周围的其它车辆、障碍物、行人等的周围信息检测传感器。

环境传感器可以是例如检测多雨天气的降雨传感器、检测雾的雾传感器，检测日光水平的日光传感器以及检测降雪的雪传感器之一。周围信息检测传感器可以是超声传感器、雷达装置和lidar(光检测和测距，激光成像检测和测距)装置之一。这些成像部分2410和车外信息检测部分2420可以作为分离的传感器或装置被包括，或者作为由多个传感器或装置组成的集成装置被包括。

在这里，图17图示了成像部分2410和车外信息检测部分2420的安装位置的示例。成像部分2910、2912、2914、2916和2918在车辆2900的前鼻部、侧视镜、后保险杠、后门以及车厢内前玻璃的顶部中的至少一个处提供。在前鼻部上提供的成像部分2910和在车厢内前玻璃的顶部上提供的成像部分2918主要获取车辆2900的前方图像。在侧视镜上提供的成像部分2912和2914主要获取车辆2900的侧面图像。在后保险杠或后门上提供的成像部分2916主要获取车辆2900的后方图像。在车厢内前玻璃的顶部上提供的成像部分2918主要用于检测前方车辆、行人、障碍物、交通信号灯、交通标志或行车道。

应当注意的是，图17图示了成像部分2910、2912、2914和2916的成像范围的示例。成像范围'a'绘出了在前鼻部上提供的成像部分2910的成像范围。成像范围'b'和'c'绘出了在侧视镜上提供的成像部分2912和2914的成像范围。成像范围'd'绘出了在后保险杠或后门上提供的成像部分2916的成像范围。例如，叠加由成像部分2910、2912、2914和2916捕获的图像数据(一个在另一个之上)提供了如从车辆2900上方看到的鸟瞰图像。

在车辆2900的车厢内的前玻璃的前部、后部、侧部、角落和顶部上提供的车外信息检测部分2920、2922、2924、2926、2928和2930可以是例如超声传感器或雷达装置。在车辆2900的前鼻部、后保险杠、后门以及车厢内的前玻璃的顶部上提供的车外信息检测部分2920、2926和2930可以是例如lidar装置。这些车外信息检测部分2920至2930主要用于检测前方车辆、行人、障碍物等。

将回头参考图16继续描述。车外信息检测单元2400使成像部分2410捕获车辆外部的图像并接收捕获的图像数据。而且，车外信息检测单元2400从连接的车外信息检测部分2420接收检测信息。在车外信息检测部分2420是超声传感器、雷达装置或lidar装置的情况下，车外信息检测单元2400使超声波、电磁波或其它波发射，并接收关于接收到的反射波的信息。车外信息检测单元2400可以基于接收到的信息执行用于检测人、车辆、障碍物、标志、道路上的字母等的物体检测处理或者距离检测处理。车外信息检测单元2400可以基于接收到的信息执行用于检测降雨、雾、路面状况等的环境识别处理。外部车辆信息检测单元2400可以基于接收到的信息来计算到车辆外部的物体的距离。

而且，车外信息检测单元2400可以基于接收到的信息执行用于识别人、车辆、障碍物、标志、道路上的字母等的图像识别处理或者距离检测处理。车外信息检测单元2400可以通过对接收到的图像数据执行失真校正、位置对准或其它处理并且将该数据与由不同成像部分2410捕获的图像数据组合来生成鸟瞰图像或全景图像。车外信息检测单元2400可以使用由不同成像部分2410捕获的图像数据来执行视点转换处理。

车内信息检测单元2500检测车内信息。例如，检测驾驶员的状态的驾驶员状态检测部分2510连接到车内信息检测单元2500。驾驶员状态检测部分2510可以是对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器驱动器、收集车厢中的音频的麦克风或者其它装置。生物传感器在例如座椅表面、方向盘或其它位置提供，以检测坐在座椅上的乘客或者握着方向盘的驾驶员的生物信息。车内信息检测单元2500可以基于从驾驶员状态检测部分2510输入的检测信息来计算驾驶员的疲劳程度或者集中程度。可以判定驾驶员是否正在打瞌睡。车内信息检测单元2500可以使收集的音频信号经受噪声抵消处理或其它处理。

集成控制单元2600根据各种程序作为整体来控制车辆控制系统2000内的动作。输入部分2800连接到集成控制单元2600。输入部分2800例如通过可以在其上进行输入操作的触摸面板、按钮、麦克风、开关、杠杆等实现。输入部分2800可以是例如能够操纵车辆控制系统2000的基于红外辐射或其它无线电波的遥控装置或者外部连接的装置(诸如移动电话、pda(个人数字助理)等)。输入部分2800可以是例如相机，并且在这种情况下，乘客可以通过手势输入信息。另外，输入部分2800可以包括输入控制电路，其基于由乘客或其他人通过使用输入部分2800输入的上述信息来生成输入信号，并将输入信号输出到集成控制单元2600。乘客等操作输入部分2800，以将各种数据输入到车辆控制系统2000并指示车辆控制系统2000处理数据。

存储部分2690可以包括存储由微型计算机执行的各种程序的ram(随机存取存储器)和存储各种参数、操作结果、传感器值和其它数据的rom(只读存储器)。而且，存储部分2690可以通过磁存储设备(诸如hdd(硬盘驱动器))、半导体存储设备、光存储设备、磁-光存储设备或其它设备来实现。

通用通信i/f2620是调解与存在于外部环境2750中的各种装置的通信的通用通信接口。蜂窝通信协议(诸如gsm(注册商标)(全球移动通信系统)、wimax、lte(长期演进)或lte-a(lte-advanced))或其它无线通信协议(诸如无线lan(也称为wi-fi(注册商标)))可以在通用通信i/f2620中实现。通用通信i/f2620可以例如经由基站和接入点连接到存在于外部网络(例如，互联网、云网络或运营商自己的网络)上的装置(例如，应用服务器或控制服务器)。而且，通用通信i/f2620可以通过使用例如p2p(点对点)技术连接到存在于车辆附近的终端(例如，行人或商店的终端或mtc(机器类型通信)终端)。

专用通信i/f2630是支持为用于车辆而开发的通信协议的通信协议。例如，标准协议(诸如wave(车辆环境中的无线接入)、较低层的ieee802.11p和较高层的ieee1609的组合或者dsrc(专用短程通信))可以在专用通信i/f2630中实现。专用通信i/f2630通常执行v2x通信(包括车辆-车辆通信、车辆-基础设施通信以及车辆-行人通信中的一个或多个的概念)。

定位部分2640通过从gnss(全球导航卫星系统)卫星接收gnss信号(例如，来自gps(全球定位系统)卫星的gps信号)来执行定位，并且生成包括车辆的经度、纬度和高度的位置信息。应当注意的是，定位部分2640可以通过与无线接入点交换信号来识别当前位置或者从终端(诸如移动电话、phs或智能电话)获取位置信息。

信标接收部分2650通过接收从安装在道路上的无线站或其它装置发射的无线电波或电磁波来获取当前位置、交通拥堵、道路关闭、所需时间或其它信息。应当注意的是，信标接收部分2650的功能可以被包括在专用通信i/f2630中。

车内装置i/f2660是调解微型计算机2610与车辆中存在的各种装备之间的通信的通信接口。车内装置i/f2660可以通过使用无线通信协议(诸如无线lan、蓝牙(注册商标)、nfc(近场通信)或wusb(无线usb))来建立无线连接。而且，车内装置i/f2660可以通过使用未绘出的连接端子(以及如果需要的话还有电缆)建立有线连接。车内装置i/f2660例如与乘客的移动装置或可穿戴装置或者被带入或安装在车辆中的信息装置交换控制信号或数据信号。

车载网络i/f2680是调解微型计算机2610与通信网络2010之间的通信的接口。车载网络i/f2680根据通信网络2010支持的给定协议发送和接收信号等。

集成控制单元2600的微型计算机2610基于经由通用通信i/f2620、专用通信i/f2630、定位部分2640、信标接收部分2650、车内装置i/f2660和车载网络i/f2680中的至少一个获取的信息根据各种程序来控制车辆控制系统2000。例如，微型计算机2610可以基于所获取的车内和车外信息来计算驱动力生成装置、转向机制或制动装置的控制目标值，并将控制命令输出到驱动系统控制单元2100。例如，微型计算机2610可以执行用于车辆碰撞避免或减震的协作控制、基于车辆-车辆距离的跟随行进、恒定车速行进、自动驾驶等。

微型计算机2610可以基于经由通用通信i/f2620、专用通信i/f2630、定位部分2640、信标接收部分2650、车内装置i/f2660和车载网络i/f2680中的至少一个获取的信息创建包括车辆当前位置周围的信息的本地地图信息。而且，微型计算机2610可以预测风险(诸如车辆碰撞、接近行人以及进入封闭的道路)并生成警告信号。警告信号可能是使得产生警告音或警告灯亮起的信号。

音频/图像输出部分2670将音频或图像输出信号中的至少一个发送到能够可视地或可听地将信息通知给车辆的乘客或车辆外部的输出装置。在图16中所绘出的示例中，音频扬声器2710、显示部分2720和仪表板2730被描绘为输出装置。显示部分2720可以包括例如车载显示器和平视显示器中的至少一个。显示部分2720可以包括ar(增强现实)显示功能。输出装置可以是除上述以外的装置(诸如头戴式耳机、投影仪或灯)。在输出装置是显示装置的情况下，显示装置以各种形式(诸如文本、图像、表格和图形)可视地显示通过微型计算机2610执行的各种处理获得的结果或者从其它控制单元接收的信息。而且，在输出装置是音频输出装置的情况下，音频输出装置将由音频数据、声音数据或其它数据组成的音频信号转换为模拟信号，并可听地输出该模拟信号。

应当注意的是，在图16中所绘出的示例中，经由通信网络2010连接的至少两个控制单元可以被组合成单个控制单元。可替代地，每个控制单元可以包括多个控制单元。另外，车辆控制系统2000可以包括未绘出的分离的控制单元。而且，在上面给出的描述中，由任何控制单元承担的一些或全部功能可以由其它控制单元承担。即，只要经由通信网络2010发送和接收信息，给定的算术处理就可以由控制单元之一执行。类似地，连接到控制单元之一的传感器或装置可以连接到其它控制单元，使得多个控制单元经由通信网络2010相互发送和接收检测信息。

在如上所述配置的机动车辆控制系统2000中，本申请的图像处理装置的功能在集成控制单元2600中提供。应当注意的是，本申请的图像处理装置的至少一些功能可以通过用于集成控制单元2600的模块(例如，在单个管芯上配置的集成电路模块)来实现。而且，本申请的图像处理装置可以由多个控制单元来实现。

在本说明书中，系统是指多个部件(例如，装置、模块(零件))的集合，并且是否所有部件被容纳在同一壳体中没有关系。因此，容纳在不同壳体中并且经由网络连接的多个装置和具有容纳在单个壳体中的多个模块的单个装置都是系统。

应当注意的是，本说明书中描述的效果仅仅是说明性的而不是限制性的，并且可以存在附加的效果。

而且，本公开的实施例不限于上面描述的那些，并且可以在不背离本公开的主旨的情况下以各种方式修改。

例如，构成车载相机系统(车辆控制系统)的相机(成像部分)的数量和布置不限于上述数量和布置。而且，本技术也适用于不仅安装到机动车辆而且安装到包括电动车辆、混合动力电动车辆和摩托车的车辆的车载相机系统。

而且，估计已知物体的3d位置和朝向的方法不限于上述方法。另外，相机可以仅基于已知物体的3d位置来校准。

应当注意的是，本公开可以具有以下配置：

(1)一种图像处理装置，包括：

判定部分，被配置为使用由第一成像部分在第一时间捕获的第一图像和由第一成像部分在晚于第一时间的第二时间捕获的第二图像来判定无论是否需要校准第一成像部分。

(2)如特征(1)所述的图像处理装置，还包括：

行进量估计部分，被配置为使用第一图像和第二图像来估计第一成像部分的三维位置的行进量，其中

判定部分基于由行进量估计部分估计出的行进量来判定是否有必要校准。

(3)如特征(2)所述的图像处理装置，其中

行进量估计部分估计第一成像部分的三维位置和朝向的行进量。

(4)如特征(3)所述的图像处理装置，其中

行进量估计部分基于第一图像的特征点的三维位置和该特征点在第二图像上的位置来估计该特征点的三维位置和朝向的行进量。

(5)如特征(4)所述的图像处理装置，还包括：

视差检测部分，被配置为使用由第二成像部分在第一时间捕获的第三图像来检测第一图像的所述特征点的立体视差；以及

位置计算部分，被配置为基于由视差检测部分检测到的立体视差来计算第一图像的所述特征点的三维位置。

(6)如特征(4)所述的图像处理装置，还包括：

视差检测部分，被配置为使用第一图像和由第一成像部分在不同于第一时间的第三时间捕获的第三图像来检测第一图像的所述特征点的移动视差；以及

位置计算部分，被配置为基于由视差检测部分检测到的移动视差来计算第一图像的所述特征点的三维位置。

(7)如特征(2)至(6)中任一项所述的图像处理装置，其中

第一成像部分安装到车辆，以及

判定部分基于行进量和由车辆的速度计测得的车速来判定是否有必要校准。

(8)如特征(1)所述的图像处理装置，还包括：

第一移动视差估计部分，被配置为使用第一图像和第二图像来估计第一图像的移动视差；

第二移动视差估计部分，被配置为使用由第二成像部分在第一时间捕获的第三图像和由第二成像部分在第二时间捕获的第四图像来估计第二图像的移动视差；以及

立体视差估计部分，被配置为使用第一图像和第三图像来估计第一图像与第三图像之间的立体视差，其中

判定部分基于由第一移动视差估计部分估计的第一图像的移动视差、由第二移动视差估计部分估计的第二图像的移动视差以及由立体视差估计部分估计的立体视差来确定是否有必要校准第一成像部分和第二成像部分。

(9)如特征(8)所述的图像处理装置，其中

第一成像部分和第二成像部分安装到车辆。

(10)如特征(9)所述的图像处理装置，其中

第一成像部分和第二成像部分的光轴的方向大致垂直于车辆的行进方向。

(11)一种由图像处理装置进行的图像处理方法，包括：

判定步骤，使用由第一成像部分在第一时间捕获的第一图像和由第一成像部分在晚于第一时间的第二时间捕获的第二图像来判定是否有必要校准第一成像部分。

(12)一种程序，使计算机用作：

判定部分，被配置为使用由第一成像部分在第一时间捕获的第一图像和由第一成像部分在晚于第一时间的第二时间捕获的第二图像来判定是否有必要校准第一成像部分。

[标号列表]

11车辆

12，13相机

21道路标志

40图像处理装置

41行进量估计部分

42判定部分

43行进量估计部分

44判定部分

46校正部分

64视差检测部分

65位置计算部分

83，86估计部分

87识别部分

111车号牌

123，126估计部分

127识别部分

141相机

161，162相机

180图像处理装置

182判定部分

191，192移动视差估计部分

193立体视差估计部分