图像处理装置、图像处理方法以及驾驶辅助系统与流程

技术领域

实施方式涉及图像处理装置、图像处理方法以及驾驶辅助系统。

背景技术：

当通过水平排列的两个摄像机对相同的被摄体进行拍摄时，由于摄像机位置的不同，所拍摄到的两个图像中的被摄体的位置在水平方向上产生偏差。将两个图像中的被摄体的位置差称为“视差(Disparity)”。从摄像机到被摄体的距离与视差的倒数成比例。即，越远的被摄体，则视差越小，越近的被摄体，则视差越大。

以往，作为求出视差的方法，广泛使用块匹配。块匹配为，从由两个摄像机拍摄的各个图像中切出小区域(块)，并在两个图像之间搜索小区域的类似度(相关值)最大的部位，由此求出视差。具体而言，在以由一个摄像机拍摄的图像(例如，由配置在左侧的摄像机拍摄的左图像)为基准的情况下，在由另一个摄像机拍摄的图像(例如，由配置在右侧的摄像机拍摄的右图像)中搜索类似度的范围，是从与左图像中的基准块的坐标相同的坐标到向水平方向左侧离开最大视差(例如128像素)的坐标为止的范围的块。

该块匹配的处理简单，基本上能够对各点独立地求出视差，因此能够进行高速的计算。但是，在没有纹理的区域、存在重复图案的区域中，存在难以准确地求出视差这样的问题。

另一方面，近年来，提出了如下方式：定义针对图像中的所有像素的视差的成本函数，并求出该函数成为最小的视差组合(全局匹配)。在该全局匹配中，由于进行大范围的视差推测，因此即使在没有纹理的区域、存在重复图案的区域中，也能够更准确地求出视差。

但是，在全局匹配中，对于各像素，在通过与块匹配同样的方法求出了相关值之后，使用邻接像素的计算结果对自身的计算结果进行最佳化。然后，对于画面整体的像素，对最佳化运算的计算结果进行汇集，并计算出视差。即，与块匹配相比精度提高，但另一方面，存在运算量、用于暂时保持计算结果的存储量变得庞大这样的问题。

并且，在将左右的图像进行替换，将右图像作为基准图像来计算视差，并检验其与将左图像作为基准图像而计算出的视差之间的差分，且对于每个像素检验是否准确地求出视差的情况下(以下表示为交叉检验)，需要进行两次全局匹配，因此存在运算量、用于暂时保持计算结果的存储量变得进一步庞大这样的问题。

技术实现要素：

实施方式提供能够提高处理速率、降低存储器搭载量的图像处理装置、图像处理方法以及自动驾驶系统。

本实施方式的图像处理装置为，基于通过第一拍摄单元对被摄体进行拍摄而得到的第一图像和通过与所述第一拍摄单元不同位置的第二拍摄单元对所述被摄体进行拍摄而得到的第二图像，计算视差，该图像处理装置具备控制电路，该控制电路将所述第一图像以及所述第二图像中的任一个设定为基准图像，将另一个设定为参照图像，并且将所述参照图像中的像素的取得顺序设定为第一方向。另外，还具备：成本最佳化运算电路，在所述参照图像中，使用能够按照由所述控制电路设定的取得顺序来取得像素并且进行计算的路径，进行基于全局最佳化的成本最佳化运算；成本最小视差提取电路，使用通过所述成本最佳化运算得到的成本值，来决定各像素的视差；以及视差输出电路，使用将所述第一图像作为基准图像而计算出的第一视差和将所述第二图像作为基准图像而计算出的第二视差进行交叉检验，并按照每个像素来判断并输出所计算出的视差的妥当性。并且，所述控制电路为，在进行所述基准图像与所述参照图像的替换的同时，将替换后的所述参照图像中的像素的取得顺序即第二方向设定为与所述第一方向相反的方向。

附图说明

图1是表示包含本实施方式所涉及的图像处理装置1的图像处理系统的构成的一例的概要框图。

图2是表示距离信息运算电路11的构成的一例的框图。

图3是表示每个视差成本值计算电路15的详细构成的一例的框图。

图4是说明每个视差成本值计算电路15中的成本值计算步骤的一例的流程图。

图5A和图5B是说明SGM法中的计算成本的路径与扫描方向之间的关系的图。

图6是表示成本最佳化运算电路16的详细构成的一例的框图。

图7是说明视差输出电路19中的视差的交叉检验方法的图。

图8是说明本实施方式所涉及的图像处理步骤的一例的流程图。

图9是说明比较例的图像处理步骤的一例的流程图。

图10是表示本实施方式所涉及的移动体100的一例的图。

图11是表示移动体100的构成的一例的框图。

图12是表示搭载于移动体100的图像处理装置1的一例的框图。

具体实施方式

以下，参照附图对实施方式进行说明。

图1是表示包含本实施方式所涉及的图像处理装置1的图像处理系统的构成的一例的概要框图。图像处理系统包括图像匹配处理装置(以下称为图像处理装置)1、校准装置2、图像输入装置3以及将它们连接的总线4。图1例示了使用基于2台摄像机的左右视差图像来进行立体匹配处理的图像处理系统。

向图像输入装置3中输入由未图示的摄像机拍摄的多个图像(例如，由与左眼对应的摄像机拍摄的L图像5l和由与右眼对应的摄像机拍摄的R图像5r这两张图像)。L图像5l和R图像5r经由总线4输入到校准装置2。

校准装置2对由设定条件、镜头的个体差异等引起的摄像机内外的静态偏差进行修正。具体而言，事先使用对格子状的图案等大小已知的特定图形图案进行拍摄而得到的图像，计算内部参数和外部参数。然后，使用内部参数和外部参数对从图像输入装置3输入的L图像5l和R图像5r分别进行转换，由此对静态偏差进行修正，生成修正完成L图像6l和修正完成R图像6r。此外，所谓内部参数，是表示焦点距离、图像主点位置、镜头畸变等摄像机的内部特性的参数。另外，所谓外部参数，是摄像机在三维空间中的旋转、平移的参数，在立体图像中，是表示在以一个图像为基准的情况下的另一个图像的旋转、平移的程度的参数。修正完成L图像6l和修正完成R图像6r经由总线4输入到图像处理装置1。

图像处理装置1使用修正后的图像(修正完成L图像6l、修正完成R图像6r)进行立体匹配，生成距离图像(表示从摄像机到被摄体的距离的图像)7。图1的图像处理装置1具有处理器1a、L图像用行缓冲器(以下称为L行缓冲器)12以及R图像用行缓冲器(以下称为R行缓冲器)13。

L行缓冲器12是保存修正完成L图像6l中的包含视差计算对象像素位置的行在内的多行量的像素数据的缓冲器。R行缓冲器13是保存修正完成R图像6r中的包含视差计算对象像素位置的行在内的多行量的像素数据的缓冲器。

处理器1a包含距离信息运算电路11。距离信息运算电路11使用图分割法等全局匹配、SGM法(Semi-Global Matching法：半全局匹配法)等，按照基准图像的每个像素来计算视差并作为视差图像进行输出。另外，还将基准图像进行左右替换，而进行交叉检验。即，距离信息运算电路11中的各处理由处理器1a执行。

此外，在本实施方式中使用的“处理器”的用语，例如是指CPU(Central Processing Unit：中央处理器)、GPU(Graphical Processing Unit：图形处理单元)、专用集成电路(Application Specific Integrated Circuit：ASIC)、可编程逻辑设备(例如，简单可编程逻辑设备(Simple Programmable Logic Device：SPLD)、复杂可编程逻辑设备(Complex Programmable Logic Device：CPLD)以及现场可编程门阵列(Field Programmable Gate Array：FPGA))的电路。

图2是表示距离信息运算电路11的构成的一例的框图。距离信息运算电路11具有输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17、交叉检验缓冲器18、视差输出电路19以及控制电路20。

输入图像取得电路14按照来自控制电路20的指示，从L行缓冲器12以及R行缓冲器13取得基准图像的各像素以及参照图像的各像素。在取得各像素时，从控制电路20指示L图像/R图像中的哪个是基准图像、以及各图像中的像素的取得顺序(光栅扫描的方向)。

每个视差成本值计算电路15为，在参照图像中设定视差计算对象像素中的成本值计算像素区域，并计算该区域中的成本值。成本值计算像素区域具有水平方向的最大视差的大小。在以下的说明中，将表示输入图像中的水平方向的像素位置的坐标设为X坐标，将表示垂直方向的像素位置的坐标设为Y坐标。例如，在基准图像为L图像、视差计算对象像素的位置为(X，Y)＝(150，25)、水平方向的最大视差为128像素的情况下，成本值计算像素区域为(X，Y)＝(150，25)～(23，25)的范围的像素。

图3是表示每个视差成本值计算电路15的详细构成的一例的框图。每个视差成本值计算电路15具有特征量运算电路141、成本运算电路142以及成本缓冲器143。

特征量运算电路141分别计算从保存有基准图像的行缓冲器取得的视差计算对象像素的像素数据以及从保存有参照图像的行缓冲器取得的成本值计算像素区域内的像素数据的特征量。例如，计算LBP(Local Binary Pattern：局部二值模式)等既存的定量化了的特征量。在作为特征量而计算LBP的情况下，对特征量计算对象像素(中心像素)与周边像素的亮度值进行比较。如果周边像素的亮度值比该周边像素的中心像素的亮度值大，则赋予“1”比特，如果周边像素的亮度值比中心像素的亮度值小，则赋予“0”比特。然后，将周边像素的比特按照规定顺序结合，作为特征量计算对象像素的特征量(LBP码)。此外，对周边像素赋予的比特也可以为，如果周边像素的亮度值比中心像素的亮度值大则设为“0”，如果周边像素的亮度值比中心像素的亮度值小则设为“1”。

成本运算电路142将与基准图像中的视差计算对象像素相关的特征量和与参照图像中的成本值计算像素区域内的各像素相关的特征量进行比较，并计算每个视差的成本值。例如，在作为特征量而计算LBP码的情况下，计算基准图像与参照图像的LBP码之间的汉明距离，并设为成本值。

成本缓冲器143将由成本运算电路142计算出的成本值与参照图像中的像素位置建立对应地保存。

图4是对每个视差成本值计算电路15中的成本值计算步骤的一例进行说明的流程图。此外，在成本值计算之前，在基准图像中设置视差计算对象像素，并设为计算出成本值计算所需要的特征量的像素。为了制作距离图像7，需要对基准图像的所有像素计算视差。在通常情况下，从位于基准图像的左上的像素到位于右下的像素为止，按照光栅扫描的顺序依次设置视差计算对象像素位置，并计算各像素位置的视差。

首先，确定成本值计算对象区域，并设定水平方向的最大视差数Dnum(S1)。例如，在上述一例的情况下，设定为Dnum＝128。另外，设定最初的成本值计算对象像素位置(搜索像素位置)。最初的成本值计算对象像素位置是位于成本值计算对象区域的左端部的像素。例如，在上述一例的情况下，最初的成本值计算对象像素位置被设定为(X，Y)＝(23，25)。

接着，将成本计算对象的水平方向的像素位置设置为初始状态(D＝0)(S2)。接着，在成本运算电路142中，计算搜索像素位置的成本值，并保存到成本缓冲器143(S3)。接着，使搜索像素位置的水平方向的像素位置(D)增加1，使搜索像素位置移动到相邻的像素(S4)。

在搜索像素位置包含在成本值计算对象区域中的情况下(S5：否)，返回到S3而计算该像素位置的成本值。另一方面，在移动后的搜索对象像素位置不包含在成本值计算对象区域中的情况下(S5：是)，判断为针对成本值计算对象区域内的所有像素结束了成本值的计算，并结束每个视差成本值计算电路15中的一系列的成本值计算步骤。

此外，每个视差成本值计算电路15中的成本值的计算方法，不限定于上述图4的流程图的步骤，只要是能够没有遗漏地计算出成本值计算对象区域内的所有像素的成本值的步骤即可。例如，也可以将成本值计算对象区域分割为多个块，而并列处理各块中的成本值的计算。

此外，每个视差成本值计算电路15中的成本值的计算方法，并不限定于上述LBP码的汉明距离，也可以使用SAD函数等既存的定量化了的成本函数。在使用SAD函数等、能够不根据像素数据计算特征量而直接计算出成本的方法的情况下，能够将从保存有基准图像的行缓冲器取得的视差计算对象像素的像素数据以及从保存有参照图像的行缓冲器取得的成本值计算像素区域内的像素数据直接输入成本运算电路142来计算成本值，因此能够省略特征量运算电路141。

成本最佳化运算电路16为，通过图分割法等全局匹配、SGM法(Semi-Global Matching法)等来计算合成非类似度、即合成成本值S，由此导出按照基准图像的每个像素最佳化后的视差。

这里，对基于SGM法的合成成本值S的计算方法进行说明。合成成本值S为，定义沿着从参照图像的端部朝向视差计算对象像素汇集的方向的多个路径，并作为各个路径中的成本的总和而被计算出。计算成本的路径，通常设定有4个路径，这4个路径沿着从水平右方向、水平左方向、垂直上方向、垂直下方向朝向视差计算对象像素汇集的4个方向。然后，通常除了这4个方向之外，还设定有加上如下4个路径的8个路径，该4个路径沿着从右上45度方向、右下45度方向、左下45度方向、左上45度方向朝向视差计算对象像素汇集的4个方向。此外，也可以将8个方向进一步分割而成为16个方向、分割为3个而成为24个方向等，路径的数量不限定为特定的数量。

各个路径r中的成本Lr(p，d)使用以下的(1)式来计算。

Lr(p，d)＝C(p，d)+min{Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，Lrmin(p-r)+P2}……(1)式

在(1)式中，C(p，d)表示处于离视差计算对象像素位置为视差d的位置的像素的成本值，min{}表示求出最小值的函数，Lrmin(p-r)表示在从视差计算对象像素位置向r方向位移了1个像素的坐标上、使位移量d变化时的Lr(p-r，d)的最小值。另外，P1、P2是预先设定的罚常数。如此，成本Lr(p，d)成为选择r方向的规定路径上的1个像素前的成本值并与成本值C(p，d)相加的递推公式，因此被进行最佳化。

通过从多个方向(例如，8个方向)进行(1)式所示的成本计算，由此近似地进行整体最佳化。即，作为各方向的成本Lr(p，d)的总和而计算出合成成本值S。

图5A和图5B是说明SGM法中的计算成本的路径与扫描方向之间的关系的图。在图5A和图5B中，由网格表示的像素表示当前的成本值计算对象像素。另外，在图5A和图5B中，带箭头的粗线表示计算成本的路径和方向。并且，在图5A和图5B中，带箭头的虚线表示参照图像中的像素的扫描方向。

沿着从水平左方向、垂直上方向、右上45度方向、左上45度方向汇集的4个方向的4个路径的成本，需要参照位于左以及上方向的像素的结果来计算。因此，如图5A所示，从位于参照图像的左上的像素到位于右下的像素为止一边进行光栅扫描一边计算。

另外，沿着从水平右方向、垂直下方向、右下45度方向、左下45度方向汇集的4个方向的矢量的4个路径的成本，需要参照位于右以及下方向的像素的结果来计算。因此，如图5B所示，从位于参照图像的右下的像素到位于左上的像素为止一边进行光栅扫描一边计算。

即，在从8个方向进行成本计算的情况下，需要改变方向而进行两次光栅扫描。为了进行两次光栅扫描，首先，将在第一次光栅扫描期间计算出的4个方向的成本暂时保存在存储装置等中。然后，在第二次光栅扫描结束后，从存储装置等读出所保存的4个方向的成本，与通过第二次光栅扫描计算出的4个方向的成本相结合，而得到合成成本值S。

图6是表示成本最佳化运算电路16的详细构成的一例的框图。成本最佳化运算电路16具有成本更新值运算电路161以及成本缓冲器162。成本更新值运算电路161使用从每个视差成本值计算电路15输入的成本值、从未图示的存储电路等输入的规定的罚常数P1、P2以及保存在成本缓冲器162中的邻接像素的成本，进行上述的(1)式的运算而计算成本。运算结果保存在成本缓冲器162中，并在成本更新值运算电路161的成本计算中递归地使用。

此外，成本最佳化运算电路16一般被用于特定的1个路径中的成本计算。因此，在距离信息运算电路11中设置有与为了计算合成成本值S而设定的路径数量相同数量的成本最佳化运算电路16。

另外，成本最佳化运算电路16中的合成成本值S的计算方法，并不限定于上述图分割法等全局匹配、SGM法，也可以使用既存的其他方法。

成本最小视差提取电路17提取由成本最佳化运算电路16计算出的合成成本值S为最小的视差。针对基准图像的所有像素进行视差的提取。

交叉检验缓冲器18为，在将基准图像左右替换而进行交叉检验的情况下，对于先被设定为基准图像的图像中的各像素，保存由成本最小视差提取电路17提取的视差。

视差输出电路19对保存在交叉检验缓冲器18中的各像素的视差与后被设定为基准图像的图像中的各像素的视差之间的差分进行检验，并按照每个像素检验是否正确地求出视差。图7是说明视差输出电路19中的视差的交叉检验方法的图。具体而言，针对L图像的各像素，从自身的X坐标减去计算出的视差，求出对应的R图像的像素位置。例如，在L图像的像素(X，Y)＝(100，25)的视差被计算为15的情况下，从100减去15，得到对应的R图像的像素(X，Y)＝(85，25)。接着，从交叉检验缓冲器18读出所计算出的R图像的像素位置的视差，并计算其与之前的L图像的像素的视差之间的差分。例如，在R图像的像素(X，Y)＝(85，25)的视差为16的情况下，差分为15-16＝-1。将所计算出的差分的绝对值与预先设定的阈值进行比较，在小于阈值的情况下，判断为正确地求出视差。

此外，视差输出电路19中的交叉检验方法，只要能够进行将L图像作为基准图像的情况下的视差与将R图像作为基准图像的情况下的视差的比较、并判断是否正确地求出视差即可，并不限定于上述方法。例如，从各坐标减去视差的方法、基于与阈值的比较的正确与否的判断，也可以使用其他方法。

视差输出电路19输出视差以及检验结果。此外，视差与检验结果可以分别独立地输出，也可以为，针对未正确地求出视差的像素，将所计算出的视差用特定的值(例如，-1)置换等，而在视差中包含检验结果地进行输出。此外，在不进行交叉检验的情况下，直接输出由成本最小视差提取电路17提取出的视差。

并且，视差输出电路19还进行输出顺序的控制、地址的计算，以便从图像的左上像素朝向右下像素按照光栅扫描顺序输出视差。

控制电路20对于输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17的各电路，进行基准图像的设定以及各图像中的像素的扫描方向的指示。

接着，对本实施方式的图像处理装置中的视差计算步骤进行说明。图8是说明本实施方式所涉及的图像处理步骤的一例的流程图。图8表示在输出将L图像作为基准图像的视差的情况下，使用将R图像作为基准图像而计算出的视差来进行一次交叉检验时的步骤。

首先，控制电路20对于输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17的各电路，设置R图像作为基准图像(S11)。在通常情况下，首先，将与输出视差的图像相反的图像作为基准图像来计算视差。因此，在上述的情况下，首先将R图像作为基准图像来计算视差。此外，在想要输出将R图像作为基准图像的视差的情况下，在S11中将L图像设置为基准图像。

接着，控制电路20对于输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17的各电路，以从右下朝向左上方向扫描像素的方式设置扫描方向(S12)。

接着，输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17，将R图像作为基准图像，一边从右下朝向左上方向对作为参照图像的L图像进行扫描，一边计算视差(S13)。此时，成本最佳化运算电路16一边从右下朝向左上方向扫描像素，一边仅对于能够计算的路径计算成本。即，计算沿着从水平右方向、垂直下方向、右下45度方向、左下45度方向汇集的4个方向的矢量的4个路径的成本，并使用这4个路径的成本来计算合成成本值S。

当对于基准图像的所有像素提取合成成本值S成为最小的视差、并保存到交叉检验缓冲器18时，控制电路20指示基准图像的替换和像素扫描方向的替换。具体而言，首先，对于输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17的各电路，设置L图像作为基准图像(S14)。同时，对于输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17的各电路，以从左上朝向右下方向扫描像素的方式设置扫描方向(S15)。

输入图像取得电路14、每个视差成本值计算电路15、成本最佳化运算电路16、成本最小视差提取电路17，将L图像作为基准图像，一边从左上朝向右下方向对作为参照图像的R图像进行扫描，一边计算视差(S16)。此时，成本最佳化运算电路16一边从左上朝向右下方向扫描像素一边仅对于能够计算的路径计算成本。即，计算沿着从水平左方向、垂直上方向、右上45度方向、左上45度方向汇集的4个方向的矢量的4个路径的成本，并使用这4个路径的成本来计算合成成本值S。

接着，视差输出电路19检验保存在交叉检验缓冲器18中的将R图像作为基准图像的各像素的视差与将L图像作为基准图像的各像素的视差之间的差分，并按照每个像素来检验是否正确地求出了视差(S17)。

最后，视差输出电路19使检验结果反映到将L图像作为基准图像的各像素的视差中，对于被判断为未正确地求出视差的像素，将所计算出的视差用特定的值(例如，-1)置换并输出。对于被判断为正确地求出视差的像素，直接输出所计算出的视差。此外，也可以不进行与检验结果相应的视差的置换，而分别独立地输出视差与检验结果。

如此，根据本实施方式，在使用SGM法(Semi-Global Matching法)等计算视差且进行交叉检验的情况下，在进行基准图像的替换时，也进行图像中的像素的取得顺序(扫描方向)的替换。并且，在各基准图像中，对于用于计算合成成本值S的路径，仅对于与扫描方向对应的路径求出成本。

在比较例中，如图9所示，针对一个基准图像改变方向来进行两次扫描，因此合计需要进行4次扫描。图9是说明比较例的图像处理步骤的一例的流程图。即，在作为基准图像而设置了R图像之后(S21)，一边对于作为参照图像的L图像从左上朝向右下方向扫描像素，一边对于能够计算的路径计算成本(S22)。所计算出的成本暂时保存在存储装置等中。接着，一边对于L图像从右下朝向左上方向扫描像素，一边对于能够计算的路径计算成本(S23)。然后，与在S22中计算出并保存的成本相结合，而计算出各图像的成本最小视差(S24)。

接着，在作为基准图像而设置了L图像之后(S25)，一边对于作为参照图像的R图像从右下朝向左上方向扫描像素，一边对于能够计算的路径计算成本(S26)。所计算出的成本暂时保存在存储装置等。接着，一边对于R图像从左上朝向右下方向扫描像素，一边对于能够计算的路径计算成本(S27)。然后，与在S26中计算出并保存的成本相结合，而计算出各图像的成本最小视差(S28)。最后，实施在S24中计算出的视差与在S28中计算出的视差的交叉检验(S29)，并输出检验结果(S30)。

与此相对，在本实施方式中，针对一个基准图像进行一次扫描即可，因此能够使扫描次数减半，能够提高处理速率。

另外，在比较例中，针对一个基准图像改变扫描方向来进行两次扫描，因此需要将在第一次光栅扫描期间计算出的4个方向的成本暂时保存在存储装置等。与此相对，在本实施方式中，针对一个基准图像将扫描方向设为1个方向，由此不需要将成本暂时保存到存储装置中，因此能够降低存储器的搭载量。

并且，在本实施方式中，在将一个作为基准图像的情况下，求出从上、右方向汇集的路径的成本，在将另一个作为基准图像的情况下，求出从下、左方向汇集的路径的成本。因此，在交叉检验中，反映了来自上下左右所有方向的路径的成本，因此能够维持与比较例同等的准确性。

此外，在上述中，仅表示了进行交叉检验的情况，但是也能够通过来自外部的输入等对进行交叉检验的模式和不进行交叉检验的模式进行选择。在选择了不进行交叉检验的模式的情况下，对于计算合成成本值S的路径，优选消除方向的偏倚。因此，优选为，控制电路20对于成本最佳化运算电路16进行指示，以便改变扫描方向而进行两次扫描，例如对于沿着从水平右方向、水平左方向、垂直上方向、垂直下方向、右上45度方向、右下45度方向、左下45度方向、左上45度方向汇集的8个方向的矢量的8个路径取得成本。

本实施方式的图像处理装置1能够用作为移动体100等中的驾驶辅助系统。接着，对搭载了本实施方式的图像处理装置1的移动体100进行说明。

图10是表示本实施方式的移动体100的一例的图。

移动体100包括图像处理装置1、输出部100A、传感器100B、输入装置100C、动力控制部100G以及动力部100H。

移动体100是能够移动的物体。移动体100例如是车辆(自动两轮车、自动四轮车、自行车)、台车、机器人、船舶、飞翔体(飞机、无人飞行器(UAV：Unmanned Aerial Vehicle)等)。移动体100例如是经由人的驾驶操作而行驶的移动体、不经由人的驾驶操作而能够自动地行驶(自主行驶)的移动体。能够自动行驶的移动体例如是自动驾驶车辆。本实施方式的移动体100将是能够自主行驶的车辆的情况作为一例进行说明。

此外，作为驾驶辅助系统的图像处理装置1并不限定于搭载于移动体100的方式。图像处理装置1也可以搭载于静止物。静止物是不能移动的物体、相对于地面处于静止状态的物体。静止物例如是导轨、柱、驻车车辆、道路标识等。另外，图像处理装置1也可以搭载于在云上执行处理的云服务器。

输出部100A输出各种信息。例如，输出部100A输出基于各种处理的输出信息。

输出部100A例如具备发送输出信息的通信功能、显示输出信息的显示功能、输出表示输出信息的声音的声音输出功能等。例如，输出部100A包含通信部100D、显示器100E以及扬声器100F。

通信部100D与外部装置进行通信。通信部100D是VICS(注册商标)通信电路、动态图(Dynamic map)通信电路。通信部100D将输出信息向外部装置发送。另外，通信部100D从外部装置接收道路信息等。道路信息为信号、标识、周围的建筑物、各车道的道宽、车道中心线等。道路信息可以存储在设置于图像处理装置内的RAM、ROM这样的存储器1b内，也可以存储在另外设置于移动体内的存储器内。

显示器100E显示输出信息。显示器100E例如是公知的LCD(Liquid Crystal Display：液晶显示器)、投影装置、灯等。扬声器100F输出表示输出信息的声音。

传感器100B是取得移动体100的行驶环境的传感器。行驶环境例如为移动体100的观测信息、移动体100的周边信息。传感器100B例如是外传感器、内传感器。

内传感器是对观测信息进行观测的传感器。观测信息例如包含移动体100的加速度、移动体100的速度、以及移动体100的角速度。

内传感器例如为惯性计测装置(IMU：Inertial Measurement Unit)、加速度传感器、速度传感器、旋转编码器等。IMU对移动体100的包括三轴加速度以及三轴角速度的观测信息进行观测。

外传感器对移动体100的周边信息进行观测。外传感器可以搭载于移动体100，也可以搭载于该移动体100的外部(例如，其他移动体、外部装置等)。

周边信息是表示移动体100的周边状况的信息。所谓移动体100的周边是指离该移动体100为预先确定的范围内的区域。该范围是外传感器能够观测的范围。该范围预先设定即可。

周边信息例如是移动体100周边的拍摄图像以及距离信息等。此外，周边信息也可以包含移动体100的位置信息。拍摄图像是通过拍摄而得到的拍摄图像数据(以下，有时简称为拍摄图像)。距离信息是表示从移动体100到对象的距离的信息。对象是外界中的能够通过外传感器进行观测的部位。位置信息可以是相对位置，也可以是绝对位置。

外传感器例如是通过拍摄而得到拍摄图像的拍摄装置、距离传感器(毫米波雷达、激光传感器、距离图像传感器)、位置传感器(GNSS(Global Navigation Satellite System：全球导航卫星系统)、GPS(Global Positioning System：全球定位系统)、无线通信装置)等。

拍摄图像是对每个像素规定了像素值的数字图像数据、对每个像素规定了离传感器100B的距离的深度图等。激光传感器例如是相对于水平面平行地设置的二维LIDAR(Laser Imaging Detection and Ranging：激光成像探测与测距)传感器、三维LIDAR传感器。

输入装置100C受理来自用户的各种指示、信息输入。输入装置100C例如是鼠标、轨迹球等指示设备，或者是键盘等输入设备。另外，输入装置100C也可以是与显示器100E一体地设置的触摸面板中的输入功能。

动力控制部100G对动力部100H进行控制。动力部100H是搭载于移动体100的进行驱动的设备。动力部100H例如是引擎、马达、车轮等。

动力部100H通过动力控制部100G的控制而驱动。例如，动力控制部100G基于由图像处理装置1生成的输出信息、从传感器100B得到的信息等来判断周边的状况，并进行油门量、制动量、转向角等的控制。

接着，对移动体100的电气构成进行详细说明。图11是表示移动体100的构成的一例的框图。

移动体100包括图像处理装置1、输出部100A、传感器100B、输入装置100C、动力控制部100G以及动力部100H。如上述那样，输出部100A包含通信部100D、显示器100E以及扬声器100F。

图像处理装置1、输出部100A、传感器100B、输入装置100C以及动力控制部100G经由总线100I连接。动力部100H与动力控制部100G连接。

图12是表示搭载于移动体100的图像处理装置1的一例的框图。图像处理装置1包含I/F1c、存储器1b以及处理器1a。即，输出部100A、传感器100B、输入装置100C、动力控制部100G以及图像处理装置1经由总线100I连接。

此外，只要输出部100A(通信部100D、显示器100E、扬声器100F)、传感器100B、输入装置100C以及动力控制部100G中的至少一个通过有线或者无线与图像处理装置1连接即可。另外，输出部100A(通信部100D、显示器100E、扬声器100F)、传感器100B、输入装置100C以及动力控制部100G中的至少一个也可以经由网络与图像处理装置1连接。

I/F1c被连接到与其他系统连接的网络(N/W)等。另外，I/F1c负责与通信部100D之间的信息收发。经由I/F1c输出人等被识别出的对象的信息、到被识别出的对象为止的距离的信息。

存储器1b存储各种数据。存储器1b例如是RAM(Random Access Memory：随机存取存储器)、闪存器等半导体存储元件、硬盘、光盘等。此外，存储器1b也可以设置于图像处理装置1的外部。ROM保持由处理器1a执行的程序、所需要的数据。RAM作为处理器1a的工作区域发挥功能。另外，存储器1b也可以设置于移动体100的外部。例如，也可以将存储器1b配置到设置于云上的服务器装置中。

另外，存储器1b也可以是存储介质。具体而言，存储介质也可以经由LAN(Local Area Network：局域网)、因特网等下载程序、各种信息而存储或者暂时存储。另外，存储器1b也可以由多个存储介质构成。

处理器1a中的各处理功能以能够由计算机执行的程序的形式存储于存储器1b。处理器1a是通过从存储器1b读出程序并执行来实现与各程序对应的功能部的处理器。

此外，也可以将用于分别实现各功能的独立的多个处理器组合而构成处理电路1e。在该情况下，通过各处理器执行程序来实现各功能。另外，可以是各处理功能构成为程序、一个处理电路1e执行各程序的情况，也可以是设置图像处理加速器1d作为专用电路、特定的功能被安装到独立的程序执行电路的情况。

处理器1a通过将保存在存储器1b中的程序读出并执行，来实现功能。此外，也可以代替在存储器1b中保存程序，而构成为在处理器的电路内直接装入程序。在该情况下，处理器通过将装入到电路内的程序读出并执行，来实现功能。

在如此构成的移动体100中，即使在使用由传感器100B观测到的周边信息即拍摄图像，并使用全局匹配来计算视差而进行交叉检验的情况下，通过使用上述的图像处理方法，也能够维持与比较例相同的准确性，并且能够提高处理速率，且削减存储器的使用量。

本说明书中的各“电路”是与实施方式的各功能对应的概念，未必一定与特定的硬件、软件例程一对一地对应。因此，在本说明书中，假定具有实施方式的各功能的虚拟电路块(电路)来进行说明。

对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意图对发明的范围进行限定。这些新的实施方式能够以其他的各种方式加以实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中，并且包含于专利请求范围所记载的发明和与其等同的范围中。