图像处理装置以及图像处理系统的制作方法

本申请享受以日本专利申请2017－181073号(申请日：2017年9月21日)为基础申请的优先权。本申请通过参照该基础申请而包括基础申请的全部内容。

本实施方式涉及图像处理装置以及图像处理系统。

背景技术：

在通过水平排列的两个摄影机对相同的被拍摄体进行摄影时，因为摄影机位置的差异，摄影到的两个图像中的被拍摄体的位置在水平方向上产生偏移。将两图像中的被拍摄体的位置的差称为“视差(disparity)”。从摄影机到被拍摄体的距离与视差的倒数成正比。即，就视差而言，越是远的东西，视差越小，越是近的东西，视差越大。

以往，作为求出视差的方法，广泛使用块匹配。块匹配为，从通过两个摄影机摄影到的各个图像中切出小区域(块)，搜索在两图像间小区域的类似度(相关值)最大的部位来求出视差。具体而言，在以通过一方的摄影机摄影到的图像(例如，通过配置在左侧的摄影机摄影到的左图像)为基准的情况下，在通过另一方的摄影机摄影到的图像(例如，通过配置在右侧的摄影机摄影到的右图像)中搜索类似度的范围为，从与左图像中的基准块的坐标相同的坐标一直到向水平方向左侧偏离了最大视差(例如128个像素)后的坐标的范围的块。

该块匹配，处理简单，基本上能够各点独立地求出视差，所以能够进行高速的计算。但是，存在着在没有纹理的区域、图案反复存在的区域中难以精确地求出视差的问题。

另一方面，近年来，提出了定义相对于图像中的全部像素的视差的能量函数，并求出该函数最小的视差的组合的方式(全局匹配)。在该全局匹配中，进行大范围的视差估计，因此即使在没有纹理的区域、图案反复存在的区域，也能够更精确地求出视差。

但是，在全局匹配中，对于各像素，通过与块匹配同样的方法求出相关值后，使用相邻像素的计算结果，将自身的计算结果最优化。然后，对于画面整体的像素，将最优化运算得到的计算结果汇总，计算视差。即，与块匹配相比，精度提高，另一方面，存在运算量、用于暂时保存计算结果的存储器量变得庞大的问题。

并且，现实中，将两个摄影机完全水平地配置是困难的，会产生垂直方向的偏移、旋转方向的偏移。以某种程度上在垂直方向上有偏移为前提，考虑将类似度的搜索范围不仅仅在水平方向上扩展还在垂直方向上扩展的方法。在此情况下，存在相关值计算所必要的运算器的数量、存储器量进一步增加的问题。

技术实现要素：

本实施方式提供能够降低运算器、存储器的搭载量的图像处理装置以及图像处理系统。

本实施方式的图像处理装置，具备各视差类似度计算部，该各视差类似度计算部计算基准图像中的视差计算对象像素和参照图像中的各个类似度计算对象像素的类似度，该类似度计算对象像素是参照图像中、配置在从所述视差计算对象像素的位置到在水平方向上偏离了最大视差后的位置之间的像素的水平方向的各个位置中、垂直方向的位置在所述基准图像与所述参照图像的垂直方向的最大偏移量的范围内的像素。而且具备行间类似度提取部，该行间类似度提取部从所述参照图像中、水平方向的位置与提取到的所述类似度计算对象像素相同、并且垂直方向的位置在所述基准图像与所述参照图像的垂直方向的最大偏移量的范围内的多个像素的类似度，计算一个类似度并予以选择。而且还具备成本最优化运算部，该成本最优化运算部使用所述计算出的1行量的所述类似度计算对象像素的类似度，进行基于全局最优化的成本最优化运算。

附图说明

图1是表示本实施方式的图像处理系统的构成的一例的概略框图。

图2是表示距离信息运算部11的构成的一例的框图。

图3是表示各视差成本值计算部14的详细的构成的一例的框图。

图4是说明各视差成本值计算部14的成本值计算步骤的一例的流程图。

图5是说明行间最小成本值提取部15的成本值提取步骤的一例的流程图。

图6是表示成本最优化运算部16的详细的构成的一例的框图。

图7是表示距离信息运算部11的构成的另一例的框图。

具体实施方式

以下，参照附图对实施方式进行说明。

图1是表示本实施方式的图像处理系统的构成的一例的概略框图。图像处理系统构成为，包括图像匹配处理装置(以下，表示为图像处理装置)1、校准装置2、图像输入装置3及将它们连接的总线4。图1对使用基于2台摄影机的左右视差图像进行立体匹配处理的图像处理系统进行例示。

图像输入装置3中被输入通过未图示的摄影机拍摄到的多个图像(例如，通过与左眼对应的摄影机拍摄到的l图像5l、通过与右眼对应的摄影机拍摄到的r图像5r这2张图像)。l图像5l和r图像5r经由总线4被输入至校准装置2。

校准装置2对由设定条件、透镜的个体差等引起的摄影机内外间的静态的偏移进行校正。具体而言，使用对格子状的图案等大小已知的特定图形图案拍摄而得到的图像，事先计算内部参数和外部参数。并且，使用内部参数和外部参数对从图像输入装置3输入的l图像5l和r图像5r分别进行变换，从而对静态的偏移进行校正，生成校正后l图像6l和校正后r图像6r。另外，内部参数，是焦距、图像主点位置、透镜畸变等表示摄影机的内部特性的参数。另外，外部参数，是摄影机的三维空间中的旋转·平行移动的参数，在立体图像中，表示以一方的图像为基准的情况下的另一方的图像的旋转·平行移动的程度。校正后l图像6l和校正后r图像6r经由总线4被输入至图像处理装置1。

图像处理装置1使用校正后的图像(校正后l图像6l、校正后r图像6r)进行立体匹配，生成距离图像(表示从摄影机到被拍摄体的距离的图像)7。图1的图像处理装置1具有距离信息运算部11、l图像用行缓存器(以下，表示为l行缓存器)12及r图像用行缓存器(以下，表示为r行缓存器)13。

l行缓存器12是保存校正后l图像6l中的包含视差计算对象像素位置的行在内的多行量的像素数据的缓存器。r行缓存器13是保存校正后r图像6r中的包含视差计算对象像素位置的行在内的多行量的像素数据的缓存器。

距离信息运算部11使用图像分割法等的全局匹配、sgm法(semi-globalmatching法)等，按基准图像的每个像素计算视差并作为视差图像输出。图2是表示距离信息运算部11的构成的一例的框图。距离信息运算部11具有各视差成本值计算部14、行间最小成本值提取部15、成本最优化运算部16及成本最小视差提取部17。

作为各视差类似度计算部的各视差成本值计算部14，在参照图像中设定视差计算对象像素的成本值计算像素区域，并计算该区域中的成本值。成本值计算像素区域具有(垂直方向的最大偏移量)×(水平方向的最大视差)的大小。例如，在参照图像中，将表示水平方向的像素位置的坐标设为x坐标、将表示垂直方向的像素位置的坐标设为y坐标、且视差计算对象像素的位置为(x,y)＝(150,25)的情况下，成本值计算像素区域如以下那样来设定。

例如，在水平方向的最大视差为128个像素的情况下，参照图像中的水平方向的搜索区域为x＝150～x＝23的范围。在此，在垂直方向的偏移量是相对于视差计算对象像素位置的行为上下1行以内的情况下，垂直方向的最大偏移量为3行。因此，成本值计算像素区域为(x,y)＝(150,24)～(23,24)、(150,25)～(23,25)、(150,26)～(23,26)的范围的像素。

图3是表示各视差成本值计算部14的详细的构成的一例的框图。各视差成本值计算部14具有特征量运算部141、成本运算部142及成本缓存器143。

特征量运算部141分别计算从保存有基准图像的行缓存器中取得的视差计算对象像素的像素数据以及从保存有参照图像的行缓存器中取得的成本值计算像素区域内的像素数据的特征量。例如，计算lbp(localbinarypattern)等、现存的量化的特征量。在计算lbp作为特征量的情况下，对特征量计算对象像素(中心像素)和周边像素的亮度值进行比较。若周边像素的亮度值比该周边像素的中心像素的亮度值大，则赋予“1”，若周边像素的亮度值比中心像素的亮度值小，则赋予“0”比特。然后，将周边像素的比特按规定的顺序结合，并作为特征量计算对象像素的特征量(lbp符号)。另外，关于对周边像素赋予的比特，可以是，若周边像素的亮度值比中心像素的亮度值大，则设为“0”，若周边像素的亮度值比中心像素的亮度值小，则设为“1”。

成本运算部142对与基准图像中的视差计算对象像素有关的特征量、和与参照图像中的成本值计算像素区域内的各像素有关的特征量进行比较，计算每个视差的成本值。例如，在计算lbp符号作为特征量的情况下，计算基准图像与参照图像的lbp符号间的汉明距离，作为成本值。

成本缓存器143将通过成本运算部142计算的成本值与参照图像中的像素位置对应关联而保存。

图4是说明各视差成本值计算部14的成本值计算步骤的一例的流程图。另外，设为，在成本值计算之前，在基准图像中设定视差计算对象像素，并计算出成本值计算所必要的特征量。为了制作距离图像7，需要针对基准图像的全部像素计算视差。通常，从位于基准图像的左上的像素一直到位于右下的像素，按光栅扫描的顺序依次设定视差计算对象像素位置，并计算各像素位置处的视差。

首先，确定成本值计算对象区域，设定搜索行数(垂直方向的最大偏移量)lnum和水平方向的最大视差数dnum(s1)。例如，在上述的一例的情况下，设定为lnum＝3，dnum＝128。另外，设定最初的成本值计算对象像素位置(搜索像素位置)。最初的成本值计算对象像素位置是位于成本值计算对象区域的左上的像素。例如，在上述的一例的情况下，最初的成本值计算对象像素位置被设定为(x,y)＝(23,24)。

接下来，将成本值计算对象的行设定为初始状态(l＝0)(s2)。另外，将成本计算对象的水平方向的像素位置设定为初始状态(d＝0)(s3)。

接下来，在成本运算部142中，计算搜索像素位置处的成本值，并保存在成本缓存器143中(s4)。接着，使搜索像素位置的水平方向的像素位置(d)增加1，使搜索像素位置移动到相邻的像素(s5)。

在搜索像素位置包含于成本值计算对象区域的情况下(s6，为否)，返回到s4，计算该像素位置处的成本值。另一方面，在移动后的搜索对象像素位置未包含于成本值计算对象区域的情况下(s6，为是)，使搜索像素位置的垂直方向的像素位置(l)增加1，使包含搜索像素的行移动到下一行(s7)。

在行移动后的搜索像素位置包含于成本值计算对象区域的情况下(s8，为否)，返回到s3，将成本计算对象的水平方向的像素位置设定为初始状态(d＝0)，计算该像素位置处的成本值。另一方面，在移动后的搜索对象像素位置未包含于成本值计算对象区域的情况下(s8，为是)，判定为对于成本值计算对象区域内的全部像素都结束了成本值的计算，使各视差成本值计算部14中的一系列的成本值计算步骤结束。

另外，各视差成本值计算部14中的成本值的计算方法，不限定于上述的图4的流程图的步骤，只要是能够不遗漏地计算成本值计算对象区域内的全部的像素的成本值的步骤即可。例如，也可以不是在水平方向上使像素位置移动而是在垂直方向上使像素位置移动，同时计算成本值。另外，例如，也可以将成本值计算对象区域分割为多个块，并对各块中的成本值的计算进行并行处理。

另外，各视差成本值计算部14中的成本值的计算方法，不限定于上述的lbp符号的汉明距离，也可以使用sad函数等现存的量化的成本函数。在使用sad函数等能够不根据像素数据计算特征量而直接计算成本的方法的情况下，能够将从保存有基准图像的行缓存器中取得的视差计算对象像素的像素数据、以及从保存有参照图像的行缓存器中取得的成本值计算像素区域内的像素数据直接输入至成本运算部142来计算成本值，因此特征量运算部141能够省略。

作为行间类似度提取部的行间最小成本值提取部15，使用通过各视差成本值计算部14计算出的成本值，按每个视差提取最小成本值。在上述的一例的情况下，搜索行数为3行，所以在成本值计算像素区域内中水平方向的视差位置相同的像素存在3个像素。例如，在成本值计算像素区域为(x,y)＝(150,24)～(23,24)、(150,25)～(23,25)、(150,26)～(23,26)的情况下，水平方向的视差位置为10的像素存在(x,y)＝(140,24)、(140,25)、(140,26)这3个像素。从各视差成本值计算部14取得该3个像素的成本值，并提取最小成本值，作为该视差位置处的成本值。

图5是说明行间最小成本值提取部15中的最小成本值提取步骤的一例的流程图。首先，确定成本值计算对象区域，并设定水平方向的最大视差数dnum(s11)。例如，在上述的一例的情况下，设定为dnum＝128。接下来，将行间最小成本值提取对象的水平方向的像素位置(搜索对象像素位置)设定为初始状态(d＝0)(s12)。

接着，确定存在于成本值计算对象区域内且水平方向的位置与搜索对象像素位置相等的像素，对这些像素的成本值进行比较，提取最小的成本值(s13)。另外，比较中使用的像素的成本值，可以从成本缓存器143取得，也可以根据需要通过成本运算部142请求。

接下来，使搜索像素位置的水平方向的像素位置(d)增加1，使搜索像素位置移动到相邻的像素(s14)。在搜索像素位置包含于成本值计算对象区域的情况下(s15，为否)，返回到s13，提取该像素位置处的最小的成本值。另一方面，在移动后的搜索对象像素位置未包含于成本值计算对象区域的情况下(s15，为是)，判定为对全部视差位置提取了最小的成本值，结束行间最小成本值提取的一系列的处理步骤。

成本最优化运算部16，通过图像分割法等的全局匹配、sgm法(semi-globalmatching法)等计算作为合成非类似度的合成成本值s，从而按基准图像的每个像素导出最优化的视差。成本最优化运算部16使用通过行间最小成本值提取部15提取到的1行量的成本值，计算合成成本值s。

在此，对基于sgm法的合成成本值s的计算方法进行说明。合成成本值s，是定义沿着从参照图像的端部朝向视差计算对象像素汇集的方向向量的多个路径后、作为各个路径中的能量的总和而计算的。计算能量的路径，通常设定沿着从水平右方向、水平左方向、垂直上方向、垂直下方向朝向视差计算对象像素汇集的4个方向的向量的4个路径。或者，设定除了这4个方向以外还加上沿着从右上45度方向、右下45度方向、左下45度方向、左上45度方向朝向视差计算对象像素汇集的4个方向的向量的4个路径这8个路径。并且，将8个方向进一步分割而为16方向，将8个方向进一步各分割为3个而为24个方向等，路径的数量不限定于特定的数量。

各个路径r中的能量lr(p,d)使用以下的(1)式来计算。

lr(p,d)＝c(p,d)+min{lr(p-r,d),lr(p-r,d-1)+p1,lr(p-r,d+1)+p1,lrmin(p-r)+p2}

…(1)式

在(1)式中，c(p,d)表示位于距视差计算对象像素位置为视差d的位置的像素的成本值，min{}表示求出最小值的函数，lrmin(p-r)表示从视差计算对象像素位置向r方向偏移了1个像素后的坐标处、使平移量d变化时的、lr(p-r,d)的最小值。另外，p1、p2是预先设定的补偿常数。这样，能量lr(p,d)为对于成本值c(p,d)选择并加上r方向的规定路径上的前1像素的能量的值的递推式，所以进行最优化。

通过从多个方向(例如，8个方向)进行(1)式所示的能量计算，近似地进行整体最优化。即，计算合成成本值s，作为各方向的能量lr(p,d)的总和。

图6是表示成本最优化运算部16的详细的构成的一例的框图。成本最优化运算部16具有成本更新值运算部161及成本缓存器162。成本更新值运算部161使用从行间最小成本值提取部15输入的成本值、从未图示的存储部等输入的规定的补偿常数p1、p2以及保存于成本缓存器162的相邻像素的能量，进行上述的(1)式的运算来计算能量。运算结果被保存于成本缓存器162，并被递归地使用于成本更新值运算部161中的能量计算。

在以往的图像处理装置中，在成本值计算像素区域涉及多行的情况下，将在各视差成本值计算部14中计算出的各行的成本值原封不动地使用，并在成本最优化运算部16中计算3行量的合成成本值s。与此相对，在本实施方式中，通过行间最小成本值提取部15将各视差位置处的成本值筛选为一个，从而无论垂直方向的偏移量如何，只要通过成本最优化运算部16计算1行量的合成成本值s即可。因此，能够削减运算中使用的存储器、运算器的数量，也能够降低处理時间。

另外，成本最优化运算部16一般使用于特定的一个路径中的能量计算。因此，对距离信息运算部11，设置与为了计算合成成本值s而设定的路径的数量相同数量的成本最优化运算部16。

另外，成本最优化运算部16中的合成成本值s的计算方法，可以不限定于上述的图像分割法等的全局匹配、sgm法，而使用现存的其他的方法。

成本最小视差提取部17提取通过成本最优化运算部16计算出的合成成本值s最小的视差。并且，对于基准图像的全部像素提取视差，生成距离图像7后输出。

这样，通过本实施方式，在使用图像分割法等的全局匹配、sgm法(semi-globalmatching法)等计算视差时，由于由振动等引起的摄影机间的动态的偏移，在基准图像与参照图像之间在垂直方向上产生偏移而需要使成本值的搜索范围不仅在水平方向上扩展还在垂直方向上扩展的情况下，在成本值的阶段削减为1行量以后进行能量计算所用的成本最优化运算。因此，能够削减成本最优化运算所必要的存储器、运算器的数量，能够降低处理時间。

另外，在上述中，使用表示与基准的非类似度的程度的成本值来计算视差，但也可以使用成本值的倒数即表示与基准的类似度的程度的相关值。在使用相关值的情况下，通过行间最小成本值提取部15，从同一视差位置处的多行的相关值中提取绝对值最大的相关值。另外，通过成本最小视差提取部17提取合成相关值最大的视差。

另外，也可以构成为将在成本最小视差提取部17提取到的视差位置处的行位置作为行指针输出。图7是表示距离信息运算部11的构成的另一例的框图。图7所示的距离信息运算部11除了图2所示的构成要素以外，还具备行指针存储部18及指针选择部19。行指针存储部18将在行间最小成本值提取部15提取到成本值的行的信息按每个视差位置存储。指针选择部19从行指针存储部18选择并输出在成本最小视差提取部17提取到的合成成本值s最小的视差位置处的行的信息。这样通过输出行指针信息，能够把握基准图像与参照图像间的垂直方向的偏移量，能够对动态的偏移的校正进行反馈。

对本发明的几个实施方式进行了说明，但这些实施方式是作为一个例子表示的，意图不是限定发明的范围。这些新的实施方式能够以其他各种各样的方式实施，在不脱离发明的主旨的范围，能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨，并且包含于权利要求书记载的发明及其等同的范围。