产生视差图的方法及其图像处理装置与系统与流程

本发明是有关于一种图像处理的方法及其图像处理装置与系统，产生视差图的方法及其图像处理装置与系统。

背景技术：

随着图像处理技术的发展，立体视觉的应用领域极为广泛，凡是结构光、立体图像、距离侦测、安全监控等都是常见的立体视觉的应用。一般而言，立体视觉可包括两个阶段，第一阶段先利用深度摄影机、立体摄影机或是利用相关算法来产生深度信息，而第二阶段再利用深度信息来产生立体图像。由此可知，为了产生立体视觉体验较佳的图像，准确的深度信息极为重要。

立体视觉的深度计算方法是从左右两图像中找出相同物体，再根据物体在左右图像中的位置差异，即视差(disparity)，计算出物体的距离。以算法来说，解析度越高的图像可算出越精细的视差，也就是所计算出来的距离更为准确，但相对的计算量以及时间也大幅增加。

技术实现要素：

有鉴于此，本发明提供一种产生视差图的方法及其图像处理装置与系统，其可在不失去精确度的前提下，以低成本以及高效率的方式计算拍摄场景的视差图，以助于提升后续立体视觉应用的效能。

在本发明的一实施例中，上述的方法适用于具有第一图像传感器以及第二图像传感器的系统，并且包括下列步骤。首先，利用第一图像传感器以及第二图像传感器，采集特定场景的图像，以分别产生第一原始图像以及第二原始图像。针对第一原始图像以及第二原始图像进行缩小处理，以分别产生第一缩小图像以及第二缩小图像。利用第一缩小图像以及第二缩小图像，产生缩小视差图，其中缩小视差图包括多个缩小视差值。针对缩小视差图进行放大处理，以产生放大视差图，其中放大视差图包括多个放大视差值。根据判断各个放大视差值的信赖度，产生第一原始图像以及第二原始图像的精细视差图。

在本发明的一实施例中，上述的系统包括第一图像传感器、第二图像传感器、存储器以及处理器，其中处理器连接于第一图像传感器、第二图像传感器以及存储器。第一图像传感器以及第二图像传感器用以采集图像。存储器用以存储图像以及数据。处理器用以执行下列步骤：利用第一图像传感器以及第二图像传感器，采集特定场景的图像，以分别产生第一原始图像以及第二原始图像；针对第一原始图像以及第二原始图像进行缩小处理，以分别产生第一缩小图像以及第二缩小图像；利用第一缩小图像以及第二缩小图像，产生缩小视差图，其中缩小视差图包括多个缩小视差值；针对缩小视差图进行放大处理，以产生放大视差图，其中放大视差图包括多个放大视差值；以及根据判断根据各个放大视差值的信赖度，产生第一原始图像以及第二原始图像的精细视差图。

在本发明的一实施例中，上述的图像处理装置包括存储器、通讯接口以及处理器，其中处理器连接于存储器以及通讯接口。存储器用以存储图像以及数据。通讯接口用以提供图像处理装置与第一图像传感器以及第二图像传感器连接。处理器用以执行下列步骤：自第一图像传感器以及第二图像传感器取得所分别采集到的特定场景的第一原始图像以及第二原始图像；针对第一原始图像以及第二原始图像进行缩小处理，以分别产生第一缩小图像以及第二缩小图像；利用第一缩小图像以及第二缩小图像，产生缩小视差图，其中缩小视差图包括多个缩小视差值；针对缩小视差图进行放大处理，以产生放大视差图，其中放大视差图包括多个放大视差值；以及根据判断各个放大视差值的信赖度，产生第一原始图像以及第二原始图像的精细视差图。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

附图说明

图1是根据本发明一实施例所绘示的产生深度信息的系统的方块图。

图2为根据本发明的一实施例所绘示的产生深度信息的方法流程图。

图3根据本发明的一实施例所绘示的产生视差图的方法流程图。

图4a～图4g根据本发明的一实施例所绘示的产生视差图的方法示意图。

图5为根据本发明的一实施例所绘示的产生深度信息的方法示意图。

具体实施例

本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法、图像处理装置与系统的范例。

图1是根据本发明一实施例所绘示的产生深度信息的系统的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍系统中的所有构件以及配置关系，详细功能将配合图2一并描述。

请参照图1，系统100包括第一图像传感器110、第二图像传感器120、存储器130以及处理器140。在本实施例中，系统100可以是将第一图像传感器110、第二图像传感器120、存储器130以及处理器140整合为单一装置(all-in-one)的图像采集装置，例如是具有双镜头的数码相机、单眼相机、数码摄影机、智能手机、平板电脑等等。

在本实施例中，第一图像传感器110以及第二图像传感器120为包括透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线强度，进而产生图像。感光元件可以例如是电荷耦合元件(chargecoupleddevice，ccd)、互补性氧化金属半导体(complementarymetal-oxidesemiconductor，cmos)元件或其他元件。镜头所采集到的图像将成像于传感元件并且转换成数字信号，以输出至处理器140。

存储器130用以存储图像、程序码等数据，其可以例如是任意形式的固定式或可移动式随机存取存储器(randomaccessmemory，ram)、只读存储器(read-onlymemory，rom)、闪存存储器(flashmemory)、硬盘或其他类似装置、集成电路及其组合。

处理器140用以控制系统100的构件之间的运行，其可以例如是中央处理单元(centralprocessingunit，cpu)、图形处理单元(graphicprocessingunit，gpu)，或是其他可编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignalprocessor，dsp)、可编程控制器、特殊用途集成电路(applicationspecificintegratedcircuits，asic)、可编程逻辑装置(programmablelogicdevice，pld)或其他类似装置或这些装置的组合。

必须说明的是，在另一实施例中，存储器130以及处理器140可以是个人电脑、笔记本电脑、智能手机、平板电脑等具有图像处理功能的电子装置，并且经由通讯接口(未绘示)以有线或无线的方式接收第一图像传感器110以及第二图像传感器120以不同角度所拍摄到特定场景的图像来产生视差图。在此实施例中的第一图像传感器110以及第二图像传感器120可以是设置于同一装置，也可以为不同装置，本发明不在此设限。

以下将列举实施例说明针对系统100产生双镜头的方法的详细步骤。在以下的实施例中将以系统100实际制作成双镜头的图像采集装置来进行说明。

图2为根据本发明的一实施例所绘示的产生视差图的方法流程图。

请同时参照图1以及图2，首先，处理器140将利用第一图像传感器110以及第二图像传感器120采集特定场景的图像，以分别产生第一原始图像以及第二原始图像(步骤s202)。详细来说，处理器140分别利用第一图像传感器110以及第二图像传感器120所采集的第一原始图像以及第二原始图像为利用不同视角针对同一场景所采集的两张图像。在此，第一图像传感器110以及第二图像传感器120例如是采用相同的摄像参数采集图像，然而本发明不在此设限。

接着，处理器140将针对第一原始图像以及第二原始图像进行缩小处理，以分别产生第一缩小图像以及第二缩小图像(步骤s204)。在此，处理器140会以相同的缩放比例来针对第一原始图像以及第二原始图像进行缩小处理。举例来说，当第一原始图像以及第二原始图像的水平轴以及垂直轴分别缩小50％时，缩放比例则为25％。在此缩小处理的方式可以是先分别计算出第一原始图像以及第二原始图像中的每个像素的像素值(以下称为“第一原始像素”以及“第二原始像素”)，再利用最近邻插值法(nearestneighborinterpolation)、双线性插值法(bilinearinterpolation)、双三次插值法(bicubicinterpolation)、面积插值法(area-basedinterpolation)等方式将多个像素合并成一个新的像素，藉此取得缩小后的图像，即前述的第一缩小图像以及第二缩小图像。

接着，处理器140将利用第一缩小图像以及第二缩小图像，产生缩小视差图(步骤s206)，其中缩小视差图是以第一缩小图像为基底所产生并且包括多个缩小视差像素，各个缩小视差像素具有缩小视差值。在此，处理器140将针对第一缩小图像以及第二缩小图像的每一个像素(以下称为“第一缩小像素”以及“第二缩小像素”)进行分析，以计算出各个第一缩小像素相对于第二缩小图像的视差值，从而产生以第一缩小图像为基底的缩小视差图。在另一实施例中，处理器140也可以是以第二缩小图像为基底来产生缩小视差图，本发明不在此设限。

接着，处理器140将针对缩小视差图进行放大处理，以产生放大视差图(步骤s208)，其中放大视差图包括多个放大视差像素，各个放大视差像素具有放大视差值，放大视差值是根据缩小视差值所产生。在此，处理器140会将缩小视差图放大还原回与第一原始图像以及第二原始图像至相同大小的尺寸。举例来说，当缩小视差图的水平轴以及垂直轴分别放大2倍时，缩小视差图中的缩小视差值也会随着放大约2倍。

然而，利用第一缩小图像以及第二缩小图像来产生缩小视差图，并且再将缩小视差图放大来取得对应于第一原始图像以及第二原始图像的视差图的方式虽然可以大幅缩短运算量以及时间，但由于放大视差图中的放大视差值并不是基于第一原始图像以及第二原始图像来计算，因此放大视差图中所得到的场景分布与实际场景分布有所落差而造成视差值的准确度降低。

基于此，处理器140将根据第一原始图像以及第二原始图像，判断各个放大视差值是否可信赖(步骤s210)，而处理器140会依据各个放大视差值是否可信赖的判定结果来产生第一原始图像以及第二原始图像的精细视差图。在本实施例中，处理器140判断各个放大视差值是否可信赖的方式可以是基于第一原始图像以及第二原始图像中所对应的相关画素的相似度来判断。接着，处理器140将针对可信赖的放大视差值，根据第一搜寻范围取得对应的精细放大视差值，并且针对不可信赖的放大视差值，根据第二搜寻范围取得对应的替换放大视差值(步骤s212)，其中第一搜寻范围小于第二搜寻范围。

举例来说，假设放大视差图中存在一个“目前放大视差像素”，其是对应于第一原始图像中的第一目前原始像素以及第二原始图像中的第二目前原始像素。处理器140可以判断第一目前原始像素与第二目前原始像素是否相似，藉以判断目前放大视差像素的放大视差值是否可信赖。

如果目前放大视差像素的放大视差值可信赖，则处理器140可以进一步地以第一搜寻范围来更精细地调整目前放大视差像素的放大视差值。在此所说的调整放大视差值事实上是在第二目前原始像素的邻近区域中搜寻另一个对应的第二原始像素来做为调整后的第二目前原始像素。举例来说，处理器140可以在第二目前原始像素的第一搜寻范围内寻找与第一目前原始像素相似度最高的第二原始像素，以做为新的第二目前原始像素，而第一目前原始像素与第二目前原始像素之间的视差值将做为目前放大视差像素调整后的放大视差值，其中第一搜寻范围是基于缩小视差图与放大视差图之间的放大比例以及缩小视差像素的缩小视差值来设定。详细的设定方式将在后续实施例中完整叙述。

如果目前放大视差像素的放大视差值不可信赖，则处理器140将进一步地以第二搜寻范围搜寻可直接替代目前放大视差像素的放大视差值。举例来说，处理器140可以在第二目前原始像素的第二搜寻范围内寻找与第一目前原始像素相似度最高的第二原始像素，以做为新的第二目前原始像素，而第一目前原始像素与第二目前原始像素之间的视差值将做为目前放大视差像素调整后的放大视差值，其中第二搜寻范围可以是于第二目前原始像素的一个预定区域(例如0～64)，也就是说不再参考缩小视差像素的缩小视差值来设定。

之后，处理器140将利用所有精细放大视差值以及所有替换放大视差值，产生精细视差图(步骤s214)。如此一来，相较于放大视差图，这里的精细视差图可以在缩小视差图还原回原尺寸后，解决视差值精度不足的问题，从而达到更有效率且更为精确的深度估测，以提升后续立体视觉应用的效果。

为了更方便明了，以下将以图3根据本发明的一实施例所绘示的产生视差图的方法流程图以及图4a～图4g根据本发明的一实施例所绘示的产生视差图的方法示意图来具体地说明图2的实际操作方式以及细节，而图3以及图4a～图4g的方法流程也可以通过系统100来实现。

在进入图3的流程之前，在此假设处理器140已利用第一图像传感器110以及第二图像传感器120采集特定场景的图像，以分别产生第一原始图像以及第二原始图像，并且针对第一原始图像以及第二原始图像进行缩小处理，以分别产生第一缩小图像以及第二缩小图像，以及利用第一缩小图像以及第二缩小图像，产生缩小视差图。

以图4a为例，假设第一原始图像l以及第二原始图像r分别沿着水平轴以及垂直轴缩小50％，则缩放比例为25％。也就是说，假设第一原始图像l以及第二原始图像r有16个像素时，第一缩小图像l’以及第二缩小图像r’则分别会有4个像素。在此的第一原始图像l左上的四个像素a1～a4(以下称为“第一原始像素a1～a4”)在经过缩小处理后，将会成为缩小图像l’左上的像素a(以下称为“第一缩小像素a”)。虽然处理器140使用第一缩小图像l’以及第二缩小图像r’来计算深度图可大幅地缩短运算量以及时间，但所产生的缩小视差图dm’中的视差值da～dd(以下称为“缩小视差值da～dd”)事实上是基于像素合并后的第一缩小像素a～d所计算出的视差值，并不是基于第一原始像素a1～d4所计算出的视差值，因此在原始像素合并的过程中，不同物件的边缘像素往往会影响视差值的准确度，因此需要以图3所提出的方法流程来估算出第一原始像素a1～d4的实际视差值。

请参照图3，处理器140在取得缩小视差图后，将判断缩小视差像素是否可信赖(步骤s302)，以解决边缘像素合并的问题。以图4a的例子来说，假设第一原始像素a1为背景像素，而第一原始像素a2～a4为前景像素，即代表第一原始像素a1为背景区域的边缘，而第一原始像素a2～a4为前景区域的边缘。因此，第一缩小像素a的像素值(以下称为“第一缩小像素值a”)则会较接近于前景，因此第一缩小像素a则会被视为前景区域，因此所对应到的缩小视差值da对于第一原始像素a1来说是错误信息，也就是不可信赖。因此，在此步骤中，处理器140判断缩小视差像素是否可信赖的方式可以是比较各个第一缩小像素分别与对应的第一原始像素的相似度，藉以判断第一缩小像素是否可信赖。

以第一原始图像l为例，第一缩小像素a将与第一原始像素a1～a4的像素值分别进行相似度比较，而像素值可以是色彩值或是灰阶值。举例来说，假设灰阶值的绝对值差值小于5，或者是rgb的绝对值差值均小于5即代表高相似度。假设第一缩小像素a与第一原始像素a2～a4具有高相似度，即代表第一缩小像素a是可信赖的，也就是说缩小前后的第一原始像素a2～a4以及第一缩小像素a对应于拍摄场景中的相同物体(例如都是前景物体)。假设第一缩小像素a与第一原始像素a1不具有高相似度，即代表第一缩小像素a是不可信赖的，也就是说缩小前后的第一原始像素a1以及第一缩小像素a对应于拍摄场景中的不同物体(例如第一原始像素a1是背景，而第一缩小像素a是前景物体)。

当处理器140判定缩小视差像素可信赖时，将判断放大视差图中所对应的放大视差像素的放大视差值是否可信赖(步骤s304)。在此，处理器140可以根据放大视差值以及对应于放大视差值的第一原始像素以及第二原始像素的相似度，藉以判断第一缩小像素是否可信赖。

以图4a中的缩小视差值da为例，处理器140在针对缩小视差图dm’进行放大处理后，其所对应的放大视差值将为nda。假设处理器140是以缩放比例为2来对缩小视差图dm’的水平轴进行放大处理时，则放大视差值将为2da。接着，处理器140将以第一原始图像l的第一原始像素a2～a4根据放大视差值2da，在第二原始图像r找到对应的第二原始像素。如图4b中的第一原始图像l的第一原始像素a2为例，处理器140会在第二原始图像r中取得间隔2da的对应第二原始像素ra2。接着，处理器140会将第一原始像素a2～a4与第二原始像素ra2～ra4的像素值进行相似度比较，而像数值可以是色彩值或是灰阶值。在本实施例中，假设对应的第一原始像素a2与第二原始像素ra2的灰阶值的绝对值差值小于5，或者是rgb的绝对值差值均小于5即代表相似度高。在另一实施例中，也可以第一原始像素a2为中心围出一个区域(在此称为“第一区域”)，并且又以第二原始像素ra2为中心围出另一个区域(在此称为“第二区域”)，并且比对两个区域中对应像素的相似度。假设在此两个区域中，有一定比例以上的对应像素相似(例如70％的对应像素的灰阶值的绝对值差值小于5，或者是rgb的绝对值差值均小于5)，则判定第一原始像素a2与第二原始像素ra2的相似度高。假设第一原始像素a2与第二原始像素ra2的相似度高，即代表放大视差值2da是可信赖的。假设第一原始像素a3与第二原始像素ra3的相似度低，即代表放大视差值2da是不可信赖的。

当处理器140判定放大视差像素的视差值是可信赖时，将以第一搜寻范围搜寻出精细放大视差值(步骤s306)，据以建构精细视差图(步骤s308)，以解决精度不足的问题。如表1所示，在此所谓的精度不足是指缩小视差值在放大回放大视差值时(例如da放大回nda时)，会有空白视差值，也就是没有使用到的视差值。

表1

以水平轴的缩放比例2为例，若是直接以放大视差值2da来定义前述第一原始像素a2的视差值，则“2da-1”以及“2da+1”将没有被使用。也就是说，放大视差值的间隔为2，而导致精度降低。因此，在此步骤中将会以放大视差值为依据，配合相邻的空白视差值找出精确的视差值，以解决精度不足的问题。

首先，处理器140将基于缩小视差图与放大视差图之间的缩放比例以及缩小视差像素的缩小视差值来设定第一搜寻范围，例如n(da-1)＜sr1＜n(da+1)，其中sr1为第一搜寻范围。以图4b来说，2da-2＜sr1＜2da+2，也就是说第一搜寻范围sr1将会为2da-1、2da以及2da+1三个视差值。

接着，处理器140会以第一搜寻范围s1在第二原始图像r中找出与第一原始像素a2具有相似度最高的第二原始像素，其中相似度的比较数可以是如前述的色彩值或是灰阶值。以图4c为例，第二原始像素ra2r、ra2以及ra2l分别与第一原始像素a2具有2da-1、2da以及2da+1三个视差值，而处理器140将会判断第二原始像素ra2r、ra2以及ra2l中的哪一个与第一原始像素a2的相似度最高，从而定义精细放大视差值。处理器140在确定第一原始像素a2的精细放大视差值后，流程将结束，并且针对下一个原始像素(例如第一原始像素a3)进行处理。

请再回到图3，当处理器140在步骤s302判定缩小视差像素不可信赖时，将判断相邻的缩小视差像素是否可信赖(步骤s310)。在此，处理器140是根据第一原始像素缩小前的位置，在第一缩小像素的对应方向找相邻的第一缩小像素以判断相似度，从而判断相邻的缩小视差像素是否可信赖。假设处理器140是以水平、垂直方向的相邻的缩小像素(又称为“直向第一缩小像素”)为优先判断，再以斜向方向的相邻的缩小像素(又称为“斜向第一缩小像素”)来判断。

以图4d为例，假设第一原始像素a1与第一缩小像素a的相似度低。由于第一缩小像素a是由第一原始像素a1～a4缩小而成并且第一原始像素a1位于左上角，因此处理器140是先找第一缩小图像l’的第一缩小像素a水平以及垂直相邻的第一缩小像素，也就是第一缩小像素a左侧以及上侧的第一缩小像素x、y，并且判断第一原始像素a1与第一缩小像素x、y是否相似。如果第一原始像素a1与第一缩小像素x、y任一者相似度高，则将判定第一原始像素a1的相邻的第一原始像素可信赖。因此，流程又将回到步骤s304。举例来说，假设第一原始像素a1与第一缩小像素x的相似度高，则处理器140将判定第一原始像素a1实质上与第一缩小像素x为相同物体(例如同样为背景)，因此可参考第一缩小像素x的信息(例如第一缩小像素x的缩小视差值dx)来做为对应的放大视差像素的视差值。假设第一原始像素a1与第一缩小像素x以及第二缩小像素y两者的相似度都高，则与第一原始像素a1相似度最高者可视为可信赖的第一缩小像素。

另一方面，假设第一原始像素a1与第一缩小像素x以及第二缩小像素y两者的相似度都低，则处理器140将找第一缩小像素a斜向方向的相邻第一缩小像素(也就是，左上的第一缩小像素z)，并且判断第一原始像素a1与第一缩小像素z是否相似度高。如果第一原始像素a1与第一缩小像素z的相似度高，则将判定第一原始像素a1的相邻的第一原始像素可信赖，而流程将回到步骤s304。如果第一原始像素a1与第一缩小像素z的相似度低，则处理器140判定放大视差像素的视差值是可信赖时，则将判定第一原始像素a1的相邻的缩小视差像素不可信赖。

前述第一原始像素a1先与左侧的第一缩小像素x以及上侧的第一缩小像素y进行相似度比较，而如果相似度都不高，则才进一步地与左上的第一缩小像素z进行相似度比较的原因是基于像素的连续性。水平以及垂直方向相邻的像素最可能为相同物体(如同样为前景物体或是背景区域)，再来才是斜向方向相邻的像素。另外，如图4e所示，假设第一原始图像l的第一原始像素a1～a9缩小成第一缩小图像l’的第一缩小像素a，并且第一原始图像l中间的第一原始像素a5与第一缩小像素a的相似度低，则第一原始像素a5是以第一缩小像素a垂直以及水平相邻的第一缩小像素x、y、b、c比较，而可不用考虑斜向相邻的第一缩小像素z、w、d、v。

另一方面，当处理器140在步骤s304判定放大视差图中所对应的放大视差像素的视差值不可信赖或者是在步骤s310判定相邻的缩小视差像素不可信赖时，将判断是否可以第二搜寻范围搜寻替代放大视差值(步骤s312)。如同图2的实施例所述，第二搜寻范围可以为一个预定的搜寻范围(例如0～64的视差值)，也就是说不再参考缩小视差像素的缩小视差值来设定，而是直接在第二搜寻范围内寻找相似度最高的第二原始像素，以利用替代放大视差值来建构精细视差图(步骤s308)。另一方面，当处理器140无法在第二搜寻范围搜寻出替代放大视差值时，则会将第一原始像素设定为坏像素(badpixel)(步骤s314)。在此坏像素有可能是位于与第一图像传感器110以及第二图像传感器120过于接近的区域或者是第一图像传感器110以及第二图像传感器120其中的一个被遮蔽的区域等等因素所造成。

以图4f为例，假设第一原始图像l的第一原始像素a3进入到步骤s306，则处理器140会在第二原始图像r中根据第二搜寻范围sr2(即0～64的视差值)找出对应的65个第二原始像素ra30～ra364，并且分别比较第一原始像素a3与第二原始像素ra30～ra364的相似度。以图4g为例，假设处理器140找出与第一原始像素a3具有高相似度的第二原始像素ra3x、ra3y，并且从第二原始像素ra3x、ra3y中找出与第一原始像素a3相似度最高者。假设第一原始像素a3与第二原始像素ra3x的相似度最高，则第一原始像素a3与第二原始像素ra3x之间的视差值x即为第一原始像素a3所对应的放大视差像素的精细放大视差值。

另一方面，假设第一原始像素a3与第二原始像素ra30～ra364均不具有高相似度时，处理器140将判断第一原始像素a3没有对应的像素，则会将第一原始像素a3设定为坏像素。

以两张尺寸为320×180的原始图像为例，假设最大搜寻范围的视差值为32，则以习知方式输出一张视差图需要搜寻320×180×32＝1843200次。然而，若是以系统100所执行，假设先缩小原始图像为50％，也就是图像尺寸为160×90，则搜寻范围则缩小到视差值为16，因此需要搜寻160×90×16＝230400次。在较佳的情形下，假设将两张缩小图像还原至320×180，最大搜寻范围的视差值为32，则需要再搜寻320×180×3＝172800次，而总共搜寻403200次。相较于已知方式的1843200次，本实施例可减少了近80％的运算量，但仍保有视差图的信赖度。

前述实施例均是将原始图像缩小一次的方式执行，然而其还可如图5根据本发明的一实施例所绘示的产生深度信息的方法示意图来针对原始图像进行两次以上的缩小处理，并且以阶层式的方式来取得原始图像所对应的视差图。图5的方法亦可以图1所提出的系统100来实现。

请参照图5，假设图像组合lr分别由第一图像传感器110以及第二图像传感器所采集，其图像尺寸均为640×360。处理器140可以先将图像组合lr缩小成为图像组合lr’，其图像尺寸均为320×180。接着，处理器140可以再将图像组合lr’缩小成为图像组合lr”，其图像尺寸均为160×90。

之后，处理器140可将图像组合lr”进行立体匹配，以产生尺寸为160×90的视差图d”。接着，处理器140可利用前述实施例所提出的方法根据尺寸为160×90的视差图d”以及图像尺寸为320×180的图像组合lr’，以视差图缩小辅助立体匹配的方式，产生尺寸为320×180的视差图d’。类似地，处理器140可根据尺寸为320×180的视差图d’以及图像尺寸为640×360的图像组合lr，以视差图辅助立体匹配的方式，产生尺寸为640×360的视差图d。

综上所述，本发明所提出的产生视差图的方法及其图像处理装置与系统，其先利用两张缩小图像计算出缩小视差图，再将缩小视差图对应回两张原始图像以计算出更为精细的视差值，解决了缩小尺寸的深度图与原始图像难以对应的问题，以及缩小深度图还原回原始尺寸后，视差值的准确度降低的问题。本发明所产生的视差图除了可在低成本的前提下解决立体视觉估测视差时运算量庞大导致于系统速度过慢的问题，还可提高深度估测的准确度，以助于提升后续例如是结构光、立体图像、距离侦测、安全监控等立体视觉应用的效果。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何本领域普通技术人员，在不脱离本发明的精神和范围内，应当可作些许的改动与润饰，因此本发明的保护范围当以后附的权利要求所界定的范围为准。

【符号说明】

100：系统

110：第一图像传感器

120：第二图像传感器

130：存储器

140：处理器

s202～s214、s302～s314：步骤

l：第一原始图像

a1～a4、b1～b4、c1～c4、d1～d4、x1～x4、

y1～y4、z1～z4、a5～a9：第一原始像素

l’：第一缩小图像

a～d、v～z：第一缩小像素

r：第二原始图像

ra1～ra4、rb1～rb4、rc1～rc4、rd1～rd4、

ra2l、ra2r、ra3n、ra3x、ra3v：第二原始像素

r’：第二缩小图像

ra～rd：第二缩小像素

dm’：缩小视差图

da～dd、2da、x、y：视差值

sr2：第二搜寻范围

lr、lr’、lr”：图像组合

d、d’、d”：视差图