提供深度信息的影像处理方法及其影像处理系统的制作方法

专利名称：提供深度信息的影像处理方法及其影像处理系统的制作方法
技术领域：
本发明是有关于一种影像处理方法及其影像处理系统，且特别是有关于一种用以 提供深度信息的影像处理方法。
背景技术：
在计算机视觉的领域上，为了提供具有三维效果的立体影像，通常是提供三维内 容(3D content)至一立体显不器(autostereoscopic display)。上述的三维内容包括影像加深度(2D plus Z)的信息，即一二维影像与一深度 信息(cbpth information)。此深度信息例如为对应至此二维影像的一深度地图(cbpth map)。亦即，此深度信息包含了对应至二维影像的各像素的深度值。根据二维影像与对应 的深度信息，立体显示器可显示出立体影像，而能让使用者获得3D的观赏效果。为了令立体显示器显示立体影像，则需对影像中的场景进行深度估测。传统中，立 体视觉(stereo vision)的技术是利用对应于左右眼的两张拍摄影像来进行深度估测。此 外，近年来亦有人使用在多视角下所拍摄的多张影像来进行深度估测。再者，为了降低成本 与操作便利性，亦有能对单一镜头的摄像装置所提供的一张输入影像来进行深度估测的作 法。于一种估测一张输入影像的深度信息的传统作法中，是分析此输入影像的影像特 征信息，并进行分类(classification)处理。如此，将能归纳出输入影像中的场景特征，如 地面、建筑物、人体、及车辆，并作为影像深度判断的依据。然而，此一作法却需要花费大量 时间在对输入影像进行分类的实验(training)上。因此，如何利用一张输入影像来产生其 所对应的深度信息，仍为业界所致力的课题之一。

发明内容
本发明的目的是提供一种影像处理方法及其影像处理系统，不用花费大量时间在 对输入影像进行分类的实验上，而能利用一张输入影像来产生输入影像所对应的深度信 息。此深度信息确实能表现出输入影像中的物体拍摄距离的远近程度，且能精确地呈现影 像中的物体的立体感。为实现上述目的，根据本发明的一方面，提出一种影像处理方法，用以依据一输入 影像产生对应的一深度信息。此方法包括下列步骤。首先，依据输入影像产生一参考影像。 接着，分别将输入影像与参考影像分为对应的多个输入影像区块与参考影像区块。然后，依 据对应的各输入影像区块与各参考影像区块所分别包含的多笔输入像素数据与参考像素 数据，取得各输入影像区块所对应的变异量强度。之后，对输入影像进行影像分割处理，以 取得多个分割区域。接着，依据各个分割区域所实质上涵盖对应的输入影像区块的此些变 异量强度来产生深度信息。根据本发明的另一方面，提出一种影像处理系统，用以依据一输入影像产生对应 的一深度信息。影像处理系统包括一输入单元、一参考影像产生单元、一变异量强度产生单
8元、一影像分割单元、及一输出单元。输入单元用以取得输入影像。参考影像产生单用以依 据输入影像产生一参考影像。变异量强度产生单元用以分别将输入影像与参考影像分为对 应的多个输入影像区块与多个参考影像区块，并用以依据对应的各输入影像区块与各参考 影像区块所分别包含的多笔输入像素数据与多笔参考像素数据，取得各输入影像区块所对 应的变异量强度。影像分割单元用以对输入影像进行影像分割处理，以取得多个分割区域。 输出单元用以依据各个分割区域所实质上涵盖对应的输入影像区块的变异量强度来产生 深度信息。


图1A绘示依照本发明一实施例的影像处理方法的流程图。图1B绘示依照本发明一实施例的影像处理系统的方块图。图2绘示乃步骤S130所包含的步骤S132 S136的流程图。图3绘示为一输入影像的示意图一例。图4其绘示为一参考影像的示意图一例。图5及图6分别绘示为将图3及图4的输入影像与参考影像分为多个输入影像区 块与参考影像区块的一例。图7绘示为图5的此些输入影像区块所对应的变异量强度的一例。图8绘示为对图3的输入影像进行影像分割处理后所取得的多个分割区域的一 例。图9为图3的输入影像IY的一例。图10为图4的参考影像IR的一例。图11为图5的此些输入影像区块YB1 YBk的一例。图12为图7的此些输入影像区块YB1 YBk所对应的变异量强度VM1 VMk的一例。图13为图8的多个分割区域DA1 DAx的一例。图14为本发明一实施例的影像处理方法依照图12的变异量强度VM1 VMk与图 13的分割区域DA1 DAx所产生的深度地图DM的一例。图15为利用位于美国加州的一间发展动态数字深度(Dynamic DigitalDepth, DDD)的公司所提供的二维影像转立体影像的技术来产生的深度地图DM2。附图中主要组件符号说明100 影像处理系统110:输入单元120 参考影像产生单元130 变异量强度产生单元140 影像分割单元150 输出单元160 立体显示器DA1 DAx 分割区域DM、DM2:深度地图
Im 原始影像IR 参考影像IY 输入影像RB1 RBk 参考影像区块S110 S150、S132 S136 流程步骤YB1 YBk、YB (al) YB (an)输入影像区块VM1 VMk、VM(al) VM(an)变异量强度
具体实施例方式为让本发明的上述内容能更明显易懂，以下特举较佳实施例，并配合附图作详细 说明如下。于本发明的实施例中，是揭露一种能用以对一输入影像进行影像处理而提供对应 其的深度信息的影像处理方法与影像处理系统。本实施例撷取此输入影像的方式例如是利 用单一取像设备来撷取。此外，本实施例所适用的输入影像中的场景对象例如为单一取像 设备所撷取的真实的对象、人物、或景观，亦可以是利用基于计算机动画技术所产生的立体 对象。请参照图1A，其绘示依照本发明一实施例的影像处理方法的流程图。此影像处理 方法用以依据一输入影像产生对应的深度信息，例如是一深度地图(cbpth map)。此方法包 括下列步骤。首先，如步骤S110所示，依据输入影像产生一参考影像。接着，如步骤S120所示， 分别将输入影像与参考影像分为对应的多个输入影像区块与多个参考影像区块。之后，如步骤S130所示，依据对应的各输入影像区块与各参考影像区块所分别包 含的多笔输入像素数据与多笔参考像素数据，取得各输入影像区块所对应的变异量强度。然后，如步骤S140所示，对输入影像进行影像分割处理，以取得多个分割区域。接 着，如步骤S150所示，依据各个分割区域所实质上涵盖对应的输入影像区块的此些变异量 强度来产生深度信息。兹以一影像处理系统将图1A的影像处理方法的详细作法说明如下。请继续参照 图1A，并请同时参照图1B，其绘示依照本发明一实施例的影像处理系统的方块图。影像处 理系统100包括一输入单元110、一参考影像产生单元120、一变异量强度产生单元130、一 影像分割单元140、与一输出单元150。本实施例的影像处理系统100用以执行第1A图的 影像处理方法。首先，在本实施例进入步骤S110前，可由输入单元110先撷取一原始影像Im，例如 是彩色的原始影像(未绘示)。原始影像Im的像素数据例如由YCbCr的色彩空间所定义。 而由于人眼对亮度(luminance)变化的感受较为敏锐，故本实施例是以原始影像Im的亮度 成分作为输入影像IY。请参照图3，其绘示为一输入影像IY的示意图一例。本实施例所使用的输入影像 例如是输入影像IY，且此输入影像IY例如为保留了彩色原始影像Im的YCbCr色彩空间的 Y通道(Y channel)成分的影像。然后，本实施例进入步骤S110。于步骤S110中，参考影像产生单元120依据输入影像IY产生一参考影像IR。请参照图4，其绘示为一参考影像IR的示意图一例。产生参考影像IR的方式可 为，对输入影像IY进行模糊化处理来产生参考影像，例如是参考影像IR。举例来说，参考影 像产生单元120在产生参考影像IR时，可利用一低通滤波器(low-pass filter)(例如高 斯滤波器(Gaussian filter))、或一平均屏蔽(average mask)来对输入影像IY进行模糊 化处理。接着，于步骤S120中，变异量强度产生单元130分别将输入影像IY与参考影像IR 分为对应的多个输入影像区块与多个参考影像区块。请参照图5及图6，其分别绘示为将图3及图4的输入影像IY与参考影像IR分为 多个输入影像区块YB1 YBk与参考影像区块RB1 RBk的一例。于本实施例中，输入影 像IY可被分为多个输入影像区块，例如是输入影像区块YB1 YBk。而参考影像IR亦可 以此方式来分为多个参考影像区块，例如是参考影像区块RB1 RBk。于此些输入影像区 块YB1 YBk与参考影像区块RB1 RBk中，对应的一个输入影像区块(如输入影像区块 YB1)与一个参考影像区块(如参考影像区块RB1)具有相同的影像分辨率与像素数量。之后，于步骤S130中，变异量强度产生单元130依据对应的各输入影像区块与各 参考影像区块所分别包含的多笔输入像素数据与多笔参考像素数据，取得各输入影像区块 所对应的变异量强度VM1 VMk。请参照图7，其绘示为图5的此些输入影像区块YB1 YBk所对应的变异量强度 VM1 VMk的一例。图7的此些区块是对应至图5的此些输入影像区块YB1 YBk，而此些 区块所指示的数值是用以表示为本实施例所取得的变异量强度VM1 VMk。换言的，一个输 入影像区块(如输入影像区块YB1)是对应至一个变异量强度(如变异量强度VM1所示)。详言的，步骤S130可包含步骤S132 S136。请参照图2，其绘示乃步骤S130所 包含的步骤S132 S136的流程图。于步骤S132中，变异量强度产生单元130计算一个输入影像区块与对应的一个参 考影像区块所分别包含的各笔输入像素数据与各笔参考像素数据于水平方向的变化与于 垂直方向的变化。接着，变异量强度产生单元130再依据计算结果产生输入影像区块所对 应的一水平总体变异量与一垂直总体变异量。以输入影像区块YB1为例，将如何产生输入影像区块YB1所对应的水平总体变异 量与垂直总体变异量说明如下。请参照图5及图6，假设输入影像区块YB1与对应的参考影 像区块RB1各包含mXn笔像素资料，则对第I(i，j)笔像素资料而言，i为0至(m_l)的整 数，j为0至(n-1)的整数。于步骤S132中，在产生输入影像区块YB1所对应的水平总体变异量时，水平总体 变异量例如以下列式子来产生D_Ihor (i，j) = Abs (I (i，j) -I (i_l，j))，for i = 1 to m-1, j = 0 to n-1(式 1)D_Rhor (i，j) = Abs (R (i，j) -R (i_l，j))，for i = 1 to m-1, j = 0 to n-1(式 2)D_Vhor (i, j) = Max(0，D_Ihor (i, j)-D_Rhor (i, j))，for i = 1 to m-1, j = 1 to n_l(式 3)
其中，I(i，j)表示为输入影像区块YBl的第(i，j)笔输入像素数据；R(i，j)表示 为参考影像区块RBI的第(i，j)笔参考像素数据；Abs(.)表示进行绝对值的运算；Max(.) 表示进行最大值的运算；D_Ihor(i，j)表示为输入影像区块YBl的第(i，j)笔输入像素数 据于水平方向的变化；D_Rhor(i，j)表示为参考影像区块RBI的第(i，j)笔参考像素数据 于水平方向的变化；D_Vhor(i，j)表示为输入影像区块YBl的第(i，j)笔输入像素数据的 水平变异量绝对差值；s_Vh0r表示为输入影像区块YB1的所有输入像素数据的水平总体变
B旦升里。再者，于步骤S132中，在产生输入影像区块YB1所对应的垂直总体变异量时，垂直 总体变异量例如以下列式子来产生D_Iver (i，j) = Abs (I (i，j) -I (i，j_l))，for j = 1 to n-1, i = 0 to m_l(式 5)
D_Rver (i，j) = Abs (R (i，j) -R (i，j-1))，for j = 1 to n-1, i = 0 to m_l(式 6)D_Vver(i, j) = Max (0，D_Iver (i，j) _D_Rver (i，j))，for i = 1 to m-1, j = 1 to n_l(式 7) 其中，D_Iver(i, j)表示为输入影像区块YBl的第(i，j)笔输入像素数据于垂直 方向的变化；D_Rver(i，j)表示为参考影像区块RBI的第(i，j)笔参考像素数据于垂直方 向的变化；D_Vver(i，j)表示为输入影像区块YBl的第(i，j)笔输入像素数据的垂直变异 量绝对差值；s_Vver表示为输入影像区块YBl的所有输入像素数据的垂直总体变异量。在步骤S132之后，接着，如步骤S134所示，变异量强度产生单元130正规化水平 总体变异量与垂直总体变异量。变异量强度产生单元130在正规化水平总体变异量与水平总体变异量时，例如是 以一水平正规化参考值来对水平总体变异量进行正规化，并以一垂直正规化参考值来对垂 直总体变异量进行正规化。水平正规化参考值与垂直正规化参考值例如以下列式子来取 得
其中，s_Ihor表示为水平正规化参考值；s_IVer表示为垂直正规化参考值。于本实施例中，正规化水平总体变异量与垂直总体变异量的方式如下 其中，c_Ihor表示为正规化后的水平总体变异量；c_IVer表示为正规化后的垂直 总体变异量；正规化后的水平总体变异量与垂直总体变异量是介于0至1之间。之后，如步骤S136所示，变异量强度产生单元130依据正规化后的水平总体变异 量与垂直总体变异量，来取得输入影像区块所对应的变异量强度。举例来说，于一实施例中，变异量强度产生单元130在取得输入影像区块YB1所对 应的变异量强度VM1时，变异量强度产生单元130是将正规化后的水平总体变异量与垂直 总体变异量的较大者，作为输入影像区块YB1所对应的变异量强度VM1。详言的，输入影像 区块YB1所对应的变异量强度VM1例如可以下列式子来取得cVar = Max(c_Iver, c_Ihor) (式 13)其中，cVar表示为输入影像区块YB1所对应的变异量强度VM1。于另一实施例中，变异量强度产生单元130在取得输入影像区块YB1所对应的变 异量强度VM1时，变异量强度产生单元130是计算出正规化后的水平总体变异量与垂直总 体变异量的几和平均数，来作为输入影像区块YB1所对应的变异量强度VM1。详言的，输入 影像区块YB1所对应的变异量强度VM1亦例如能以下列式子来取得cVar = -^(c_Iverf +(c_Ihor)2 (式⑷上述是应用式13或式14的指标计算方式，以依据正规化后的水平总体变异量与 垂直总体变异量来取得输入影像区块YB1所对应的变异量强度VM1，然其是用以说明本发 明的用，而非用以限制本发明。本发明应可利用其它种指标计算方式来取得输入影像区块 YB1所对应的变异量强度VM1。如此，重复执行步骤S132 S136，将能取得如图7所示的此些输入影像区块 YB1 YBk所对应的变异量强度VM1 VMk。接着，本实施例进入步骤S140。于步骤S140中，影像分割单元140对输入影像IY 进行影像分割处理，以取得多个分割区域DA1 DAx。影像分割单元140在对输入影像进行 影像分割处理时，可利用影像灰阶的不连续性，或可依据影像色彩、纹理、或空间的相似性， 来将具有相同构型的区域分割出来。举例来说，影像分割单元140对输入影像IY进行影 像分割处理的方式可为，以边缘侦测(edge detection)的方式来进行分割，或以区域成长 (region growing)的方式来进行分割。请参照图8，其绘示为对图3的输入影像IY进行影像分割处理后所取得的多个分 割区域DA1 DAx的一例。影像分割单元140对输入影像IY进行影像分割处理后，将可取 得此多个分割区域DA1 DAx。于步骤S140后，本实施例将能取得多个输入影像区块YB1 YBk所对应的变异 量强度VM1 VMk(如图7所示)，以及输入影像IY的多个分割区域DA1 DAx(如图8所 示)。之后，本实施例便能利用输入影像区块YB1 YBk所对应的变异量强度VM1 VMk, 来决定出能合适地代表各个分割区域DAI DAx的深度的数值，从而产生对应至输入影像 IY的深度信息。如此，本实施例不用花费大量时间在对输入影像进行分类的实验上，即能利 用一张输入影像来产生其所对应的深度信息。
13
具体来说，于步骤S150中，输出单元150依据各个分割区域DA1 DAx所实质上 涵盖对应的输入影像区块的此些变异量强度VM1 VMk来产生深度信息。深度信息例如为 一深度地图DM。详言的，输出单元150在依据所选取的此些变异量强度VM1 VMk来产生深度信 息时，例如是先依据各个分割区域DA1 DAx所实质上涵盖对应的输入影像区块的此些变 异量强度VM1 VMk，来取得各个分割区域DA1 DAx所对应的一变异量强度代表值。之 后，再依据此些分割区域DA1 DAx所对应的变异量强度代表值来产生深度信息。举例来说，请同时参照图7与图8。在依据一个分割区域DA1所实质上涵盖对应的 输入影像区块的此些变异量强度时，可先选取此分割区域DA1所实质上涵盖对应的此些输 入影像区块YB1 YBk的此些变异量强度VM1 VMk，例如是选取输入影像区块YB (al) YB(an)所对应的此些变异量强度VM(al) VM(an)。输入影像区块YB(al) YB(an)所对 应的此些变异量强度VM(al) VM(an)是实质上涵盖于一个对应区域DAI，的中。而对应 区域DA1’与分割区域DA1是具有相近的面积与位置。接着，在选取此些变异量强度VM(al) VM(an)后，本实施例的输出单元150再依 据所选取的此些变异量强度VM(al) VM(an)来取得分割区域DAI所对应的一变异量强度 代表值。于一实施例中，输出单元150取得分割区域DA1所对应的变异量强度代表值的方 式例如但不限制地为，计算分割区域DA1所实质上涵盖对应的输入影像区块的变异量强度 (例如是所选取的此些变异量强度VM(al) VM(an))的均值，来作为分割区域DAI所对应 的变异量强度代表值。于其它实施例中，输出单元150亦可计算分割区域DA1所实质上涵盖 对应的输入影像区块的变异量强度的中间值，来作为分割区域DA1所对应的变异量强度代 表值。然，均值与中间值的作法仅为用以说明本发明的用，并非用以限制本发明，只要能从 分割区域DA1所实质上涵盖对应的输入影像区块的变异量强度来找出能代表分割区域DA1 的变异量强度的变异量强度代表值，皆在本发明的保护范围中。如此，依据上述的步骤(即取得分割区域DA1所对应的变异量强度代表值的步 骤)，便能取得所有分割区域DA1 DAx所对应的变异量强度代表值。其中，由于在步骤 S136中，输入影像区块VM1 VMk所对应的变异量强度是以正规化后(介于0至1之间) 的水平总体变异量与垂直总体变异量来取得，故此些变异量强度代表值会介于0至1之间。然后，输出单元150依据此些分割区域所对应的此些变异量强度代表值来产生深 度信息。于实作中，由于深度信息例如具有8位的灰阶(grayscale)，即深度地图DM的各个 像素的灰阶值是介于0至255之间，故本实施例的输出单元150可由对此些变异量强度代 表值进行线性对应(linear mapping)的方式来产生深度信息。于另一实施例中，输出单元150亦可由对此些变异量强度代表值进行非线性 (nonlinear)对应的方式来产生深度信息。例如，可依据此些变异量强度代表值的直方图 (histogram)来将各个介于0至1之间的值延展至0至255之间。然亦不限于此，只要能将 介于0至1之间的此些变异量强度代表值对应地转换为所需的深度信息，皆在本发明的保 护范围内。请参照图9-14。图9为图3的输入影像IY的一例。图10为图4的参考影像IR 的一例。图11为图5的此些输入影像区块YB1 YBk的一例。图12为图7的此些输入 影像区块YB1 YBk所对应的变异量强度VM1 VMk的一例。图13为图8的多个分割区域DA1 DAx的一例。图14为本发明一实施例的影像处理方法依照附图4的变异量强度 VM1 VMk与图13的分割区域DA1 DAx所产生的深度地图DM的一例。请同时参照图9与图14。于图14所示的深度地图DM中，颜色愈亮(灰阶度愈高) 的处表示物体拍摄距离愈近，而颜色愈暗(灰阶度愈低)的处表示物体拍摄距离愈远。区 域A1的颜色较亮，且此区域A1于输入影像IY中是对应至距离较近的物体B1。对应地，区 域A2的颜色较暗，且此区域A2于输入影像IY中是对应至距离较远的物体B2。因此，本实 施例所产生的深度地图DM确实能表现出输入影像IY中的物体拍摄距离的远近程度。再者，请同时参照图14与图15。图15为利用位于美国加州的一间发展动态数字 深度(Dynamic Digital Depth,DDD)的公司所提供的二维影像转立体影像的技术来产生的 深度地图DM2。于图15所示的深度地图DM2中，其深度配置是以影像中心向周围递减，亦即 深度地图DM2是以影像中间区域的距离较近、而影像周围的距离较远的方式来予以计算深 度值。然而，此方式将只能表现出位在影像中间区域的物体的立体感，而无法有效地表现出 影像周围的物体的立体感。举例来说，于深度地图DM2中，影像周围的区域A3’于输入影像 IY中是对应至距离较近的物体B3，然而此区域A3’的颜色却很暗(灰阶度很低)。于本实施例中，是利用影像的清晰的程度来突显出物体在影像上的远近关系。如 此，将能精确地呈现影像中的物体的立体感。举例来说，相较于传统的深度地图DM2，于本 实施例所产生的深度地图DM中，影像周围的区域A3的颜色很亮，且此区域A3于输入影像 IY中是对应至距离较近的物体B3。因此，本实施例不会有使得立体感降低的问题，而能够 有效地表现出影像(包含影像中心和周围)的物体的立体感。此外，于一实施例中，此影像处理方法可用以产生一立体(three-dimensional) 影像Im3D。请参照图1B，影像处理系统100所应用的影像处理方法例如可还包括以下步骤 提供输入影像与对应的深度信息至影像处理系统100所包含的一立体显示器160。例如，可 由一处理单元170来依据输入影像IY与对应的深度信息(如深度地图DM)产生一多视角 影像，并以交错(interlace)的方式将多视角影像转换为一交错影像Imit，并提供至立体 显示器160。如此，立体显示器160便能产生具有立体视觉(stereovision)效果的立体影 像 Im3D。本发明上述实施例所揭露的影像处理方法及其影像处理系统，依据一输入影像与 对应产生的一参考影像来产生输入影像的多个输入影像区块所对应的变异量强度，并依据 此些变异量强度来决定出能合适地代表各个输入影像的各个分割区域的深度值的数值。如 此，将不用花费大量时间在对输入影像进行分类的实验上，而能利用一张输入影像来产生 其所对应的深度信息。此深度信息确实能表现出输入影像中的物体拍摄距离的远近程度， 且能精确地呈现影像中的物体的立体感。综上所述，虽然本发明已以一较佳实施例揭露如上，然其并非用以限定本发明。本 发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更 动与润饰。因此，本发明的保护范围应当以申请的权利要求范围所界定的内容为准。
权利要求
一种影像处理方法，用以依据一输入影像产生对应的一深度信息，该方法包括依据该输入影像产生一参考影像；分别将该输入影像与该参考影像分为对应的复数个输入影像区块与复数个参考影像区块；依据对应的各该输入影像区块与各该参考影像区块所分别包含的复数笔输入像素数据与复数笔参考像素数据，取得各该输入影像区块所对应的变异量强度；对该输入影像进行影像分割处理，以取得复数个分割区域；以及依据各个分割区域所实质上涵盖对应的该些输入影像区块的该些变异量强度来产生该深度信息。
2.如权利要求1所述的方法，其中的产生该参考影像，是对该输入影像进行模糊化处 理来产生该参考影像。
3.如权利要求2所述的方法，其中的对该输入影像进行模糊化处理，是利用一低通滤 波器或一平均屏蔽来对该输入影像进行模糊化处理。
4.如权利要求1所述的方法，其中取得各该输入影像区块所对应的变异量强度是包括计算一个输入影像区块与对应的一个参考影像区块所分别包含的各笔输入像素数据 与各笔参考像素数据于水平方向的变化与于垂直方向的变化，并依据计算结果产生该输入 影像区块所对应的一水平总体变异量与一垂直总体变异量；以及依据该水平总体变异量与该垂直总体变异量，取得该输入影像区块所对应的变异量强度。
5.如权利要求4所述的方法，其中该输入影像区块与对应的该参考影像区块各包含 mXn笔像素数据，且于产生该输入影像区块所对应的该水平总体变异量的步骤中，该水平 总体变异量是以下列式子来产生D_Ihor(i，j) = Abs(I(i，j)-I(i_l，j))，for i = 1 to m_l，j = 0 to n_l ； D_Rhor(i j) = Abs(R(i, j)-R(i_l，j))，for i = 1 to m_l，j = 0 to n_l ； D_Vhor(i,j) = Max(0，D_Ihor(i，j)_D_Rhor(i，j))，for i = 1 to m_l，j = 1 ton-1 ；以及 其中，I(i，j)表示为该输入影像区块的第(i，j)笔输入像素数据； R(i，j)表示为该参考影像区块的第(i，j)笔参考像素数据； Abs(.)表示进行绝对值的运算； Max(.)表示进行最大值的运算；D_Ihor(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于水平方向的变化； D_Rhor(i, j)表示为该参考影像区块的第(i，j)笔参考像素数据于水平方向的变化； D_Vhor(i,j)表示为该输入影像区块的第(i，j)笔输入像素数据的水平变异量绝对差 值；及s_Vhor表示为该输入影像区块的该些输入像素数据的该水平总体变异量。
6.如权利要求4所述的方法，其中该输入影像区块与对应的该参考影像区块各包含 mXn笔像素数据，且于产生该输入影像区块所对应的该垂直总体变异量的步骤中，该垂直 总体变异量是以下列式子来产生 其中，I(i，j)表示为该输入影像区块的第(i，j)笔输入像素数据； R(i，j)表示为该参考影像区块的第(i，j)笔参考像素数据； Abs(.)表示进行绝对值的运算； Max(.)表示进行最大值的运算；D_Iver(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于垂直方向的变化； D_Rver(i, j)表示为该参考影像区块的第(i，j)笔参考像素数据于垂直方向的变化； D_Vver(i,j)表示为该输入影像区块的第(i，j)笔输入像素数据的垂直变异量绝对差 值；及s_Vver表示为该输入影像区块的该些输入像素数据的该垂直总体变异量。
7.如权利要求4所述的方法，其中于取得该输入影像区块所对应的变异量强度的步骤 前，该方法包括正规化该水平总体变异量与该垂直总体变异量；其中于取得该输入影像区块所对应的变异量强度的步骤中，是依据正规化后的该水平 总体变异量与该垂直总体变异量，来取得该输入影像区块所对应的变异量强度。
8.如权利要求7所述的方法，其中，于正规化该水平总体变异量与该垂直总体变异量 的步骤中，是以一水平正规化参考值来对该水平总体变异量进行正规化，并以一垂直正规 化参考值来对该垂直总体变异量进行正规化。
9.如权利要求8所述的方法，其中该输入影像区块对应的该参考影像区块各包含mXn 笔像素数据，且该水平正规化参考值与该垂直正规化参考值是以下列式子来取得 I(i，j)表示为该输入影像区块的第(i，j)笔输入像素数据； Abs(.)表示进行绝对值的运算；D_Ihor(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于水平方向的变化； D_Iver(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于垂直方向的变化； s_Ihor表示为该水平正规化参考值；及 s_Iver表示为该垂直正规化参考值。
10.如权利要求7所述的方法，其中在取得该输入影像区块所对应的变异量强度时，是 将正规化后的该水平总体变异量与该垂直总体变异量的较大者，作为该输入影像区块所对 应的变异量强度。
11.如权利要求7所述的方法，其中在取得该输入影像区块所对应的变异量强度时，是 计算出正规化后的该水平总体变异量与该垂直总体变异量的几和平均数，来作为该输入影 像区块所对应的变异量强度。
12.如权利要求1所述的方法，其中对该输入影像进行影像分割处理的步骤中，是以边 缘侦测的方式来进行分割。
13.如权利要求1所述的方法，其中对该输入影像进行影像分割处理的步骤中，是以区 域成长的方式来进行分割。
14.如权利要求1所述的方法，其中产生该深度信息的步骤包括依据各个分割区域所实质上涵盖对应的该些输入影像区块的该些变异量强度，来取得 各个分割区域所对应的一变异量强度代表值；以及依据该些分割区域所对应的该些变异量强度代表值来产生该深度信息。
15.如权利要求14项所述的方法，其中于取得各个分割区域所对应的该变异量强度代 表值的步骤包括计算一个分割区域所实质上涵盖对应的该些输入影像区块的该些变异量强度的均值， 来作为该分割区域所对应的该变异量强度代表值。
16.如权利要求14项所述的方法，其中于取得各个分割区域所对应的该变异量强度代 表值的步骤包括计算一个分割区域所实质上涵盖对应的该些输入影像区块的该些变异量强度的中间 值，来作为该分割区域所对应的该变异量强度代表值。
17.如权利要求14项所述的方法，其中产生该深度信息的步骤中，是以对该些变异量 强度代表值进行线性对应的方式来产生。
18.如权利要求14项所述的方法，其中产生该深度信息的步骤中，是以对该些变异量 强度代表值进行非线性对应的方式来产生。
19.如权利要求1所述的方法，用以产生一立体影像，且该方法更包括提供该输入影像与对应的该深度信息至一立体显示器，以使该立体显示器产生具有立 体视觉效果的该立体影像。
20.如权利要求1所述的方法，更包括撷取一原始影像，并以该原始影像的亮度成分作为该输入影像。
21.一种影像处理系统，用以依据一输入影像产生对应的一深度信息，该影像处理系统 包括一输入单元，用以取得该输入影像；一参考影像产生单元，用以依据该输入影像产生一参考影像； 一变异量强度产生单元，用以分别将该输入影像与该参考影像分为对应的复数个输入 影像区块与复数个参考影像区块，并用以依据对应的各该输入影像区块与各该参考影像区 块所分别包含的复数笔输入像素数据与复数笔参考像素数据，取得各该输入影像区块所对 应的变异量强度；一影像分割单元，用以对该输入影像进行影像分割处理，以取得复数个分割区域；以及 一输出单元，用以依据各个分割区域所实质上涵盖对应的该些输入影像区块的该些变 异量强度来产生该深度信息。
22.如权利要求21所述的影像处理系统，其中该参考影像产生单元是对该输入影像进 行模糊化处理来产生该参考影像。
23.如权利要求22所述的影像处理系统，其中该参考影像产生单元是利用一低通滤波 器(low-pass filter)或一平均屏蔽(average mask)来对该输入影像进行模糊化处理。
24.如权利要求21所述的影像处理系统，其中该变异量强度产生单元在取得各该输入 影像区块所对应的变异量强度时，该变异量强度产生单元是计算一个输入影像区块与对应 的一个参考影像区块所分别包含的各笔输入像素数据与各笔参考像素数据于水平方向的 变化与于垂直方向的变化，并依据计算结果产生该输入影像区块所对应的一水平总体变异 量与一垂直总体变异量，该变异量强度产生单元更依据该水平总体变异量与该垂直总体变 异量取得该输入影像区块所对应的变异量强度。
25.如权利要求24所述的影像处理系统，其中该输入影像区块与对应的该参考影像区 块各包含mXn笔像素数据，且该变异量强度产生单元是以下列式子来产生该输入影像区 块所对应的该水平总体变异量D_Ihor(i，j) = Abs(I(i，j)-I(i_l,j)), for i = 1 to m_l，j = 0 to n_l ； D_Rhor(i，j) = Abs(R(i, j)-R(i_l，j))，for i = 1 to m_l，j = 0 to n_l ； D_Vhor(i j) = Max(0，D_Ihor(i，j)_D_Rhor(i，j))，for i = 1 to m_l，j = 1 ton-1 ；以及s — Vhor =Vhor{i, j)，其中，I(i，j)表示为该输入影像区块的第(i，j)笔输入像素数据； R(i，j)表示为该参考影像区块的第(i，j)笔参考像素数据； Abs(.)表示进行绝对值的运算； Max(.)表示进行最大值的运算；D_Ihor(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于水平方向的变化； D_Rhor(i, j)表示为该参考影像区块的第(i，j)笔参考像素数据于水平方向的变化； D_Vhor(i,j)表示为该输入影像区块的第(i，j)笔输入像素数据的水平变异量绝对差 值；及s_Vhor表示为该输入影像区块的该些输入像素数据的该水平总体变异量。
26.如权利要求24所述的影像处理系统，其中该输入影像区块与对应的该参考影像区 块各包含mXn笔像素数据，且该变异量强度产生单元是以下列式子来产生该输入影像区 块所对应的该垂直总体变异量 其中，I(i，j)表示为该输入影像区块的第(i，j)笔输入像素数据； R(i，j)表示为该参考影像区块的第(i，j)笔参考像素数据； Abs(.)表示进行绝对值的运算； Max(.)表示进行最大值的运算；D_Iver(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于垂直方向的变化； D_Rver(i, j)表示为该参考影像区块的第(i，j)笔参考像素数据于垂直方向的变化； D_Vver(i,j)表示为该输入影像区块的第(i，j)笔输入像素数据的垂直变异量绝对差 值；及s_Vver表示为该输入影像区块的该些输入像素数据的该垂直总体变异量。
27.如权利要求24所述的影像处理系统，其中该变异量强度产生单元用以正规化该水 平总体变异量与该垂直总体变异量，并依据正规化后的该水平总体变异量与该垂直总体变 异量，来取得该输入影像区块所对应的变异量强度。
28.如权利要求27所述的影像处理系统，其中该变异量强度产生单元是以一水平正规 化参考值来对该水平总体变异量进行正规化，并以一垂直正规化参考值来对该垂直总体变 异量进行正规化。
29.如权利要求28所述的影像处理系统，其中该输入影像区块对应的该参考影像区块 各包含mXn笔像素数据，且该变异量强度产生单元是以下列式子来取得该水平正规化参 考值与该垂直正规化参考值 I(i，j)表示为该输入影像区块的第(i，j)笔输入像素数据； Abs(.)表示进行绝对值的运算；D_Ihor(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于水平方向的变化； D_Iver(i, j)表示为该输入影像区块的第(i，j)笔输入像素数据于垂直方向的变化； s_Ihor表示为该水平正规化参考值；及 s_Iver表示为该垂直正规化参考值。
30.如权利要求27所述的影像处理系统，其中该变异量强度产生单元是将正规化后的 该水平总体变异量与该垂直总体变异量的较大者，作为该输入影像区块所对应的变异量强度。
31.如权利要求27所述的影像处理系统，其中该变异量强度产生单元是计算出正规化 后的该水平总体变异量与该垂直总体变异量的几和平均数，来作为该输入影像区块所对应 的变异量强度。
32.如权利要求21所述的影像处理系统，其中该影像分割单元是以边缘侦测的方式来 对该输入影像进行影像分割处理。
33.如权利要求21所述的影像处理系统，其中该影像分割单元是以区域成长的方式来 对该输入影像进行影像分割处理。
34.如权利要求21所述的影像处理系统，其中该输出单元在产生该深度信息时，是依 据各个分割区域所实质上涵盖对应的该些输入影像区块的该些变异量强度来取得各个分 割区域所对应的一变异量强度代表值，再依据该些分割区域所对应的该些变异量强度代表 值来产生该深度信息。
35.如权利要求34所述的影像处理系统，其中该输出单元是计算一个分割区域所实质 上涵盖对应的该些输入影像区块的该些变异量强度的均值，来作为该分割区域所对应的该 变异量强度代表值。
36.如权利要求34所述的影像处理系统，其中该输出单元是计算一个分割区域所实质 上涵盖对应的该些输入影像区块的该些变异量强度的中间值，来作为该分割区域所对应的 该变异量强度代表值。
37.如权利要求34所述的影像处理系统，其中该输出单元是以对该些变异量强度代表 值进行线性对应的方式来产生该深度信息。
38.如权利要求34所述的影像处理系统，其中该输出单元是以对该些变异量强度代表 值进行非线性对应的方式来产生该深度信息。
39.如权利要求21所述的影像处理系统，更包括一立体显示器，用以接收该输入影像与对应的该深度信息，而产生具有立体视觉效果的一立体影像。
40.如权利要求21所述的影像处理系统，其中该输入单元更用以撷取一原始影像，并 以该原始影像的亮度成分作为该输入影像。
全文摘要
一种影像处理方法，用以依据一输入影像产生对应的一深度信息。此方法包括下列步骤。首先，依据输入影像产生一参考影像。接着，分别将输入影像与参考影像分为对应的多个输入影像区块与参考影像区块。然后，依据对应的各输入影像区块与各参考影像区块所分别包含的多笔输入像素数据与参考像素数据，取得各输入影像区块所对应的变异量强度。之后，对输入影像进行影像分割处理，以取得多个分割区域。接着，依据各个分割区域所实质上涵盖对应的输入影像区块的此些变异量强度来产生深度信息。
文档编号H04N13/00GK101873506SQ200910136819
公开日2010年10月27日 申请日期2009年4月21日 优先权日2009年4月21日
发明者邵得晋, 陈文昭 申请人:财团法人工业技术研究院