多视角视差图的补洞方法
【专利摘要】本发明有关于一种多视角视差图的补洞方法。此方法分别取得拍摄一目标的多个视角中至少一个已知视角相对应的影像视差图。然后，针对这些视角中除已知视角外的多个虚拟视角，依照各个虚拟视角与所述已知视角之间的虚拟相机位置的距离或转换角度，依序使用已知视角的影像视差图来合成虚拟视角的影像视差图。最后，使用所述距离或转换角度小于虚拟视角的其他虚拟视角的影像视差图的填补信息来填补所合成的虚拟视角的影像视差图中至少一个未知区域的破洞。
【专利说明】多视角视差图的补洞方法
【技术领域】
[0001]本发明是有关于一种视差图补洞方法，且特别是有关于一种多视角视差图的补洞方法。
【背景技术】
[0002]随着三维立体(3D)电视的崛起，如何利用少量的二维影像来产生多视角影像的技术也越来越重要。目前已有许多用以产生虚拟视角影像的方法，其大致上可分为两种:一种是由一张影像来产生其他虚拟视角的影像；另一种则是由两张影像来产生此两张影像夹角内的虚拟视角的影像。以上方法所模拟出来的虚拟视角因为转换角度不大，因此所产生的未知区域也不大。然而，裸视3D电视的影像内容需要模拟大视角的转换，从而会产生相当大的未知区域，此将是以上方法所不能负荷的。若要产生拟真的虚拟视角影像，除了影像方面的模拟之外，视差图的处理也是很重要的一环。其中，视差图的值是否正确，关系着是否能将影像投影至正确的位置，而对于虚拟视角中未知区域的补洞，也会对影像信息的正确性造成影响。
[0003]一般补洞的方法大多适用于经由小视角转换所产生的小未知区域，而当转换视角变大时，未知区域也随之扩大，此时前景与背景之间会因为视角转换的关系可能造成错位，从而导致左右关系与原先不同。也因此，未知区域的周围没有正确的深度值，再怎么从邻近区域抓值来填补也只会抓到错误的值。举例来说，如图1所示，图1为一视角转换后的视差图，颜色较浅的表示物体较接近拍摄位置，颜色较深的表示物体较远离拍摄位置。未知区域18 (以黑色表示)原为石膏人像14背后的背景，此区域的视差值应与视差图的背景12相同。但因为视角转换显露出来的未知区域18是产生在石膏人像14与三角锥16的中间，此未知区域18的周围完全被前景所包围，而没有与它正确的背景值相接。
[0004]另外，一般的补洞方法是分别对所产生的不同虚拟角度的影像个别作补洞，此可能造成原本在3D空间中的同一个点，在不同虚拟视角的影像里却补上不同的深度值，这样的结果将会影响之后观赏时的感官错乱，从而影响3D立体感。
【发明内容】
[0005]本发明提出一种多视角视差图的补洞方法，适用于电子装置。此方法是针对拍摄一目标的多个视角中的至少一个已知视角，分别取得对应的影像视差图。然后，针对这些视角中除已知视角外的多个虚拟视角，依照各个虚拟视角与所述已知视角之间的虚拟相机位置的距离或转换角度，依序使用已知视角的影像视差图来合成其他虚拟视角的影像视差图。最后为填补虚拟视角中的未知区域，填补虚拟视角未知区域的顺序为虚拟相机位置的距离或虚拟视角转换角度的大小，由距离或转换角度小的开始处理。每一个虚拟视角填补未知区域前利用距离或转换角度小于该虚拟视角的其他虚拟视角的影像视差图的填补信息来填补该虚拟视角的影像视差图中至少一个未知区域的破洞。
[0006]本发明提出一种多视角视差图的补洞方法，适用于电子装置。此方法是针对拍摄一目标的多个视角中的至少一个已知视角，分别取得对应的影像视差图。接着，针对这些视角中除已知视角外的多个虚拟视角，使用已知视角的影像视差图来合成各个虚拟视角的影像视差图，再对所合成的虚拟视角的影像视差图中至少一个未知区域的破洞进行填补。然后，将所述虚拟视角的影像视差图的投影方式转换为一水平方向为正交投影以及垂直方向为透视投影，并对转换后的虚拟视角的影像中至少一个未知区域的破洞进行填补。
[0007]为让本发明的上述特征能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
【专利附图】
【附图说明】
[0008]图1为现有补洞方式产生的视差图；
[0009]图2为依照本发明一实施例所绘示的由单张已知视差图模拟其他虚拟视角俯视示意图；
[0010]图3为依照本发明一实施例所绘示的以两张已知视差图模拟其他虚拟视角俯视示意图；
[0011]图4是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图；
[0012]图5是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图；
[0013]图6是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图；
[0014]图7是依照本发明一实施例所绘示的多视角视差图的补洞方法的范例；
[0015]图8(a)至图8(c)为本发明一实施例提出的方法与其他补洞方法的结果比较图；
[0016]图9 (a)及图9(b)为本发明一实施例的两种投影方式在同一个虚拟视角产生的不同视差图；
[0017]图10是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图；
[0018]图11是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图。
[0019]其中，附图标记:
[0020]12:背景，与未知区域有相同的深度值
[0021]14:石膏人像
[0022]16:三角锥
[0023]18:未知区域
[0024]60、110:流程
[0025]62、112:左影像视差图
[0026]64、114:右影像视差图
[0027]66:传递图
[0028]68:虚拟视角η的影像视差图
[0029]116、118:多个虚拟视角的影像视差图
[0030]S402~S406:本发明一实施例的多视角视差图的补洞方法的步骤
[0031]S502^S510:本发明一实施例的多视角视差图的补洞方法的步骤
[0032]S602~S614:本发明一实施例的多视角视差图的补洞方法的步骤
[0033]S1002~S1010:本发明一实施例的多视角视差图的补洞方法的步骤
[0034]S1102飞1112:本发明一实施例的多视角视差图的补洞方法的步骤【具体实施方式】
[0035]以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
[0036]本发明提出一种多视角视差图的补洞方法，可处理大角度虚拟视角的视差图，且产生的影像视差图能够在空间中保有一致性，让3D视觉效果达到最佳。本发明的特征为将一张或多张不同视角的视差图(Disparity Map)转换成多视角且大角度变换的虚拟视角视差图，并用来合成立体影像的内容。因为输入的视差图有限，将其视角转换后会产生一些未知区域，而在填补这些虚拟视角视差图中的未知区域时，为了保持空间中的一致性，本发明定义了一个传递图(Propagation Map),其可用以储存已经填补的未知区域的信息。
[0037]举例来说，图2为依照本发明一实施例所绘示的由单张已知视差图模拟其他虚拟视角俯视示意图。图3为依照本发明一实施例所绘示的以两张已知视差图模拟其他虚拟视角俯视示意图。其中，本实施例的传递图固定在某一视角(如图2、图3中的三角点)，或是其他正对影像中心相邻的视角。另外，本实施例是以模拟14个虚拟视角为例，图2、图3中的圆点标示所要模拟(输出)的视差图的虚拟视角，方形点标示所输入的已知视差图的视角。以下介绍的实施方式以两张已知的视差图为例。
[0038]当所要模拟的虚拟视角的转换视角越大时，所产生的未知区域也越大，且前后物体的左右关系也已更改，此时未知区域的周围可能没有正确的值可以参考。对此，本发明提出的方法例如是先从转换视角较小的虚拟视角的视差图开始着手，此转换视角代表该虚拟视角与影像中央垂直线的夹角，例如图3的第8个虚拟视角的转换角度为Θ。因此，填补虚拟视角的顺序例如为7，8，6，9，…，1，14。从转换角度较小的视差图开始填补，因为该虚拟视角视差图的未知区域较小，抓取邻近视差值来填补准确率较高。除了依虚拟视角转换的角度的大小来决定处理顺序外，在另一实施例中，也可以依照虚拟视角与任一已知视差图的虚拟相机位置的距离来决定处理顺序(由最小距离开始)，也就是图3中圆点与任一方形的距离。此处理顺序是为了先 从未知区域最少的虚拟视角开始着手，以增加填补的准确率。
[0039]图4是依照本发明一实施例所绘示的多视角视差图的补洞方法流程图。请参照图4，本实施例的补洞方法适于由电子装置来执行，此电子装置例如是电脑、工作站、伺服器，或其他具有微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific IntegratedCircuits, ASIC)、可程序化逻辑装置(Programmable Logic Device, PLD)的装置,而可用以执行本实施例的补洞方法。本实施例方法的详细步骤如下:
[0040]首先，由电子装置分别取得拍摄一目标的多个视角中至少一个已知视角相对应的影像视差图(步骤S402)，并针对这些视角中除已知视角外的多个虚拟视角，依照各个虚拟视角与已知视角之间的虚拟相机位置距离或转换角度，依序使用已知视角的影像视差图来合成虚拟视角的影像视差图(步骤S404)。其中，电子装置例如会先将所取得的已知视角的影像视差图的视角转换(或者投影)至所要模拟的虚拟视角，然后再将这些已经过视角转换的影像视差图合成，以产生此虚拟视角的影像视差图。
[0041]需说明的是，在合成影像视差图的过程中，电子装置例如会针对此虚拟视角的影像视差图中的每一个像素，选取所有影像视差图的对应像素中深度值较小的像素的像素值来作为此影像视差图的像素的像素值。其中，若此像素在这些影像视差图中皆无对应的深度值，则电子装置会将此像素标示为未知区域。
[0042]最后，电子装置会使用距离或转换角度小于此虚拟视角的其他虚拟视角的影像视差图的填补信息，来填补所合成的虚拟视角的影像视差图中的未知区域的破洞(步骤S406)。其中，针对第一顺位处理的虚拟视角，在填补其影像视差图中的未知区域时，因为没有先前的信息，所以由已知视角的影像视差图转换视角后直接对未知区域做填补。此处所使用的补洞方式不限定方法，例如可采用一般简单的补洞方式，即抓取未知区域的左边与右边深度较深的值来填补此区域，即可以有很好的效果。
[0043]需说明的是，在取得转换角度较小的虚拟视角的影像视差图并填补破洞后，此影像视差图即可和已知视角的影像视差图一起用来合成转换角度较大的虚拟视角的影像视差图。以下则再举一实施例详细说明。
[0044]图5是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图。请参照图5，本实施例的补洞方法适于由电子装置来执行，其详细步骤如下:
[0045]首先，由电子装置分别取得拍摄一目标的多个视角中至少一个已知视角相对应的影像视差图(步骤S502)，并针对这些视角中除已知视角外的多个虚拟视角，使用已知视角的影像视差图来合成虚拟视角的影像视差图(步骤S504)。上述步骤S502?S504的内容与前述实施例的步骤S402?S404相同或相似，故在此不再赘述。
[0046]与前述实施例不同的是，本实施例的电子装置在每次填补虚拟视角的影像视差图中未知区域的破洞时，还会将其填补此未知区域的填补信息记录于一个传递图。藉此，当电子装置合成下一个虚拟视角的影像视差图时，即可存取其先前填补其他虚拟视角的影像视差图时所记录的传递图，而将此传递图中的填补信息填入所合成的虚拟视角的影像视差图中未知区域的破洞(步骤S506)。此外，电子装置还可使用其他的补洞方法对虚拟视角的影像视差图的破洞进行填补(步骤S508)，例如，可取用未知区域周围一深度值的像素的像素值来填补未知区域的破洞。最后，电子装置会将所有的填补信息回传到传递图中(步骤S510),以作为填补下一个影像视差图的破洞的依据。其中，电子装置例如会将此传递图的视角转换至预设视角，以作为填补下一个影像视差图的破洞的依据，而在进行影像视差图的填补时，电子装置则会将先前已转换至预设视角的传递图的视角转换至目前要填补的影像视差图的虚拟视角。此预设视角例如是正对影像中心或正对相邻影像中心的视角，在此不设限。
[0047]举例来说，图6是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图。请参照图6，本实施例的流程60是由电子装置分别将已知视角的左影像视差图62及右影像视差图64转换至所要模拟的虚拟视角η (步骤S602及S604)，而获得视角转换后的左影像视差图及右影像视差图。接着，将视角转换后的左影像视差图及右影像视差图合成为所要模拟的虚拟视角的影像视差图(步骤S606)，并使用先前处理过的虚拟视角的影像视差图的填补信息，来填补所合成的虚拟视角的影像视差图中未知区域的破洞。其中，电子装置例如会先将其先前填补其他虚拟视角的影像视差图所记录的传递图66，经由转换至所要模拟的虚拟视角(步骤S608)后，拿来填补目前所合成的虚拟视角的影像视差图中未知区域的破洞(步骤S610)。
[0048]之后，电子装置会利用其他补洞方法对该虚拟视角的影像视差图进行补洞(步骤S612)，例如是从该虚拟视角的影像视差图中，取用未知区域周围一深度值的像素的像素值来填补未知区域的破洞，从而获得所要模拟的虚拟视角η的影像视差图68。其中，电子装置例如还会将其填补破洞的填补信息，经由视角转换(步骤S614)后，用以更新传递图66，藉以作为填补下一个虚拟视角的影像视差图时的依据。
[0049]同理，在处理下一个虚拟视角的影像视差图时，即可将转换视角后的影像视差图与转换视角后的传递图合并，以减少未知区域的大小，并利用补洞方法将剩下的未知区域填补。同样的，此时的填补信息需转换回传递图以累积填补信息。接下来处理每个虚拟视角的方式都相同。
[0050]简而言之，上述流程大致上可分成四个步骤:即转换已知影像视差图的视角、加入传递图的信息、填补未知区域、回传填补信息至传递图。举例来说，图7是依照本发明一实施例所绘示的多视角视差图的补洞方法的范例。请参照图7，本实施例分别绘示8th、lst、14th虚拟视角的影像视差图经由上述四个步骤处理后的结果。
[0051]综上所述，本发明的补洞方法不会因为虚拟视角的转换角度过大，造成前后物体错位后未知区域难以填补回正确的值。图8(a)?图8(c)为本发明一实施例提出的方法与其他补洞方法的结果比较图。其中，图8(a)为补洞前的影像，黑色部分为未知区域；图8(b)为利用其他补洞方法进行补洞后的影像；图8(c)为利用本发明提出的方法进行补洞后的影像。
[0052]需说明的是，因为对所有产生的虚拟视角填补信息一致，符合之后要合成立体影像内容的需求。目前立体电视所需要产生的虚拟视角，投影方式水平与垂直都为透视投影(Perspective projection,在此简称为PP投影)，例如多视角(Mult1-view)立体显示器。这类投影方式与本发明取用影像的投影方式相同。另一类立体电视例如是采用水平视差积分成像(HPO II)的立体显示器，其需要的虚拟视角在水平方向的投影为正交投影(Orthographic projection),而在垂直方向的投影为透视投影(在此简称为OP投影)。这种投影方式的虚拟视角所产生的未知区域的规则与一般因为视角转换所产生的未知区域的规则不同。举例来说，图9(a)及图9(b)为本发明一实施例的两种投影方式在同一个虚拟视角产生的不同视差图。其中，图9(a)为PP投影；图9(b)则为OP投影在同一个视角产生的虚拟视角视差图与其未知区域。
[0053]因此，要填补这类虚拟视角的未知区域需要分成两阶段来填补，第一阶段为处理因为视角转换所产生的未知区域，第二阶段为处理因为不同投影方式所产生的未知区域。以下则举实施例详细说明。
[0054]图10是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图。请参照图10，本实施例的补洞方法适于由电子装置来执行，其详细步骤如下:
[0055]首先，由电子装置分别取得拍摄一目标的多个视角中至少一个已知视角相对应的影像视差图(步骤S1002)，并针对这些视角中除已知视角外的多个虚拟视角，使用所述已知视角的影像视差图来合成各个虚拟视角的影像视差图(步骤S1004)，以及对所合成的虚拟视角的影像视差图中未知区域的破洞进行填补(步骤S1006)。其中，电子装置在合成影像视差图及填补破洞时，例如会采用前述实施例的方式，意即，依照各个虚拟视角的虚拟相机位置，依序使用已知视角的影像视差图来合成虚拟视角的影像视差图，并且使用转换角度小于目前虚拟视角的其他虚拟视角的影像视差图的填补信息，来填补所合成的虚拟视角的影像视差图中未知区域的破洞。上述方法的详细实施方式已揭露于前述实施例中，在此不再赘述。
[0056]需说明的是，在产生各个虚拟视角的影像之后，为了产生所要的三维立体影像，电子装置会将这些虚拟视角的影像的投影方式转换为OP投影(步骤S1008)，并对转换后的虚拟视角的影像中未知区域的破洞进行填补(步骤S1010)，最终填补后的虚拟视角的影像即可用以合成三维立体影像。
[0057]详言之，若要产生虚拟视角的影像，必须先得到该虚拟视角的视差图，而视差图的正确率为之后合成该虚拟视角影像的一个非常重要的因素。因此，本发明提供了模拟准确率极高的多个且大角度转换虚拟视角的视差图，以供之后模拟虚拟视角影像时使用，最后再将所有模拟的虚拟视角影像合成为一张三维立体影像。
[0058]举例来说，图11是依照本发明一实施例所绘示的多视角视差图的补洞方法的流程图。请参照图11，本实施例的流程110是由电子装置分别将已知视角的左影像视差图112及右影像视差图114转换至所要模拟的虚拟视角(步骤S1102及S1104)，而获得视角转换后的左影像视差图及右影像视差图。接着，将视角转换后的左影像视差图及右影像视差图合成为所要模拟的虚拟视角的影像视差图(步骤S1106)，并使用其他虚拟视角的影像视差图的填补信息，来填补所合成的虚拟视角的影像视差图中未知区域的破洞(步骤S1108)。其中，电子装置可利用其先前填补其他影像视差图所记录的传递图中的填补信息，拿来填补目前所合成的虚拟视角的影像视差图中未知区域的破洞。此处影像视差图的转换方式仍然采用PP投影，且是将转换后的影像视差图合并后进行补洞，而可产生多个虚拟视角的影像视差图116，以做为符合多视角三维立体显示器的输入。
[0059]另一方面，电子装置会进一步将上述虚拟视角的影像视差图的投影方式转换为OP投影(步骤S1110)，并对转换后的这些虚拟视角的影像视差图中的未知区域进行破洞填补(步骤S1112)，最后这些虚拟视角的影像视差图为符合水平视差积分成像立体显示器所需的视差图。详言之，若要产生水平视差积分成像立体显示器符合的输入，需要将虚拟视角从PP投影转换成OP投影，但这样的转换仍然会产生一些未知区域的破洞，此时再利用补洞的方法将此区域填补，最后即可获得多个虚拟视角的影像视差图118，以做为符合水平视差积分成像立体显示器的输入。
[0060]综上所述，本发明的多视角视差图的补洞方法将少量视差图转换至多个虚拟视角后，针对每一个虚拟视角的补洞考虑空间上的一致性，而将所有的补洞信息都转存在同一个视角的传递图里。而在多个虚拟视角里，采用转换角度最小或是距离已知视角最小的视角开始填补未知区域，接着再填补其他较大的虚拟视角。其中，藉由将先前在其他虚拟视角填补的信息用来帮助其他虚拟视角填补未知区域，从而可填补视差图转换视角时所产生的未知区域的破洞。此外，本发明可产生不同投影方式的立体视差图，第一阶段为将输入的视差图转换成其相对应的虚拟视角视差图后，再填补因为视角转换而产生的未知区域的破洞，第二阶段为将视差图转换投影方式后再进行补洞，以填补因为投影方式改变而产生的未知区域的破洞。
[0061]虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属【技术领域】中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的申请专利范围所界定者为准。
【权利要求】
1.一种多视角影像视差图的补洞方法，适用于一电子装置，其特征在于，该方法包括下列步骤: 针对拍摄一目标的多个视角中的至少一已知视角，分别取得对应的一影像视差图； 针对所述视角中除所述已知视角外的多个虚拟视角，依照各所述虚拟视角与所述已知视角之间的一虚拟相机位置的一距离或一转换角度，依序使用所述已知视角的影像视差图来合成该虚拟视角的影像视差图；以及 使用该距离或该转换角度小于该虚拟视角的其他虚拟视角的影像视差图的一填补信息，填补所合成的该虚拟视角的影像视差图中至少一未知区域的破洞。
2.根据权利要求1所述的多视角影像视差图的补洞方法，其特征在于，使用所述已知视角的影像视差图来合成该虚拟视角的影像视差图的步骤包括: 取得所述已知视角的至少一影像视差图； 转换所述影像视差图的视角至该虚拟视角；以及 合成转换视角后的所述影像视差图以产生该虚拟视角的影像视差图。
3.根据权利要求2所述的多视角影像视差图的补洞方法，其特征在于，合成转换视角后的所述影像视差图以产生该虚拟视角的影像视差图的步骤包括: 针对该虚拟视角的影像视差图中的每一个像素，选取所述影像视差图的对应像素中一深度值较小的像素的像素值来作为影像视差图的该像素的像素值，若该像素皆无对应的深度值，则标示该像素为未知区域。
4.根据权利要求1所述的多视`角影像视差图的补洞方法，其特征在于，使用该转换角度小于该虚拟视角的其他虚拟视角的影像视差图的该填补信息，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞的步骤更包括: 记录填补所合成的该虚拟视角的影像视差图中所述未知区域的填补信息于一传递图。
5.根据权利要求4所述的多视角影像视差图的补洞方法，其特征在于，使用该转换角度小于该虚拟视角的其他影像视差图的该填补信息，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞的步骤包括: 存取填补该其他虚拟视角的影像视差图时所记录的该传递图，将该传递图中的该填补信息填入所合成的该虚拟视角的影像视差图中所述未知区域的破洞。
6.根据权利要求5所述的多视角影像视差图的补洞方法，其特征在于，使用该转换角度小于该虚拟视角的其他虚拟视角的影像视差图的该填补信息，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞的步骤更包括: 取用所述未知区域周围一深度值的像素的像素值来填补所述未知区域的破洞。
7.根据权利要求4所述的多视角影像视差图的补洞方法，其特征在于，记录填补所合成的该虚拟视角的影像视差图中所述未知区域的填补信息于该传递图的步骤更包括: 转换该传递图的视角至一预设视角。
8.根据权利要求7所述的多视角影像视差图的补洞方法，其特征在于，存取填补该其他虚拟视角的影像视差图时所记录的该传递图的步骤更包括: 转换该传递图的视角至该虚拟视角，以将转换后的该传递图中的该填补信息填入所合成的该虚拟视角的影像视差图中的所述未知区域。
9.根据权利要求7所述的多视角影像视差图的补洞方法，其特征在于，该预设视角为正对或正对相邻一影像中心的视角。
10.根据权利要求1所述的多视角影像视差图的补洞方法，其特征在于，该转换角度为该虚拟视角与影像中心点所夹的角度。
11.一种多视角影像视差图的补洞方法，适用于一电子装置，其特征在于，该方法包括下列步骤: 针对拍摄一目标的多个视角中的至少一已知视角，分别取得对应的一影像视差图； 针对所述视角中除所述已知视角外的多个虚拟视角，使用所述已知视角的影像视差图来合成各所述虚拟视角的影像视差图； 填补所合成的该虚拟视角的影像视差图中至少一未知区域的破洞； 转换所述虚拟视角的影像的一投影方式为一水平方向为正交投影，垂直方向为透视投影；以及 填补转换后的所述虚拟视角的影像中所述未知区域的破洞。
12.根据权利要求11所述的多视角影像视差图的补洞方法，其特征在于，针对所述视角中除所述已知视角外的多个虚拟视角，使用所述已知视角的影像视差图来合成各所述虚拟视角的影像视差图的步骤包括: 针对所述视角中除所述已知视角外的多个虚拟视角，使用所述已知视角的影像视差图来合成该虚拟视角的影像视差图。
13.根据权利要求12所述的多视角影像视差图的补洞方法，其特征在于，使用所述已知视角的影像视差图来合成该虚拟视角的影像视差图的步骤包括: 取得所述已知视角的至少一影像视差图； 转换所述影像视差图的视角至该虚拟视角；以及 合成转换视角后的所述影像视差图以产生该虚拟视角的影像视差图。
14.根据权利要求13所述的多视角影像视差图的补洞方法，其特征在于，合成转换视角后的所述影像视差图以产生该虚拟视角的影像视差图的步骤包括: 针对该虚拟视角的影像视差图中的每一个像素，选取所述影像视差图的对应像素中一深度值较小的像素的像素值来作为影像视差图的该像素的像素值，若该像素皆无对应的深度值，则标示该像素为未知区域。
15.根据权利要求12所述的多视角影像视差图的补洞方法，其特征在于，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞的步骤包括: 使用一转换角度小于该虚拟视角的其他虚拟视角的影像视差图的一填补信息，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞。
16.根据权利要求15所述的多视角影像视差图的补洞方法，其特征在于，使用该转换角度小于该虚拟视角的其他虚拟视角的影像视差图的该填补信息，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞的步骤更包括: 记录填补所合成的该虚拟视角的影像视差图中所述未知区域的填补信息于一传递图。
17.根据权利要求16所述的多视角影像视差图的补洞方法，其特征在于，使用该转换角度小于该虚拟视角的其他虚拟视角的影像视差图的该填补信息，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞的步骤包括: 存取填补该其他虚拟视角的影像视差图时所记录的该传递图，将该传递图中的该填补信息填入所合成的该虚拟视角的影像视差图中所述未知区域的破洞。
18.根据权利要求17所述的多视角影像视差图的补洞方法，其特征在于，使用该转换角度小于该虚拟视角的其他虚拟视角的影像视差图的该填补信息，填补所合成的该虚拟视角的影像视差图中所述未知区域的破洞的步骤更包括: 取用所述未知区域周围一深度值的像素的像素值来填补所述未知区域的破洞。
19.根据权利要求16所述的多视角影像视差图的补洞方法，其特征在于，记录填补所合成的该虚拟视角的影像视差图中所述未知区域的填补信息于该传递图的步骤更包括: 转换该传递图的视角至一预设视角。
20.根据权利要求19所述的多视角影像视差图的补洞方法，其特征在于，存取填补该相邻虚拟视角的影像视差图时所记录的该传递图的步骤更包括: 转换该传递图的视角至该虚拟视角，以将转换后的该传递图中的该填补信息填入所合成的该虚拟视角的影像视差 图中的所述未知区域。
【文档编号】G06T3/40GK103458257SQ201310024329
【公开日】2013年12月18日 申请日期:2013年1月23日 优先权日:2012年5月31日
【发明者】陈晓薇, 汪德美, 李韦亿 申请人:财团法人工业技术研究院