专利名称：3d视频处理的制作方法
技术领域：
本发明大体有关于视讯处理，且更特别的是，有关于用以处理3D视讯的方法及设备。
背景技术：
目前3D的内容是基于影片源，其速率为M帧/秒。电视广播有50Hz或60Hz的刷新速率。为了转换电视广播的影片源，需要转换帧率。这通常用帧率转换(FRC)处理来实现。帧率转换影片源至60Hz刷新速率的方法之一是用2:3的降频(pulldown)，其中系显示第一帧两次以及显示第二帧三次。对于影片源中的每一对帧都重复此事。由于电视的帧率跟影片的不同，在2:3降频期间会有移动影像抖动(motion judder)问题(亦即，观看者可察觉到影像内的移动不平顺)。遮挡问题(Occlusion problem)FRC处理的输出为放在相继源帧之间的新(中间)帧。如果有关于背景中被遮挡或隐藏对象的遗失信息，新帧可能会有问题。如果有遗失信息，FRC无法准确地产生中间帧。 这被称作遮挡问题。如果中间帧由移动估计(决定移动矢量)及移动补偿(应用该移动矢量以减少移动的效应)产生，亦即，藉由FRC处理，则可能产生一些无关紧要的影像。这个问题在2D影像及3D影像都存在，在此隐藏材料可能在左影像，右影像，或两者。图1图示遮挡区的例子，图中有5帧-当前帧(N)，两个先前帧(N-2，N_1)，以及两个后续帧(N+1，N+幻。在正常的FRC下，遮挡区显示没有良好的匹配移动矢量。如果在均勻的区域有移动矢量场间断点，这可能导致潜在的遮挡区，因为间断点会造成无法估计正确的移动矢量。藉由比较帧N-2与N-1、帧N-I与N+1之间的移动矢量，无法检测由遮挡所致的移动矢量间断点。为了能够正确地处理遮挡区，将需要5个以上的连续数据帧，这导致解决方案更复杂。因此，在转换影片源时有必要减少抖动，特别是3D影片源。也有需要处理3D源的遮挡问题。
发明内容
抖动问题的处理可藉由将3D影像分成左影像及右影像两个分量，对于该等个别影像执行FRC，然后重新排序该等影像供显示。该分离及FRC处理可颠倒，因为对于3D影像可执行FRC，以及可将原始及移动补偿影像分成左、右影像两个分量。处理3D源之遮挡问题的方法之一是利用像差信息(左影像与右影像的差异)来帮忙产生隐藏信息。
由以下举例说明及结合附图的详细描述可更加了解本发明。
图1举例图示遮挡区；图2图示用以执行3D输入源之FRC的方法流程图；图3举例图示图2之方法的应用；图4图示用以执行3D输入源之FRC的另一方法流程图；图5举例图示图4之方法的应用；图6图示用以执行2D至3D转换的方法流程图；图7举例图示图6之方法的应用；图8图示用以执行2D至3D转换的另一方法流程图；图9举例图示图8之方法的应用；图10的方块示经组态成可执行图2、图4、图6及图8之方法中之任一的设备；图11图示3D影像如何协助处理遮挡问题；图12举例图示观看者看3D影像时左眼、右眼的像差；图13图示如何利用像差可得到3D影像的背景信息；以及图14图示用以处理遮挡问题的方法流程图。
具体实施例方式减少抖动问题的方法之一是经由适当地应用FRC。这可藉由在FRC处理期间利用移动估计及移动补偿来达成。以3D输入源而言，对于3D视讯帧的左影像及右影像都需要做移动估计及移动补偿。在处理期间的某一时刻需要分开左影像及右影像；分离可在FRC 之前(如图2及图3所示)或FRC之后(如图4及图5所示)发生。应注意，这两个方法的计算复杂度大约相同。以3D影像而言，左影像、右影像的大小各为全帧的一半。处理(例如，执行FRC)尺寸较小的影像比较容易，以及图示于图2的方法可能比图4的方法还快完成。分离，然后FRC图2图示用以执行3D输入源之FRC的方法200流程图。3D帧分成左影像与右影像(步骤20幻。计算左影像(步骤204)与右影像(步骤206)的移动矢量。应注意，计算左影像及右影像之移动矢量的步骤(步骤204及206)可颠倒。更应注意，对于左影像或者是右影像，可以只计算一个移动矢量，以及该移动矢量可应用于另一影像。此一可能性的背后理由是在大部份的情形下(约有百分之95的时间)， 左影像、右影像的移动矢量很相似。各自移动矢量(如果分开计算的话)之间的轻微差异应该没有影响。如果左影像及右影像的移动矢量实质不同，则像差会不同以及应该分开计算移动矢量。藉由只计算一个移动矢量，可降低硬件的复杂度；判断是否只计算一个移动矢量可基于现有的硬件以及这与实作有关。要注意的一个例外情形是在影像中的对象只接近一只眼睛的时候。在靠近观看者的距离处，影像之间会有大像差，而且移动矢量也会有大差异。这是因为左影像及右影像有与其关连的不同移动，由于对象在不同的方向运动以及与每只眼睛有不同的距离。然后，执行左影像(步骤208)及右影像(步骤210)的FRC。FRC的执行(步骤 208及210)也可颠倒，只要移动矢量的决定是在执行FRC之前。在已对左影像及右影像两者执行FRC之后，重新排序经转换的影像供显示(步骤212)。图3举例图示图2之方法的应用。3D帧300分成左影像302与右影像304。计算左影像302的移动矢量(MV1) 310以及用来决定移动补偿影像(U) 320。计算右影像304的移动矢量(MV2)312以及用来决定移动补偿影像(似)322。然后重新排序原始影像302、304 及移动补偿影像320、322供显示。FRC，然后分离图4图示用以执行3D输入源之FRC的另一方法400流程图。计算3D影像的移动矢量(步骤40 以及执行该3D影像的FRC (步骤404)。将原始3D影像及移动补偿影像两者都分成左、右影像(步骤406)。然后，重新排序所有的影像供显示(步骤408)。图5举例图示方法400的应用。3D帧500包括左影像502与右影像504。执行该 3D帧500的FRC以产生移动补偿帧510，其系包括移动补偿左影像(U) 512与移动补偿右影像(似)514。然后，原始3D影像500及移动补偿3D影像510各自分成左、右影像502，504， 512，514以及重新排序个别的影像供显示。2D 至 3D 撷取(extraction)，然后 FRC图6图示用以执行2D至3D转换的方法600流程图。撷取2D影像成为3D影像， 其系包括左影像与右影像(步骤60幻。计算左影像(步骤604)及右影像(步骤606)的移动矢量。应注意，计算左影像及右影像的移动矢量(步骤604及606)可颠倒。更应注意， 对于左影像或者是右影像，可以只计算一个移动矢量，以及该移动矢量可应用于另一影像。然后，执行左影像(步骤608)与右影像(步骤610)的FRC。FRC的执行(步骤 608及610)也可颠倒，只要移动矢量的决定是在执行FRC之前。在已执行左影像及右影像两者的FRC之后，重新排序经转换的影像供显示(步骤612)。图7举例图示图6之方法的应用。撷取两个2D影像702、704成为有左、右影像710、 712、720、722的3D影像。然后，执行该等左、右影像的FRC以产生移动补偿影像Ll*714、 R1*716、L2*724、及。重新排序原始影像710、712、720、722及移动补偿影像714、716、 724、7洸供显示。FRC,然后2D至3D撷取图8图示用以执行2D至3D转换的另一方法800流程图。计算2D影像的移动矢量(步骤80 以及对于该2D影像执行FRC (步骤804)。撷取原始2D影像及移动补偿2D 影像成为各自的3D影像，其系包括左影像与右影像(步骤806)。图9举例图示图8之方法的应用。执行两个2D影像902、904的FRC以产生移动补偿影像1*910与2*912。原始2D影像902、904及移动补偿2D影像910、912经受3D撷取成为各自的左、右影像以产生左、右影像920-934。经组态成可执行该等方法的设备图10的方块示经组态成可执行方法200、400、600、或800中之任一的设备 1000。尽管设备1000图示成能够执行方法200、400、600或800中之任一，藉由移除不被使用的组件，可将设备1000特别组态成只执行该等方法中之一个。设备1000包含2D至3D影像撷取装置1002、移动矢量计算装置1004、3D影像分离装置1006、帧率转换装置1008、以及影像重新排序装置1010。在执行方法200时，设备1000的操作如下。提供3D输入1020给3D影像分离装置1006，其系将3D输入1020分成左、右影像。用移动矢量计算装置1004计算左、右影像的移动矢量。帧率转换装置1008使用算出移动矢量执行左、右影像的FRC以产生移动补偿影像。传送左、右影像及移动补偿影像给影像重新排序装置1010，在此重新排序影像供显示以及成为输出1022。在执行方法400时，设备1000的操作如下。提供3D输入1030给移动矢量计算装置1004，其系计算3D输入1030的移动矢量。帧率转换装置1008使用算出移动矢量执行 3D输入1030的FRC以产生移动补偿3D影像。传送3D输入1030及移动补偿3D影像给3D 输入1030分离装置1006，其系由3D影像产生左、右影像以及由移动补偿3D影像产生左、右影像。传送原始左、右影像及移动补偿左、右影像给影像重新排序装置1010，在此重新排序影像供显示以及成为输出1022。在执行方法600时，设备1000的操作如下。提供2D输入1040给2D至3D影像撷取装置1002，其系撷取2D输入1040成为左、右3D影像。移动矢量计算装置1004计算左、 右影像的移动矢量。帧率转换装置1008使用算出移动矢量执行左、右影像的FRC以产生移动补偿左、右影像。传送左、右影像及移动补偿左、右影像给影像重新排序装置1010，在此重新排序影像供显示以及成为输出1022。在执行方法800时，设备1000的操作如下。提供2D输入1050给移动矢量计算装置1004，其系计算2D输入1050的移动矢量。帧率转换装置1008使用算出移动矢量执行 2D输入1050的FRC以产生移动补偿影像。传送2D输入1050及移动补偿影像给2D至3D 影像撷取装置1002，其系撷取2D输入1050及移动补偿影像成为左、右3D影像以及产生输出 1052。处理遮挡问题在FRC期间利用左影像及右影像两者可处理3D影像的遮挡问题。这两个影像含有因内含于2D影像之左影像及右影像的信息不同而遗失的信息(也被称作像差信息)。图11图示3D影像如何协助处理遮挡问题。观看者的左眼是在X轴上的第一座标 Cl1，以及观看者的右眼是在X轴上的第二座标(12处。左、右眼相对于平面Z1有视角Θ。相较于前景(平面Z1)的影像，藉由改变角度θ或左或右眼的位置W1或(12)，可得到更多背景(平面h)中之影像的信息。3D影像(在平面^上)的附加信息可用来处理遮挡问题。通常区块匹配法(block matching)的移动估计可被表示为，例如，观看者左、右眼 ((I1U2)间之平均绝对差(MAD)的最小化计算。
权利要求
1.一种用于减少3D输入源之移动影像抖动的方法，其系包含下列步骤 将该3D输入源分成左、右影像；计算该左影像及该右影像中之每一的移动矢量；执行该左影像及该右影像的帧率转换以产生移动补偿左、右影像；以及重新排序该等左、右影像及该等移动补偿左、右影像供显示。
2.一种用于减少3D输入源之移动影像抖动的方法，其系包含下列步骤 计算该3D输入源的移动矢量；执行该3D输入源的帧率转换以产生移动补偿3D影像；将该3D输入源分成个别的左、右输入影像以及将该移动补偿3D影像分成个别的移动补偿左、右影像；以及重新排序该等左、右输入影像及该等移动补偿左、右影像供显示。
3.—种经组态成可减少3D输入源之移动影像抖动的设备，其系包含经组态成可将一 3D影像分成一左影像及一右影像的一 3D影像分离装置； 经组态成可计算一移动矢量的一移动矢量计算装置；一帧率转换装置，其系经组态成基于一输入影像与该算出移动矢量可产生一移动补偿影像；以及一影像重新排序装置，其系经组态成可重新排序分开的输入影像与分开的移动补偿影像供显示。
4.如权利要求3所述的设备，其中该移动矢量计算装置更被组态成可在分开的左、右影像上操作以及可计算该等左、右影像的移动矢量。
5.如权利要求4所述的设备，其中该帧率转换装置更被组态成可在该等分开的左、右影像上操作。
6.如权利要求3所述的设备，其中该移动矢量计算装置更被组态成可在一3D影像上操作以及可计算该3D影像的移动矢量。
7.如权利要求6所述的设备，其中该帧率转换装置更被组态成可在该3D影像上操作。
8.一种用于执行2D至3D转换的方法，其系包含下列步骤 撷取一 2D输入源成为左、右3D影像；计算该等左、右3D影像的移动矢量；执行该左3D影像及该右3D影像的帧率转换以产生移动补偿左、右3D影像；以及重新排序该等左、右3D影像及该等移动补偿左、右3D影像供显示。
9.一种经组态成可执行2D至3D转换的设备，其系包含一 2D至3D影像撷取装置，其系经组态成可撷取一 2D输入源成为左、右3D影像； 一移动矢量计算装置，其系经组态成可计算该等左、右3D影像的移动矢量； 一帧率转换装置，其系经组态成基于该等左、右3D输入影像及该等算出移动矢量可产生移动补偿左、右3D影像；以及一影像重新排序装置，其系经组态成可重新排序该等左、右3D输入影像及该等移动补偿左、右3D影像供显示。
10.一种用以执行2D至3D转换的方法，其系包含下列步骤 计算一 2D输入源的移动矢量；执行该2D输入源的帧率转换以产生一移动补偿2D影像；以及撷取该2D输入源及该移动补偿2D影像成为左、右3D影像。
11.一种经组态成可执行2D至3D转换的设备，其系包含 经组态成可计算一移动矢量的一移动矢量计算装置；一帧率转换装置，其系经组态成基于一输入影像及该算出移动矢量可产生一移动补偿影像；以及一 2D至3D影像撷取装置，其系经组态成可撷取一 2D输入源成为左、右3D影像。
12.如权利要求11所述的设备，其中该移动矢量计算装置更被组态成可在一2D输入源上操作。
13.如权利要求12所述的设备，其中该2D至3D影像撷取装置更被组态成可撷取该2D 输入源及该移动补偿2D影像成为左、右3D影像。
全文摘要
本发明揭示用于减少3D输入源之移动影像抖动的方法及设备。该3D输入源系分成左、右影像。计算该等左、右影像的移动矢量。执行该等左、右影像的帧率转换以产生移动补偿左、右影像。重新排序该等左、右影像及该等移动补偿左、右影像供显示。替换地，可执行该3D输入源的移动估计及移动补偿，然后该输入影像与该移动补偿影像可分成个别的左、右影像。藉由撷取2D输入源成为左、右3D影像以及执行移动估计与移动补偿，可将该方法及设备设计成可执行2D至3D转换。
文档编号H04N13/02GK102362503SQ201080013113
公开日2012年2月22日 申请日期2010年3月4日 优先权日2009年3月4日
发明者S·N·胡利亚卡, S·洪 申请人:Ati技术无限责任公司, 先进微装置公司