专利名称：产生立体影片深度图的方法
技术领域：
本发明是关于一种产生立体影片的深度图的方法，特别有关一种能够加速产生该立体影片的深度图的方法。
背景技术：
目前三维立体呈像多半是利用视差原理来实现，藉由产生提供给左眼的影像及提供给右眼的影像，使观者在适当角度观看画面时产生三维空间感。双视角(two-view)立体影片即是利用此原理制成的影片，其每一幅画面均包含提供给左眼的影像及提供给右眼的影像。利用双视角影片可计算出画面中对象的相对距离的深度信息，各像素的深度信息即构成深度图(disparity map)。配合所得出的深度图能够将双视角立体影片进一步合成以形成多视角(multi-view)的立体影片。然而，深度图(或深度关系图)的建构非常耗时，在处理双视角影片时，由于每一幅画面均须计算出相对的深度图，其计算量非常庞大。在现今已知的技术当中，能够计算出相对最精准的深度图的便是由Smith等人于CVPR 2009所发表的“Mereo Matching with Nonparametric Smoothness Priors in Feature Space，，。但是，此一方法的缺点在于计算时间冗长，以左右眼影像为分辨率720X576的双视角立体图片为例，计算其深度图大略需要二至三分钟，当要计算出双视角立体影片中每张画面的深度图时，其计算成本将会非常尚ο有些计算深度图的算法则是希望可以达到比较快的速度，不过其深度图便不够精确，在目前已知的技术当中，由Gupta及Cho于3DPVT 2010所发表的“Real-time Stereo Matching using Adaptive Binary Window”便是目前速度最快且效果上可被接受的方法。 此一方法的计算速度可以达到五秒一张，但是其所得到的深度图仍然相当不精准。三维影片在制作上往往需要高精准度的深度图，然利用此一方法所得到的深度图过于粗略，以致在后续合成时常有明显的错误发生。有鉴于此，如何提升立体影片的深度图的计算效率，同时维持深度图的精确度，实为目前企需努力之目标。
发明内容
本发明之一目的在于提供一种产生立体影片的深度图的方法，其能够加快该立体影片的深度图的计算速度。为达前述目的，本发明提供一种产生立体影片的深度图的方法，该立体影片为由前后两相邻的一第一画面及一第二画面构成的影像串流，该方法包含步骤利用一预定的算法计算出相应于该第一画面的一第一深度图；计算该第一画面与该第二画面中像素的平均颜色差异量；从该第一画面选区复数个特征点，找出该等特征点在该第二画面之位置，并计算该等特征点在该第一画面与该第二画面中的平均位移量；以及当该平均颜色差异量小于一第一阈值，且当该平均位移量小于一第二阈值，则根据该第一深度图以及于该第一画面所取的特征点在该第二画面的位置，来得出相应于该第二画面的一第二深度图，否则利用该预定的算法来计算出该第二深度图。本发明中，某些相似的画面中可利用前一张画面的深度图来推估后一张画面的深度图，其计算量会比利用特定算法重新计算深度图来得小，因此应用本发明来计算立体影片的深度图可以减少运算时间，加快立体影片的深度图计算速度。经过实测，大约55%的画面可以利用光流法来做深度值计算的加速，因此计算整体影片的深度信息的速度将可大幅地增加。此外，利用光流法及前一张画面的深度图所推估出来的深度图无法避免的势必会产生破洞，此时可以找出后一张画面中对应该破洞的像素，参考其周围邻近像素(如周围 3X3范围内的像素)中颜色最相近的像素，取该颜色最相近的像素的深度值作为对应该破洞的像素的深度值。
图。
图1显示本发明的产生立体影片的深度图的方法的流程示意图。 图2显示本发明中决定前后两画面中像素的平均颜色差异量的阈值的流程示意
图3显示本发明中决定前后两画面中特征点的平均位移量的阈值的流程示意图。 图4显示本发明中利用光流法及前一张画面的深度图推估后一张画面的深度图的流程示意图。 图5显示本发明利用内插法得出被包围的像素的特征向量的说明示意图。 S12 S18步骤
S32 S38步骤
主要组件符号说明
S12 S18步骤
S32 S38步骤
S22 S28 S42"S46
S22"S28 S42"S46
步骤
BK BK BK
骤骤骤步 步步
具体实施例方式
双视角(two-view)立体影片串流中，每一幅画面均包含提供给左眼的影像及提供给右眼的影像，藉由此双视角信息计算其深度关系是一项非常耗时的工作。本发明考虑到影片本身有所谓的时间轴关联性(time coherence)，利用判断前后画面的相似度，来加快立体影片的深度图的计算。在判断前后画面的相似度的部份，本发明采用两个阶段来进行，第一阶段先比较前后两张画面中像素的颜色相似度，第二阶段从前一张画面选区复数个特征点，找出这些特征点在后一张画面的位置，并计算出这些特征点在前后两张画面中的位移程度。如果前后画面颇为相似，则可根据前一张画面的深度图，得出下一张画面的深度图，依此来加快立体影片的深度图的计算。配合所得出的深度图，可将二维影片以三维显示技术显示而产生三维的效果，亦可配合深度图将双视角立体影片进一步合成以形成多视角(multi-view)立体影片，此合成方法称为基于深度图像绘图法(cbpth image based rendering)。
5
图1显示本发明产生立体影片的深度图的方法的流程示意图。首先，在步骤S12 中，将该立体影片中相邻的前后两张画面进行颜色比对，计算前后两张画面中像素的平均颜色差异量，以判断其颜色相似度，如果这两张画面的颜色相似度很高，则进行下一阶段的比对，亦即步骤S14，从前一张画面选取复数个特征点，利用光流法(optical flow)找出这些特征点在后一张画面的位置，并计算出这些特征点在前后两画面中的平均位移量，以判断前后两张画面中对象的移动程度。如果这两张画面的颜色相似度很高，且该等特征点的平均位移量不大，亦即通过步骤S12及步骤S14的比对，表示这两张画面颇为类似，则可根据前一张画面所取的特征点在后一张画面的位置以及前一张画面的深度图，来对应得出后一张画面的深度图，如步骤S16所示。在步骤S12的颜色比对中，若前后两张画面的颜色相似度很低，该平均颜色差异过大，则须重新计算后一张画面的深度图，以预定的算法计算出较为精确的深度图，如步骤S18所示。在步骤S14的位移量比对中，若前后两张画面中对象的移动程度很大，该等特征点的平均位移量过大，则须以预定的算法计算该后一张画面的深度图。只要没有通过步骤S12及步骤S14任一步骤的比对，即需以预定的算法来重新计算深度图。在本实施例中，是先进行步骤S12的颜色比对，于步骤S12比对通过后，再进行步骤 S14的位移量比对，此是因颜色差异的计算相较于光流法的计算量要小得许多，如果前后画面的颜色差异已过大，则无必要进行位移量的比较，因此可以在较短的时间内决定是否重新计算较为精确的深度图。此外，前述预定的算法可采用Smith等人所开发的算法，来计算出相对最精确的深度图。此外，本发明不限于上述步骤S12的颜色比对及步骤S14的位移量比对，其它方式的比对亦能置入此一架构中，来加速深度图的计算。于步骤S12的颜色比对中，针对前后两张画面中的像素计算其颜色差异度，计算公式如下
i^coiar ==~⑴
liPixa
d(PsQ) = \Pr-Qr\x0.3+\Pg-Qg\KQ.59+\Ph-Qh\xQ.ll ⑵ 其中^cofor是代表像素的平均颜色差异量,Ii(X^y)是指在时间t时在& W位置的
像素则是一张影像当中的像素个数，/7与c代表前后两张画面中在相同位置的像
素，/7与C的下标r、g、b则代表了 P与Q这两个像素的红、绿、蓝值。本发明不限于上述采用的方式，亦可利用其它方式来计算前后两张画面中像素的平均颜色差异量。当利用上述方式计算出前后两张画面中众像素的平均颜色差异量之后，将该平均颜色差异量与一第一阈值进行比较。当该平均颜色差异量小于该第一阈值，则判定为这两张画面的颜色相似度很高，可通过步骤S12的颜色比对，继续进行下一阶段的比对，如步骤 S14的位移量比对。当该平均颜色差异量大于该第一阈值，则判定为这两张画面的颜色相似度不够高，亦即未通过步骤S12的颜色比对，则无必要进行步骤S14的位移量比对，须直接进行步骤S18中采用预定的算法来重新计算深度图。配合参考图2，该第一阈值可采用如下方式来决定
步骤S22 首先，选定任一立体影片的其中一个画面，并采用预定的算法计算出该画面的深度图，其中所采用的算法能够计算出较为精确的深度图。步骤S24 从该选定的画面选取复数个特征点，利用光流法找出该等特征点在下一个画面的位置，并根据该选定之画面的深度图，对应得出该下一个画面的深度图，依此方式一一推估后续画面的深度图。步骤S26 找出该等后续画面之深度图中，首先出现错误的深度图，并对应取出首先出现错误之深度图的画面。步骤S28 利用上述公式(1)及(2)，计算该选定的画面及前述出现错误的画面中像素的平均颜色差异量，此平均颜色差异量即可作为该第一阈值。经反复实验测试，如果前后两张画面中像素的平均颜色差异量(丑C0fe^ )超过5的
话，利用光流法以及前一张画面的深度图来推估后一张画面的深度图，其错误率就会偏高，
所以如果前后两个画面的平均颜色差异量(丑―)超过该第一阈值的话，便应该重新利
用该预定的算法，以较为精准的方式来计算深度图。经过实测，在一段双视角的立体测试影片当中，透过步骤S12的颜色比对，平均有20%的画面必须使用该预定的算法来重新计算深度图。步骤S12的颜色比对有两个主要的目的，一是为了加快是否需重新计算深度图的判断速度，由于直接比对颜色会比光流法的计算来得快速，所以一开始即采用颜色比对；二是如果两张画面颜色差异过大，像是镜头快速移动或者转换场景时，此时若只有使用步骤 S14位移量的比对来决定是否必须重新计算深度图的话，其实并不太恰当，因为转换场景或者快速移动时，光流法可能无法正确算出每个像素的移动量，导致无法精准的掌握计算的结果，因此加上颜色差异度来加强判断是否重新计算深度图实有其必要性。若通过步骤S12的颜色比对，则进行步骤S14的位移量比对。于步骤S14的位移量比对中，从前一张画面选取复数个特征点，利用光流法找出这些特征点在后一张画面的位置，并计算这些特征点在前后两画面中的位移量，在此采用的光流法是Lucas-Kanade算法，计算公式如下
权利要求
1.一种产生立体影片之深度图的方法，其特征在于，该立体影片系为由前后两相邻的一第一画面及一第二画面构成的影像串流，该方法包含步骤利用一预定的算法计算出相应于该第一画面的一第一深度图；计算该第一画面与该第二画面中像素的平均颜色差异量；从该第一画面选取复数个特征点，找出该等特征点在该第二画面之位置，并计算该等特征点在该第一画面与该第二画面中的平均位移量；以及当该平均颜色差异量小于一第一阈值，且当该平均位移量小于一第二阈值，则根据该第一深度图以及于该第一画面所取的特征点在该第二画面的位置，来得出相应于该第二画面的一第二深度图，否则利用该预定的算法来计算出该第二深度图。
2.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中是先判断该平均颜色差异量是否小于该第一阈值，再判断该平均位移量是否小于该第二阈值。
3.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该平均位移量是利用光流法(optical flow)计算而得。
4.根据权利要求3所述的产生立体影片的深度图的方法，其特征在于，其中该光流法的计算公式如下其中丑!《 ^是代表该等特征点在该第一画面与该第二画面中的平均位移量，为每个特征点对应之特征向量(P)的长度，JV^ato 为该等特征向量的个数。
5.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该第一阈值是藉由下列步骤来决定选定一画面，并根据该预定的算法计算出该画面的深度图；利用光流法以及前一张画面的深度图，一一推估后续画面的深度图，并找出首先出现错误之深度图的画面；以及计算该选定的画面及前述出现错误的画面中像素的平均颜色差异量，作为该第一阈值。
6.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该第二阈值是藉由下列步骤来决定选定一画面，并根据该预定的算法计算出该画面的深度图；利用光流法以及前一张画面的深度图，一一推估后续画面的深度图，并找出首先出现错误之深度图的画面；以及从该选定的画面中选取复数个特征点，找出该等特征点在前述出现错误的画面的位置，并计算该等特征点在该选定的画面与前述出现错误的画面中的平均位移量，作为该第二阈值。
7.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中根据该第一画面的该深度图以推估得出该第二画面的该第二深度图是包含下列步骤利用从该第一画面所选取该等特征点，计算出该等特征点在该第二画面的位置以及该等特征点的特征向量；使用内插法，将该等特征点的特征向量，内插得出被该等特征点包围之像素的特征向量，以得出被包围之该像素在该第二画面的位置；以及根据该第一画面的该第一深度图以及该第一画面中该等特征点及被包围之该像素在该第二画面的位置，对应得出该第二画面的该第二深度图。
8.根据权利要求7所述的产生立体影片的深度图的方法，其特征在于，其中该内插法是为一双线性内插法。
9.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中当该第二画面的该第二深度图具有破洞，则找出该第二画面中对应该破洞的像素，参考其周围邻近像素中颜色最相近的像素，取该颜色最相近的像素的深度值作为对应该破洞的像素的深度值。
10.根据权利要求1所述的产生立体影片的深度图的方法，其特征在于，其中该立体影片为一双视角影片。
全文摘要
本发明利用判断立体影片之前后画面的相似度，来加快立体影片之深度图的计算。第一阶段先比较前后两张画面中像素的颜色相似度，第二阶段从前一张画面选取复数个特征点，找出该等特征点在后一张画面的位置，并计算出该等特征点在前后两张画面中的平均位移量。如果前后画面颇为相似，则根据前一张画面的深度图，得出下一张画面的深度图，依此来加快立体影片之深度图的计算。应用本发明来计算立体影片的深度图可以减少运算时间，加快立体影片的深度图计算速度。此外，利用光流法及前一张画面的深度图所推估出来的深度图无法避免的势必会产生破洞，此时可以找出后一张画面中对应该破洞的像素，参考其周围邻近像素(如周围3×3范围内的像素)中颜色最相近的像素，取该颜色最相近的像素的深度值作为对应该破洞的像素的深度值。
文档编号H04N13/00GK102307307SQ201110129959
公开日2012年1月4日 申请日期2011年5月19日 优先权日2011年5月19日
发明者刘晟齐, 张哲维, 李坤庭, 林修宏, 陈炳宇 申请人:中华映管股份有限公司, 福州华映视讯有限公司