专利名称：即时立体影像产生装置与方法
技术领域：
本发明涉及一种影像处理技术，尤其是涉及将2D影像与影片转换成3D影像与影片的装置与方法。
背景技术：
一般产生立体影像的方式为DIBR(Depth-Image-Based Rendering),其利用影像的深度资讯与立体摄影机(Toe-in或Off-axis的立体摄影机设置方式)的几何关系，以改变影像中物体的位置，产生一组有视差的虚拟双眼立体影像。产生立体影像后，必须填补因像素位置变动所造成的空洞问题，一般影像填补的方法必须经过空洞填补顺序、影像方向性、相似度等复杂的计算，皆非常耗时；且为达及时产生立体影像，通常会以空洞旁的像素直接填补空洞区域。由于影像填补演算法必须不断的更新填补优先权，所以计算量非常的庞大，且计算方式属于变动的，不适于硬件设计，必须由比较固定规则的计算方式方能克 服。现在3D立体视觉的产品越来越多，但是还是没有办法普及到一般的使用者；因为立体影像取得不易，拍摄的仪器也非常昂贵，且一般的电视业者并没有办法提供这种立体影片的服务，因此现在大多都只有应用在游戏以及电影上。现有的产生立体影像处理技术大都以软件的运算方式来实现，且在应用上皆需要通过电脑的运算才能执行，无法达到即时运算即时应用的目的，若要即时应用则需配合高单价的高速运算器如Compute UnifiedDevice Architecture (CUDA)来完成,成本太高,不符效益。因此，各种提升影像处理速度的方式相继出现，然其计算仍占了整体运算的一大部分，实际影像填补所占的时间却相对之少，主要是因其影像填补方式是以一个简单的方式直接由空洞旁的像素向内来做填补，这种填补方式在空洞小的情况下效果差强人意，若是空洞过大则会造成填补效果极不理想，同时空洞填补演算法，计算优先权的动作不易于硬件电路设计，因为必须一直更新填补优先权的值，每填补一个空洞，就要重新更新一次，非常耗时。
因此，申请人有鉴于现有技术的缺失，乃思一克服不规则的计算方式，完全以硬件的方式实现，简化空洞填补演算法的步骤，达到2D影像即时转换成3D双眼立体影像的目标，同时可开发成芯片，具有低成本且可即时显示的方法，进而发明出本案「即时立体影像产生装置与方法」，用以改善上述现有手段的缺失。
发明内容
本发明的目的即时立体影像产生装置与方法，即是将一复杂的影像填补方法予以简化且设计成一个适合硬件执行的方法，并将其应用于立体影像产生时所需的空洞填补技术，因此本发明具有硬件直接运算与快速填补影像空洞以产生及时立体影像的功能。为达前述目的，本发明提供一种即时立体影像产生装置，耦接至一立体影像显示装置，其基于一原始2D影像及一深度地图影像即时产生一立体影像，该即时立体影像产生装置包含一讯号控制器，耦接于该立体影像显示装置，用以控制该即时立体影像产生装置的讯号时序及流程并输出该立体影像至该立体影像显示装置；一 3D影像产生器，耦接于该讯号控制器，用以接收该原始2D影像及该深度地图影像并转换成一对有视差的双眼影像；一杂散空洞处理器，耦接于该讯号控制器，其利用一第一遮罩，以填补一杂散空洞；一梯度产生器，耦接于该讯号控制器，其是利用一第二遮罩与一 RGB像素值以计算该对有视差的双眼影像的一梯度方向，并产生一梯度方向值；以及一空洞填补处理器，耦接于该讯号控制器，用以重复搜寻一空洞边缘参考点并依循该梯度方向搜寻一填补候选点，再以该填补候选点方向性的一点回填该空洞，直到搜寻不到该空洞边缘参考点后，即传送该立体影像至该讯号控制器，并耦接至立体影像显示装置。根据上述构想，其中该空洞填补处理器在搜寻该填补参考点时，会先作色彩空间的转换，即将RGB的色彩空间转换到YCbCr的色彩空间，并以YCbCr的色彩空间来计算一色差，并以该色差最接近的点做为该填补参考点，再以该填补参考点的一方向性的点填补该空洞边缘点旁的一空洞内。根据上述目的，本发明另一方面提出一种即时立体影像产生方法，应用于一立体 影像显示装置，包含下列步骤(a)转换一原始影像成为一对双眼立体影像；(b)填补该对双眼立体影像的多个细小空洞区域；(C)搜寻一空洞的一边缘参考点；(d)搜寻该空洞的一填补候选点，以该边缘参考点的方向性搜寻，并以颜色色差最接近的点作为该填补候选点；(e)以该填补候选点方向性的点填回该空洞；以及(f)重复步骤(C) (e)，当搜寻不到该边缘参考点时，即传输一立体影像至该立体影像显示装置。因此本发明的效能即在能够将产生立体影像的处理加以硬件化，使得立体影像能够即时产生，让使用者能够更容易的就可以使用立体视觉的产品，符合3D显示装置的市场需求。
图I显示本发明的系统架构示意图。图2显示本发明一种即时立体影像产生方法的系统流程图。图3显示本发明一种即时立体影像产生装置的方块图。图4显示本发明一杂散空洞效果图。图5a、5b是本发明一实施例的两组3X3杂讯滤除遮罩示意图，其中‘I’代表正常像素，‘0’代表空洞像素，‘X’为不处理像素。图6是本发明一实施例的杂散空洞填补处理完成影像效果图。图7是本发明一实施例3X3遮罩的控制讯号对应位置示意图。图8a、8b、8c是本发明一实施例的空洞填补演算法示意图，其中图8a所示为在来源区域搜寻空洞边缘参考点、图8b所示为在来源区域搜寻空洞填补候选点、图Sc为填补空洞区域方式。图9a、9b是本发明一实施例的空洞边缘效果图。
具体实施例方式本案将可由以下的实施例说明而得到充分了解，使得本领域技术人员可据以完成，然本案的实施并非可由下列实施例而被限制其实施型态。请参见图1，其显示本发明一种即时立体影像产生装置的系统架构图，为了将原始的2D影像12直接转换成3D立体影像，必须利用深度摄影机取得深度资讯，或是利用立体摄影机来计算相对的深度资讯，或是以影像分析的方式利用颜色、清晰度、几何位置、物体大小等方法，来估算影像中的深度资讯，在本实施例中，是采影像分析的方式以获得深度地图影像11，接着将2D影像12与深度地图影像11于3D影像位移13中，利用DIBR的方法产生一对左右立体影像。当产生立体影像的过程中，由于移动了影像的物体位置，造成影像中有空洞产生，必须利用影像填补(image inpainting)方法填补空洞，因此须分别实施左影像填补14与右影像填补15，填补完毕后将左影像与右影像输出至3D影像显示器，以供一般使用者更能方便地享受立体视觉。请参见图2，其显示本发明一种即时立体影像产生方法的系统流程图，首先利用DIBR方法产生一对双眼立体影像21，接着填补杂散空洞22，此空洞是因为深度连续变化时所产生的细小空洞区域，在本实施例中，以3X3的遮罩来执行，填补完细小的空洞区域后，再计算影像的梯度方向23，以便接下来的影像填补法使用，接着再搜寻空洞边缘参考点 24，找到边缘参考点后再以边缘参考点为颜色基础，以方向性搜寻空洞填补候选点25，并以颜色色差最接近的点做为填补候选点，再以填补候选点的方向性的点做为填补的点填补边缘点旁的空洞区域26，重复步骤24 26的搜寻与填补的动作直到没有空洞为止，最后输出立体影像27至一立体影像显示装置。请参见图3，其显示本发明一种即时立体影像产生装置的方块图，包含一 3D影像产生器31、一杂散空洞处理器32、一梯度产生器33、一空洞填补处理器34、一存储器35、以及一讯号控制器36，其中存储器35储存立体影像的像素值以及梯度值，并以讯号控制器控制每个区块的输入输出。在3D影像产生器31中，以Shift-sensor立体摄影机的设定方式，可得到下列方程式
(ft ft λ (ft ft ΛLeft U+丄丄 Right -.U-
l2Zc 2Zj[2ZC 2Zj此方程式用以设计3D影像位移的功能，并将影像产生的位址加上计算的位移量，再将输入的像素储存到对应的存储器位址内。请参见图4，其是本发明一杂散空洞效果图，当产生双眼影像时，会因为深度的变化较缓和，而产生杂散的空洞出现在影像中。为了填补这些杂散的区域，将两组3X3遮罩对左右眼影像做扫描，两组3 X 3的遮罩如图5a及5b所示。以这两组遮罩扫描，若有区块符合任一个遮罩，则其空洞的像素值会由相符遮罩的其他像素色彩值的平均值填入，重复扫描直到完全没有符合两组遮罩为止，每一空格代表是否为空洞的旗标位元，若空格旗标=I表示有像素值，空格旗标=O则代表为空洞。处理完成的影像结果即如图6所示。在杂散空洞处理器32中，由3X3遮罩所对应的存储器位址读出存储器内的数据，再判断是否有符合其中一组的3X3遮罩，将符合遮罩的空洞由四周的像素平均值填补回存储器中。3X3遮罩所对应的位址以及遮罩的控制讯号(0000 1000)的对应位置如图7所示。
在梯度产生器33中，使用5X5的Sobel遮罩分别与影像的R、G、B像素值做计算，并计算影像中每一点的梯度方向，以便接下来的影像填补法来使用，计算梯度方向的公式如下，
权利要求
1.一种即时立体影像产生装置，其特征在于，耦接至一立体影像显示装置，其基于一原始2D影像及一深度地图影像即时产生一立体影像，该即时立体影像产生装置包含 一讯号控制器，耦接于该立体影像显示装置，用以控制该即时立体影像产生装置的讯号时序及流程并输出该立体影像至该立体影像显示装置； 一 3D影像产生器，耦接于该讯号控制器，用以接收该原始2D影像及该深度地图影像并转换成一对有视差的双眼影像； ー杂散空洞处理器，耦接于该讯号控制器，其利用一第一遮罩，以填补一空洞； 一梯度产生器，耦接于该讯号控制器，其是利用一第二遮罩与ー RGB像素值以计算该对有视差的双眼影像的ー梯度方向，并产生ー梯度方向值；以及 一空洞填补处理器，耦接于该讯号控制器，用以重复搜寻一空洞边缘參考点并依循该梯度方向搜寻ー填补候选点，再以该填补候选点方向性的一点回填该空洞，直到搜寻不到该空洞边缘參考点后，即传送该立体影像至该讯号控制器。
2.根据权利要求I所述的即时立体影像产生装置，其特征在于，更包含一存储器，耦接于该讯号控制器，用以储存一位址、该RGB像素值及该梯度方向值。
3.根据权利要求I所述的即时立体影像产生装置，其特征在于，该3D影像产生器是利用一深度影像绘图法产生该对有视差的双眼影像。
4.根据权利要求I所述的即时立体影像产生装置，其特征在于，该对有视差的双眼影像因深度连续变化，而产生该杂散空洞。
5.根据权利要求I所述的即时立体影像产生装置，其特征在于，该第一遮罩是ー3X3遮罩。
6.根据权利要求I所述的即时立体影像产生装置，其特征在于，该第二遮罩是ー5X5遮罩。
7.根据权利要求I所述的即时立体影像产生装置，其特征在于，该空洞填补处理器在搜寻该填补參考点时，会先作色彩空间的转换，即将RGB的色彩空间转换到YCbCr的色彩空间，并以YCbCr的色彩空间来计算一色差，并以该色差最接近的点做为该填补參考点，再以该填补參考点的一方向性的点填补该空洞边缘点旁的一空洞内。
8.根据权利要求7所述的即时立体影像产生装置，其特征在于，该色差是由一前级填补參考点的一第一像素值与一次级填补參考点的一第二像素值计算而来，且各该像素值皆由各该填补參考点的位址与梯度方向值所产生，最后将色差最小的点的位址与梯度方向值输出给下ー级空洞填补使用。
9.一种即时立体影像产生方法，其特征在干，应用于一立体影像显示装置，包含下列步骤 (a)转换ー原始影像成为ー对双眼立体影像； (b)填补该对双眼立体影像的多个细小空洞区域； (C)搜寻一空洞的ー边缘參考点； (d)搜寻该空洞的一填补候选点，以该边缘參考点的方向性搜寻，并以颜色色差最接近的点作为该填补候选点； (e)以该填补候选点方向性的点填回该空洞；以及 (f)重复步骤(C) (e)，当搜寻不到该边缘參考点吋，即传输一立体影像至该立体影像显示装置。
10.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(a)是利用一深度影像绘图法产生该对双眼立体影像，其中该对双眼立体影像是ー具有视差的虚拟影像，且因影像深度连续变化产生多个空洞区域于其上。
11.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(b)是利用一3X3遮罩实施扫描以进行空洞填补作业。
12.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(c)是以ーflag旗标讯号的上升缘与下降缘变化来找出该边缘參考点。
13.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(d)是利用一5X5遮罩分别与影像的RGB像素值，计算影像中每一点的梯度方向，产生ー梯度方向值，以供后续影像空洞填补应用。
14.根据权利要求9所述的即时立体影像产生方法，其特征在于，步骤(d)在搜寻该填补參考点时，会先作色彩空间转换，即将ー RGB的色彩空间转换到一 YCbCr的色彩空间，并以该YCbCr的色彩空间来计算一色差。
15.根据权利要求14所述的即时立体影像产生方法，其特征在于，该色差是由一前级填补參考点的一第一像素值与一次级填补參考点的一第二像素值计算而来，且各该像素值皆由各该填补參考点的位址与梯度方向值所产生。
全文摘要
本发明公开一种即时立体影像产生装置与方法。其利用2D影像中物体的深度资讯以改变原2D影像内物体的所在位置，以产生出一组有视差的双眼影像，由于原影像经由变动后的双眼影像中会产生空洞的问题，因此以影像填补的方法，分别将双眼影像的左眼以及右眼影像做填补，依照影像的结构性将影像中的空洞填补起来，成为一个完整的3D双眼立体影像。利用本发明的装置与方法，可即时将2D影像直接转换为3D双眼立体影像。
文档编号H04N13/00GK102695064SQ201110127160
公开日2012年9月26日 申请日期2011年5月17日 优先权日2011年3月25日
发明者张祐维, 郑芳炫 申请人:中华大学