专利名称：三维视频的景深图的压缩方法和装置的制作方法
技术领域：
本揭露是有关于一种三维(three dimension，简称3D)视频的技术，且特别是有关于一种三维视频的景深图(depth map)的压缩方法。
背景技术：
随着近年来3D风潮再起，各类的影音娱乐商品也搭上这股潮流，推出像是3D电影、3D游戏等数位内容，而消费性电子产品也不断的推出支援观看甚至自制3D内容的新产品，像是3D萤幕、3D相机、3D摄影机等，可以看出各大消费性电子厂商都想抢占先机。然而，目前在制作3D影片这方面，并没有一个通用的影片压缩标准，这点将造成影片的不相容，也就是影片可能没办法在每一台终端设备上播放，因而对3D数位内容的推广造成了阻碍。动态影像专家组(Moving Picture Experts Group,简称MPEG)组织正在制定一个新的3D影片压缩标准，这个标准希望能够仅使用2到3图框(frame)彩色的纹理影像(texture image)及灰阶的景深图，来产生多个图框的虚拟影像，以做到多视点(mult1-view)观看之目的。前述的纹理影像为摄影机拍摄的自然影像，而景深图一般为8位元的灰阶影像，其中的每一像素值代表物体距离摄影机的远近，也就是说景深图展现的是物体间在空间座标的相对应关系，而与物体本身的色彩无关。图1为一种使用3图框的纹理影像及景深图来合成9图框的多视点影像的方块示意图，请参考图1。图中每一个纹理影像称为一个视点(view)，用V1，V2…V9代表视点的编号，通过景深影像为基础渲染(Depth Image Based Rendering,简称DIBR)的演算法,使用3图框的纹理影像及景深图，来合成9个视点。故当观众站在不同的位置来观看时，例如:位置1( 081)、位置2( 082)或位置3(Pos3)等，让左右眼接收到对应的纹理影像就可以做到多视点这个功能，也就是说，不管从哪个角度来观看，只要让左右眼接收到对应的影像就能观赏到3D的效果。
发明内容
根据一实施范例，提供一种三维视频的景深图(depth map)的压缩方法，包括下列步骤。步骤之一是对三维视频中一图框(frame)的景深图进行边缘侦测(edgedetection)。步骤之另一是当图框中的至少一宏模块(macroblock)没有物体边缘通过时，对这种宏模块进行均匀化处理。步骤之又一是对景深图进行编码。根据一实施范例，提供一种三维视频的景深图的压缩装置，其包括:边缘侦测模块、均匀化模块以及压缩编码模块。边缘侦测模块对三维视频中一图框的景深图进行边缘侦测。均匀化模块耦接至边缘侦测模块，当图框中的宏模块没有物体边缘通过或不属于边缘区域中的宏模块时，均匀化模块对宏模块进行均匀化处理。压缩编码模块耦接至均匀化模块，压缩编码模块对均匀化后 的景深图进行编码。基于上述，本揭露对非边缘区域中的宏模块或没有物体边缘通过的宏模块进行均匀化处理。因此，对景深图进行压缩编码时，本揭露可能降低其数据量。
为让本揭露之上述特征和优点能更明显易懂，下文特举实施范例，并配合所附图式作详细说明如下。
图1为一种使用3图框的纹理影像及景深图来合成9图框的多视点影像的方块示意图。图2为一种三维视频的景深图的压缩方法的实施范例的流程图。图3为一种三维视频的景深图的压缩装置的实施范例的方块图。附图标记说明510:边缘侦测模块520:均匀化模块530:压缩编码模块D1，D5，D9:景深图DIBR:景深影像为基础渲染演算法Posl，Pos2, Pos3:位置 1，位置 2，位置 3S210 S230:用以说明图2的实施范例的各步骤Vl V9:纹理影像
具体实施例方式三维视频中的景深图(depth map)具有如下的特性:(I)对于图片里缺乏图形特征的区域，例如:相同颜色且距离相近的一片区域、单纯没有其他物体的区域、距离逐渐变化的区域等等，对这种区域进行拍摄或其他处理，而所获得相对应的景深图中的像素值，亦即景深值，容易得到类似杂讯的错误结果，也就是产生错误的视差。(2)使用纹理影像及景深图来合成视点影像，所合成的影像对景深图里物体的边缘错误很敏感，错误的边缘会造成合成影像中物体的边缘产生破碎的图像。结合前述两点，如果能适当的消去一些景深图本身的杂讯，并保留物体边缘的重要资讯，原则上，可以在不降低视频影片品质的情况下，减少视频压缩后的数据量。在此揭露一种新的三维视频的景深图的压缩方法，如图2所示，图2为一种三维视频的景深图的压缩方法的实施范例的流程图，请参照图2。步骤S210是对三维视频中一图框(frame)的景深图进行边缘侦测(edge detection)。待处理的三维视频的数据包括多个图框的纹理影像及景深图的数据串流，首先针对一个图框的景深图进行边缘侦测，进行边缘侦测的方法可以有很多种，本揭露并不限制，例如:索贝尔(Sobel)方法、Prewitt方法、罗伯特(Roberts)方法、高斯的拉普拉斯(Laplacian of Gaussian)方法、零跨越(zero-cross)方法或坎尼(Canny)方法等等，都可以对景深图进行边缘侦测。执行过步骤S210后，就可以知道景深图中各物体的边缘在哪里。步骤S220是当图框中的至少一宏模块(at least one macroblock)没有物体边缘通过时,对这种没有物体边缘通过的宏模块进行均匀化处理。宏模块一般为4x4、8x8或16x16个像素所组成，但本揭露并未限制。一个图框的景深图可以分解成众多个宏模块，例如=1024x768的景深图可以分解成128x92个8x8的宏模块，一个图框中没有物体边缘通过的宏模块可能有很多，故要针对所有没有物体边缘通过的宏模块进行均匀化处理可以有很多种方法，以下将步骤S220细分成数个步骤为例。步骤S221是于图框中选择一开始宏模块为一目前宏模块。一般宏模块是依照由左而右由上而下的次序来处理，故开始宏模块一般为左上角的第一个宏模块，但本揭露并未限制，开始宏模块也可以是其他位置的宏模块，处理的顺序也可能是如Z字型等等的顺序。步骤S222是判断此目前宏模块有没有物体边缘通过，当目前宏模块有物体边缘通过时执行步骤S223，当目前宏模块没有物体边缘通过时执行步骤S224。步骤S223是当目前宏模块有物体边缘通过时，则保留目前宏模块中的像素值，亦即，不变更或不处理目前宏模块中的景深值，将此时的数据串流略过或是直接储存等等。步骤S224是当目前宏模块没有物体边缘通过时，则对目前宏模块进行均匀化处理。均匀化处理的方法有很多种，可以对目前宏模块使用中值滤波器(median filter)或是一些如巴特沃斯滤波器(Butterworth filter)或高斯滤波器(Gaussian filter)等的低通滤波器(low pass filter),来消除可能是杂讯的讯号，达到均匀化处理之目的。另外，也可以用平均值将目前宏模块中每个像素的像素值取代，例如:先计算目前宏模块的所有像素的算术平均值，接着以此平均值来取代目前宏模块中每个像素的像素值。但本揭露并未限定一定要使用前述方法，任何可以进行均匀化处理的方法皆可。步骤S225是判断是否所有的宏模块都被选择过，当还有宏模块没被选择过时，则执行步骤S226，亦即，于该图框中选择另一宏模块，并使其为目前宏模块，再回到步骤S222去执行。当所有的宏模块都被选择过时，则执行步骤S230。简言之，就是于图框中选择另一宏模块为目前宏模块，重复步骤S222、步骤S223及步骤S224这3个步骤，直到图框中所有的宏模块都被选择过为止。步骤S230是对景深图进行编码。经过前述步骤处理完的景深图再经过H.264或是进阶视频编码(Advanced Video Coding,简称 AVC)的 I 图像(Intra pictures)的 intracoding的压缩编码，或其他任何有关三维视频的压缩编码后，其档案大小会比原先没经过前述步骤处理就以intra coding来压缩编码的数据串流来的小。前述步骤S225为判断是否所有的宏模块都被选择过，但并非用以限定本揭露，也可以是只选择图框中部份的宏模块，本揭露并不限制图框中所有的宏模块都要被选择过。另一种实施范例可以是先找出景深图里物体的边缘区域以及非边缘区域，再针对非边缘区域中的宏模块进行均匀化处理，请再参照图2的流程图。步骤S210中对三维视频中一图框的景深图进行边缘侦测，可以还找出边缘区域以及非边缘区域，所谓边缘区域包括所有有物体边缘通过的宏模块，但本揭露并未限定，边缘区域也可以是包括所有有物体边缘通过的宏模块以及与其相邻的宏模块，或以有物体边缘通过的宏模块为中心范围更广的区域等等。前述非边缘区域为图框中除了边缘区域外的宏模块的集合。此实施范例针对非边缘区域的宏模块进行均匀化。因此，步骤S220就可以是对非边缘区域中的每一宏模块进行均匀化处理，而步骤S222就可以是判断目前宏模块是否属于非边缘区域，当目前宏模块属于非边缘区域时，对目前宏模块进行均匀化处理。又一种实施范例可以是先找出景深图里物体的边缘区域，当宏模块不属于边缘区域时就进行均匀化处理，请再参照图2的流程图。步骤S210中对三维视频中一图框的景深图进行边缘侦测，可以还找出边缘区域。此边缘区域的定义与前一实施范例相同或类似。此种实施范例中步骤S220可以是当图框中的至少一宏模块不属于前述边缘区域时，对这种宏模块进行均匀化处理，而步骤S222可以是判断目前宏模块是否属于边缘区域，当目前宏模块不属于边缘区域时，对目前宏模块进行均匀化处理。前述方法的步骤S230中是在整个图框的宏模块被选择过后，才针对整个景深图进行压缩编码，但非以限定本揭露，所谓对景深图进行编码，也可以解释为针对景深图中每一个宏模块进行压缩编码，则此步骤变成可以放在进入判断步骤S225之前，其结果并不会对本揭露的技术发生影响。本揭露的另一种实施范例是一种内储程式的电脑可读取记录媒体，当电脑载入前述程式并执行后，可完成如同前述的压缩方法。本揭露的又一种实施范例是一种电脑程式产品，当电脑载入前述电脑程式并执行后，可完成如同前述的压缩方法。图3为一种三维视频的景深图的压缩装置的实施范例的方块图。请参照图3。图3中的压缩装置包括:边缘侦测模块510、均匀化模块520以及压缩编码模块530。边缘侦测模块510对三维视频中一图框的景深图进行边缘侦测。均匀化模块520耦接至边缘侦测模块510，当图框中的宏模块没有物体边缘通过或不属于边缘区域中的宏模块时，均匀化模块520对宏模块进行均匀化处理。压缩编码模块530耦接至均匀化模块520，压缩编码模块530对均匀化后的景深图进行编码。此装置中的运作方法与原理与前述方法相同故不再赘述。基于上述，本揭露对非边缘区域中的宏模块或没有物体边缘通过的宏模块进行均匀化处理。因此，对景深图进行压缩编码的时候，本揭露可能降低其数据量。虽然本揭露已以实施范例揭露如上，然其并非用以限定本揭露，任何本领域技术人员在不脱离本揭露的精神和范围内，当可作些许之更动与润饰，故本揭露的保护范围以权利要求书为准。
权利要求
1.一种三维视频的景深图的压缩方法，执行于一三维视频的景深图的压缩装置，该压缩方法包括: 对三维视频中一图框的景深图进行边缘侦测； 当该图框中的至少一宏模块没有物体边缘通过时，对该宏模块进行一均匀化处理；以及 对景深图进行编码。
2.如权利要求1所述的三维视频的景深图的压缩方法，其特征在于，当该图框中的至少一宏模块没有物体边缘通过时，对该宏模块进行该均匀化处理的步骤，包括: 于该图框中选择一开始宏模块为一目前宏模块； 判断该目前宏模块有没有物体边缘通过； 当该目前宏模块有物体边缘通过时，保留该目前宏模块中的像素值； 当该目前宏模块没有物体边缘通过时，对该目前宏模块进行该均匀化处理；以及 于该图框中选择另一宏模块为该目前宏模块，重复前3个步骤，直到该图框中所有或部分的宏模块都被选择过为止。
3.如权利要求1所述的三维视频的景深图的压缩方法，其特征在于，对该宏模块进行该均匀化处理的步骤，包括: 计算该宏模块的所有像素的一平均值；以及 以该平均值来取代该宏模块中每个像素的像素值。
4.如权利要求1所述的三维视频的景深图的压缩方法，其特征在于，对该宏模块进行该均匀化处理的步骤，包括: 对该宏模块使用中值滤波器、巴特沃斯滤波器或高斯滤波器。
5.如权利要求1所述的三维视频的景深图的压缩方法，其特征在于，进行边缘侦测的方法为索贝尔方法、Prewitt方法、罗伯特方法、高斯的拉普拉斯方法、零跨越方法或坎尼方法。
6.如权利要求1所述的三维视频的景深图的压缩方法，其特征在于，对景深图进行边缘侦测的步骤，还找出一边缘区域以及一非边缘区域，该边缘区域包括所有有物体边缘通过的宏模块，该非边缘区域为该图框中除了该边缘区域外的宏模块的集合，则对没有物体边缘通过的该宏模块进行该均匀化处理的步骤包括: 对该非边缘区域中的每一宏模块进行该均匀化处理。
7.如权利要求6所述的三维视频的景深图的压缩方法，其特征在于，对该非边缘区域中的每一宏模块进行该均匀化处理的步骤，包括: 于该图框中选择一开始宏模块为一目前宏模块； 判断该目前宏模块是否属于该非边缘区域； 当该目前宏模块属于该非边缘区域时，对该目前宏模块进行该均匀化处理；以及 于该图框中选择另一宏模块为该目前宏模块，重复前2个步骤，直到该图框中所有的宏模块都被选择过为止。
8.如权利要求6所述的三维视频的景深图的压缩方法，其特征在于，边缘区域是包括所有有物体边缘通过的宏模块以及与其相邻的宏模块。
9.如权利要求6所述之三维视频的景深图的压缩方法，其特征在于，边缘区域是包括以有物体边缘通过的宏模块为中心范围更广的区域。
10.一种三维视频的景深图的压缩装置，包括: 一边缘侦测模块，用以对三维视频中一图框的景深图进行边缘侦测； 一均匀化模块，耦接至该边缘侦测模块，当该图框中的宏模块没有物体边缘通过或不属于一边缘区域中的宏模块时，对宏模块进行一均匀化处理；以及 一压缩编码模块，耦接至该均匀化模块，用以对均匀化后的景深图进行编码。
11.如权利要求10所述的三维视频的景深图的压缩装置，其特征在于，该均匀化模块计算宏模块的所有像素的一平均值，且以该平均值来取代宏模块中每个像素的像素值。
12.如权利要求10所述的三维视频的景深图的压缩装置，其特征在于，该均匀化模块对宏模块使用中值滤波器、巴特沃 斯滤波器或高斯滤波器。
13.如权利要求10所述的三维视频的景深图的压缩装置，其特征在于，该边缘侦测模块使用索贝尔方法、Prewitt方法、罗伯特方法、高斯的拉普拉斯方法、零跨越方法或坎尼方法来进行边缘侦测。
全文摘要
在此提供一种三维视频的景深图的压缩方法及装置，此压缩装置包括边缘侦测模块、均匀化模块以及压缩编码模块。本揭露的方法对三维视频中一图框的景深图进行边缘侦测，当图框中的至少一宏模块没有物体边缘通过时，对这种宏模块进行均匀化处理，再对景深图进行编码。因此，本揭露对景深图进行压缩编码时，原则上可降低其数据量。
文档编号H04N7/26GK103139583SQ20111044752
公开日2013年6月5日 申请日期2011年12月23日 优先权日2011年12月2日
发明者涂日昇, 高荣扬 申请人:财团法人工业技术研究院