专利名称：立体深度信息的产生系统及方法
技术领域：
本发明涉及一种立体深度(3D d印th)信息的产生，特别是涉及一种区块相关的材 质密度(block-based texel density)分析以产生立体深度资讯的技术。
背景技术：
当三维物体藉由照相机或摄影机而投影映像至二维影像平面时，由于此种投射为 非唯一的多对一转换，因此会失去立体深度信息。换句话说，无法藉由投射后的影像点来决 定其深度。为了得到一个完整重现或近似的立体表现，必须恢复或产生这些立体深度信息， 用以进行影像强化(enhancement)、影像复原(restoration)、影像合成或影像的显示。
材质(texture)代表物体表面的性质，其包含有材质要素(textur印rimitive/ element或texel)。藉由材质的测量可用以区分细致或粗糙表面的物体，而据以产生立体 深度信息。材质梯度(gradient)使得愈远离观看者具有愈密的材质。传统使用二维频域 转换方式对原始二维影像或其放大/縮小影像进行转换。根据这些影像材质密度的梯度方 向，以分派立体深度信息。由于二维频域转换需要复杂的计算及耗费相当的时间，因此很难 用以进行视讯的实时(real time)分析。 鉴于上述传统方法未能实时地产生立体深度信息，因此亟需提出一种立体深度信 息的产生系统及方法，以快速地重现或近似出立体表现。 由此可见，上述现有的材质密度分析在方法与使用上，显然仍存在有不便与缺陷， 而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之 道，但长久以来一直未见适用的设计被发展完成，而一般产品及方法又没有适切的结构及 方法能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新的区 块相关的材质密度分析以产生立体深度资讯，实属当前重要研发课题之一，亦成为当前业 界极需改进的目标。 有鉴于上述现有的材质密度分析存在的缺陷，本发明人基于从事此类产品设计制 造多年丰富的实务经验及专业知识，并配合学理的运用，积极加以研究创新，以期创设一种 新的区块相关的材质密度分析以产生立体深度资讯，能够改进一般现有的材质密度分析， 使其更具有实用性。经过不断的研究、设计，并经过反复试作样品及改进后，终于创设出确 具实用价值的本发明。
发明内容
本发明的主要目的在于，克服现有的材质密度分析存在的缺陷，而提供一种新的
区块相关的材质密度分析以产生立体深度资讯，所要解决的技术问题是提出一种立体深度
信息的产生系统及方法，以快速地重现或近似出立体表现，非常适于实用。 本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出
的一种立体深度信息的产生系统，其特征在于其包含一分类及分割单元，用以将二维影像
分割为多个片段，使得具类似特征的像素被分类在同一片段；一空间域材质密度分析单元，
3其分析该二维影像以得到材质密度；及一深度分派单元，其根据该分析的材质密度以分派 深度信息给该二维影像。 本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。 前述的立体深度信息的产生系统，其中所述的二维影像是根据颜色或亮度以进行
分类及分割。 前述的立体深度信息的产生系统，其中更包含事前知识，其提供个别颜色或亮度 给该分类及分割单元。 前述的立体深度信息的产生系统，其中所述的空间域材质密度分析单元为区块相
关(block-based)，其将该二维影像分为多个区块，且依序分析该区块的材质密度。 前述的立体深度信息的产生系统，其中所述的每一区块经分析以决定其边界的数 前述的立体深度信息的产生系统，其中更包含事前知识，其提供较小深度位准给 低密度区块，而提供较大深度位准给高密度区块；或者，其提供较小深度位准给底端区块， 而提供较大深度位准给顶端区块。 本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的 一种立体深度信息的产生方法，其特征在于其包括以下步骤将二维影像分割为多个片段， 使得具类似特征的像素被分类在同一片段；分析该二维影像以得到材质密度；及根据该分 析的材质密度以分派深度信息给该二维影像。 本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。 前述的立体深度信息的产生方法，其中所述的二维影像是根据颜色或亮度以进行
分类及分割。 前述的立体深度信息的产生方法，其中更包含接收事前知识，在该分割步骤中提 供个别颜色或亮度。 前述的立体深度信息的产生方法，其中所述的材质密度分析为区块相关
(block-based)，其将该二维影像分为多个区块，且依序分析该区块的材质密度。 前述的立体深度信息的产生方法，其中所述的每一区块经分析以决定其边界的数 前述的立体深度信息的产生方法，其中所述的更包含接收事前知识，在分派深度 信息步骤中，提供较小深度位准给低密度区块，而提供较大深度位准给高密度区块；或者， 提供较小深度位准给底端区块，而提供较大深度位准给顶端区块。 本发明与现有技术相比具有明显的优点和有益效果。由以上可知，为达到上述 目的，本发明提供了一种立体深度信息的产生系统及方法。分类及分割单元将二维影像 分割为多个片段，使得具类似特征的像素被分类在同一片段。空间域材质密度分析单元 分析二维影像以得到材质密度。在一实施例中，空间域材质密度分析单元为区块相关 (block-based)，其将二维影像分为多个区块，且依序分析区块以决定其边界数量。深度分 派单元根据经分析的材质密度以分派深度信息给二维影像，藉此可实时地重现或近似出立 体表现。 借由上述技术方案，本发明区块相关的材质密度分析以产生立体深度资讯至少具 有下列优点及有益效果本发明提出一种立体深度信息的产生系统及方法，以快速地重现
4或近似出立体表现，非常适于实用。 综上所述，本发明是有关于一种区块相关的材质密度分析以产生立体深度资讯， 是一种立体深度信息的产生系统及方法。分类及分割单元将二维影像分割为多个片段，使 得具类似特征的像素被分类在同一片段。空间域材质密度分析单元分析二维影像以得到材 质密度。深度分派单元根据经分析的材质密度以分派深度信息给二维影像。本发明提出一 种立体深度信息的产生系统及方法，以快速地重现或近似出立体表现，非常适于实用。
本发明在技术上有显着的进步，并具有明显的积极效果，诚为一新颖、进步、实用 的新设计。 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够 更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
图1是本发明实施例的立体深度信息产生系统的框图。 图2是示本发明实施例的立体深度信息产生方法的步骤流程图。 图3是本发明实施例的待处理二维影像。 图4是本发明实施例经过深度分派后的影像。 100 :立体深度信息产生系统 10 :输入装置 11 :颜色分类及分割单元 12 :事前知识 13 :区块相关的空间域材质密度分析单元 14 :深度分派单元 15 :事前知识 16 :输出装置 20-26 :实施例的流程步骤
具体实施例方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合 附图及较佳实施例，对依据本发明提出的区块相关的材质密度分析以产生立体深度资讯其具体实施方式
、步骤、特征及其功效，详细说明如后。 有关本发明的前述及其它技术内容、特点及功效，在以下配合参考图式的较佳实 施例的详细说明中将可清楚的呈现。为了方便说明，在以下的实施例中，相同的组件以相同 的编号表示。 请参阅图1、图2、图3、图4所示，图l显示本发明实施例的立体(3D)深度信息产 生系统100。图2显示本发明实施例的立体深度信息产生方法的流程步骤。图3是本发明 实施例的待处理二维影像。图4是本发明实施例经过深度分派后的影像。
输入装置10提供或接收一或多张二维平面输入影像(步骤20)，用以进行本实施
例的影像/视讯处理之用。输入装置io可以是一种光电装置，用以将三维物体投影映像至二维影像平面。在本实施例中，输入装置IO可以是照相机，用以取像得到二维影像；或者可
以是摄影机，用以取得多幅影像。在另一实施例中，输入装置io可以是前置处理装置，用以
进行一或多个影像处理工作，例如影像强化、影像复原、影像分析、影像压縮或影像合成。再 者，输入装置10可更包含一储存装置(例如半导体内存或硬盘)，用以储存经前置处理装置 所处理的影像。如前所述，当三维物体投影映像至二维影像平面时，会失去立体深度信息，
因此，以下将详述本发明实施例的立体深度信息产生系统100的其它方块是如何用来处理 输入装置10所提供的二维影像。 颜色分类及分割单元11处理二维影像，将整个影像分割为多个片段(segment) (步骤21)，使得具类似特征(例如类似颜色或亮度)的像素被分类在同一片段。在本说明 书中，"单元"一词可用以表示一电路、一程序或其组合。在一实施例中，颜色分类及分割单 元ll根据颜色而对影像进行分割。亦即，具相同或类似颜色的像素被分类至同一区块。事 前知识(priorknowledge) 12也可提供及辅助颜色分类及分割单元11进行颜色的分类(步 骤22)。 一般来说，事前知识12是提供个别主题(例如花海、草地、人、砖)的相关颜色。例 如，于图3所示的待处理二维影像中，黄色花海及绿色草地为二主要主题。事前知识12也 可由处理单元(未显示在图式中)来产生，或者由使用者提供。因而，在本实施例中，颜色 分类及分割单元11将影像分割为二区块花海及草地。 接下来，区块相关(block-based)的空间域(spatial domain)材质(texel/ textual)密度分析单元13针对每一区块来进行材质密度的分析，以得到材质密度(步骤 23)。在本实施例中，二维影像包含512X512像素，而整个影像则区分为64X64区块，其中 每一区块具有8X8像素。由于本实施例是在空间域里依序分析每个区块，因而足以进行实 时(realtime)分析。在本实施例中，分析每一区块以决定每一区块内的边界(edge)数量。 例如，距观看者较远的草地所具有的边界数量远大于较近的花海的边界数量。换句话说，草 地区块的材质密度高于花海区块的材质密度，此表示草地是远离观看者。虽然本实施例是 决定每一区块内的边界数量，然而，也可以使用其它的空间域材质密度分析方法。
之后，深度分派单元14根据事前知识(prior knowledge) 15 (步骤25)分派深度 信息给每一区块(步骤24)。在例示实施例中，具较小材质密度的区块(亦即，花海)被分 派以较小深度值，而具较大材质密度的区块(亦即，草地)则被分派以较大深度值。对于该 例示实施例，事前知识15提供较小深度位准(接近观看者)给低密度区块(亦即，花海)， 而提供较大深度位准(远离观看者)给高密度区块(亦即，草地)；在另一实施例中，则是 提供较小深度位准给底端区块，而提供较大深度位准给顶端区块。图4显示经过深度分派 后的影像。类似于另一事前知识12，事前知识15也可由处理单元来产生，或者由使用者提 供。 除了提供深度位准外，事前知识15也可以提供个别的深度范围给各区块。 一般而 言，事前知识15提供较大深度范围给距观看者较近的区块，而提供较小深度范围给距观看 者较远的区块。在例示的实施例中，事前知识15提供较大深度范围给(较近的)花海，因 此使得花海的深度变化高于草地的深度变化。 输出装置16从深度分派单元14接收立体深度信息，并产生输出影像(步骤26)。 在一实施例中，输出装置16可以为显示装置，用以显示或供观看所接收的深度信息。在另 一实施例中，输出装置16可以为储存装置，例如半导体内存或硬盘，用以储存所接收的深度信息。再者，输出装置16也可更包含一后置处理装置，用以进行一或多种影像处理，例如 影像强化、影像复原、影像分析、影像压縮或影像合成。 根据上述的本发明实施例，与先前技术所述的传统立体深度信息产生方法比较起 来，本发明实施例较能快速地重现或近似出立体表现。 以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽 然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人 员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更 动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的 技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案 的范围内。
权利要求
一种立体深度信息的产生系统，其特征在于其包含一分类及分割单元，用以将二维影像分割为多个片段，使得具类似特征的像素被分类在同一片段；一空间域材质密度分析单元，其分析该二维影像以得到材质密度；及一深度分派单元，其根据该分析的材质密度以分派深度信息给该二维影像。
2. 根据权利要求1所述的立体深度信息的产生系统，其特征在于其中所述的二维影像 是根据颜色或亮度以进行分类及分割。
3. 根据权利要求1所述的立体深度信息的产生系统，其特征在于其中更包含事前知 识，其提供个别颜色或亮度给该分类及分割单元。
4. 根据权利要求1所述的立体深度信息的产生系统，其特征在于其中所述的空间域材 质密度分析单元为区块相关，其将该二维影像分为多个区块，且依序分析该区块的材质密 度。
5. 根据权利要求4所述的立体深度信息的产生系统，其特征在于其中所述的每一区块 经分析以决定其边界的数量。
6. 根据权利要求1所述的立体深度信息的产生系统，其特征在于其中所述的更包含事 前知识，其提供较小深度位准给低密度区块，而提供较大深度位准给高密度区块；或者，其 提供较小深度位准给底端区块，而提供较大深度位准给顶端区块。
7. —种立体深度信息的产生方法，其特征在于其包括以下步骤 将二维影像分割为多个片段，使得具类似特征的像素被分类在同一片段； 分析该二维影像以得到材质密度；及 根据该分析的材质密度以分派深度信息给该二维影像。
8. 根据权利要求7所述的立体深度信息的产生方法，其特征在于其中所述的二维影像 是根据颜色或亮度以进行分类及分割。
9. 根据权利要求7所述的立体深度信息的产生方法，其特征在于其中更包含接收事前 知识，在该分割步骤中提供个别颜色或亮度。
10. 根据权利要求7所述的立体深度信息的产生方法，其特征在于其中所述的材质密 度分析为区块相关(block-based)，其将该二维影像分为多个区块，且依序分析该区块的材 质密度。
11. 根据权利要求io所述的立体深度信息的产生方法，其特征在于其中所述的每一区块经分析以决定其边界的数量。
12. 根据权利要求7所述的立体深度信息的产生方法，其特征在于其中更包含接收事 前知识，在分派深度信息步骤中，提供较小深度位准给低密度区块，而提供较大深度位准给 高密度区块；或者，提供较小深度位准给底端区块，而提供较大深度位准给顶端区块。
全文摘要
本发明是有关于一种区块相关的材质密度分析以产生立体深度资讯，是一种立体深度信息的产生系统及方法。分类及分割单元将二维影像分割为多个片段，使得具类似特征的像素被分类在同一片段。空间域材质密度分析单元分析二维影像以得到材质密度。深度分派单元根据经分析的材质密度以分派深度信息给二维影像。本发明提出一种立体深度信息的产生系统及方法，以快速地重现或近似出立体表现，非常适于实用。
文档编号G01N9/00GK101750261SQ20081018077
公开日2010年6月23日 申请日期2008年12月2日 优先权日2008年12月2日
发明者李宗德, 郑朝钟, 陈良基, 黄铃琇 申请人:奇景光电股份有限公司;陈良基