专利名称：立体深度资讯的产生系统及方法
技术领域：
本发明涉及一种立体深度(3D d印th)资讯的产生，特别是涉及一种关于检测消失线(vanishing line)以产生立体深度资讯的系统及方法。
背景技术：
当三维物体藉由照相机或摄影机而投影映射至二维图像平面时，由于此种投射是为非唯一的多对一转换，因此会失去立体深度资讯。换句话说，无法藉由投射后的图像点来决定其深度。为了得到一个完整重现或近似的立体表现，必须恢复或产生这些立体深度资讯，用以进行图像增强(enhancement)、图像复原(restoration)、图像合成或图像的显示。
传统立体深度资讯的产生是检测图像中消失线(vanishing line)所聚合的消失点(vanishing point)，再以此消失点为准，愈接近消失点者给予较大的深度值。换句话说，立体深度资讯是以梯度(gradient)方式来分派的。此方法的缺点在于其未能有效考虑图像中各种不同区域的先前知识(prior knowledge)。因此，与消失点具有相同距离但位于不同区域的图像点，此方法将会单调地给予相同的深度值。 另一种传统立体深度资讯的产生方法是根据像素值的大小及颜色来区分出不同区域，再对于不同区域给予不同的深度值。例如，具有较大像素值及颜色的区域会分派以较大的深度值。此方法的缺点在于其未有考虑人类视觉系统(human visual system)中相当重要的边界资讯。因此，对于原本为相异深度的图像点，会因为具有相同像素值及颜色而错误地给予相同的深度值。 由此可见，上述传统方法未能忠实地或正确地产生立体深度资讯，因此亟需提出一种立体深度资讯的产生系统及方法，以忠实地且正确地重现或近似出立体表现。其在产品结构、与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般产品及方法又没有适切的结构及方法能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新的立体深度资讯的产生系统及方法，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。
发明内容
本发明的目的在于，克服现有的立体深度资讯的产生系统及方法存在的缺陷，而提供一种新的立体深度资讯的产生系统及方法，所要解决的技术问题是使其忠实地且正确地重现或近似出立体表现，非常适于实用。 本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种立体深度资讯的产生系统，其包含一消失点决定装置，用以决定二维图像中的消失点；一分类装置，用以分类出多个分类结构；及一深度分派单元，用以分派深度资讯给各该些分类结构。 本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
前述的立体深度资讯的产生系统，其中所述的消失点决定装置包含一线检测单 元，用以检测该二维图像中的消失线；及一消失点检测单元，其根据检测的该消失线以决定 该消失点。 前述的立体深度资讯的产生系统，其中所述的线检测单元使用霍夫变换进行消失 线的检测。 前述的立体深度资讯的产生系统，其中所述的线检测单元包含一边界检测单元， 用以检测该二维图像中的边界；一高斯低通滤波器，用以降低该检测边界的噪声；一临界 值装置，用以删除小于一预设临界值的边界，而保留大于该预设临界值的边界；一聚集装 置，用以将该检测边界的相邻但互不连接的像素聚集起来；及一端点连结装置，用以将该聚 集像素的端点连结起来，以形成该消失线。 前述的立体深度资讯的产生系统，其中所述的分类装置包含一边界特征撷取单 元，用以检测该二维图像的边界；及一结构分类单元，其根据该检测边界，而将该二维图像 分割为多个分类结构。 前述的立体深度资讯的产生系统，其中所述的边界特征撷取单元使用坎尼边界滤 波器进行边界检测。 前述的立体深度资讯的产生系统，其中所述的结构分类单元使用聚类技术进行分 割。 本发明的目的及解决其技术问题还采用以下技术方案来实现。依据本发明提出的 一种立体深度资讯的产生方法，其包括以下步骤决定二维图像中的消失点；分类出多个 分类结构；及分派深度资讯给各该分类结构。 本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。
前述的立体深度资讯的产生方法，其中所述的消失点决定步骤包含检测该二维
图像中的消失线；及根据该检测的消失线以决定该消失点。 前述的立体深度资讯的产生方法，其中所述的消失线检测步骤使用霍夫变换。
前述的立体深度资讯的产生方法，其中所述的消失线检测步骤包含检测该二维 图像中的边界；降低该检测边界的噪声；删除小于一预设临界值的边界，而保留大于该预 设临界值的边界；将该检测边界的相邻但互不连接的像素聚集起来；及将该聚集像素的端 点连结起来，以形成该消失线。 前述的立体深度资讯的产生方法，其中所述的分类步骤包含检测该二维图像的 边界；及根据该检测边界，将该二维图像分割为多个分类结构。 前述的立体深度资讯的产生方法，其中所述的边界检测步骤使用坎尼边界滤波 器。 前述的立体深度资讯的产生方法，其中所述的分类步骤使用聚类技术。
本发明与现有技术相比具有明显的优点和有益效果。由以上可知，为达到上述目 的，本发明提供了一种立体深度资讯的产生系统及方法。根据二维图像中的消失线，以检测 出消失点。根据检测边界，将二维图像分类及分割为多个分类结构。分别分派深度资讯给 各这些分类结构，因而可忠实地且正确地重现或近似出立体表现。 借由上述技术方案，本发明立体深度资讯的产生系统及方法至少具有下列优点及 有益效果根据上述的本发明实施例，与先前技术所述的传统立体深度资讯产生方法比较起来，本发明实施例较能忠实地且正确地重现或近似出立体表现。 综上所述，本发明在技术上有显著的进步，并具有明显的积极效果，诚为一新颖、 进步、实用的新设计。 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够 更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
图1是本发明实施例的立体深度资讯产生系统示意图。 图2是本发明实施例的立体深度资讯产生方法的流程步骤示意图。 图3是本发明另一实施例的消失线检测示意图。 图4A至图4E是消失线如何聚合至消失点的各种例子的示意图。 100 :立体深度资讯产生系统 10 :输入装置 11 :线检测单元 12 :消失点检测单元 13 :边界特征撷取单元 14 :结构分类单元 15 :深度分派单元 16 :输出装置 20-26 :实施例的流程步骤 110:边界检测 112 :高斯(Gaussian)低通滤波器 114:临界值 116:聚集相邻像素 118 :连结
具体实施例方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合 附图及较佳实施例，对依据本发明提出的立体深度资讯的产生系统及方法其具体实施方 式、结构、方法、步骤、特征及其功效，详细说明如后。 图1是本发明实施例的立体(3D)深度资讯产生系统100。为了便于了解本发明， 包含有原始图像、处理中图像、结果图像的例示图像也同时附属显示于图式中。图2显示本 发明实施例的立体深度资讯产生方法的流程步骤。 输入装置10提供或接收一张或多张二维(平面)输入图像(步骤20)，用以进行
本实施例的图像/视频处理之用。输入装置io可以是一种光电装置，用以将三维物体投影
映射至二维图像平面。在本实施例中，输入装置IO可以是照相机，用以取像得到二维图像； 或者可以是摄影机，用以取得多幅图像。在另一实施例中，输入装置io可以是前置处理装 置，用以进行一个或多个图像处理工作，例如图像增强、图像复原、图像分析、图像压縮或图
6像合成。再者，输入装置10可更包含一储存装置(例如半导体存储器(即记忆体，以下均 称为存储器)或硬盘)，用以储存经前置处理装置所处理的图像。如前所述，当三维物体投 影映射至二维图像平面时，会失去立体深度资讯，因此，以下将详述本发明实施例的立体深 度资讯产生系统100的其他方框是如何用来处理输入装置10所提供的二维图像。
线检测单元11处理二维图像，以检测或识别出图像中的线(步骤21)，特别是消 失线(vanishing line)。在本说明书中，"单元"一词可用以表示一电路、一程序或其组合。 图式中线检测单元11的相关附属图像显示出重叠于原始图像上的消失线。在一较佳实施 例中，消失线的检测是使用霍夫变换(Hough transform)，其是属于一种频域(frequency domain)处理。然而，也可以使用其他的频域转换(例如快速傅立叶转换(FFT))或者是空 间域(spatial domain)处理。霍夫变换为一种特征撷取(feature extraction)技术，其 揭露于美国专利第3， 069， 654号，题为"复合模式识别的装置及方法(Method and Means for Recognizing Complex Patterns)"，发明人为保罗霍夫(Paul Hough);及揭露于"利用 霍夫变换进行图像中直线与曲线的检测(Use of the Hough Transformation to Detect Lines and Curvesin Pictures)"(发表于1972年1月的Comm. ACM， Vol. 15，第11-15页 (January 1972))，作者为理查德杜达(Richard Duda)和彼得哈特(PeterHart)。霍夫变换 特别适用于含噪声(即杂讯，以下均称为噪声)的瑕疵图像中，以识别出直线或曲线。在本 实施例中，霍夫变换可有效地检测或识别出图像中的线，特别是消失线。
图3是本发明另一实施例的消失线检测。在此实施例中，首先进行边界(edge)检 测110，例如使用Sobel边界检测技术。接着，使用高斯(Gaussian)低通滤波器以降低噪声 (方框112)。在接下来的方框114中，保留大于预设临界值的边界，而删除其余边界。再者， 将相邻但互不连接的像素聚集起来(方框116)。在方框118中，藉由聚集像素的端点(end point)而将聚集像素作进一步的连结(linking)，因而得到所要的消失线。
接下来，消失点检测单元12根据线检测单元11 (步骤22)所检测到的消失线，以 决定出消失点(vanishing point)。 一般来说，消失点是为各检测线或其延伸所相交聚合的 点。图式中消失点检测单元12的相关附属图像显示出重叠于原始图像上的消失点。图4A 至图4E是消失线如何聚合至消失点的各种例子的示意图。其中，图4A的消失点位于左侧， 图4B的消失点位于右侧，图4C的消失点位于顶端，图4D的消失点位于底端，图4E的消失 点位于内部。 在立体深度资讯产生系统100(图1)的另一 (底部)路径中，二维图像经由边界特 征撷取单元13处理，以检测或识别出结构或物体间的边界或分界线(boundary)(步骤23)。 由于线检测单元11和边界特征撷取单元13具有一些重叠功能，因此，这两个单元可以合并 共享使用单一的线/边界检测单元。 在一较佳实施例中，边界的撷取是使用坎尼边界滤波器(Canny edgefilter)。坎 尼边界滤波器为一种较佳的边界特征撷取或检测算法，是由约翰，F，坎尼(John F. Canny) 在1986所发展并发表于IEEE Trans的模式分析及机器智能，8 :679-714的名为"一种边界 检测算法(A ComputationalApproach to Edge Detection)，，。坎尼边界滤波器特别适用于 含噪声的边界。在本实施例中，坎尼边界滤波器可有效地撷取边界特征，如边界特征撷取单 元13的相关附属图像所示。接下来，结构分类(structure classification)单元14根据边界特征撷取单元13所提供的边界/分界线特征，将整个图像分割(segment)成数个结构(步骤24)。特别 的是，结构分类单元14是采用基于分类(classification-based)的分割技术，因而使得具 有类似纹理(texture)的物体被连接为同一结构。如图式中结构分类单元14的相关附属 图像所示，其整个图像被分割成四个结构或片段天花板(ceiling)、地面(gro皿d)、右垂 直(vertical)面、左垂直面。此种基于分类的分割技术所使用的模式(pattern)并不局限 于上面所述者。例如，对于户外所取的图像，其整个图像可以分类成以下结构天空、地面、 垂直面及水平面。 在一较佳实施例中，可使用聚类(clustering)技术(例如K均值算法(k-means)) 来进行结构分类单元14的分割或分类。首先，根据图像的亮度直方图(histogram)以决定 出一些类(cluster)。接着，决定每一像素和各类中心(centroid或center)的距离，使得 具短距离的类似像素被聚集于同一类(cluster)，因而形成分割或分类结构。
之后，深度分派单元15分派深度资讯给每一分类结构(步骤25)。 一般来说，每一 分类结构的深度资讯的分派方式彼此不同，不过，二个或多个结构也可以采用相同的分派 方式。根据先前知识(prior knowledge)，地面被分派的深度值小于天花板/天空的深度 值。深度分派单元15通常以消失点为准，采用梯度(gradient)方式使得靠近消失点的像 素具有较大的深度值。 输出装置16从深度分派单元15接收立体深度资讯，并产生输出图像(步骤26)。 在一实施例中，输出装置16可以为显示装置，用以显示或供观看所接收的深度资讯。在另 一实施例中，输出装置16可以为储存装置，例如半导体存储器或硬盘，用以储存所接收的 深度资讯。再者，输出装置16也可更包含一后置处理装置，用以进行一种或多种图像处理， 例如图像增强、图像复原、图像分析、图像压縮或图像合成。 以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽 然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人 员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更 动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的 技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案 的范围内。
权利要求
一种立体深度资讯的产生系统，其特征在于其包含一消失点决定装置，用以决定二维图像中的消失点；一分类装置，用以分类出多个分类结构；及一深度分派单元，用以分派深度资讯给各该些分类结构。
2. 根据权利要求1所述的立体深度资讯的产生系统，其特征在于其中所述的消失点决 定装置包含一线检测单元，用以检测该二维图像中的消失线；及 一消失点检测单元，其根据检测的该消失线以决定该消失点。
3. 根据权利要求2所述的立体深度资讯的产生系统，其特征在于其中所述的线检测单 元使用霍夫变换进行消失线的检测。
4. 根据权利要求2所述的立体深度资讯的产生系统，其特征在于其中所述的线检测单 元包含一边界检测单元，用以检测该二维图像中的边界； 一高斯低通滤波器，用以降低该检测边界的噪声；一临界值装置，用以删除小于一预设临界值的边界，而保留大于该预设临界值的边界；一聚集装置，用以将该检测边界的相邻但互不连接的像素聚集起来；及 一端点连结装置，用以将该聚集像素的端点连结起来，以形成该消失线。
5. 根据权利要求1所述的立体深度资讯的产生系统，其特征在于其中所述的分类装置 包含一边界特征撷取单元，用以检测该二维图像的边界；及一结构分类单元，其根据该检测边界，而将该二维图像分割为多个分类结构。
6. 根据权利要求5所述的立体深度资讯的产生系统，其特征在于其中所述的边界特征 撷取单元使用坎尼边界滤波器进行边界检测。
7 根据权利要求1所述的立体深度资讯的产生系统，其特征在于其中所述的结构分类 单元使用聚类技术进行分割。
8. —种立体深度资讯的产生方法，其特征在于其包括以下步骤 决定二维图像中的消失点；分类出多个分类结构；及 分派深度资讯给各该分类结构。
9. 根据权利要求8所述的立体深度资讯的产生方法，其特征在于其中所述的消失点决 定步骤包含检测该二维图像中的消失线；及 根据该检测的消失线以决定该消失点。
10. 根据权利要求9所述的立体深度资讯的产生方法，其特征在于其中所述的消失线 检测步骤使用霍夫变换。
11. 根据权利要求9所述的立体深度资讯的产生方法，其特征在于其中所述的消失线 检测步骤包含检测该二维图像中的边界；降低该检测边界的噪声；删除小于一预设临界值的边界，而保留大于该预设临界值的边界； 将该检测边界的相邻但互不连接的像素聚集起来；及 将该聚集像素的端点连结起来，以形成该消失线。
12. 根据权利要求8所述的立体深度资讯的产生方法，其特征在于其中所述的分类步 骤包含检测该二维图像的边界；及根据该检测边界，将该二维图像分割为多个分类结构。
13. 根据权利要求12所述的立体深度资讯的产生方法，其特征在于其中所述的边界检 测步骤使用坎尼边界滤波器。
14. 根据权利要求8所述的立体深度资讯的产生方法，其特征在于其中所述的分类步 骤使用聚类技术。
全文摘要
本发明是有关于一种立体深度资讯的产生系统及方法。该立体深度资讯的产生系统，其包含一消失点决定装置，用以决定二维图像中的消失点；一分类装置，用以分类出多个分类结构；及一深度分派单元，用以分派深度资讯给各该些分类结构。与先前技术所述的传统立体深度资讯产生方法比较起来，本发明实施例较能忠实地且正确地重现或近似出立体表现。
文档编号G06T7/00GK101739679SQ20081017892
公开日2010年6月16日 申请日期2008年11月27日 优先权日2008年11月27日
发明者蔡一民, 郑朝钟, 陈良基, 黄铃琇 申请人:奇景光电股份有限公司;陈良基