专利名称：生成三维图像数据的方法和装置的制作方法
技术领域：
与示范性实施例一致的装置和方法涉及用于生成三维(3D)图像数据的方法和装 置，并且更加具体来说，涉及通过使用将哑分量(dummy component)添加到与输入图像有关 的图像分量中的二维图像数据来生成三维图像数据的方法和装置，其中该 分量用来调整 输入图像的分辨率。
背景技术：
三维(3D)图像技术由于数字技术的发展而得以迅速发展。通过三维图像技术，可 以利用添加关于二维OD)图像的深度的信息来表示更加逼真的图像。人的双眼在水平方向上相互间隔开一定距离。因而，左眼看到的二维图像与右眼 看到的二维图像之间存在差异，被称为双目视差。两个不同的二维图像在大脑中合成，生成 透视且逼真的三维图像。三维图像技术包括生成视频数据作为三维图像的技术以及将生成为二维图像的 视频数据转换为三维图像的技术，并且正在进行对这两种技术的研究。
发明内容
根据示范性实施例的一个方面，提供一种通过使用包括哑分量以及与输入图像有 关的图像分量的二维图像数据生成三维(3D)图像数据的方法，其中，所述 分量用来调整 所述输入图像的分辨率，该方法包括生成对应于所述二维图像数据的深度图；从所述二 维图像数据中检测包括所述哑分量的哑区域；以及校正所述深度图中与哑区域相对应的像 素的深度值。所述方法还可以包括通过基于校正后的深度图移动所述二维图像数据中的像素 的位置，来生成三维图像数据。所述生成三维图像数据可以包括控制所述哑分量使其不位于所述三维图像数据 中包括图像分量的图像区域。所述生成三维图像数据可以包括控制所述三维图像数据中的哑区域使其位于与 所述二维图像数据的哑区域相同坐标的区域。在校正所述深度值中，所述哑区域中的像素的深度值可以被校正为相等。在校正所述深度值中，所述哑区域中的像素的深度值可以被校正为等于代表显示 设备的屏幕的值。在校正所述深度值中，所述哑区域中的像素的深度值可以被校正为等于代表最接 近于所述哑区域的边界的图像分量的深度值。
所述检测所述哑区域可以包括接收关于所述哑区域的位置信息。所述哑分量可以包括上下边框和左右边框中的至少一个。所述方法还可以包括放大或者缩小所述输入图像；以及通过添加哑分量到放大 或者缩小后的输入图像来生成二维图像数据。根据另一示范性实施例的方面，提供一种生成三维(3D)图像数据的装置，该装置 包括深度图生成单元，生成对应于所述二维图像数据的深度图；检测单元，从所述二维图 像数据中检测包括所述哑分量的哑区域；以及校正单元，其校正所述深度图中与哑区域相 对应的像素的深度值。根据另一示范性实施例的方面，提供一种通过使用包括哑分量以及与输入图像有 关的图像分量的二维图像数据生成三维(3D)图像数据的方法，其中，所述 分量用来调整 所述输入图像的分辨率，该方法包括从二维图像数据中检测包括哑分量的哑区域；以及 校正对应于所述二维图像数据的深度图中与所述哑区域相对应的像素的深度值。
上述及其他特征和优点将通过参考附图详细描述示范性实施例而变得更加清楚， 附图中图1是根据示范性实施例的用于生成三维(3D)图像数据的装置的框图；图2A是根据示范性实施例的、在校正单元校正与哑区域相对应的像素的深度值 之前的深度图；图2B是根据示范性实施例的、在校正单元校正与哑区域相对应的像素的深度值 时的深度图；图2C是根据另一示范性实施例的、在校正单元校正与哑区域相对应的像素的深 度值时的深度图；图3A示出根据示范性实施例的二维图像数据；图;3B示出根据示范性实施例的、在左视点处的图像数据；图3C示出根据示范性实施例的、在右视点处的图像数据；图4是用于根据示范性实施例的、生成三维(3D)图像数据的方法的流程图；图5是根据另一示范性实施例的、生成三维(3D)图像数据的方法的流程图；图6是根据另一示范性实施例的、生成三维(3D)图像数据的方法的流程图。
具体实施例方式在下文中，将参考附图更加充分地描述一个或多个示范性实施例。诸如“...中的 至少一个”这样的表达，当在元素列表之前时，修饰元素的整个列表而不修饰列表中的个别元素。图1是根据示范性实施例的用于生成三维(3D)图像数据的装置100的框图。根据 本示范性实施例的用于生成3D图像数据的装置100将二维QD)图像数据转换为3D图像数 据。所述2D图像数据是为了调整所述输入图像的分辨率通过将哑分量(dummy component) 添加到与输入图像有关的图像分量而生成的。在某些情况下，所述输入图像的分辨率可能 与显示设备所支持的分辨率不一致，或者用户可能希望改变输入图像的分辨率。像这样，如果输入图像的分辨率将被调整，则输入图像被缩小或者放大并且现分量被添加到缩小或放 大后的输入图像，从而生成2D图像数据。用于生成3D图像数据的装置100可以从外部源接收2D图像数据或者可以生成 2D图像数据，其中 分量被添加到图像分量(例如，输入图像或者放大或缩小后的输入图 像)。在后一种情况下，用于生成3D图像数据的装置100可以包括2D图像数据生成单元 (未示出)。2D图像数据生成单元(未示出)在保持输入图像的水平/垂直分辨率比的同时， 放大或缩小输入图像，并且将 分量添加到放大或缩小后的输入图像，由此生成具有期望 分辨率的2D图像数据。2D图像数据生成单元(未示出)一般可以向哑分量分配相同的像 素值(例如，与黑色对应的像素值)，以便将哑分量与图像分量精确地区分开。为了描述的 方便起见，在2D图像数据中，包括与输入图像有关的图像分量的区域被称作图像区域，包 括哑分量的区域被称作哑区域(dummy area)。所述哑分量可以包括上下边框(letter box)或左右边框(pillar box)。上下边 框表示位于2D图像数据的顶部和底部的哑分量，而左右边框表示位于2D图像数据的左侧 和右侧的哑分量。例如，如果分辨率比为4 3的输入图像将在分辨率比为16 9的显示设备中再 现，则可以将输入图像调整为显示部件支持的分辨率图像。如果通过改变输入图像的水平 分量和垂直分量之间的放大/缩小比来放大/缩小输入图像，则图像被拉伸并因此而变形。 因而，利用相同的放大/缩小比来放大/缩小输入图像的水平分量和垂直分量。如果分辨率比为4 3的输入图像被水平放大三倍且垂直放大三倍，则得到分辨 率比为12 9的图像。为了在分辨率比为16 9的显示设备中再现放大后的输入图像， 可能需要调整水平分辨率。因此，哑分量被添加到放大后的输入图像的左侧和右侧，由此生 成2D图像数据。因此，放大后的输入图像位于中央，并且生成左右边框放置在放大后的输 入图像的左侧和右侧的2D图像数据。另举一例，如果分辨率比为16 9的输入图像在分辨率比为4 3的显示设备中 再现，则可以利用相同的放大/缩小比对输入图像的水平分量和垂直分量进行放大/缩小。如果分辨率比为16 9的输入图像被水平缩小到1/4倍、垂直缩小到1/4倍，则 可以得到分辨率比为4 2. 25的图像。为了在分辨率比4 3的显示设备中再现缩小后 的输入图像，可能需要调整垂直分辨率。因此，哑分量被添加到缩小后的输入图像的顶部和 底部，由此生成2D图像数据。因此，生成这样的2D图像数据缩小后的输入图像位于中央 并且上下边框放置在缩小后的输入图像的顶部和底部。深度图生成单元110生成对应于2D图像数据的深度图。深度图包括像素的深度 值，其表示2D图像数据中包括的对象距离参考点(例如，摄影装置)有多远。深度值被表示 为对象距离参考点的远或近的程度的数值。例如，如果表示对象“A”的像素的深度值小于 表示对象“B”的像素的值，则与对象“B”相比较，对象“A”的位置离参考点更远(或更近)。检测单元120检测2D图像数据中包括哑分量的哑区域。检测单元120可以通过 分析2D图像数据来检测哑区域。哑分量一般可以具有对应于特定颜色(比如，黑色)的像 素值。例如，检测单元120可以因此确定对应于特定颜色的像素值是否以对称形式存在于 二维图像数据的顶部和底部或者2D图像数据的左侧和右侧，从而检测哑区域。另外，如果对应于特定颜色的像素值连续地布置在2D图像数据中的临界线之外，则检测单元120确定 相应区域为哑区域。另外，检测单元120可以接收关于哑区域的位置信息，从而检测哑区域。在这种情 况下，检测单元120可以包括接收关于哑区域的位置信息的接收单元(未示出)。接收单 元(未示出)可以从2D图像数据生成单元(未示出)或者外部服务器接收关于哑区域的 位置信息。例如，关于哑区域的位置信息可以包括在用于2D图像数据的元数据中。校正单元130校正所生成的深度图中与哑区域对应的像素的深度值。如果通过通 常方法生成深度图，则哑区域中包括的像素的深度值受到与哑区域相邻的图像分量的深度 值的影响。如果哑区域中包括的像素的深度值发生变化，则哑区域的边界可能变形或者可 能发生串扰(cross-talk)。图2A示出根据示范性实施例的、在校正单元130校正与哑区域210相对应的像素 的深度值之前的深度图。为了描述的方便起见，假定深度值在0到255范围之内并且125 表示与显示设备的屏幕相对应的深度值。而且，假定如果深度值大于125，则对应于该深度 值的对象被显示为好像从屏幕凸出来一样，并且如果深度值小于125，则对应于该深度值的 对象被显示为好像在屏幕后面一样。在图2A的深度图中，包括在哑区域210中的像素的深度值相互不同。在这种情况 下，哑区域210的边界可能不能被准确地识别，并且从而可能发生串扰。因此，校正单元130可以将包括在哑区域210中的像素的深度值校正为相同的值。 例如，校正单元130可以将包括在哑区域210中的像素的深度值校正为与显示设备的屏幕 相对应的深度值。因为假定与显示设备125的屏幕相对应的深度值是125，所以在本示范性 实施例中，校正单元130将包括在哑区域210中的像素的深度值校正为125。图2B中示出根据示范性实施例的其中包括在哑区域210中的像素的深度值由校 正单元130校正为与显示设备的屏幕相对应的深度值的深度图。参考图2B，包括在哑区域 210中的像素的所有深度值都被校正为125。另举一例，校正单元130可以将包括在哑区域210中的像素的深度值校正为与哑 区域210的边界最接近的图像分量的深度值。在图2A中，最接近哑区域210的边界的图像 分量所表示的深度值是120。因此，校正单元130将包括在哑区域210中的像素的深度值校 正为120。图2C中示出根据示范性实施例的其中包括在哑区域210中的像素的深度值由校 正单元130校正为与哑区域210的边界最接近的图像分量的深度值的深度图。参考图2C， 包括在哑区域210中的像素的所有深度值都被校正为120。另举一例，如果哑区域210对应于左右边框(pillar box)，则校正单元130将包括 在哑区域210中的像素的深度值校正为与显示设备的屏幕相对应的深度值，并且如果哑区 域210对应于上下边框(letter box)，则校正单元130将包括在哑区域210中的像素的深 度值校正为最接近于哑区域210的边界的图像分量221和222的深度值。然而，应当理解，其他示范性实施例不局限于上述校正单元130方法。例如，在另 一示范性实施例中，如果哑区域210对应于左右边框，则校正单元130将包括在哑区域210 中的像素的深度值校正为最接近于哑区域210的边界的图像分量221和222的深度值，并 且如果哑区域210对应于上下边框，则校正单元130将包括在哑区域210中的像素的深度值校正为与显示设备的屏幕相对应的深度值。另外，校正单元130可以校正包括在图像区域220中的像素的深度值。例如，校正 单元130可以校正包括在图像区域220中的像素的深度值，以使得用户可以更自然地感觉 到3D效果。结果，根据示范性实施例的校正单元130可以通过使用各自不同的方法，校正 包括在哑区域220中的像素的深度值和包括在哑区域210中的像素的深度值。三维图像数据生成单元140基于校正后的深度图移动二维图像数据中的像素的 位置，并且生成3D图像数据。3D图像数据生成单元140基于深度图计算双目视差。人们通 过同时使用他或她的左眼和右眼观察对象，从而感觉到3D效果。这里，由左眼和右眼看到 的对象的图像位置的差异被称为双目视差。3D图像数据生成单元140生成多个3D图像数据，以便提供多视角图像 (multi-view image) 0在本说明书中，假定用于生成3D图像数据的装置100生成立体型 (stereo-type) 3D图像数据。在这种情况下，3D图像数据生成单元140生成曝露给左眼的 左视(left-view)图像数据和曝露给右眼的右视(right-view)图像数据。例如，特定对象可以被呈现为好像从屏幕凸出来一样。在这种情况下，3D图像数据 生成单元140移动对象到2D图像数据中的右部以便生成左视图像数据，以及移动对象到2D 图像数据中的左部以便生成右视图像数据。如果左视图像数据曝露给左眼并且右视图像数 据曝露给右眼，则用户识别出对象从屏幕凸出来。此外，特定对象可以被呈现为好像位于屏幕上一样。在这种情况下，3D图像数据生 成单元140不移动对象在2D图像数据中的位置。也就是说，对象在左视图像数据和右视图 像数据中位于相同坐标处。如果相同对象在左视图像数据和右视图像数据中位于相同坐标 处，则用户识别出该对象位于屏幕上。而且，特定对象可以被呈现为好像在屏幕后面一样。在这种情况下，3D图像数据生 成单元140移动对象到2D图像数据中的左部以便生成左视图像数据，以及移动对象到2D 图像数据中的右部以便生成右视图像数据。如果左视图像数据曝露给左眼并且右视图像数 据曝露给右眼，则用户识别出该对象在屏幕后面。也就是说，用户可以识别出对象位于远离
屏幕处。如上所述，在2D图像数据中移动像素并且生成3D图像数据以使得 分量可以位 于3D图像数据的图像区域中。在这种情况下，哑区域的边界不清晰，从而可能发生串扰。因此，3D图像数据生成单元140可以包括控制器(未示出)。控制器(未示出) 控制哑分量使其不位于包括图像分量的图像区域中。此外，控制器(未示出)控制图像数 据中的哑区域位于与2D图像数据中的哑区域相同的坐标处。将参考图3A至图3C，更加充分地描述3D图像数据生成单元140的操作。图3A 示出根据示范性实施例的二维图像数据301。2D图像数据301包括图像区域320和哑区域 310。图像区域320包括三个对象。假定对象“1”布置为最接近摄影装置并且其深度值是 126，对象“3”布置为离摄影装置最远并且其深度值是124，对象“2”的深度值是125。3D图像数据生成单元140将从该像素向左一个块的像素的像素值分配为具有深 度值126的像素，将从该像素向右一个块的像素的像素值分配为具有深度值IM的像素，由 此生成左视图像数据302。因此，生成这样的左视图像数据302 其中2D图像数据301中的 对象“1”被移动到右侧的下一个块并且2D图像数据中的对象“3”被移动到左侧的下一个块。类似地，3D图像数据生成单元140将从该像素向右一个块的像素的像素值分配为 具有深度值126的像素，将从该像素向左一个块的像素的像素值分配为具有深度值124的 像素，由此生成右视图像数据303。因此，生成这样的右视图像数据303 其中2D图像数据 301中的对象“1”被移动到左侧的下一个块并且2D图像数据301中的对象“3”被移动到右 侧的下一个块。如果如上生成左视图像数据302和右视图像数据303，则哑分量可以移动到图像 区域320。例如，2D图像数据301中第三像素312的深度值是126。如果2D图像数据301 中的第二像素311被向右移动一个块并且生成左视图像数据302，则哑分量可以包括在左 视图像数据302中的图像区域320中。因此，包括在哑区域中的像素移动到图像区域320， 由此导致哑区域的边界不清楚并且导致串扰发生。控制器(未示出)控制哑分量不被移动到图像区域中。例如，2D图像数据301中 第二像素311的像素值不分配给左视图像数据302中的第三像素313。而是，将作为最接 近2D图像数据301中的第二像素311的图像分量的第三像素312的像素值分配给左视图 像数据302中的第三像素313。3D图像数据生成单元140可以将具有深度值126的像素向右移动一个块并且将具 有深度值1 的像素向左移动一个块，由此生成左视图像数据。在这种情况下，图像分量可 能被移动到哑区域中。如果图像分量被移动到哑区域，则哑区域的边界不清晰，并且从而可 能发生串扰。控制器(未示出)可以控制3D图像数据中的哑区域位于与2D图像数据中的 哑区域相同的坐标处，以使得哑区域的边界不发生改变。图4是根据示范性实施例的、用于生成三维(3D)图像数据的方法的流程图。参考 图4，在操作S410中，生成对应于2D图像数据的深度图。在操作S420中，确定2D图像数据中是否存在左右边框或上下边框。如果2D图像 数据中存在左右边框或上下边框，则执行操作S430。相反，如果2D图像数据中不存在左右 边框或上下边框，则执行操作S440而不是首先执行操作S430。在操作S430中，包括在左右边框或上下边框中的像素的深度值被校正为显示设 备的屏幕所代表的深度值。也就是说，包括在左右边框或上下边框中的像素的深度值被指 定为双目视差为0的位置处的深度值。在操作S440中，基于深度图生成左视图像数据和右视图像数据。图5是根据另一示范性实施例的、生成三维(3D)图像数据的方法的流程图。参考 图5，在操作S510中，生成对应于2D图像数据的深度图。在操作S520中，确定是否有左右边框或上下边框存在于2D图像数据中。如果有左 右边框或上下边框存在于2D图像数据中，则执行操作S530。相反地，如果没有左右边框或 上下边框存在于2D图像数据中，则执行操作S550而不是首先执行操作S530、S542和S544。在操作S530中，确定是否有左右边框存在于2D图像数据中。如果有左右边框存 在于2D图像数据中，则执行操作S542。相反，如果左右边框没有存在于2D图像数据中，则 执行操作S544。在操作S542中，包括在左右边框中的像素的深度值被校正为显示设备的屏幕所 代表的深度值。也就是说，包括在左右边框或上下边框中的像素的深度值被指定为双目视差为0的位置处的深度值。在操作S544中，包括在上下边框中的像素的深度值被校正为接近哑区域的边界 的图像分量的深度值。在操作S550中，基于深度图生成左视图像数据和右视图像数据。图6是根据另一示范性实施例的、生成三维(3D)图像数据的方法的流程图。参考 图6，在操作S610中，生成对应于2D图像数据的深度图。在操作S620中，从2D图像数据中检测包括哑分量的哑区域。在操作S630中，校正与深度图中的哑区域相对应的像素的深度值。尽管参考生成深度图的装置或方法描述了前述的示范性实施例，但是应当理解， 其它示范性实施例不局限于此。例如，在另一示范性实施例中，可以从外部源(例如，在广 播信号中，数字多媒体传输或诸如蓝光盘之类的光存储介质)接收深度图。此外，尽管不受限于此，但是示范性实施例也能够具体实施为计算机可读记录介 质上的计算机可读代码。计算机可读记录介质是能够存储数据的任何数据存储设备，所述 数据之后能够被计算机系统读取。计算机可读记录介质的例子包括只读存储器(ROM)、随机 存取存储器(RAM)、CD-ROMs、磁带、软盘、光学数据存储设备等等。而且，示范性实施例可以 写为计算机程序，所述计算机程序通过诸如载波的计算机可读传输介质发送，并且在执行 该程序的通用或专用数字计算机中接收和实施。此外，尽管不是在所有方面都需要，但是用 于生成3D图像数据的装置的一个或多个单元能够包括执行存储在计算机可读介质中的计 算机程序的处理器或微处理器。虽然已经参考本发明的示范性实施例具体示出和描述了本发明的方面，但是本领 域普通技术人员将理解，在不脱离权利要求定义的本发明的精神和范围的条件下，可以对 其进行形式和细节上的各种改变。
权利要求
1.一种通过使用包括哑分量和与输入图像有关的图像分量的二维2D图像数据来生成 三维3D图像数据的方法，其中所述 分量用来调整所述输入图像的分辨率，该方法包括生成对应于所述二维图像数据的深度图；从所述二维图像数据中检测包括所述哑分量的哑区域；以及校正所述深度图中与所述哑区域相对应的像素的深度值。
2.如权利要求1所述的方法，还包括通过基于校正后的深度图移动所述二维图像数据 中的像素的位置，来生成三维图像数据。
3.如权利要求2所述的方法，其中，所述生成三维图像数据包括控制所述 分量使其 不位于所述三维图像数据中包括图像分量的图像区域中。
4.如权利要求2所述的方法，其中，所述生成三维图像数据包括控制所述三维图像数 据中的哑区域使其位于与所述二维图像数据中的哑区域相同的坐标区域。
5.如权利要求1所述的方法，其中，所述校正深度值包括校正所述哑区域中的像素的 深度值使它们相同。
6.如权利要求1所述的方法，其中，所述校正深度值包括将所述哑区域中的像素的深 度值校正为等于代表显示设备的屏幕的值。
7.如权利要求1所述的方法，其中，所述校正深度值包括将所述哑区域中的像素的深 度值校正为等于代表最接近于所述哑区域的边界的图像分量的值。
8.如权利要求1所述的方法，其中，所述检测哑区域包括接收关于所述哑区域的位置 信息以及根据接收到的位置信息检测所述哑区域。
9.如权利要求1所述的方法，其中，所述哑分量包括左右边框和上下边框中的至少一个。
10.如权利要求1所述的方法，还包括放大或缩小所述输入图像；以及通过将所述 分量添加到放大或缩小后的输入图像来生成所述二维图像数据。
11.如权利要求10所述的方法，其中，所述放大或缩小所述输入图像包括在保持所述 输入图像的纵横比恒定的同时放大或缩小所述输入图像。
12.如权利要求1所述的方法，其中，所述校正所述深度值包括响应于检测到的哑区域是左右边框，将所述哑区域中的像素的深度值校正为等于代表 显示设备的屏幕的值；以及响应于所检测到的哑区域是上下边框，将所述哑区域中的像素的深度值校正为等于代 表最接近于所述哑区域的边界的图像分量的值。
13.如权利要求1所述的方法，其中，所述校正所述深度值包括响应于检测到的哑区域是上下边框，将所述哑区域中的像素的深度值校正为等于代表 显示设备的屏幕的值；以及响应于所检测到的哑区域是左右边框，将所述哑区域中的像素的深度值校正为等于代 表最接近于所述哑区域的边界的图像分量的值。
14.一种通过使用包括哑分量和与输入图像有关的图像分量的二维2D图像数据来生 成三维3D图像数据的装置，其中所述哑分量用来调整所述输入图像的分辨率，该装置包 括深度图生成单元，其生成对应于所述二维图像数据的深度图； 检测单元，其从所述二维图像数据中检测包括所述哑分量的哑区域；以及 校正单元，其校正所述深度图中与所述哑区域相对应的像素的深度值。
15. 一种具有具体实施在其上的计算机程序的计算机可读记录介质，该程序用于执行 通过使用包括哑分量和与输入图像有关的图像分量的二维2D图像数据来生成三维3D图像 数据的方法，其中所述 分量用来调整所述输入图像的分辨率，该方法包括 生成对应于所述二维图像数据的深度图； 从所述二维图像数据中检测包括所述哑分量的哑区域；以及 校正所述深度图中与所述哑区域相对应的像素的深度值。
全文摘要
本申请提供一种通过使用包括哑分量和与输入图像有关的图像分量的二维(2D)图像数据来生成三维(3D)图像数据的方法和装置，其中所述哑分量用来调整所述输入图像的分辨率。所述方法包括生成对应于所述二维图像数据的深度图；从所述二维图像数据中检测包括所述哑分量的哑区域；以及校正所述深度图中与所述哑区域相对应的像素的深度值。
文档编号G06T7/00GK102117486SQ201010614949
公开日2011年7月6日 申请日期2010年12月30日 优先权日2009年12月30日
发明者权五宰, 李在纹, 闵钟述 申请人:三星电子株式会社