专利名称：用于通过使用网格图依据二维图像生成立体图像的方法和装置的制作方法
技术领域：
本申请要求向韩国知识产权局2007年1月10日提交的韩国专利申 请No. 10-2007-0002883、 2007年3月19日提交的No. 10-2007-0026568以及 2007年4月6日提交的韩国专利申请No. 10-2007-0034321的权益，其全部
公开内容通过引用并入这里。
本发明涉及用于生成立体图像的方法和装置以及其上记录有用于 执行该方法的计算机程序的计算机可读记录介质，并且更具体地，涉 及用于通过使用网格图来依据二维(2D)图像生成立体图像的方法和 装置，其中，读取2D数字图像、通过重叠2D图像和网格图来显示2D图 像和网格图、由用户来编辑网格图的网格形状和深度信息(深度值)、 根据该网格形状和该深度信息来计算包括在该2D图像中的像素的相对 深度信息、并且通过使用该2D图像的计算的相对深度信息来生成立体 图像文件，以及其上记录有用于执行该方法的计算机程序的计算机可 读记录介质。
在本发明中，2D图像包括一般的静止图像或运动影像。
在本发明中，优选地，可以以数字格式来接收2D图像。然而，可 以以模拟格式来接收2D图像，并且可以通过使用公知的方法来将2D图 像转换为数字格式。
在本发明中，用于生成立体图像的装置可以被实现为硬件。然而， 优选地，该装置可以被实现为立体图像生成软件。
虽然将要在本发明被应用于计算机的假设上来描述本发明，但是本发明并不受其限制。本发明可以被应用于诸如智能移动电话的任何 屯子设备。
背景技术：
一般来说，当人类观察周围的物体时，由于两眼在水平方向上互
相分幵大约65mm而造成的双眼像差，所以产生三维(3D)效果。艮P ， 两服看到实际物体的两个不同的图像，该两个图像通过视网膜和视神 经被传到大脑，视皮层(在后脑处的大脑皮层区域，它处理视觉信息) 组合该两个图像，并且因此产生关于该物体的3D或空间效果。
虚拟3D显示设备是在具有使用双眼像差现象的特定工具的2D显 示设备中提供虚拟3D效果的系统。g卩，通过在屏幕上同时显示两个双 眼图像使得每只眼睛分别看到每个双眼图像，来产生虚拟3D效果。为 了在屏幕上显示两个双眼图像，在多数情况中，虚拟3D显示设备通过 交替地排列两个双眼图像的像素线，或者以预定的时间延迟来交替地 显示整个两个双眼图像，来显示该两个双眼图像。当在屏幕上显示两 个双眼图像时，由于自动立体方法中的显示设备的硬件结构而导致右 眼看到右-眼4见像，并且左眼看到左-眼4见像，并且通过在立 体方法中使用诸如偏光眼镜或液晶显示(LCD)快门眼镜的特殊眼镜 来阻碍左眼看到右-眼-视像并且阻碍右眼看到左-眼-视像。
同时，可以通过使用其中互相分开大约65mm的两个照相机同时地 拍摄不同图像的双眼捕捉方法来生成用于虚拟3D显示的立体图像。然 而，通过使用双眼捕捉方法，额外地需要复杂的和不方便的考虑和处 理用于捕捉和编辑，并且因此较之运动影像的常规捕捉方法，时间和 成本会极大地增加。因此，除了少数特殊情况，没有广泛使用运动影 像的双眼捕捉方法。
最近，随着高-质量大尺寸平板LCD显示设备的大规模生产，诸如 虚拟3D显示设备的硬件技术已经被高度发展，并且希望在不远的将来变得广泛流行。然而，由于不够充足的3D内容，即能够由公共用户简
单而普遍地利用的立体运动影像，3D产业没有进一步发展。
因此，需要一种使用图像-处理计算机软件或硬件将包括一般静止
图像或运动影像的普通2D图像以低成本并且在短时间内转换成为立体 图像的技术。即，需要一种将使用一个照相机拍摄的单眼源(普通2D 数字图像)转换成为具有质量堪与通过使用双眼捕捉方法所拍摄的立 体图像相比的3 D效果的立体图像的技术。
发明内容
技术难题 技术解决方案
本发明提供一种用于通过使用网格图来依据二维(2D)图像生成 立体图像的方法和装置以及其上记录有用于执行该方法的计算机程序 的计算机可读记录介质。
本发明还提供一种用于生成立体图像的方法和装置，该方法通过 读取2D图像；通过重叠该2D图像和网格图来显示该2D图像和该网格 图；并且由用户来编辑该网格图的网格形状和深度信息(深度值)， 以及其上记录有用于执行该方法的计算机程序的计算机可读记录介 质。
通过本发明详细描述中所公开的实施例，本发明的其它目的和优 点能够被理解并且将变得更加清晰。另外，能够理解，通过权利要求 和其组合中所公开的结构和特征将实现本发明的目的和优点。
根据本发明的一个方面，提供了一种用于通过使用网格图来依据 二维(2D)图像生成立体图像的装置，该装置包括接收单元，该接收 单元用于从外部设备接收包括静止图像或运动影像的2D图像并且用于 接收由用户编辑的网格图的网格形状和深度信息(深度值)；屏幕参考单元，该屏幕参考单元用于通过重叠该2D图像和该网格图来显示该 2D图像和该网格图；信息管理单元，该信息管理单元用于管理由用户 根据所显示的图像的形状来编辑的网格图的网格形状和深度信息(深
度值)；计算单元，该计算单元用于根据该编辑的网格图的网格形状
和深度信息来计算包括在2D图像中的像素的相对深度信息(深度值)；
以及立体图像生成单元，该立体图像生成单元用于通过使用该2D图像
的计算的相对深度信息来生成立体图像文件。 有利效果
根据本发明，可以通过使用网格图来从2D图像生成立体图像。
艮l]，根据本发明，可以通过读取该2D图像、通过重叠该2D图像和 网格图来显示该2D图像和该网格图、以及由用户编辑该网格图的网格 形状和深度信息(深度值)，来从2D图像生成立体图像。
因此，通过使用图像-处理计算机软件或硬件，可以以低成本并且 在短时间将包括一般静止图像或运动影像的普通2D图像内转换为好像 是通过使用双眼捕捉方法来拍摄的立体图像的具有3D效果的立体图 像。
通过参考附图来详细描述本发明的示例性实施例，本发明以上的 和其它特征和优点将变得更加明显，附图中
图l是根据本发明实施例的包括立体图像生成装置的立体图像生 成系统的示意图2是根据本发明实施例的图1中所图示的立体图像生成装置的详 细框图3是根据本发明实施例的当通过使用网格图从2D图像生成立体 图像时计算像素的相对深度值的方法的详细流程图4是根据本发明实施例的当通过使用网格图从2D图像生成立体
12图像时从2D图像生成立体图像的方法的详细流程图；和
图5是根据本发明实施例的当立体图像生成装置被实现为立体图 像生成软件时示例计算机屏幕的摄影图像。
最佳方式
根据本发明的一个方面，提供了用于通过使用网格图来依据二维
(2D)图像生成立体图像的装置，该装置包括接收单元，该接收单元 用于从外部设备接收包括静止图像或运动影像的2D图像并且用于接 收由用户编辑的网格图的网格形状和深度信息(深度值)；屏幕参考 单元，该屏幕参考单元用于通过重叠该2D图像和该网格图来显示该 2D图像和该网格图；信息管理单元，该信息管理单元用于管理由用户 根据所显示的图像的形状来编辑的网格图的网格形状和深度信息(深 度值)；计算单元，该计算单元用于根据该编辑的网格图的网格形状 和深度信息来计算包括在2D图像中的像素的相对深度信息(深度值)； 以及立体图像生成单元，该立体图像生成单元用于通过使用该2D图像 的计算的相对深度信息来生成立体图像文件。
屏幕参考单元可以确定计算机中是否包括虚拟三维(3D)显示设 备；以及如果该计算机中包括虚拟3D显示设备，则通过将当前正在被 编辑的网格图的网格形状和深度信息应用到2D图像来生成立体图像， 并且通过重叠该立体图像和网格图来显示该立体图像和网格图。
根据本发明的另一个方面，提供了用于通过使用网格图来依据二 维(2D)图像生成立体图像的装置，该装置包括接收单元，该接收单 元用于从外部设备接收2D图像并且用于接收由用户编辑的网格图的网 格形状和深度信息(深度值)；屏幕参考单元，该屏幕参考单元用于 通过将当前正在被编辑的网格图的网格形状和深度信息(深度值)应 用到该2D图像来生成立体图像，并且通过重叠该立体图像和该网格图 来显示该立体图像和该网格图；信息管理单元，该信息管理单元用于 管理由用户根据所显示的图像的形状来编辑的网格图的网格形状和深度信息；计算单元，该计算单元用于根据该编辑的网格图的网格形状 和深度信息来计算包括在2D图像中的像素的相对深度信息(深度值)； 以及立体图像生成单元，该立体图像生成单元用于通过使用该2D图像 的计算的相对深度信息来生成立体图像文件。
如果接收到的2D图像是运动影像，则基于当前图像的编辑的网格 图的网格形状和深度信息，信息管理单元可以根据邻近图像和当前图 像之间的差异来自动地修改邻近图像的网格形状，并且可以自动地计 算包括在邻近图像的网格图中的网格的深度信息。
根据本发明的另一个方面，提供通过使用网格图来依据二维(2D) 图像生成立体图像的方法，该方法包括接收2D图像；通过重叠该2D 图像和网格图来显示该2D图像和网格图；由用户根据该显示的图像的 形状来编辑该网格图的网格形状和深度信息(深度值)；根据该编辑 的网格图的网格形状和深度信息来计算该2D图像中包括的像素的相对 深度信息(深度值)；以及通过使用该2D图像的计算的相对深度信息 来生成立体图像。
该方法可以进一步包括确定计算机中是否包括虚拟三维(3D)显 示设备；并且如果该计算机中包括虚拟3D显示设备，则通过将当前正 在被编辑的网格图的网格形状和深度信息应用到该2D图像来生成立体 图像，并且通过重叠该立体图像和该网格图来显示该立体图像和该网 格图。
根据本发明的另一个方面，提供了通过使用网格图来依据二维 (2D)图像生成立体图像的方法，该方法包括接收2D图像；通过将 当前正在被编辑的网格图的网格形状和深度信息(深度值)应用到2D 图像来生成立体图像，并且通过重叠该立体图像和该网格图来显示该 立体图像和该网格图；由用户根据显示的图像的形状来编辑该网格图 的网格形状和深度信息；根据该编辑的网格图的网格形状和深度信息
14来计算2D图像中包括的像素的相对深度信息(深度值)；以及通过使
用该2 D图像的计算的相对深度信息来生成立体图像文件。
以上的方法的任何一个可以进一步包括如果接收到的2D图像是
运动影像，则基于当前图像的编辑的网格图的网格形状和深度信息， 根据邻近图像和当前图像之间的差异，自动地修改邻近图像的网格形 状并且自动地计算邻近图像的网格图中所包括的网格深度信息。
根据本发明的另一个方面，提供了其上记录有用于执行包括处理 器的立体图像生成装置的功能的计算机程序的计算机可读记录介质，
该功能包括接收二维(2D)图像；通过重叠该2D图像和网格图来显
示该2D图像和网格图；由用户根据显示的图像的形状来编辑网格图的
网格形状和深度信息(深度值)；根据该编辑的网格图的网格形状和
深度信息来计算包括在2D图像中的像素的相对深度信息(深度值)； 以及通过使用该2D图像的计算的相对深度信息来生成立体图像。
该功能可以进一步包括确定计算机中是否包括虚拟三维(3D) 显示设备；以及如果该计算机中包括虚拟3D显示设备，则通过将当前 正在被编辑的网格图的网格形状和深度信息应用到2D图像来生成立体 图像，并且通过重叠该立体图像和网格图来显示该立体图像和网格图。
根据本发明的另一个方面，提供了其上记录有用于执行包括处理 器的立体图像生成装置的功能的计算机程序的计算机可读记录介质，
该功能包括接收二维(2D)图像；通过将当前正在被编辑的网格图
的网格形状和深度信息(深度值)应用到2D图像来生成立体图像，并 且通过重叠该立体图像和网格图来显示该立体图像和网格图；由用户 根据显示的图像的形状来编辑网格图的网格形状和深度信息；根据该 编辑的网格图的网格形状和深度信息来计算包括在该2D图像中的像素 的相对深度信息(深度值)；以及通过使用该2D图像的计算的相对深 度信息来生成立体图像文件。该功能可以进一步包括如果接收到的2D图像是运动影像，则基 于当前图像的编辑的网格图的网格形状和深度信息，根据邻近图像和 当前图像之间的差异，来自动地修改邻近图像的网格形状并且自动地 计算包括在邻近图像的网格图中的网格的深度信息。
如上所述，根据本发明，通过将立体图像生成软件(立体图像生 成装置)安装到计算机、读取包括一般静止图像或运动影像的2D图像、
通过重叠该2D图像和网格图来显示该2D图像和网格图、由用户编辑该
网格图的网格形状和深度信息(深度值)、以及根据由用户编辑的网
格形状和深度信息来计算包括在2D图像中的像素的相对深度信息，来 生成立体图像文件。
具体实施例方式
通过本发明的详细描述所公开的实施例，本发明的目的和优点能 够被理解并且变得更加清晰。因此，本领域普通技术人员能够实现本 发明的技术特征。
在本发明的下面的描述中，被并入这里的已知功能和配置的详细 描述在可能使本发明的主旨不清楚时将被省略。
下文中，将通过参考附图解释本发明的实施例来详细描述本发明。
图1是根据本发明实施例的包括立体图像生成装置12的立体图像 生成系统的示意图。
参考图1，立体图像生成系统包括计算机主体11、计算机屏幕13 和计算机输入设备17。
计算机主体11是一般的计算系统，包括中央处理单元(CPU);诸如随机存取存储器(RAM)、只读存储器(ROM)和硬盘(HDD) 的数据存储装置；以及各种接口。典型的个人计算机(PC)、笔记本 计算机或工作站可以被用作计算机主体11。计算机主体11可以通过在 短时间内执行大量数学计算来迅速地并且准确地处理数据。 一般来说， 将微处理器(例如，由"英特尔公司"制造的)用作计算机主体11的 CPU。在有线或无线环境中，将显示设备、诸如监视器的输出设备、和 诸如鼠标和键盘的输入设备连接到计算机主体H。
被连接到计算机主体11的显示设备包括计算机屏幕13。这里，显 示设备可以具有各种类型，诸如一般的阴极射线管(CRT)类型、液晶 显示(LCD)类型以及等离子显示板(PDP)类型。如果显示设备是虚 拟三维(3D)显示设备，则能够在计算机屏幕13上显示包括左-眼-视 像和右-眼-视像的立体图像，使得可以向用户提供3D或空间 效果。
同时，立体图像生成装置12被实现为，例如，立体图像生成软件， 该立体图像生成软件可以被安装到HDD、通过用户指令被移动到诸如 RAM的存储器并且由CPU来执行。
在该情况中，为了生成立体图像，被安装到计算机主体11的立体 图像生成装置12读取或接收包括一般静止图像或运动影像的二维 (2D)数字图像15，假设该2D数字图像是右-眼-视像。然后，立 体图像生成装置12通过重叠该2D图像15和网格图14来在计算机屏 幕13上显示该2D图像15和网格图14。
这里，网格图14包括多个网格，并且每个网格具有4个角。网格 的角包括关于计算机屏幕13上的位置(x和y坐标)和相对深度值(z 坐标)的数据。在该情况中，和作为计算机屏幕上的相对位置的x和y 坐标一样，每个角的深度值(深度信息)是基于2D图像15的大小(像 素数目)而不是物体的绝对深度值来被转换的相对的z坐标。当立体图像生成装置12通过重叠2D图像15和网格图14来在计 算机屏幕13上显示2D图像15和网格图14时，通过使用诸如鼠标和 键盘的计算机输入设备17，用户可以修改网格的角的位置使得对应于 2D图像15的形状，由此来编辑网格形状，并且可以根据显示的(2D) 图像15的主体透视来输入网格的角的深度值。因此，用户根据显示的 图像的形状来编辑网格图14。在该情况中，通过由用户修改网格图、 在计算机屏幕13上显示修改的网格图14以便于允许用户重新-编辑网 格形状和深度值并且重复根据显示的(2D)图像形状的修改和显示， 立体图像生成装置12可以将网格图14处置为最终版本。
同时，如果计算机11中包括虚拟3D显示设备，则可以根据当前 正在通过用户的选择性设置被编辑的网格图14的网格形状和深度值来 生成立体图像，并且可以在计算机屏幕13上显示该生成的立体图像和 网格图14。因此，在正在显示立体图像的同时，用户可以编辑该网格 图14的网格形状和深度值，以便于根据显示的(3D)图像的形状来编 辑网格图14。
如上所述，立体图像生成装置12接收网格图14的网格形状和深 度值，以便于通过计算2D图像15的所有像素的相对深度值来生成立 体图像文件16。即，立体图像生成装置12通过根据计算的相对深度值 (深度信息)，向计算机屏幕13的左侧或右侧水平地移动作为2D图 像15的右-眼-视像的每个像素来生成左-眼-视像，以便于生成 立体图像文件16，其中，如果像素的计算的相对深度值(深度信息) 是正的(即，该像素是凸出的)，则向右侧移动该像素，并且如果像 素的计算的相对深度值是负的(即，该像素是凹进的)，则向左侧移 动该像素。可以通过交替地排列左-眼-视像和右-眼-视像的像 素线来生成立体图像文件16。这里，可以在水平方向或垂直方向上交 替地排列左-眼-视像和右-眼-视像的像素线。替换地，只有左-眼-视像可以被生成为立体图像16。图2是根据本发明实施例的图l所图示的立体图像生成装置12的 详细框图。
参考图2，立体图像生成装置12包括接收单元21，该接收单元
21用于从外部设备接收2D图像并且接收由用户编辑的网格图的网格 形状和深度信息(深度值)；屏幕参考单元22，该屏幕参考单元22用 于通过重叠2D图像和网格图来在计算机屏幕上显示由接收单元21接 收到的2D图像和网格图；信息管理单元23，该信息管理单元23用于 存储和管理由用户基于通过屏幕参考单元22显示的2D图像的形状来 编辑的网格图的网格形状和深度值；计算单元24，该计算单元24用于 根据编辑的网格图的网格形状和深度值来计算2D图像的所有像素的 相对深度值；以及立体图像生成单元25，该立体图像生成单元25通过 使用由计算单元24计算的2D图像的相对深度值(深度信息)来生成 立体图像文件。
现在将更加详细地描述立体图像生成装置12的每个元素。
接收单元21从外部设备接收2D数字图像，并且接收由用户编辑 的网格图的网格形状和深度值。g卩，接收单元21读取或接收包括一般 静止图像或运动影像的2D图像，并且然后将该2D图像传输到计算机 主体中的存储器。如以上图1中所描述的，由用户来编辑网格图的网 格形状和深度值。这里，多数的运动影像是压縮的，并且因此，接收 单元21可以进一步解压缩该2D图像。如果以模拟文件输入2D图像， 则接收单元21可以首先通过使用公知的方法将该模拟文件转换为数字 文件。
屏幕参考单元22是用于通过重叠2D图像和网格图来在计算机屏 幕上显示由接收单元21输入的2D图像和例如存储在网格数据库26中 的网格图的模块。
19根据本发明的另一个实施例，如果计算机中包括虚拟3D显示设
备，则屏幕参考单元22通过将当前正在通过用户的选择性设置被编辑 的网格图的网格形状和深度值应用到由接收单元22接收的2D图像来 生成立体图像，并且通过重叠该立体图像和网格图来在计算机屏幕上 显示该生成的立体图像和网格图。即，如果计算机中包括虚拟3D显示 设备，则可以根据当前正在通过用户的选择性设置被编辑的网格图的 网格形状和深度值来生成立体图像，并且可以通过重叠该立体图像和 网格图来在计算机屏幕上显示该生成的立体图像和网格图。因此，在 正在显示立体图像的同时，用户可以通过使用接收单元21来编辑网格 图的网格形状和深度值，以便于根据显示的(3D)图像的形状来编辑 网格图。
信息管理单元23是用于存储和管理由使用接收单元21的用户通 过操作诸如鼠标和键盘的计算机输入设备来编辑的网格图的网格形状 和深度值。这里，网格形状和深度值分别是包括在网格图中的网格的4 个角的位置和深度值。在该情况中，用户根据由屏幕参考单元22显示 的2D图像的形状来在计算机屏幕上编辑网格形状和深度值。然后，通 过使用，例如，网格数据库26来存储并且管理被编辑的网格图的网格 形状和深度值。
而且，如果通过接收单元21输入的2D图像是运动影像，则基于 当前图像的编辑的网格图的网格形状和深度值，信息管理单元23可以 进一步根据邻近图像和当前图像之间的差异来自动地修改邻近图像的 网格形状，并且自动地计算邻近图像的深度值。
计算单元24是用于根据编辑的网格图的网格形状和深度值来计算 2D图像的所有像素的相对深度值(深度信息)的模块。即，对每个像 素，计算单元24通过使用包括该像素的网格的4个角的深度值和距离 比率(distance rate)来计算该像素的相对深度值。稍后将参考图3来详细描述该相对深度值的计算。
立体图像生成单元25通过使用由计算单元24计算的2D图像的相 对深度值来生成立体图像文件。即，立体图像生成单元25根据由计算 单元24计算的相对深度值(深度信息)，通过向计算机屏幕的左侧或 右侧移动作为通过接收单元21输入的2D图像的右-眼-视像的每个 像素，来生成左-眼-视像，其中如果像素的计算的相对深度值是正 的(凸出的)，则向右侧移动该像素，并且如果像素的计算的相对深 度值是负的(凹进的)，则向左侧移动该像素，以便于生成立体图像 文件。
可以通过交替地排列左-眼4见像和右-眼4见像的像素线 来生成立体图像文件。这里，可以在水平或垂直方向上交替地排列该 左-眼4见像和右-眼-视像的像素线。替换地，只有左-眼4见图 图像可以被生成为立体图像。
例如，当根据相对深度值向计算机屏幕的左侧或右侧移动右-眼-
视像的像素时，假设左眼和右眼之间的距离是65mm并且双眼和
计算机屏幕的表面之间的距离是70cm，如果右-眼-视像的像素具
有对应于计算机屏幕的稍微凸出的位置的深度值，则左-眼-视像的
对应像素在旋转了大约5°的位置处被移动到右-眼-视图的中心处的纵 轴的右边。136()。x6,5c:m/(2x3,i4x70c:m)卞5。l因此，为了生成左_眼_
视像，如果像素的计算的相对深度值是正的(凸出的)，则向右 侧水平地移动该像素，并且如果像素的计算的相对深度值是负的(凹 进的)，则向左侧水平地移动将该像素。
图3是根据本发明实施例的当通过使用网格图来从2D图像生成立 体图像时，计算像素的相对深度值的方法的详细流程图。通过使用图3 中所图示的方法，立体图像生成装置可以根据编辑的网格图的网格形 状和深度值来计算2D图像的所有像素的相对深度值。这里，网格形状和深度值分别是包括在网格图中的网格的4个角的位置和深度值。
最初地，在操作31中检测包括具有要被计算的相对深度值的像素 的网格。即，从网格数据库来检测编辑的网格图的网格，该网格包括 具有要被计算的相对深度值的像素。因为网格图是由用户来编辑的并 且该网格形状和深度值被存储在网格数据库中，所以可以执行网格的 检测。
然后，在操作32中检测网格的4个角的位置(x和y坐标)。
然后，在操作33中计算从像素到4个角的距离，即，计算从像素 的位置(x和y坐标)到网格的4个角的位置(x和y坐标)的距离。
然后，在操作34中检测由用户编辑的网格的4个角的深度值(z 坐标)。
然后，通过使用网格的4个角的深度值(z坐标)来计算像素的平 均相对深度值。S卩，在操作35中，通过使深度值反比例地乘以从该像 素到网格的4个角的距离比率来计算像素的相对深度值，并且在后面 的操作中平均该反比例乘得的值。
在该情况中，在操作36中确定网格是否具有平面结构。如果网格 具有平面结构，则在操作37中通过使用线性函数来计算线性的平均值。 如果网格具有凸面或凹面结构而不是平面结构，则在操作38中使用多
项式函数来计算非-线性的平均值。
然后，在操作39中，确定是否计算了 2D图像的所有像素的相对 深度值。如果还没有计算完2D图像的所有像素的相对深度值，则该方 法返回到操作31。如果计算完2D图像的所有像素的相对深度值，则 该方法结束。图4是根据本发明实施例的当使用网格图来从2D图像生成立体图
像时，从2 D图像生成立体图像的方法的详细流程图。
最初地，在操作41中，被安装到计算机的诸如立体图像生成软件 的立体图像生成装置接收包括一般静止图像或运动影像的2D数字图 像。
然后，在操作42中，立体图像生成装置通过重叠2D图像和网格 图来在计算机屏幕上显示该2D图像和网格图。
在该情况中，在操作43中确定计算机中是否包括虚拟3D显示设 备。如果计算机中不包括虚拟3D显示设备，则该方法前进到操作45。 如果计算机中包括虚拟3D显示设备，则在该方法前进到操作45之前， 在操作44中，根据当前正在被编辑的网格图的网格形状和深度值来生 成立体图像，并且在计算机屏幕上显示该生成的立体图像和网格图。 即，如果计算机中包括虚拟3D显示设备，则通过将当前正在通过用户 的选择性设置来编辑的网格图的网格形状和深度值应用到2D图像来 生成立体图像，并且在计算机屏幕上显示该生成的立体图像和网格图。
同时，根据本发明的另一个实施例，如果计算机中不包括虚拟3D 显示设备而仅包括2D显示设备，则该方法从操作42直接前进到操作 45而不执行操作43和44。
然后，在操作45中，由用户根据显示的图像的形状通过操纵诸如 鼠标和键盘的计算机输入设备来编辑网格图。这里，例如，用户根据 显示的图像的形状来修改网格图的网格形状，并且根据显示的图像的 主体透视来输入包括在网格图中的网格的4个角的深度值。
然后，在操作46中确定接收到的2D图像是否是运动影像。如果接收到的2D图像是静止图像，则该方法前进到操作48。如果接收到 的2D图像是运动影像，则在该方法前进到操作48之前，在操作47中， 基于当前图像的编辑的网格图的网格形状和深度值，立体图像生成装 置根据邻近图像和当前图像之间的差异来自动地修改邻近图像的网格 形状，并且自动地计算包括在邻近图像的网格图中的网格的深度值。 这里，只要邻近图像不完全与当前图像不同，就可以自动计算邻近图 像的网格图的网格形状和深度值。
然后，在操作48中，立体图像生成装置根据编辑的网格图的网格 形状和深度值来计算2D图像的所有像素的相对深度值。即，对每个像 素，根据编辑的网格图的网格形状和深度值，通过使用包括该像素的 网格的4个角的深度值和距离比率来计算该像素的相对深度值。以上 参考图3详细描述了相对深度值的计算。
然后，在操作49到51中，立体图像生成装置通过使用2D图像的 所有像素的计算的相对深度值来生成立体图像文件。
艮口，立体图像生成装置通过根据计算的相对深度值来向计算机屏 幕的左侧或右侧移动作为2D图像的右-眼-视像的每个像素来生成 左-眼-视像，其中如果像素的计算的相对深度值是正的(凸出的)， 则向右侧移动像素，并且如果像素的计算的相对深度值是负的(凹进 的)，则向左侧移动像素，以便于生成立体图像文件。可以通过交替 的排列左-眼-视像和右-眼-视像的像素线来生成立体图像文 件。这里，可以在水平或垂直方向上交替地排列左-眼-视像和右-眼-视像的像素线。替换地，只有左-眼4见像可以被生成为立 体图像。
图5是根据本发明实施例的当立体图像生成装置被实现为立体图 像生成软件时示例计算机屏幕的摄影图像。本发明还可以被实施为计算机可读记录介质上的计算机可读代
码。计算机可读记录介质的示例包括只读存储器(ROM)、随机-存取 存储器(RAM) 、 CD-ROM、软盘、硬盘(HDD)和磁-光盘。
如上所述，根据本发明，通过使用网格图可以从2D图像生成立体 图像。
艮口，根据本发明，可以通过读取2D图像、通过重叠该2D图像 和网格图来显示2D图像和网格图以及由用户来编辑网格图的网格形 状和深度信息(深度值)，来从2D图像生成立体图像
因此，通过使用图像-处理计算机软件或硬件，可以以低成本并且 在短时间内将包括一般静止图像或运动影像的普通2D图像转换为好 像通过使用双眼捕捉方法拍摄的立体图像一样的具有3D效果的立体 图像。
尽管已经参考本发明的示例性实施例具体示出和描述了本发明， 但是本领域普通技术人员应该理解，在不背离权利要求书限定的本发 明的精神和范围的情况下，可以在本发明中做出形式上和细节上的各 种改变。示例性实施例应该被认为仅仅是描述性的，而并非是用于限 制的目的。因此，本发明的范围不是由本发明的详细描述来限定的， 而是由权利要求书来限定的，并且落入该范围内的所有改变都将被解 释为包括在本发明中。
权利要求
1.一种用于通过使用网格图依据二维(2D)图像生成立体图像的装置，所述装置包括接收单元，用于从外部设备接收包括静止图像或运动影像的所述2D图像并且接收由用户编辑的网格图的网格形状和深度信息(深度值)；屏幕参考单元，用于显示所述2D图像和所述网格图；信息管理单元，用于管理由所述用户根据显示的图像的形状来编辑的所述网格图的网格形状和深度信息；计算单元，用于根据被编辑的网格图的所述网格形状和所述深度信息来计算包括在所述2D图像中的各像素的相对深度信息；以及立体图像生成单元，用于通过使用所述2D图像的所计算的相对深度信息来生成立体图像文件。
2. 根据权利要求l所述的装置，其中，所述屏幕参考单元通过重 叠所述2D图像和所述网格图在计算机屏幕上显示所述2D图像和所述网 格图。
3. 根据权利要求l所述的装置，其中，所述屏幕参考单元确定计 算机中是否包括虚拟三维(3D)显示设备；以及通过把当前正在被编 辑的所述网格图的所述网格形状和所述深度信息应用到所述2D图像来 生成立体图像并且通过重叠所述立体图像和所述网格图来显示所述立 体图像和所述网格图。
4. 一种用于通过使用网格图依据二维(2D)图像生成立体图像的 装置，所述装置包括接收单元，用于从外部设备接收包括静止图像或运动影像的所述2D图像并且接收由用户编辑的网格图的网格形状和深度信息(深度 值)；屏幕参考单元，用于通过把当前正在被编辑的网格图的网格形状和深度信息(深度值)应用到所述2D图像来生成立体(3D)图像并且通过璽叠所述立体图像和所述网格图来显示所述立体图像和所述网格图；信息管理单元，用于管理由所述用户根据显示的图像的形状来编 辑的所述网格图的所述网格形状和所述深度信息(深度值)；计算单元，用于根据被编辑的网格图的所述网格形状和所述深度信息来计算包括在所述2D图像中的各像素的相对深度信息；以及立体图像生成单元，用于通过使用所述2D图像的所计算的相对深度信息来生成立体图像文件。
5. 根据权利要求1到4的任何一项所述的装置，其中，如果所接收 到的2D图像是运动影像，则基于当前图像的被编辑的网格图的所述网 格形状和所述深度信息，所述信息管理单元根据邻近图像和所述当前 图像之间的差异来自动地修改所述邻近图像的所述网格形状并且自动 地计算包括在所述邻近图像的所述网格图中的各网格的深度信息。
6. 根据权利要求5所述的装置，其中，所述信息管理单元存储并 且管理所述网格形状和所述深度信息，即被编辑的网格图的各网格的4 个角的位置和深度值。
7. 根据权利要求1到4的任何一项所述的装置，其中，对每个像素， 所述计算单元根据被编辑的网格图的所述网格形状和所述深度信息， 通过使用包括该像素的网格的4个角的深度信息和距离比率来计算该 像素的相对深度信息。
8. 根据权利要求1到4的任何一项所述的装置，其中，如果像素的 信息是正的(凸出的)，则所述立体图像生成单元根据所计算的相对 深度信息向所述计算机屏幕的右侧水平地移动右-眼-视像的各像 素来生成左-眼-视像，并且通过交替地排列所述左-眼-视像和所述右-眼-视像的像素线来生成所述立体图像文件。
9. 根据权利要求8所述的装置，其中，如果像素的信息是负的(凹 进的)，则所述立体图像生成单元根据所计算的相对深度信息向所述 计算机屏幕的左侧水平地移动所述右-眼-视像的各像素来生成所 述左-眼-视像，并且通过交替地排列所述左-眼-视像和所述右-目艮-视像的像素线来生成所述立体图像文件。
10. 根据权利要求I到4的任何一项所述的装置，其中，如果像素的信息是正的(凸出的)，则所述立体图像生成单元通过根据所计算 的相对深度信息向所述计算机屏幕的右侧水平地移动右-眼-视像的各像素来生成左-眼4见像，并且生成对应于所述左-眼-视像的立体图像文件。
11. 根据权利要求10所述的装置，其中，如果像素的信息是负的(凹进的)，则所述立体图像生成单元通过根据所计算的相对深度信 息向所述计算机屏幕的左侧水平地移动所述右-眼-视像的各像素 来生成所述左-眼-视像，并且生成对应于所述左-眼-视像的立 体图像文件。
12. 根据权利要求1到4所述的装置，其中，所述接收单元从外部 设备接收包括静止图像或运动影像的所述2D数字图像并且接收根据所 显示的图像的形状来编辑的所述网格图的所述网格形状和所述深度信 息。
13. —种通过使用网格图依据二维(2D)图像生成立体图像的方 法，所述方法包括接收所述2D图像；显示所述2D图像和网格图；由用户根据显示的图像的形状来编辑所述网格图的网格形状和深度信息(深度值)；根据被编辑的网格图的所述网格形状和所述深度信息来计算包含 在所述2D图像中的各像素的相对深度信息；以及通过使用所述2D图像的所计算的相对深度信息来生成立体图像文件。
14. 根据权利要求13所述的方法，其中，所述2D图像和所述网格 图的显示包括通过重叠所述2D图像和所述网格图来在计算机屏幕上显 示所述2D图像和所述网格。
15. 根据权利要求13所述的方法，进一步包括 确定计算机中是否包括虚拟三维(3D)显示设备；以及 通过把当前正在被编辑的所述网格图的所述网格形状和所述深度信息应用到所述2D图像来生成立体图像并且通过重叠所述立体图像和 所述网格图来显示所述立体图像和所述网格图。
16. —种通过使用网格图依据二维(2D)图像生成立体图像的方 法，所述方法包括-接收所述2D图像；通过把当前正在被编辑的网格图的网格形状和深度信息(深度值) 应用到所述2D图像来生成立体(3D)图像并且通过重叠所述立体图像 和所述网格图来显示所述立体图像和所述网格图；由用户根据显示的图像的形状来编辑所述网格图的网格形状和深 度信息(深度值)；根据被编辑的网格图的所述网格形状和所述深度信息来计算包括 在所述2D图像中的各像素的相对深度信息；以及通过使用所述2D图像的所计算的相对深度信息来生成立体图像文件。
17. 根据权利要求13到16的任何一项所述的方法，进一步包括，如果所接收到的2D图像是运动影像，则基于当前图像的被编辑的网格 图的所述网格形状和所述深度信息，根据邻近图像和所述当前图像之 间的差异来自动地修改所述邻近图像的所述网格形状，并且自动地计 算包括在所述邻近图像的所述网格图中的网格的深度信息。
18. 根据权利要求13到16的任何一项所述的方法，其中，编辑所述网格图包括由所述用户根据所显示的图像的形状来编辑所述网格图的网格形状和所述深度信息；以及存储并且管理所述网格形状和所述深度信息，即被编辑的网格图 的各网格的4个角的位置和深度值。
19. 根据权利要求13到16的任何一项所述的方法，其中，计算所述相对深度信息包括对每个像素，通过使用被编辑的网格图的包括该像素的网格的4个角的深度信息和距离比率来计算该像素的相对深 度信息。
20. 根据权利要求13到16的任何一项所述的方法，其中，生成所 述立体图像文件包括如果像素的信息是正的(凸出的)，则根据所计算的相对深度信息向所述计算机屏幕的右侧水平地移动右-眼4见像的各像素来生成左-眼-视像；以及通过交替地排列所述左-眼-视像和所述右-眼-视像的像 素线来生成所述立体图像文件。
21. 根据权利要求20所述的方法，其中，生成所述立体图像文件 包括如果像素的信息是负的(凹进的)，则根据所计算的相对深度信 息向所述计算机屏幕的左侧水平地移动所述右-眼-视像的各像素 来生成所述左-眼-视像；以及通过交替地排列所述左-眼-视像和所述右-眼-视像的像 素线来生成所述立体图像文件。
22. 根据权利要求13到16的任何一项所述的方法，其中，生成所述立体图像文件包括如果像素的信息是正的(凸出的)，则根据所计算的相对深度信 息向所述计算机屏幕的右侧水平地移动右-眼-视像的各像素来生 成左-眼-视像；以及生成对应于所述左-眼-视像的所述立体图像文件。
23. 根据权利要求22所述的方法，其中，生成所述立体图像文件包括如果像素的信息是负的(凹进的)，则根据所计算的相对深度信 息向所述计算机屏幕的左侧水平地移动所述右-眼-视像的各像素 来生成所述左-眼-视像；以及生成对应于所述左-眼-视像的所述立体图像文件。
24. 根据权利要求13到16的任何一项所述的方法，其中，接收所 述2D图像包括从外部设备接收包括静止图像或运动影像的所述2D图 像。
25. —种计算机可读记录介质，在所述计算机可读记录介质上记 录有用于执行包括处理器的立体图像生成装置的功能的计算机程序， 所述功能包括接收二维(2D)图像；通过重叠所述2D图像和网格图来显示所述2D图像和所述网格图； 由用户根据显示的图像的形状来编辑所述网格图的网格形状和深 度信息(深度值)；根据被编辑的网格图的所述网格形状和所述深度信息来计算包括在所述2D图像中的各像素的相对深度信息；以及通过使用所述2D图像的所计算的相对深度信息来生成立体图像文件。
26. 根据权利要求25所述的计算机可读记录介质，其中，所述功 能进一步包括确定计算机中是否包括虚拟三维(3D)显示设备；以及 如果所述计算机中包括所述虚拟3D显示设备，则通过把当前正在 被编辑的所述网格图的所述网格形状和所述深度信息应用到所述2D图 像来生成立体图像，并且通过重叠所述立体图像和所述网格图来显示 所述立体图像和所述网格图。
27. —种计算机可读记录介质，在所述计算机可读记录介质上记 录有用于执行包括处理器的立体图像生成装置的功能的计算机程序，所述功能包括接收二维(2D)图像；通过把当前正在被编辑的网格图的网格形状和深度信息(深度值)应用到所述2D图像来生成立体图像，并且通过重叠所述立体图像和所 述网格图来显示所述立体图像和所述网格图；由用户根据显示的图像的形状来编辑所述网格图的所述网格形状和所述深度信息；根据被编辑的网格图的所述网格形状和所述深度信息来计算包括 在所述2D图像中的各像素的相对深度信息；以及通过使用所述2D图像的所计算的相对深度信息来生成立体图像文件。
28. 根据权利要求25到27的任何一项所述的计算机可读记录介 质，其中，所述功能进一步包括，如果所接收到的2D图像是运动影像， 则基于当前图像的被编辑的网格图的所述网格形状和所述深度信息， 根据邻近图像和所述当前图像之间的差异来自动地修改所述邻近图像 的所述网格形状，并且自动地计算包括在所述邻近图像的所述网格图 中的各网格的4个角的所述深度信息。
全文摘要
提供一种用于通过使用网格图依据二维(2D)图像生成立体图像的方法和装置，以及记录有用于执行该方法的计算机程序的计算机可读记录介质。还提供了一种用于生成立体图像的方法和装置，该方法通过读取2D图像、通过重叠2D图像和网格图来显示2D图像和网格图并且由用户编辑网格图的网格形状和的深度信息(深度值)，以及记录有用于执行该方法的计算机程序的计算机可读记录介质。生成立体图像的方法包括接收2D图像；通过重叠2D图像和网格图来显示2D图像和网格图；由用户根据显示的图像的形状来编辑网格图的网格形状和深度信息(深度值)；根据编辑的网格图的网格形状和深度信息来计算包括在2D图像中的像素的相对深度信息；以及通过使用该2D图像的计算的相对深度信息来生成立体图像文件。本发明可以被用在用于从包括一般静止图像或运动影像的2D图像生成立体图像的系统中。
文档编号G06T15/00GK101632102SQ200880002073
公开日2010年1月20日 申请日期2008年1月2日 优先权日2007年1月10日
发明者金亨祐, 金宽祐, 金珠惠, 金钟律 申请人:真实图像公司;文图尔3D公司