专利名称：用于图像处理的设备和方法
用于图像处理的设备和方法
本申请要求于2011年6月14日提交到韩国知识产权局的第10-2011-0057471号韩国专利申请的优先权权益，所述申请的公开通过引用合并于此。技术领域
以下描述的示例性实施例涉及一种图像处理设备和方法，更具体地讲，涉及一种可通过在真实彩色图像中包括虚拟对象来产生具有良好的真实性的真实彩色图像的图像处理设备和方法。
背景技术：
随着使用计算机图形学的电影技术的发展，用于合成真实彩色图像和虚拟对象的图像处理的必要性正在增加并且需要高质量的合成的结果图像。
然而，在传统技术中，在真实彩色图像中真实地表现虚拟对象方面存在一些限制。 例如，由于缺乏关于真实彩色图像之内的实际对象的信息，基于图像的混合表现处理在真实地表现各种光学效果方面存在一些困难，其中，所述基于图像的混合表现处理用于合成真实彩色图像和针对虚拟对象预先被渲染的图像。
例如，被对象反射或折射的照明灯的效果可能使实际对象和虚拟对象不协调。发明内容
通过提供一种图像处理设备实现前述和/或其它方面，其中，所述图像处理设备包括建模单元，通过输入彩色图像和与输入彩色图像对应的输入深度图像产生与实际对象对应的三维(3D)模型；计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并产生差异图像，其中，所述差异图像包括通过将虚拟对象插入到3D模型而发生的彩色失真信息；渲染单元，用于通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
计算器可包括照明图计算器，假设输入深度图像为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图；材质图计算器，通过针对输入彩色图像的照明图执行按像素划分操作，产生3D模型的材质图。
照明图计算器可通过针对输入深度图像执行低带通滤波和移动最小二乘(MLS) 中的至少一个操作来去除输入深度图像的噪声，并随后可产生照明图。
照明图计算器可假设作为所述至少一个操作产生的光滑表面点云为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图。
计算器还可包括发光图计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并根据作为基于光子的渲染的结果的光子和反光子之间的差，产生3D模型的发光图；差异图像计算器，通过针对发光图和材质图执行按像素乘积操作来产生差异图像。
通过提供一种图像处理设备实现前述和/或其它方面，所述图像处理设备包括:建模单元，通过输入彩色图像和与输入彩色图像对应的输入深度图像产生3D模型；计算器，产生第一图像和第二图像之间的差异图像，其中，第一图像是通过基于输入光环境信息以相机视图渲染3D模型而获得的，第二图像是通过基于输入光环境信息以相机视图渲染 3D模型和输入虚拟对象而获得的；渲染单元，通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
图像处理设备还可包括，其中，当第一图像和第二图像中的至少一个被渲染时，计算器使用基于光子的渲染、射线追踪、光能传递处理中的至少一个。
通过提供一种图像处理设备实现前述和/或其它方面，所述图像处理设备包括: 照明图计算器，假设输入深度图像为均一材质，通过基于输入光环境信息执行执行渲染，产生与输入深度图像相关的对象的照明图；材质图计算器，通过针对输入彩色图像的照明图执行按像素划分操作，产生对象的材质图。
通过提供一种图像处理方法实现前述和/或其它方面，所述方法包括通过输入彩色图像和与输入彩色图像对应的输入深度图像产生与实际对象对应的3D模型；基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，以产生包括通过将虚拟对象插入到3D模型发生的彩色失真信息的差异图像；通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
通过提供一种图像处理方法实现前述和/或其它方面，所述方法包括通过输入彩色图像和与输入彩色图像对应的输入深度图像产生3D模型；产生第一图像和第二图像之间的差异图像，其中，第一图像是通过基于输入光环境信息以相机视图渲染3D模型而获得的，第二图像是通过基于输入光环境信息以相机视图渲染3D模型和输入虚拟对象而获得的；通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
示例实施例可还包括一种图像处理设备和方法，该设备和方法在渲染虚拟对象被包括在实际对象的彩色图像中的图像时，可产生具有良好真实性的结果图像。此外，相对于图像处理资源，图像处理的质量可被显著地加强，并且可容易地基于光环境信息通过输入彩色图像和输入深度图像产生材质图。
实施例的另外方面将在下面的描述中被部分地阐明，通过描述该部分将是清楚的，或者可通过本公开的实施被获知。
通过下面结合附图进行的实施例的描述，这些和/或其他方面将会变得清楚并更容易理解，其中
图I示出根据示例实施例的图像处理设备；
图2示出包括在图I的图像处理设备中的计算器的配置；
图3示出根据示例实施例的输入彩色图像和输入深度图像；
图4示出根据示例实施例的虚拟对象；
图5示出根据示例实施例的执行基于光子的渲染的处理；
图6示出根据示例实施例的照明图7示出根据示例实施例的材质图8示出根据示例实施例的渲染结果图像；
图9示出根据示例性实施例的图像处理方法。
具体实施方式
现在将详细参照实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述实施例以解释本发明公开。
图I示出根据示例实施例的图像处理设备100。
图像处理设备100的建模单元110可产生与输入彩色图像和输入深度图像对应的三维(3D)模型。
输入彩色图像和输入深度图像可相互匹配。当输入彩色图像和输入深度图像不匹配时，预处理可被执行以匹配输入彩色图像和输入深度图像。
图像处理设备100可通过在3D模型中包括虚拟对象，真实地在输入彩色图像中包括虚拟对象。
建模单元110可使用输入彩色图像和输入深度图像产生点云形式(point cloud form)的3D模型。在一些实施例中，可在执行低通滤波和/或移动最小二乘(MLS)之后产生3D模型以去除输入深度图像的噪声。点云形式的3D模型仅是一个示例，因此，可应用产生基于网格的3D模型等其它实施例。
将参照图3进一步描述建模单元110的操作。
输入到图像处理设备100的信息可包括影响3D模型的光环境信息。光环境信息可包括当通过合成虚拟对象和3D模型执行渲染时将被考虑的光的位置、光的方向、光的能且雄里寺。
图像处理设备100的计算器120可使用输入彩色图像、输入深度图像和输入光环境信息，计算在虚拟对象被考虑时和虚拟对象不被考虑时发生的色差(color difference)。
色差可被理解为包括针对每个像素的失真、颜色值的增加或减少。因为可针对组成整个彩色图像的每个像素计算色差，所以包括这样的色差信息的图像可被称为色差图像或差异图像。
计算器120可通过针对组成输入深度图像每个像素假设均一材质(constant material),忽略材料纹理并随后仅基于输入光环境信息执行渲染,来产生与输入深度图像对应的照明图。
计算器120可通过针对输入彩色图像的照明图执行按像素划分操作，来产生与输入彩色图像之内的每个对象对应的材质图。
在示例实施例中，材质图可包括纹理信息(texture information)(诸如,输入彩色图像之内的每个对象的颜色信息等)。因为3D模型对应于输入彩色图像，所以材质图可被理解为对应于所述3D模型。
计算器120可基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并可基于作为基于光子的渲染的结果而计算出的光子和反光子的差产生3D模型的发光图(irradiance map)。根据另一示例实施例,计算器120还可针对输入虚拟对象和3D 模型使用射线追踪或光能传递处理。
发光图可与关于由对应于每个像素的对象部分(例如，当前光环境中的点或网格)接收的光量的信息对应。因此，当发光图被用于对象部分的材质(例如，颜色信息)时， 发光图可被用于计算以相机视图观察的光学颜色值，从而渲染结果图像。
计算器120可使用发光图和材质图产生表示色差的差异图像，其中，所述色差是指虚拟对象被包括在3D模型中的情况和虚拟对象未被包括在3D模型中的情况之间的色差。
基于光子的渲染可被执行以产生差异图像，将参照图2到图7进一步描述。
图像处理设备100的渲染单元130可通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。产生的结果图像可具有良好的真实性，这是因为虚拟对象被自然地包括在输入彩色图像中。将在下面进一步描述。
图2示出包括在图I的图像处理设备100中的计算器120的配置。
参照图2，图像处理设备100的计算器120可包括照明图计算器210、材质图计算器220、发光图计算器230和差异图像计算器240。
如上所述，计算器120可使用输入彩色图像、输入深度图像和输入光环境信息来产生表示当虚拟对象被考虑时和当虚拟对象未被考虑时发生的色差的差异图像。
为了合成虚拟对象和从实际对象拍摄的输入彩色图像，需要真实地表现光学效果 (例如，当虚拟对象被插入到输入彩色图像内的实际对象之间时发生的光的反射、光的折射坐、寸/ ο
光学效果可被理解为输入彩色图像内的像素的颜色值的失真或改变。由计算器 120产生的差异图像可对应于结果图像，其中，所述结果图像通过计算针对每个像素的颜色值的失真或改变而被获得。
输入深度图像表示关于距离的信息，并因此，可能未提供包括实际对象的颜色信息的纹理信息，其中，所述距离是指每个实际对象和用于获得输入深度图像的深度相机之间的距离。
例如，由于很多原因，输入深度图像会具有噪声特征。所述原因可包括在深度相机的传感器端发生的噪声、深度折叠、实际对象的颜色值、在外部环境中存在的红外线等。
照明图计算器210或图像处理设备100的组成元件中的至少一个可产生光滑表面点云形式的实际对象，并随后通过采用作为预处理的图像处理过程(诸如，噪声滤波、深度折叠去除、MLS等)来使用实际对象，而不是按原样使用具有噪声特征的输入深度图像。在下文中，即使未特别提及，本公开需要被理解为基于执行上述预处理过程的实施例和未执行上述预处理过程的其它实施例。
照明图计算器210可通过忽略材质(例如，材质的颜色)的纹理差异，针对组成输入深度图像的每个像素假设为均一材质。
可通过仅基于输入光环境信息渲染从输入深度图像提取出的3D模型，来产生与输入深度图像对应的照明图。
照明图可包括关于被传递到3D模型内的实际对象的颜色的光、光的方向、光的强度等的信息。因此，基于光环境的颜色值可被包括在照明图中，其中，在所述光环境中，实际对象材质本身的颜色值被考虑。
材质图计算器220可针对来自输入彩色图像的照明图执行划分操作。当假设输入彩色图像和输入深度图像被按像素匹配时，划分操作可以是简单的按像素的颜色值划分操作。
可通过在组成输入深度图像的每个像素的颜色值中去除光环境的影响来产生材质图。材质图可包括光环境被忽略的3D模型内的每个实际对象的材质颜色信息。
发光图计算器230可将输入虚拟对象插入到3D模型的预定位置，并基于光环境信息执行基于光子的渲染。将参照图5进一步描述基于光子的渲染。
当基于光子的渲染被执行时，可产生在虚拟对象被插入到3D模型时的发光图。
发光图可包括关于每个像素或与每个像素对应的对象部分从光环境接收的光量的信息。
在虚拟对象被插入之前的发光图可对应于照明图。发光图可表示通过将虚拟对象插入到3D模型在光环境中接收的光照度(irrandiance)。
差异图像计算器240可通过将材质的颜色值乘以光照度来产生差异图像。
图像处理设备100的渲染单元130可通过合成差异图像和输入彩色图像来产生在实际图像中包括了虚拟对象的结果图像。
图3示出根据示例实施例的输入彩色图像310和输入深度图像320。
输入彩色图像310可包括实际对象311的颜色信息和背景的颜色信息。
输入深度图像320可包括与输入彩色图像310匹配的深度信息。当输入彩色图像 310和输入深度图像320不匹配时，匹配处理(例如，卷曲、缩放等)可被执行为预处理。
滤波、MLS等可被执行为预处理以提高输入深度图像320的质量。
图像处理设备100的建模单元110可使用输入彩色图像310和输入深度图像320 产生3D模型。产生的3D模型可以是点云模型、基于网格的模型等。
图4示出根据示例实施例的虚拟对象400。
当虚拟对象400被输入时，虚拟对象400的几何信息、材质信息或纹理信息可被提供给图像处理设备100。
在下文中，将参照图5说明通过合成虚拟对象400和图3的输入彩色图像310来产生具有良好真实性的结果图像的处理。
图5示出根据示例实施例的执行基于光子的渲染的处理500。
可使用追踪在输入光环境501中被辐射的光子的前进路径的处理，执行基于光子的渲染。
在光子531在光环境501中被辐射并与虚拟对象530碰撞的情况下，如果虚拟对象530已经不存在，则光子531可能已与原实际对象510碰撞。因此，由于虚拟对象530的存在，光子531的路径被改变。如果虚拟对象530已经不存在，则光子531可能已与实际对象510碰撞的点被分别计算并被表现为反光子512。
在这个示例中，术语“光子”可能不同于实际物理中的光的光子，并且可以是被用来计算包括对象的3D模型内的辐射度的信息。具有更多光子的点可被认为具有更高的辐射度。
此外，术语“反光子”可能被理解为一种概念性的光子，该概念性的光子被引入以计算当虚拟对象不存在时实际对象应该接收到的光子的量，而所述光子的量由于虚拟对象造成光子的前进路径的改变没有被接收。
如上所述，光子531可沿着由于虚拟对象530的插入而改变的路径迁移。反光子512被产生在沿着原始路径与实际对象510相交的点。光子531从虚拟对象530被反射，从而沿着新的路径前进并与另一虚拟对象540相交。作为结果，产生新光子541。因为由于虚拟对象530的插入造成光子531的前进路径被改变，所以产生反光子512和光子541。
光子532的前进路径也可被改变，因此在原始前进路径上产生反光子513。在新路径上产生光子542。
光子511与实际对象510碰撞,并在未与虚拟对象530碰撞的情况下从实际对象 510被反射。因此，在实际对象520中产生光子522。在上述处理期间，虚拟对象530的插入不会影响光的前进路径。
在光环境501中福射的光可能与实际对象520碰撞,从而产生虚拟对象530的光子521和光子533。虽然未示出，由于虚拟对象530的插入，新产生光子533。由于在光子 521的路径上新产生的光子533，会在实际对象510中产生另一反光子(未示出)。
针对整个3D模型计算光子和反光子的上述处理可被理解为基于光子的渲染。基于光子的渲染可仅使用预定等级(例如，多次反射中的仅一次反射等)。
图6示出根据示例实施例的照明图600。
照明图计算器210可假设从输入深度图像320确认的整个点云为均一材质，在光环境中执行渲染。可基于光环境信息执行渲染。可产生表示光环境的等级的照明图600，其中，所述光环境针对每个对象改变颜色值。
图7示出根据示例实施例的材质图700。
如上所述，材质图计算器220可通过针对输入彩色图像310的照明图600执行按像素划分操作来产生材质图700。
每个对象的材质信息可被包括在材质图700中。例如，颜色信息可被包括在材质图700中。在图7的示例中，对象部分的颜色可区别于背景颜色。
当材质图700被产生时，差异图像计算器240可针对通过发光图计算器230计算的3D模型和虚拟对象，通过按像素将发光图和材质图700相乘来产生差异图像(未示出)。
图8示出根据示例实施例的渲染结果图像800。
渲染单元130可通过合成差异图像和输入彩色图像310来产生结果图像800。
插入的虚拟对象部分810被表现在结果图像800中。此外，光学效果(例如，输入彩色图像310的失真和/或颜色值的改变(诸如，阴影部分811等))被真实地表现在结果图像800中。
用于以上渲染处理的图像可以是高动态范围(HDR)图像。因此，可能需要将低动态范围(LDR)图像的红、绿、蓝(RGB)值(例如，一个从O到255的整数)转换为预定的浮点实数的RGB值(例如，在O和I之间的实数)的处理，其中，所述LDR图像是使用一般彩色相机获得的。在此，将省略与其相关的详细描述。
此外，可基于由图像处理设备100接收的预定的布置信息，确定将被插入到3D模型的虚拟对象的位置。在这种情况下，可采用标记跟踪处理等。
图9示出根据示例实施例的图像处理方法。
在操作910中，图像处理设备100的建模单元110可产生与输入彩色图像和输入深度图像对应的3D模型。以上，参照图I和图3描述了 3D模型产生过程。
在操作920中，图像处理设备100的计算器可产生包括当虚拟对象被插入时可能发生的颜色改变信息的差异图像。
根据示例实施例，操作920可包括以下操作假设与组成输入深度图像的每个像素对应的对象部分为均一材质，并随后产生仅基于输入光环境渲染的照明图。以上，参照图 6描述了照明图产生过程。
操作920可包括由材质图计算器220通过针对来自输入彩色图像的照明图执行按像素划分操作来产生材质图的操作，并且操作920可包括由发光图计算器230产生发光图的操作。以上，参照图7描述了材质图计算过程并且参照图5描述了发光图产生过程。
在操作930中，图像处理设备100的渲染单元130可通过合成差异图像和输入彩色图像来产生结果图像，在所述结果图像中，虚拟对象被包括在实际对象中。以上，参照图 8描述了操作930。
根据上述实施例的图像处理方法可被记录在非暂时性计算机可读介质，其中，所述非暂时性计算机可读介质包括用于实施由计算机实施的各种操作的程序指令。实施例可被实施在计算机硬件和/或软件中，诸如(非限制的例子)任何可存储、检索、处理和/或输出数据和/或与其他计算机通信的计算机。产生的结果可被显示在计算硬件的显示器上。所述介质可包括单独的数据文件、数据结构等或包括与程序指令相结合的数据文件、数据结构等。非暂时性计算机可读介质的示例包括磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD-ROM盘和DVD)、磁光介质(诸如，光盘)、以及专门配置用于存储和执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。磁记录设备的示例包括硬盘设备(HDD)、软磁盘(FD)和磁带(MT)。光学介质的示例包括DVD (数字多功能光盘)、DVD-RAM、CD-ROM(光盘-只读存储器)和CD-R(可记录)/RW。程序指令的示例包括机器代码(诸如由编译器产生的机器代码)和包含可由计算机使用解释器执行的更高级代码的文件。描述的硬件装置可被配置为用作一个或更多软件模块以执行上述实施例的操作，反之亦然。
另外，图像处理设备的实施例可包括一个或多个处理器以执行上述单元和方法中的至少一个。
此外，根据实施例的一方面，可提供描述的特点、功能和/或操作的任何组合。
虽然已示出并描述了实施例，但是本领域的技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围由权利要求及其等同物限定。
权利要求
1.ー种图像处理设备，包括 建模单元，使用输入彩色图像和与输入彩色图像对应的输入深度图像来产生与实际对象对应的三维(3D)模型； 计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染,并产生差异图像，其中，所述差异图像包括通过将虚拟对象插入到3D模型而发生的顔色失真信息； 渲染单元，通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
2.如权利要求I所述的图像处理设备，其中，计算器包括 照明图计算器，假设输入深度图像为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图； 材质图计算器，通过针对输入彩色图像的照明图执行按像素划分操作，产生3D模型的材质图。
3.如权利要求2所述的图像处理设备，其中，照明图计算器通过针对输入深度图像执行低带通滤波和移动最小ニ乘MLS中的至少ー个操作来去除输入深度图像中的噪声，井随后产生照明图。
4.如权利要求3所述的图像处理设备，其中，照明图计算器假设作为所述至少ー个操作的结果而产生的光滑表面点云为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图。
5.如权利要求2所述的图像处理设备，其中，计算器还包括 发光图计算器，基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，井根据作为基于光子的渲染的结果而计算出的光子和反光子之间的差，产生3D模型的发光图； 差异图像计算器，通过针对发光图和材质图执行按像素乘积操作来产生差异图像。
6.ー种图像处理设备，包括 建模单元，使用输入彩色图像和与输入彩色图像对应的输入深度图像产生3D模型； 计算器，产生第一图像和第二图像之间的差异图像，其中，第一图像是通过基于输入光环境信息以相机视图渲染3D模型而获得，第二图像是通过基于输入光环境信息以相机视图渲染3D模型和输入虚拟对象而获得； 渲染单元，通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
7.如权利要求6所述的图像处理设备，其中，当第一图像和第二图像中的至少ー个被渲染时，计算器使用基于光子的渲染、射线追踪、光能传递处理中的至少ー个。
8.ー种图像处理设备，包括 照明图计算器，假设输入深度图像为均一材质，通过基于输入光环境信息执行渲染，产生与输入深度图像相关的对象的照明图； 材质图计算器，用于通过针对输入彩色图像的照明图执行按像素的划分操作，产生对象的材质图。
9.ー种图像处理方法包括 使用输入彩色图像和与输入彩色图像对应的输入深度图像产生与实际对象对应的3D模型；基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，以产生包括通过将虚拟对象插入到3D模型而发生的顔色失真信息的差异图像； 通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
10.如权利要求9所述的方法，其中，产生差异图像的步骤包括 假设输入深度图像为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图； 通过针对输入彩色图像的照明图执行按像素划分操作，产生3D模型的材质图。
11.如权利要求10所述的方法，其中，产生照明图的步骤包括通过针对输入深度图像执行低带通滤波和移动最小ニ乘MLS中的至少ー个操作来去除输入深度图像中的噪声，并随后产生照明图。
12.如权利要求11所述的方法，其中，产生照明图的步骤照明图包括假设作为所述至少ー个操作而产生的光滑表面点云为均一材质，通过基于输入光环境信息执行渲染来产生与实际对象对应的3D模型的照明图。
13.如权利要求10所述的方法，其中，产生差异图像的步骤还包括 基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染,根据作为基于光子的渲染的结果计算出的光子和反光子之差产生3D模型的发光图； 通过针对发光图和材质图执行按像素乘积操作来产生差异图像。
14.ー种图像处理方法包括 使用输入彩色图像和与输入彩色图像对应的输入深度图像产生3D模型； 产生第一图像和第二图像之间的差异图像，其中，第一图像是通过基于输入光环境信息以相机视图渲染3D模型而获得的，第二图像是通过基于输入光环境信息以相机视图渲染3D模型和输入虚拟对象而获得的； 通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
15.如权利要求14所述图像处理方法，其中，使用基于光子的渲染、射线追踪、光能传递处理中的至少ー个，使第一图像和第二图像中的至少ー个被渲染。
全文摘要
提供一种用于图像处理的设备和方法。建模单元可通过输入彩色图像和与所述输入彩色图像对应的输入深度图像产生与实际对象对应的三维(3D)模型。计算器可基于输入光环境信息针对输入虚拟对象和3D模型执行基于光子的渲染，并可用于产生包括通过将虚拟对象插入到3D模型而发生的彩色失真信息的差异图像。渲染单元可通过合成差异图像和输入彩色图像来产生包括虚拟对象的结果图像。
文档编号G06T15/00GK102982577SQ20121019556
公开日2013年3月20日 申请日期2012年6月13日 优先权日2011年6月14日
发明者河仁友, 李泰炫 申请人:三星电子株式会社