专利名称：图像生成装置及图像生成方法
图像生成装置及图像生成方法技术领域
本发明一般涉及图像处理，尤其涉及立体/多视点图像的生成方法及装置。
背景技术：
通过使用以往已知的DIBR(基于深度的图像绘制Depth-1mage_BasedRendering) 技术，能够使用一个图像视及与其对应的进深图来生成3维图像(例如专利文献I)。
在先技术文献
专利文献
专利文献1:美国专利申请公开第2009/0115780号说明书
非专利文献
非专利文献1:L. McMiIlan&S. Gortler: ^Image-Based Rendering:A New Interface Between Computer Vision and Computer Graphics", Computer Graphics, Vol. 33, No. 4(November 1999)
非专利文献2 C. Fehn: “Depth-1mage-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D_TV〃，Proceedings of SPIE Stereoscopic Displays and Virtual RealitySystems XI，5291:93-104(2004)
发明的概要
发明所要解决的课题
但是，在通过DIBR技术生成的图像中，存在前景对象物与背景的边界伪像 (artifact)增加的课题。发明内容
因此，本发明的目的在于，提供一种图像生成装置，能够抑制在通过DIBR技术生成新的图像时产生的前景对象物与背景的边界伪像。
解决课题所采用的手段
为了解决上述课题，本发明的一个方式的图像生成装置根据输入图像和与所述输入图像对应的进深图(映射、map)，生成从新视点显示由该输入图像表示的场景的图像，该图像生成装置具备像素移位图像生成部，基于所述输入图像和所述进深图，生成第I像素移位图像和第2像素移位图像，该第I像素移位图像是针对所述输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的像素移位图像，该第2像素移位图像是针对包括作为所述输入图像中包含的前景对象物的边缘周边的背景区域的像素的指定边缘像素在内的背景边缘图像实施了使对应的像素移位与第I像素移位图像相同的移位量的处理而得到的像素移位图像；图像结合部，以使所述第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在所述第I像素移位图像中产生的没有像素信息的区域、即空洞(hole)中的方式，将所述第2像素移位图像和所述第I像素移位图像结合；以及空洞填补部，基于所述结合的像素移位图像，对所述空洞中包含的像素信息进行补全。
另外，本发明不仅能够作为这样的图像生成装置来实现，也能够作为以图像生成装置中包含的特征性单元为步骤的图像生成方法来实现，还能够作为使计算机执行这样的特征性步骤的程序来实现。并且，这样的程序当然可以经由⑶-ROM (Compact Disc Read Only Memory)等记录介质及因特网等传输介质来流通。
此外，本发明能够作为实现这样的图像生成装置的功能的一部分或全部的半导体集成电路(LSI)来实现，或者作为包括这样的图像生成装置的图像生成系统来实现。
发明效果
根据本发明，能够提供一种图像生成装置，该图像生成装置能够抑制前景对象物与背景的边界伪像。
图
图
图
图
图
图
图
图
图
图
图
图
图
图
图I是通过本发明的关联技术生成的新的图像视的概念图。2是通过本发明的实施方式的图像生成装置生成的新的图像视的概念图。 3是在先技术的图像绘制单元的概略图。4是表示本发明的生成新的图像视的装置的框图。5是表示本发明的生成新的图像视的方法的流程图。6是表示本发明的一个实施方式的生成新的图像视的装置的框图。7是用于生成过滤处理后的边缘图像的边缘图像的过滤的图。8是表示本发明的实施方式的背景边缘图像的一例的图。9是表示本发明的实施方式的背景边缘图像生成的生成过程的一例的图。 10是本发明的实施方式的图像结合的图。11是表示本发明的实施方式的背景边缘图像生成的详细方法的流程图。 12是表示本发明的实施方式的新的图像视生成的详细方法的流程图。13是表示本发明的实施方式的前景边缘的重新映射方法的图。14是表示本发明的实施方式的修复的收敛率的图表。15是本发明的生成新的图像视的装置所装入的显示装置的框图。
具体实施方式
(本发明的基础知识)
对于“背景技术”部分中记载的3维图像生成技术，本发明人发现了以下的问题。
通常，从新视点观察某场景时的图像能够使用基于进深图像的绘制(DIBR)技术来生成。来自场景的原来的视点的输入图像和表示与其对应的该场景的对象物间的距离的进深图像(也称为深度图(深度映射))在作为视(view)合成而已知的新视点的合成中使用。
在该视合成方法中，基于使用原来的视点的摄像机位置和新视点的新的摄像机位置的信息的摄像机的几何学，生成新的图像视。在此，新的图像视(view)是指，为了成为从与输入图像不同的视点观察的图像而新合成的图像。合成的新的图像视能够将左眼视图像和右眼视图像用于3D立体视觉显示。多视点图像还能够用于多视点3D显示器而生成。因此，通过使用DIBR技术，仅使用一个图像视和与其对应的进深图，就能够生成3维图像。
由于生成新视，在隐藏区域中产生空洞(hole)。在此，空洞是指在合成视中不包含像素信息而为空白的未知区域。这是由于原来的视点中的隐藏区域在新视点中可视化(非隐藏化)而产生的。因此，对于产生空洞的图像，需要应用填补方法。
公知的填补方法有为了进行插值而使用空洞的两侧的像素的双线性插值法。该方法在较小的空洞区域中效果很好。但是，对于较大的空洞，在该方法中经常产生不鲜明的边缘、边界伪像及对象物的失真。这样的3D是低品质的。对称或非对称的进深图的平滑化等方法在将空洞的尺寸缩小的技术中公开。但是，在这样的方法中，在对象物中产生几何学失真，3D效果被抑制。
此外，在专利文献I中公开有另一方法。在图3所示的关联技术的图像生成装置 100中，通过边缘检测104来检测进深图的边缘。接着，为了计算与边缘的周边区域一致的输入图像的区域中的像素值的一定的变化，通过纹理(texture)分析102对输入图像的纹理进行分析。此外，基于该变化量，通过进深缩放106使进深图缩小。最后，由绘制部108 显示输出图像。通过进深缩放106将进深图缩小，由此，在该方法中，在高纹理区域中空洞的尺寸缩小。因此，能够降低绘制伪像。但是，存在抑制3D效果的可能性。此外，在公知的方法中，对象物的边缘未被进行正确的处理。在公知的方法中，前景对象物的边缘变大，有产生边界伪像的趋势。因此，3D的品质劣化。
为了解决这样的问题，本发明的一方式的图像生成装置根据输入图像和与所述输入图像对应的进深图，生成从新视点显示该输入图像所表示的场景的图像，该图像生成装置具备像素移位图像生成部，基于所述输入图像和所述进深图，生成第I像素移位图像和第2像素移位图像，该第I像素移位图像是对于所述输入图像实施了使像素移位与所述新视点对应的移位量的处理后的像素移位图像，该第2像素移位图像是针对包括作为所述输入图像中包含的前景对象物的边缘周边的背景区域的像素的指定边缘像素在内的背景边缘图像实施了使对应的像素移位与第I像素移位图像相同的移位量的处理后的像素移位图像；图像结合部，以使所述第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在所述第I像素移位图像中产生的没有像素信息的区域、即空洞中的方式，将所述第2像素移位图像和所述第I像素移位图像结合；以及空洞填补部，基于所述结合的像素移位图像，对所述空洞中包含的像素信息进行补全。
由此，在结合的像素移位图像中，空洞的外缘区域中包含的像素值成为背景区域中包含的像素值。因此，在图像生成装置补全空洞时，使用背景区域中包含的像素值。由此， 能够抑制前景对象物与背景的边界伪像。
具体地说，也可以还具备背景边缘图像生成部，该背景边缘图像生成部具有边缘检测模块，分别检测所述输入图像和所述进深图中包含的边缘；边缘过滤模块，进行表示所述输入图像中包含的边缘信息的第I边缘图像和表示所述进深图中包含的边缘信息的第2 边缘图像的对位；以及生成模块，基于对位后的所述输入图像中包含的边缘和所述进深图中包含的边缘，将所述输入图像中包含的边缘的像素值置换为表示从与该边缘的位置对应的所述进深图上的位置到预定范围内最里侧的位置的像素的像素值，从而生成所述背景边缘图像。
此外，也可以是，所述边缘过滤模块决定第I边缘像素和第2边缘像素，该第I边缘像素在所述第I边缘图像及所述第2边缘图像的一方中的预定区域内表示边缘，该第2 边缘像素在所述第I边缘图像及所述第2边缘图像的另一方中的所述预定区域内表示边缘，并且与所述第I边缘像素的距离最短，通过使所述第I边缘像素及所述第2边缘像素中的一方的位置与另一方的位置一致，进行所述第I边缘图像和所述第2边缘图像的对位。
由此，通过对输入图像和进深图的位置偏差进行校正，能够生成更正确的背景边缘图像。
此外，也可以是，在所述第I边缘图像及所述第2边缘图像中，所述边缘在宽度方向上具有两个以上的像素。
由此，将生成的背景边缘图像移位时，能够在空洞的两侧配置背景区域中包含的像素值。
此外，也可以是，在所述边缘所具有的宽度方向的像素中，至少一个像素包含在所述前景对象物中，其他至少一个像素包含在背景区域中。
例如，也可以是，所述边缘检测模块具有由坎尼边缘(Canny edge)检测器、普瑞维特边缘(Prewitt edge)检测器、索伯尔边缘(Sobel edge)检测器、拉普拉斯一高斯边缘 (Laplacian of Gaussian edge)检测器或其他微分边缘检测器构成的组中包括的边缘检测器。
此外，也可以是，所述像素移位图像生成部基于所述进深图和表示所述移位量的增益的至少一个参数，计算所述移位量。
由此，例如在生成立体视觉用的图像时，通过调整表示移位量的增益的参数，能够调整进行立体视觉时的跃出量或缩进量。
例如，也可以是，所述图像结合部通过将所述第I像素移位图像的像素值置换为所述第2像素移位图像的对应的像素值，将所述第2像素移位图像与所述第I像素移位图像结合。
此外，也可以是，所述图像结合部基于像素值的加权平均，将所述第2像素移位图像与所述第I像素移位图像结合。
由此，能够更适当地将两个像素移位图像结合。
例如，也可以是，所述空洞填补部对所述结合的像素移位图像实施TV (全变差、全变分Total Variation)修正处理，由此补全所述空洞中包含的像素信息。
此外，也可以是，所述空洞填补部在所述TV修正处理中，基于利用附近像素计算出的像素值的变化程度，进行所述像素信息的补全。
由此，空洞填补部能够更高速地进行空洞的补全处理。
此外，也可以是，所述空洞填补部还进行如下处理对于由所述空洞填补部补全了空洞后的所述结合的像素移位图像，基于所述边界附近的像素值的类似性和由所述进深图示出的进深度，实施使所述前景对象物的边界变得平滑的处理。
另外，这些整体或具体的方式可以通过系统、方法、集成电路、计算机程序或记录介质来实现，也可以通过系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
如上所述，本发明的目的在于，提供一种生成新的图像视的方法及装置。通过该方法及装置，能够正确地生成对象物的边界，能够在保持前景对象物的形状的同时，减少边界伪像。因此，能够提高画质而得到更高的3D效果。
此外，本发明提供一种能够用于3D应用的新的图像视的生成方法及装置。在本发明中，该方法在保持前景对象物的形状的同时，将背景信息与像素移位输入图像结合，使空洞的两侧可靠地包含背景像素。接着，执行空洞填补。其效果为，提高输出图像中的对象物的边界的正确性，减少失真。由此，能够得到更高的3D的效果。
此外，在本发明中，在一实施方式中，根据输入图像及输入图像和进深图双方的边缘信息来生成背景边缘图像。进深图中的对象物的边界周边的进深误差使用输入图像的边缘信息来进行过滤处理。其效果为，在输出时减少前景对象物的边界伪像。
此外，在本发明中，在一实施方式中，在填补时使用近似修复法(approximated inpainting method)。能够得到同样的像素输出的修复结果，并且通过加入系数，提高了收敛率，减少迭代次数。其效果为，与以往的修复方法相比，能够大幅削减计算时间。
以下，参照附图来具体说明本发明的一个方式的图像生成装置。另外，以下说明的实施方式都只表示本发明的一具体例。以下的实施方式中示出的数值、形状、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等只是一例，并不意图限定本发明。此外， 在以下的实施方式中的构成要素中，对于表示最上位概念的独立权利要求所未记载的构成要素，作为任意的构成要素来说明。
(实施方式)
首先，为了具体说明本发明的效果，参照图I及图2来说明使用本发明的实施方式的图像生成装置生成的图像和通过本发明的关联技术生成的图像的差异。
图I是表示通过本发明的关联技术生成的新的图像视的概念图。
在此，首先，根据输入图像和与该输入图像对应的深度图，通过DIBR技术来合成使视点向左方向移位后的新的图像视。换言之，在输入图像中，合成前景相对于背景向右方向移位的图像视。在该图像视中，存在与前景移位的量相当的没有像素信息的区域，即空洞(HoIe)ο
因此，在关联技术中，基于空洞的左侧附近的像素信息和右端附近的像素信息来补全空洞。这时，空洞的左侧附近的像素信息是背景的像素信息。此外，空洞的右侧附近的像素信息是前景的像素信息。其结果，如图I所示，在前景的左端和背景的边界产生伪像。
另一方面，图2是表示由本实施方式的图像生成装置生成的新的图像视的概念图。
如图2所示，本实施方式的图像生成装置在补全空洞时仅使用背景的像素信息。 因此，图像生成装置在空洞的右侧附近将前景的像素信息置换为背景的像素信息之后，进行补全处理。其结果，在生成新的图像视时，也不会在前景的左端和背景的边界产生伪像。
接着，说明本实施方式的图像生成装置的构成。
图4表示图像生成装置200的框图的一例。图像生成装置200根据输入图像和与输入图像对应的进深图，生成从新视点显示该输入图像所表示的场景的新的图像。
如图4所示，图像生成装置200具备像素移位图像生成部206、图像结合部208和空洞填补部210。
像素移位图像生成部206基于输入图像和进深图，生成对输入图像实施了使像素移位与新视点对应的移位量的处理而得到的第I像素移位图像。此外，生成针对包括输入图像中包含的作为前景对象物的边缘周边的背景区域的像素的指定边缘像素的背景边缘图像实施了使对应的像素移位与第I像素移位图像相同移位量的处理而得到的第2像素移位图像。
图像结合部208以使第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在第I像素移位图像中产生的没有像素信息的区域、即空洞中的方式，将第2像素移位图像和第I像素移位图像结合。
空洞填补部210基于结合的像素移位图像，补全空洞中包含的像素信息。
以下更具体地进行说明。
图像生成装置200取得输入图像202和进深图(深度映射)204。进深图204包括输入图像的场景目标物间的距离的信息。像素移位图像生成部206基于输入图像202及进深图204，生成第I像素移位图像及第2像素移位图像。
在此，第I像素移位图像是通过在输入图像中应用DIBR技术而生成的视点移位后的图像。即，是基于输入图像和进深图，对输入图像实施了使像素移位与新视点对应的移位量的处理而得到的图像。
此外，第2像素移位图像是对包括输入图像中包含的作为前景对象物的边缘周边的背景区域的像素的指定边缘像素在内的背景边缘图像实施了使像素移位与第I像素移位图像相同移位量的处理而得到的图像。
像素移位量从进深图204导出。图像结合部208将第2像素移位图像的信息与第 I像素移位图像结合，生成结合的像素移位图像。最后，空洞填补部210使用空洞区域周边的信息，对结合的像素移位图像的缺失像素进行补全，从而取得输出图像212。
构成图像生成装置200的各构成要素通常通过IC (集成电路)、ASIC (用于特定用途的集成电路)、LSI (大规模集成)电路及DSP (数字信号处理器)的方式来实现，或通过ARM 等基于CPU的处理器及PC (个人计算机)等设备来实现。这些各模块可以包含在多个单功能LSI或一个LSI中。在此使用的名称为LSI，但是根据集成度，有时也称为1C、系统LSI、 超级LSI或特级LSI。此外，集成方法不限于LSI，也可以通过专用电路或通用处理器等来集成。其中也包括能够通过程序命令来指示的DSP (数字信号处理器)等特殊的微处理器。 可以将在LSI的制造后可编程的FPGA (FieldProgrammable Gate Array)或能够将LSI的连接或配置重构的可重构处理器用于同样的目的。今后，随着制造和处理技术的发展，LSI 可能被全新的技术所取代。集成能够通过这样的技术来实现。在实施方式中，也可以在数字静态摄像机及摄影机等摄像装置中装入图像生成装置200。装置200可以安装在像业务用摄像系统等中常见的与图像摄像系统联动的单机型的装置中。但是，也可以将图像生成装置200安装在其他种类的装置中，不限定本发明的范围。
图5表示图像生成装置200所进行的处理的流程。
首先，在步骤S302中，图像生成装置200取得输入图像及进深图。
接着，在步骤S304中，图像生成装置200基于输入图像和进深图，生成第I像素移位图像及第2像素移位图像。第2像素移位图像包含从前景对象物的边缘周边的背景区域的像素取得的指定边缘像素。
接着，在步骤S306中，图像生成装置200以一边保持前景对象物的形状一边将第2 像素移位图像的背景信息与第I像素移位图像结合的方式，将第2像素移位图像与第I像素移位图像结合。
最后，在步骤S308中，图像生成装置200利用结合的像素移位图像的背景信息，对结合的像素移位图像的缺失像素进行补全，从而取得输出图像。在图像结合过程中，通过将该背景边缘像素与前景边缘像素正确地结合，前景对象物被正确地保持，减少了伪像。由此提闻画质。
图6表示本实施方式的图像生成装置200的框图的另一例。与图4所示的图像生成装置200的不同点在于，还具备背景边缘图像生成部419。
如图6所示，背景边缘图像生成部419具有边缘检测模块414，分别检测输入图像和进深图中包含的边缘；边缘过滤模块416，进行表示输入图像中包含的边缘信息的第I 边缘图像和表示进深图中包含的边缘信息的第2边缘图像的对位；以及生成模块418，基于对位后的输入图像中包含的边缘和进深图中包含的边缘，将输入图像中包含的边缘的像素值置换为表示从与该边缘的位置对应的进深图上的位置到预定范围内最里侧的位置的像素的像素值，从而生成背景边缘图像。
此外，也可以是，边缘过滤模块416决定第I边缘像素和第2边缘像素，该第I边缘像素在第I边缘图像及第2边缘图像的一方中的预定区域内表示边缘，该第2边缘像素边缘在第I边缘图像及第2边缘图像的另一方中的预定区域内表示边缘，并且与第I边缘像素的距离最短。这种情况下，边缘过滤模块416通过使第I边缘像素及第2边缘像素中的一方的位置与另一方的位置一致，进行第I边缘图像和第2边缘图像的对位。
以下更详细地进行说明。
边缘检测模块414取得输入图像202及进深图204，生成输入图像202的第I边缘图像及进深图204的第2边缘图像。该第I及第2边缘图像包含指定边缘像素。
边缘过滤模块416取得第I和第2边缘图像，使用第I和第2双方的边缘图像的信息来对第2边缘图像进行过滤处理，从而生成包含指定边缘像素的过滤处理后的边缘图像。由此，对前景对象物与背景对象物之间的边界噪声进行过滤处理，第2边缘图像的边缘误差得到订正。
在此，在过滤处理后的第I及第2边缘图像中，边缘在宽度方向上具有两个以上的像素。此外，在边缘所具有的宽度方向的像素中，至少一个像素包含在前景对象物中，其他至少一个像素包含在背景区域中。
生成模块418使用输入图像和进深图的信息，基于过滤处理后的边缘图像来生成背景边缘图像。在该生成方法中，在过滤处理后的边缘图像中的指定边缘像素的对应周边区域中检测最小进深位置，将指定边缘像素置换为与所述最小进深位置对应的输入图像的像素强度值。
像素移位图像生成部206生成第I像素移位图像及第2像素移位图像。第I像素移位图像使用输入图像和进深图来生成。第2像素移位图像使用背景边缘图像和进深图来生成。第2像素移位图像包含从前景对象物的边缘周边的背景区域的像素取得的指定边缘像素。另外，像素移位图像生成部206也可以基于进深图和表示移位量的增益的至少一个参数来计算移位量。
图像结合部208也可以通过将第I像素移位图像的像素值置换为第2像素移位图像的对应的像素值，来将第2像素移位图像与第I像素移位图像结合。更详细地说，图像结合部208以一边保持前景对象物的形状一边将第2像素移位图像的背景信息与第I像素移位图像结合的方式，将第2像素移位图像与第I像素移位图像结合，取得结合的像素移位图像。这时，图像结合部208也可以基于像素值的加权平均，将第2像素移位图像与第I像素移位图像结合。
最后，空洞填补部210利用结合的像素移位图像的背景信息，对结合的像素移位图像的缺失像素进行补全，取得输出图像412。在此，空洞填补部210也可以通过对结合的像素移位图像实施TV (全变分、全变差=TotalVariation)修正处理，来对空洞中包含的像素信息进行补全。更详细地说，空洞填补部210在TV修正处理中，可以基于利用附近像素计算出的像素值的变化程度来进行像素信息的补全。由此，空洞填补部210能够更高效地进行像素值的补全处理。
边缘检测模块414能够使用公知的边缘检测器。例如，边缘检测模块414可以具有由坎尼边缘(Canny edge)检测器、普瑞维特边缘(Prewittedge)检测器、索伯尔边缘(SobeI edge)检测器、拉普拉斯一高斯边缘(Laplacian of Gaussian edge)检测器及其他微分边缘检测器构成的组中包括的边缘检测器或将其改良后的边缘检测器。
图7表示本实施方式中的边缘检测结果及边缘过滤的例子。图像502是从进深图取得的第2边缘图像的例子。此外，图像504是从输入图像取得的第I边缘图像(前置过滤后(未图示))的例子。
参照图7，边缘过滤模块416从进深图502的边缘图像提取像素列(组)512。中心位置520位于边缘像素的位置。此外，边缘过滤模块416从边缘图像504提取像素列(组) 514。中心位置540是与中心位置520相同的位置。
接着，边缘过滤模块416计算像素列(组)514的中心位置540与各边缘像素的距离。例如,在像素列(组)514中存在像素542及像素544的两个边缘像素。边缘过滤模块 416计算中心位置540与像素542的距离dl、及中心位置540与像素544的距离d2。这种情况下，在组512和组514中，对象物的边缘不一致，存在2像素量的进深误差。即，进深图 502的边缘偏差了 2像素量。为了订正该误差，边缘过滤模块416计算组514的中心位置 540与边缘像素位置的最短距离。在该例中，dl为最短。因此，边缘过滤模块416将作为中心位置520的边缘像素重新映射到像素522中。这样，减少了对象物的边界周边的进深误差。
图8是表示由本实施方式的背景边缘图像生成部419生成的背景边缘图像的一例。
窗口 602表示以过滤处理后的边缘图像中包含的边缘位置为中心的从进深图提取的区域。生成模块418与中心位置650的进深值进行比较，求出3X3的周边区域610的最小的进深值。在该例中，像素位置652的进深值为最小。另外，在此，进深值越小则表示越远。
但是，为了防止误差，生成模块418选择从中心位置650观察时隔着进深值最小的像素位置652而离开又I像素的像素位置654。另外，生成模块418也可以从进深值最小的像素选择其以外的位于事前决定的距离及方向的像素。
接着，生成模块418从与窗口 602同位置的输入图像提取窗口 604。在该例中，表示输入图像为彩色图像的情况下的、输入图像的一个颜色成分。中心位置660与中心位置 650对应，像素位置664与像素位置654对应。
生成模块418通过将像素位置660的像素值置换为像素位置664的像素值,生成背景边缘图像。其结果，如窗口 606所示，中心位置662的像素值与像素位置666的像素值相同。即，中心位置662的像素值被置换为过滤处理后的边缘图像的同位置的边缘的像素值，从而生成背景边缘图像。
以后，生成模块418对于其他边缘上的像素进行同样的处理。
图9表示生成背景边缘图像730的过程的例子。
过滤处理后的边缘图像720是以像素值来置换边缘像素之后的、过滤处理后的边缘图像。过滤处理后的边缘图像720包含前景像素712及背景像素714。
在背景边缘图像730中，沿着边缘的全部前景像素被置换为输入图像的背景像素。例如，前景像素712被置换为背景像素716。
像素移位图像生成部206生成第I像素移位图像及第2像素移位图像。图10是第I像素移位图像802和第2像素移位图像804的例示。该像素移位基于进深图。在像素移位图像的生成中，能够使用以往的DIBR技术。例如，该方法在非专利文献I及非专利文献2等中公开。
参照图10，空洞814及空洞824可能会在输入图像中的隐藏区域产生。在第I像素移位图像802中，空洞814位于前景810和背景812之间。在第2像素移位图像804中， 空洞824位于背景像素818和背景像素820之间。将第2像素移位图像804和第I像素移位图像802结合，生成移位后的结合图像806。空洞824位于背景像素818和背景像素820 之间。
通过将移位像素后的输入图像和移位像素后的背景边缘图像结合，空洞区域的两侧被背景像素包围。其结果，在使用空洞区域的两侧的像素值补全空洞后，也能够使输出的合成图像保持前景对象物的形状，能够进一步减少伪像。
再次参照图10,空洞824的区域中的空洞填补通过TV修复(TotalVariation Inpainting)、近似 TV 修复(Approximated TV Inpainting)、高速修复(Fast Inpainting) 或近似高速修复(Approximated FastInpainting)等修复算法来执行。
另外，为了提高TV修复算法的修复品质，可以局部或整体地计算修复掩模(mask) 的平均附近像素值。这种情况下，若平均像素值为预定范围内，则设定预定的修复参数a。 这些参数基于结合图像的各通道来设定。如这里所定义，修复掩模的局部的平均附近像素值是指，通过对结合图像中的各局部区域进行分割而能够计算的值。修复掩模的整体的平均附近像素值是指，通过考虑结合图像中的整体区域而能够计算的值。平均附近像素用于推定修复参数a。
对于结合图像的各通道，修复参数a通过以下的数式(I)来定义。
数I
If(average pixel value>threshold_l), parameter a - value」， elseif (average pixel value<threshold__l & average pixel \,alue>threshold一2) parameter a = value—2，elseparameter a = value—3.
· · ·数式(I)
在近似TV修复中，通过将参数λ、Xt设为常数，提高修复像素值的扩散率。此外，这些参数λ、Xt项通过加入扩散的像素值的变换率来加速扩散率。结果，能够防止较大的空洞区域所导致的不充分的插值，实现更充分的插值像素值。
修复式如以下的数式(2)所示。
数2
权利要求
1.一种图像生成装置，根据输入图像和与所述输入图像对应的进深图，生成从新视点显示由该输入图像表示的场景的图像，该图像生成装置具备像素移位图像生成部，基于所述输入图像和所述进深图，生成第I像素移位图像和第2 像素移位图像，该第I像素移位图像是针对所述输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的图像，该第2像素移位图像是针对背景边缘图像实施了使对应的像素移位与第I像素移位图像相同的移位量的处理而得到的图像，该背景边缘图像包括指定边缘像素，该指定边缘像素是包括在所述输入图像中的前景对象物的边缘周边的背景区域的像素；图像结合部，将所述第2像素移位图像与所述第I像素移位图像结合，以使所述第2像素移位图像中包括的背景区域被包括在空洞中，该空洞是由于使像素移位的处理而在所述第I像素移位图像中产生的没有像素信息的区域；以及空洞填补部，基于所述结合后的像素移位图像，对所述空洞中包括的像素信息进行补全。
2.如权利要求I所述的图像生成装置，该图像生成装置还具备背景边缘图像生成部，该背景边缘图像生成部具有边缘检测模块，分别检测所述输入图像和所述进深图中包括的边缘；边缘过滤模块，进行表示所述输入图像中包括的边缘信息的第I边缘图像与表示所述进深图中包括的边缘信息的第2边缘图像的对位；以及生成模块，基于对位后的所述输入图像中包括的边缘和所述进深图中包括的边缘，将所述输入图像中包括的边缘的像素值，置换为表示从所述进深图上与该边缘的位置对应的位置起预定范围内最里侧的位置的像素的像素值，从而生成所述背景边缘图像。
3.如权利要求2所述的图像生成装置，所述边缘过滤模块决定第I边缘像素和第2边缘像素，该第I边缘像素在所述第I边缘图像及所述第2边缘图像的一方中的预定区域内表示边缘，该第2边缘像素在所述第I 边缘图像及所述第2边缘图像的另一方中的所述预定区域内表示边缘，而且与所述第I边缘像素的距离最短，通过使所述第I边缘像素及所述第2边缘像素之中的一方的位置与另一方的位置一致，进行所述第I边缘图像和所述第2边缘图像的对位。
4.如权利要求2或3所述的图像生成装置，在所述第I边缘图像及所述第2边缘图像中，所述边缘在宽度方向上具有两个以上的像素。
5.如权利要求4所述的图像生成装置，在所述边缘所具有的宽度方向的像素之中，至少一个像素包括在所述前景对象物中， 其他至少一个像素包括在背景区域中。
6.如权利要求2所述的图像生成装置，所述边缘检测模块具有由坎尼边缘检测器、普瑞维特边缘检测器、索伯尔边缘检测器、 拉普拉斯一高斯边缘检测器或其他微分边缘检测器构成的组中包括的边缘检测器。
7.如权利要求I所述的图像生成装置，所述像素移位图像生成部基于所述进深图和表示所述移位量的增益的至少一个参数， 计算所述移位量。
8.如权利要求I所述的图像生成装置，所述图像结合部通过将所述第I像素移位图像的像素值置换为所述第2像素移位图像的对应的像素值，来将所述第2像素移位图像与所述第I像素移位图像结合。
9.如权利要求I所述的图像生成装置，所述图像结合部基于像素值的加权平均，将所述第2像素移位图像与所述第I像素移位图像结合。
10.如权利要求I所述的图像生成装置，所述空洞填补部通过对所述结合后的像素移位图像实施全变差修正处理即TV修正处理，补全所述空洞中包括的像素信息。
11.如权利要求10所述的图像生成装置，所述空洞填补部在所述TV修正处理中，基于利用附近像素计算出的像素值的变化程度，进行所述像素信息的补全。
12.如权利要求I所述的图像生成装置，所述空洞填补部还针对由所述空洞填补部补全了空洞后的所述结合后的像素移位图像，实施基于所述边界附近的像素值的类似性和由所述进深图示出的进深度使所述前景对象物的边界变得平滑的处理。
13.一种图像生成方法，根据输入图像和与所述输入图像对应的进深图，生成从新视点显示由该输入图像表示的场景的图像，该图像生成方法包括像素移位图像生成步骤，基于所述输入图像和所述进深图，生成第I像素移位图像和第2像素移位图像，该第I像素移位图像是针对所述输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的图像，该第2像素移位图像是针对背景边缘图像实施了使对应的像素移位与第I像素移位图像相同的移位量的处理而得到的图像，该背景边缘图像包括指定边缘像素，该指定边缘像素是包括在所述输入图像中的前景对象物的边缘周边的背景区域的像素；图像结合步骤，将所述第2像素移位图像与所述第I像素移位图像结合，以使所述第2 像素移位图像中包括的背景区域被包括在空洞中，该空洞是由于使像素移位的处理而在所述第I像素移位图像中产生的没有像素信息的区域；以及空洞填补步骤，基于所述结合后的像素移位图像，对所述空洞中包括的像素信息进行补全。
14.一种程序，用于使计算机执行权利要求13所述的图像生成方法。
15.一种记录介质，记录有用于使计算机执行权利要求13所述的图像生成方法的程序。
16.一种集成电路，实现权利要求13所述的图像生成方法。
全文摘要
本发明的图像生成装置(200)具备像素移位图像生成部(206)，基于输入图像和进深图，生成第1像素移位图像和第2像素移位图像，该第1像素移位图像是针对输入图像实施了使像素移位与所述新视点对应的移位量的处理而得到的图像，该第2像素移位图像是针对包括输入图像中包含的对象物的边缘周边的背景区域的像素在内的背景边缘图像实施了使对应的像素移位与第1像素移位图像相同的移位量的处理而得到的图像；图像结合部(208)，以使第2像素移位图像中包含的背景区域包含在通过使像素移位的处理而在第1像素移位图像中产生的没有像素信息的区域即空洞中的方式，将第2像素移位图像和第1像素移位图像结合；以及空洞填补部(210)，基于结合的像素移位图像，对空洞中包含的像素信息进行补全。
文档编号G06T19/20GK102985952SQ201280001920
公开日2013年3月20日 申请日期2012年5月7日 优先权日2011年5月12日
发明者K·源, P·拉桑, 温觉觉, 申省梅 申请人:松下电器产业株式会社