专利名称：影像处理装置、影像处理方法以及计算机程序的制作方法
技术领域：
涉及进行增强输入影像的深度感的处理的影像处理装置、影像处理方法、以及用于使计算机作为所述影像处理装置来工作的计算机程序。
背景技术：
提高显示于电视、便携式电话等影像显示装置的二维影像的立体感或深度感的各种各样的手法已经被提出。例如，作为提高立体感或深度感的方法之一，提出了利用两眼视差的立体观看手法。立体观看手法是通过对观众的左右眼分别送出左眼用视差图像和右眼用视差图像，来使观众产生错觉，对二维平面赋予立体感或深度感的手法。在对左右眼分别送出左眼用视差图像以及右眼用视差图像的方式中，存在如下方式使用了交替地切换左眼用视差图像和右眼用视差图像来进行显示的影像显示装置、和与各视差图像的切换频率同步地切换左右的挡板来截断光路的眼镜(例如，专利文献1)。此外，还存在立体影片(anaglyph)方式，该立体影片方式通过使用将左眼用视差图像以及右眼用视差图像分别色变换为红色图像以及蓝色图像，并重叠地显示色变换后的各图像的影像显示装置、和红蓝眼镜，来对左右眼分别送出红色图像以及蓝色图像。并且，还存在如下方式通过使用对左眼用视差图像以及右眼用视差图像分别用不同的偏光来进行显示的影像显示装置和偏光眼镜，来向左右眼分别送出左眼用视差图像以及右眼用视差图像(例如，专利文献2)。另一方面，在绘画领域中，利用透视法、阴影法、前进色以及后退色的组合等绘画技巧来提高绘画的立体感或深度感。利用这些绘画技巧而制作的绘画作品，被称作错觉艺术(trick art)或错觉画法(trompe loeil)。错觉艺术通过利用前述的绘画技巧来描绘平面作品中的背景、各对象间的重叠关系，能够产生二维描绘的对象的一部分宛如突出到实际世界的三维空间中的错觉，能够对平面作品赋予立体感或深度感。(先行技术文献)专利文献专利文献1 JP特开昭60-7291号公报专利文献2 JP特开平1-171390号公报但是，在专利文献1、2所涉及的系统中，需要准备专用的影像显示装置以及特殊的眼镜。而且，存在观众必须佩戴特殊的眼镜，视听方法受到很大限制的问题。
发明内容
本发明鉴于这种情况而作，目的在于提供一种能够不使用专用的影像显示装置以及特殊的眼镜，仅通过图像处理来提高影像的深度感的影像处理装置、影像处理方法以及用于使计算机作为所述影像处理装置来工作的计算机程序。本发明所涉及的影像处理装置，其进行增强输入的影像的深度感的处理，所述影像处理装置的特征在于，具备深度信息取得单元，其取得深度信息，该深度信息表示构成所述影像的多个影像部分各自的深度方向的距离；影像分割单元，其基于由该深度信息取得单元取得的深度信息以及所述影像，来将该影像分割为深度方向的距离不同的多个影像部分；和影像合成单元，其按照在由该影像分割单元分割出的一个影像部分上重叠用于增强所述影像的深度的深度增强影像，并且在该深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像。本发明所涉及的影像处理装置的特征在于，还具备生成单元，其基于输入的影像的亮度或颜色，来生成亮度或颜色与该影像不同的深度增强影像，所述影像合成单元对由所述生成单元生成的深度增强影像进行合成。本发明所涉及的影像处理装置的特征在于，所述生成单元，基于由所述影像分割单元分割出的一个影像部分以及/或者其他影像部分的亮度或颜色，来生成亮度或颜色与该影像部分不同的深度增强影像。本发明所涉及的影像处理装置的特征在于，还具备移动方向信息取得单元，其构成为按照时间顺序输入多个影像，并取得表示按照时间顺序输入的各影像间的影像部分的移动方向的移动方向信息，所述生成单元，生成具有与由该移动方向信息取得单元取得的移动方向信息相应的形状的深度增强影像。本发明所涉及的影像处理装置的特征在于，还具备移动方向信息取得单元，其构成为按照时间顺序输入多个影像，并取得表示按照时间顺序输入的各影像间的影像部分的移动方向的移动方向信息；和生成单元，其生成具有与由该移动方向信息取得单元取得的移动方向信息相应的形状的深度增强影像，所述影像合成单元对由所述生成单元生成的深度增强影像进行合成。本发明所涉及的影像处理装置的特征在于，还具备存储单元，其存储规定的三维图像，所述生成单元，具备旋转处理单元，该旋转处理单元按照使所述存储单元所存储的三维图像、和由所述移动方向信息取得单元取得的一个影像部分的移动方向信息所表示的移动方向成为规定的位置关系的方式，来使该三维图像旋转，并生成具有将被该旋转处理单元旋转后的三维图像投影于规定的二维平面而得到的二维形状的深度增强影像。本发明所涉及的影像处理方法，进行增强输入的影像的深度感的处理，所述影像处理方法的特征在于，取得深度信息，该深度信息表示构成所述影像的多个影像部分各自的深度方向的距离；基于取得的深度信息以及所述影像，来将该影像分割为深度方向的距离不同的多个影像部分；按照在分割出的一个影像部分上重叠用于增强所述影像的深度的深度增强影像，并且在该深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像。本发明所涉及的计算机程序，使计算机执行增强影像的深度感的处理，所述计算机程序的特征在于，使所述计算机执行如下步骤基于表示构成所述影像的多个影像部分各自的深度方向的距离的深度信息以及所述影像，来将该影像分割为深度方向的距离不同的多个影像部分的步骤；按照在分割出的一个影像部分上重叠用于增强所述影像的深度的深度增强影像，并且在该深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像的步骤。 在本发明中，取得表示构成影像的多个影像部分各自的深度方向的距离的深度信息，并基于取得的深度信息，来将该影像分割为深度方向的距离不同的多个影像部分。然后，按照在至少一个影像部分上重叠用于增强所述影像的深度的深度增强影像，并且在该深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像。合成后的影像是将一个影像部分、深度增强影像、 以及其他影像部分依次重叠地进行合成的影像，因此通过深度增强影像而增强了一个影像部分以及其他影像部分的深度。具体而言，在一个影像部分的一部分上重叠地合成了深度增强影像的情况下，观众识别为深度增强影像位于一个影像部分的面前侧。此外，在深度增强影像的一部分上重叠地合成了其他影像部分的情况下，观众识别为其他影像部分位于深度增强影像部分的面前侧。因此，能够给观众带来一个影像部分和其他影像部分在深度方向上分离的深度感。另外，深度增强影像的个数不限定于1个，将影像分割为3个以上的影像部分，并按照在各影像部分间分别插入深度增强影像的方式，来合成各影像部分以及深度增强影像的技术思想也包含在本发明中。在本发明中，生成单元基于输入的影像的亮度或颜色来生成亮度或颜色与该影像不同的深度增强影像。因此，深度增强图像和影像部分具有不同的亮度或颜色。因此，能够有效地增强一个影像部分以及其他影像部分的深度。在本发明中，生成单元基于一个影像部分以及/或者其他影像部分的亮度或颜色来生成亮度或颜色与该影像部分不同的深度增强影像。因此，深度增强图像和影像部分具有不同的亮度或颜色。因此，能够有效地增强一个影像部分以及其他影像部分的深度。在本发明中，移动方向信息取得单元取得表示按照时间顺序输入的各影像间的影像部分的移动方向的移动方向信息。然后，生成单元生成具有与取得的移动方向信息相应的形状的深度增强图像。即，生成单元生成具有能够增强影像部分的移动的形状的深度增强图像。在本发明中，存储单元存储有作为深度增强影像的基础的三维图像。旋转处理单元按照使存储单元所存储的三维图像、和由移动方向信息取得单元取得的移动方向信息所表示的移动方向成为规定的位置关系的方式，来使该三维图像旋转。即，三维图像按照向着影像部分的移动方向的方式旋转。然后，生成单元生成使旋转后的三维图像投影于规定的二维平面而得到的具有二维形状的深度增强影像。因此，合成的深度增强影像成为向着影像部分的移动方向的形状。因此，影像部分的移动被增强。另外，三维图像表示三维空间中的图像，在三维图像中，当然包括三维空间中的立体图像，而且还包含平面图像。(发明效果)根据本发明，能够不使用专用的影像显示装置以及特殊的眼镜，仅通过图像处理来提高影像的深度感。
图1是表示本发明的实施方式所涉及的影像处理装置的一个结构例的框图。图2是表示影像取得部所取得的影像的一例的说明图。图3是概念性地表示深度信息的说明图。图4A是概念性地表示前景影像部分的说明图。
图4B是概念性地表示背景影像部分的说明图。图5A是概念性地表示突出信息的说明图。图5B是概念性地表示突出信息的说明图。图6是概念性地表示原三维框对象的说明图。图7A是概念性地表示框对象的形状决定方法的说明图。图7B是概念性地表示框对象的形状决定方法的说明图。图7C是概念性地表示框对象的形状决定方法的说明图。图8A是概念性地表示框对象的亮度以及颜色的决定方法的说明图。图8B是概念性地表示框对象的亮度以及颜色的决定方法的说明图。图8C是概念性地表示框对象的亮度以及颜色的决定方法的说明图。图8D是概念性地表示框对象的亮度以及颜色的决定方法的说明图。图8E是概念性地表示框对象的亮度以及颜色的决定方法的说明图。图8F是概念性地表示框对象的亮度以及颜色的决定方法的说明图。图9A是概念性地表示影像合成部的处理内容的说明图。图9B是概念性地表示影像合成部的处理内容的说明图。图10是表示影像处理装置所实施的影像处理方法的流程的流程图。图11是表示框对象生成部的动作流程的流程图。图12是表示变形例1所涉及的影像处理装置的一个结构例的框图。图13是表示变形例2所涉及的影像处理装置的一个结构例的框图。图14是表示作为深度增强影像的一例的窗帘对象的示意图。图15是概念性地表示变形例4所涉及的框对象的形状决定方法的说明图。图16是概念性地表示变形例5所涉及的影像处理装置的框图。
具体实施例方式以下，对本发明基于表示其实施方式的附图来进行详述。图1是表示本发明的实施方式所涉及的影像处理装置1的一个结构例的框图。本实施方式所涉及的影像处理装置1具备影像取得部11、深度信息取得部12、影像分割部 13、突出信息取得部14、框对象生成部15以及影像合成部16。<影像取得部>影像取得部11取得提高立体感或深度感的影像处理对象的影像，并将取得的影像输出到影像分割部13。由影像取得部11取得的影像可以为静止图像或运动图像的任意一种。静止图像由1帧的影像构成，运动图像由时间顺序的多帧的影像构成。此外， 该影像既可以为用规定的编码方式、例如JPEG(Joint Photographic Experts Group)、 MPEG-2 (Moving Picture Expert Group phase2)等压缩后的影像，也可以为非压缩的影像。 在为取得编码后的影像的结构的情况下，影像取得部11按照规定的编码方式将取得的影像解码为例如RGB形式或YUV形式的影像，并将解码而得到的影像输出到影像分割部13。以下，在本实施方式中，为了说明的简单，说明对构成静止图像或动态图像的1帧的影像进行的处理，但在动态图像的情况下，对按照时间顺序连续的各帧的影像进行同样的处理。
图2是表示影像取得部11所取得的影像的一例的说明图。图2所示的影像是表示二维排列的多个像素各自的亮度以及颜色的数据，由与深度方向的距离不同的多个对象、 例如鸟、树、太阳、天空、云等被摄体相当的影像构成。深度方向的距离是指，对象涉及的被摄体与规定位置、例如在该影像的摄像中使用的摄影装置的位置之间的距离。以下，适当将该距离称作深度。<深度信息取得部>深度信息取得部12取得表示构成由影像取得部11得到的影像的多个对象各自的深度的深度信息，并将取得的深度信息输出到影像分割部13。在本实施方式中，在摄像时预先测量深度方向上的摄影装置以及各被摄体之间的距离，并将具有测量而得到的距离的信息的深度信息与影像分别地输入到影像处理装置1。另外，摄影装置以及各被摄体之间的距离，运用例如立体(stereo)法来进行测量即可。具体而言，用分离配置的两个摄像部来对共同的被摄体进行摄像，计算出由各摄像部拍摄到的两枚影像中的被摄体的视差，并利用三角测量的原理来求出摄像装置与被摄体之间的距离。此外，也可以在摄像装置中设置对被摄体照射红外线的测距用的红外线照射部、 和测定被被摄体反射的红外线的强度的红外线检测部，并基于从各被摄体反射的红外线的强度，求出摄像装置与被摄体之间的距离。图3是概念性地表示深度信息的说明图。如图3所示，将具有与构成影像的多个对象分别对应的深度信息的图像称作深度图像。深度例如按照距离从短到长的顺序用1、
2.....5这些升序的数字来表示。具体而言，深度图像由与输入的影像相同的多个像素构
成，并分配了表示与构成输入的影像的各像素对应的深度的1 5中任意一个数值作为深度图像的各像素的像素值。另外，在此为了说明的简单，用5个等级来表示深度信息，但深度信息从不足5个等级到多于5个等级都可以，当然用无等级来表示也没有问题。<影像分割部>影像分割部13基于由深度信息取得部12取得的深度信息，将由影像取得部11取得的影像分割为前景影像部分Fll和背景影像部分F12(参照图4A以及图4B)。然后，影像分割部13将分割后的前景影像部分Fll以及背景影像部分F12输出到框对象生成部15以及影像合成部16。具体而言，影像分割部13对与取得的影像的各像素对应的深度和规定的阈值进行比较，在深度不到阈值的情况下，将该像素作为前景影像部分Fll的像素，在深度为阈值以上的情况下，将该像素作为背景影像部分F12的像素。阈值是影像分割部13所预先存储的常数。在假设表示各像素的变量为η = 0、1、2...，表示前景影像部分Fll以及背景影像部分F12的区别的变量为I3x(Ii)，表示各像素的深度的变量为Depth (η)，阈值为Thl的情况下，Px(η)用下式(1)、⑵来表示。Px (n)=背景(Thl < Depth (η)). . · (1)Px (η)=前景(Thl 彡 Depth (η)). . · (2)图4A是概念性地表示前景影像部分Fll的说明图，图4B是概念性地表示背景影像部分F12的说明图。在阈值Thl为2的情况下，图2所示的影像F1，基于图3所示的深度图像Gl以及阈值Thl = 2，被分割为前景影像部分Fll (图4A中的实线所包围的白色区域)和背景影像部分F 12(图4B中的实线所包围的白色区域(除了虚线所包围的灰色区域以外的区域))。另外，虽然假设阈值Thl是预先记录在影像分割部13中的值而进行了说明，但也可以为能够由使用影像处理装置1的观众自由设定的值。而且，也可以用计算来求出阈值 Thl0例如，阈值Thl用下式(3)来表示。Th = ( Σ Depth (η)) / (w X h)…(3)其中，η是0、1、2.....wXh的整数、h是影像Fl的高度(在垂直方向上排列的像
素数)、w是影像Fl的宽度(在水平方向上排列的像素数)。<突出信息取得部>突出信息取得部14取得表示对影像Fl内的各对象设定的突出方向的突出信息， 并将取得的突出信息向框对象生成部15输出。在此，突出方向是表示在对影像内的各对象的突出进行增强时，应在哪个方向上赋予突出感的信息。图5A以及图5B是概念性地表示突出信息的说明图。突出信息例如如图5A所示， 用以影像Fl的纵方向(垂直方向)为Y轴、以横方向(水平方向)为X轴、以与影像面垂直的前后方向的假想轴为Z轴的三维空间中的三维向量来表示。该突出信息，如图5B所示， 按照每个对象来指定。另外，在本实施方式中突出信息作为标准化后的单位向量来处理。<框对象生成部>框对象生成部15具备存储作为用于增强影像的深度的框对象H3(参照图9)的基础的信息的存储部15a ；用于基于突出信息来决定框对象H3的形状的旋转处理部15b以及投影变换部15c ；和基于前景影像部分Fll以及背景影像部分F12的亮度以及颜色来决定框对象H3的亮度以及颜色的颜色决定部15d。在此框对象H3是指，通过插入到前景影像部分Fll和背景影像部分F12之间来赋予前景以及背景之间的相对距离感，用于使观众感觉到立体感、深度感的对象。在本实施方式中，生成包围影像Fl的外周的框状的影像作为框对象H3。存储部1 预先存储有作为框对象H3的基础的信息。具体而言，存储有三维空间中的三维图像。以下，将该三维图像称作原三维框对象Hl (参照图6)。图6是概念性地表示原三维框对象Hl的说明图。原三维框对象Hl的中心位于三维空间中的原点，构成与XY平面大致平行的矩形框状。H2表示原三维框对象Hl的法线向量H2。首先，框对象生成部15基于原三维框对象Hl和突出信息来决定框对象H3的形状。图7A 图7C是概念性地表示框对象H3的形状决定方法的说明图。在此，如图7A 所示，假设对象F21存在于影像F2内，其突出信息已被指定。另外，影像F2是为了说明框对象H3的生成方法而将影像Fl简化后的影像。框对象H3的形状通过在图7B所示的假想三维空间中使原三维框对象Hl根据突出方向来旋转，即赋予倾斜度，并将倾斜后的三维框对象H11、H21(参照图7C)投影到XY平面上而获得。以下，详细地说明。首先，计算规定原三维框对象Hl的倾斜度的倾斜度向量。倾斜度向量用下式(4) 来表不。(xl，yl, zl) = (aXx, bXy, cXz). . · (4)CN 102379127 A
说明书
7/13 其中，(xl，yl，zl)是突出信息，a、b、c是框对象生成部15所预先存储的常数 (0 < a、b、c < 1. 0)。然后，旋转处理部15b按照使原三维框对象Hl的法线向量H2与倾斜度向量(xl， yl, zl) 一致的方式来使原三维框对象Hl旋转。接下来，投影变换部15c将旋转处理后的三维框对象H11、H21变换为正投影于XY 平面的二维形状，并将该二维形状作为框对象H3的形状来存储。例如，如图7B所示，在对象F21的突出信息被赋予为(0，0，1)，且a = 1. 0、b = 1.0、C = 1.0的情况下，倾斜度向量为(0，0，1)。并且，旋转处理部1 按照使原三维框对象Hl的法线向量H2与倾斜度向量(0，0，1)大体一致的方式，来使该原三维框对象Hl旋转。 将旋转处理后的三维框对象Hll投影于XY平面上而得到的最终形状成为图7B的XY平面所示的形状。此夕卜，如图7C所示，在对象F21的突出信息被赋予为(X，0，/‘ (1 -X ^ 2))，且a = 1. 0、b = 1. 0、c = 1. 0的情况下，倾斜度向量成为(X， 0，f (I-X^ 2))。并且，旋转处理部1 按照使原三维框对象Hl的法线向量Η2与倾斜度向量(X，0，/" (1一ΧΛ2)大体一致的方式，来使该原三维框对象Hl旋转。将旋转处理后的三维框对象Η21投影于XY平面上而得到的最终形状成为图7C的XY平面所示的形状。接下来，框对象生成部15决定框的亮度以及颜色。图8Α 图8F是概念性地表示框对象Η3的亮度以及颜色的决定方法的说明图。颜色决定部15d基于影像整体的亮度、即前景影像部分Fll以及背景影像部分F12双方的亮度来决定框对象H3的颜色。图8A表示在某一个特定时间点上影像取得部11所取得的影像 F3，图8B是影像F3的亮度直方图，用f3来表示影像F3的亮度的平均值。颜色决定部15d 预先存储有阈值Th2、在平均亮度f3为阈值Th2以上的情况下的框对象H3的颜色Cl、和在平均亮度f3不到阈值Th2的情况下的框对象H3的颜色C2。另外，颜色Cl以及颜色C2具有不同的亮度。由于影像F3的平均亮度f3为阈值Th2以上，因此颜色决定部15d如图8C 所示将Cl决定为框对象H3的颜色。同样地，图8D表示在另一时间点上影像取得部11所取得的影像F4，图8E是影像 F4的亮度直方图，用f4来表示影像F4的亮度的平均值。由于影像F4的平均亮度f4不到阈值Th2，因此颜色决定部15d如图8F所示将颜色C2决定为框对象H3的颜色。另外，关于框对象H3的颜色，不作特别限定。但是，优选在平均亮度为阈值Th2以上的情况下选择比阈值Th2亮度低的颜色，在平均亮度低于阈值Th2的情况下选择比阈值 Th2亮度高的颜色。此外，可以预先将常数d存储于颜色决定部15d中，用下式(5)、(6)来决定框对象 H3的亮度。框对象H3的亮度=平均亮度-d (平均亮度> 阈值TM)... (5)框对象H3的亮度=平均亮度+d (平均亮度< 阈值TM)... (6)并且，也可以构成为基于背景影像部分F12来生成半透明的框对象H3。在框对象 H3为半透明的情况下，即使背景影像部分F12被框对象H3遮盖，观众也能够感知被遮盖的背景影像部分F12的内容。因此，能够抑制影像的信息削减量，并且增强影像的深度。
此外，也可以将框对象H3作为模仿了画框、窗框或电视边框等的对象来进行配置。此外，虽然说明了基于影像F3、F4的亮度来决定框对象H3的颜色C1、C2的例子， 但也可以构成为基于影像F3、F4的颜色、例如平均彩度，来与影像的颜色不同地决定框对象H3的颜色。此外，也可以构成为分别基于影像F3、F4的亮度以及颜色，来决定框对象H3 的亮度以及颜色。此外，虽然说明了基于影像整体的亮度来决定框对象H3的颜色以及亮度的例子， 但也可以仅基于前景影像部分Fll的平均亮度来决定框对象H3的颜色以及亮度。即，也可以按照使前景影像部分Fll的亮度和框对象H3的亮度不同的方式来决定该框对象H3的颜色以及亮度。在此情况下，由于框对象H3和前景影像部分Fll之间的差异显著，因此能够有效地增强前景影像部分Fll的深度。同样地，也可以仅基于背景影像部分F12的平均亮度来决定框对象H3的颜色以及亮度。即，也可以按照使背景影像部分F12的亮度和框对象H3的亮度不同的方式来决定该框对象H3的颜色以及亮度。在此情况下，由于框对象H3和背景影像部分F12之间的差异显著，因此能够有效地增强背景影像部分F12的深度。并且，也可以构成为分别算出前景影像部分Fll以及背景影像部分F12的平均亮度，并按照使算出的各平均亮度和框对象H3的亮度不同的方式，来决定该框对象H3的亮度以及颜色。在此情况下，由于框对象H3、前景影像部分F11、背景影像部分F12各自的差异显著，因此能够有效地增强前景影像部分Fll以及背景影像部分F12的深度。框对象生成部15生成具有由投影变换部15c决定的形状、和由颜色决定部15d决定的颜色的框对象H3，并将生成的框对象H3输出到影像合成部16。〈影像合成部〉图9A以及图9B是概念性地表示影像合成部16的处理内容的说明图。影像合成部16输入从影像分割部13输出的前景影像部分Fl 1以及背景影像部分F12、和从框对象生成部15输出的框对象H3。然后，影像合成部16如图9A以及图9B所示，按照在背景影像部分F12上重叠框对象H3，进而在框对象H3上重叠前景影像部分Fll的方式，来对背景影像部分F12、框对象H3以及前景影像部分Fll进行合成。此外，在影像以及框对象H3的形状以及尺寸不一致的情况下，如图9B所示，产生框对象H3的外侧的区域，而影像合成部16按照不显示露出到框对象H3的外侧的背景影像部分F12的方式，在该区域中合成规定的补充影像11、12。另外，原样显示露出到框对象H3的外侧的前景影像部分F11。即，按照与补充影像II、12重叠的方式来显示前景影像部分F11。补充影像II、12，例如是单色的影像、墙壁的纹理等任意的影像。在原样显示了露出到框对象H3的外侧的背景影像部分F12的情况下，观众有可能错误地识别背景影像部分F12的深度，而通过利用补充影像11、12来遮盖露出到框对象H3的外侧的影像部分，能够防止深度的误认，能够有效地增强影像的深度。另外，在能够取得显示装置周边的影像的情况下，也可以将该影像作为补充影像来显示。影像合成部16将通过背景影像部分F12、框对象H3以及前景影像部分Fll的合成而得到的合成影像输出到外部的显示部2。显示部2例如是液晶显示面板、等离子显示器、有机EL(Electro-Luminescence)显示器，输入从影像处理装置11输出的合成影像，并显示合成影像。另外，作为合成影像的输出目标，举例说明了显示部2，但只要能够输出合成影像， 则也可以采用打印机、发送装置及其它各种输出装置。图10是表示影像处理装置1所实施的影像处理方法的流程的流程图。在给予了处理动作开始的指示的情况下，各构成部分开始工作，影像取得部11取得输入到影像处理装置1的影像，并将取得的影像输出到影像分割部13(步骤Sll)。接下来，深度信息取得部 12取得输入到影像处理装置1的深度信息，并将取得的深度信息输出到影像分割部13 (步骤 S12)。然后，影像分割部13输入影像以及深度信息，并基于该影像以及深度信息来决定框对象H3的配置位置(步骤Si； )。接下来，影像分割部13基于深度信息以及框对象H3的配置位置，将影像分割为前景影像部分Fll和背景影像部分F12，并将分割后的前景影像部分Fll以及背景影像部分F12输出到框对象生成部15以及影像合成部16(步骤S14)。接下来，突出信息取得部14取得输入到影像处理装置1的突出信息，并将取得的突出信息输出到框对象生成部15(步骤S15)。然后，框对象生成部15生成框对象H3，并将生成的框对象H3输出到影像合成部 16(步骤 S16)。图11是表示框对象生成部15的动作流程的流程图。框对象生成部15从存储部 15a中读出原三维框对象Hl (步骤S31)。然后，框对象生成部15的旋转处理部1 根据突出信息来执行使原三维框对象Hl旋转的处理(步骤S3》，投影变换部15c通过旋转处理后的三维框对象Hll、H21的投影变换来决定框对象H3的形状(步骤S33)。然后，颜色决定部15d基于影像的亮度以及颜色来决定框对象H3的亮度以及颜色 (步骤S34)，并结束与框对象H3的生成有关的处理。在步骤S16的处理之后，影像合成部16输入前景影像部分Fll以及背景影像部分 F12、和框对象H3，并将背景影像部分F12、框对象H3、前景影像部分Fll依次重叠地进行合成，还合成补充影像II、12，并将合成而得到的合成影像输出到显示部2 (步骤S17)。然后，显示部2输入从影像合成部16输出的合成影像，显示该合成影像(步骤 S18)，并结束处理。以上，说明了针对1帧影像的影像处理工序，但在处理构成动态图像的多帧影像的情况下，只要对各影像执行同样的影像处理即可。另外，对于多帧的影像，若框对象H3的配置位置、形状以及颜色急剧地变化，则有可能给观众带来不适感，因此也可以具备低通滤波器，该低通滤波器将在时间顺序上相邻的各影像分别决定的配置位置、生成的形状以及颜色的变化量抑制在一定程度。在像这样构成的影像处理装置1以及影像处理方法中，能够不使用专用的影像显示装置以及特殊的眼镜，仅通过图像处理来提高影像的深度感。另外，本实施方式所涉及的影像处理装置1以及影像处理方法，可以应用于具备显示部2的液晶电视、有机EL电视、等离子电视等电视；具备显示部2的静止图像照相机、摄像机、便携式电话机、PDA (Personal Digital Assistants)等各种便携式设备；个人计算机；信息显示器；输出影像的BD(Blu-ray Disc 注册商标)记录机、DVD(Digital Versatile Disc)记录机、HDD(Hard Disk Drive)记录机等各种记录机；数码相框；其他设置了显示器的各种家具以及家电。(变形例1)图12是表示变形例1所涉及的影像处理装置101的一个结构例的框图。在本实施方式中，构成为将深度信息与影像分别地取得，而变形例1所涉及的影像处理装置101， 构成为根据由影像取得部111取得的影像通过各种运算来取得深度信息。具体而言，由于影像取得部111以及深度信息取得部112的结构不同，因此以下主要对上述不同点进行说明。影像取得部111取得提高立体感或深度感的影像处理对象的影像，并将取得的影像输出到影像分割部13，同时输出到深度信息取得部112。深度信息取得部112输入从影像取得部111输出的影像，基于输入的影像来计算深度信息，并将计算而得到的深度信息输出到影像分割部13。深度信息的计算方法，利用例如JP特开平9-161074号公报所公开的方法即可。此外，在影像以某种方式被编码的情况下，也可以根据其编码信息来作成深度信息。例如在通过Moving Picture Experts Group (MPEG)而制作的标准动态图像标准之一的MPEG-4(Moving Picture Expert Group phase4)中，能够以背景或人物等对象为单位来进行编码。在影像利用该功能，对背景和人物分别进行了编码的情况下，使用该信息来作成深度信息。在变形例1中，即使不对影像处理装置101提供深度信息，也能够将影像分割为前景影像部分F11、背景影像部分F12，并插入框对象H3，并且能够增强影像的深度。(变形例2)图13是表示变形例2所涉及的影像处理装置201的一个结构例的框图。在本实施方式中，构成为将突出信息与影像分别地取得，而变形例2所涉及的影像处理装置201构成为根据由影像取得部211取得的影像通过各种运算来取得突出信息。具体而言，由于影像取得部211以及突出信息取得部214的结构不同，因此以下主要对上述不同点进行说明。影像取得部211取得提高立体感或深度感的影像处理对象的影像、特别是以背景和人物等对象为单位而进行了编码的动态图像的影像，将取得的影像输出到影像分割部 13，同时输出到突出信息取得部214。突出信息取得部214计算构成连续帧的影像中的对象的移动方向以及大小的变化。然后，突出信息取得部214基于对象的水平方向的移动量，来计算突出信息的X轴向量分量。在图7所示的三维空间中，在对象向X轴正方向进行了移动的情况下，将突出信息的 X轴向量分量设为正值，且对象的移动量越大，则将该值设定得越大。反之，在对象向X轴负方向进行了移动的情况下，将突出信息的X轴向量分量设为负值，且对象的移动量越大，则将该值的绝对值设定得越大。同样，突出信息取得部214基于对象的垂直方向的移动量来计算突出信息的Y轴
向量分量。此外，突出信息取得部214，在对象的大小向变大的方向变化了的情况下，将突出信息的Z轴向量分量设正值，且对象的大小的变化量越大，则将该值设定得越大。反之，在对象的大小向变小的方向变化了的情况下，将突出信息的X轴向量分量设为负值，且对象的大小的变化量越大，则将该值的绝对值设定得越大。
在变形例2中，即使不对影像处理装置201提供突出信息，也能够将影像分割为前景影像部分F11、背景影像部分F12，并插入框对象H3，并且能够增强影像的深度。另外，也可以构成为对变形例1以及变形例2进行组合，根据输入到影像处理装置 201的影像来分别计算深度信息以及突出信息。在此情况下，即使不对影像处理装置201提供深度信息以及突出信息这两者，也能够增强影像的深度。(变形例3)在实施方式中，作为增强影像深度的深度增强影像，举例说明了画框型的框对象 H3，而变形例3所涉及的影像处理装置1构成为取代框对象H3而显示窗帘对象H301。具体而言，变形例3所涉及的影像处理装置1取代框对象生成部15，而具备未图示的窗帘对象生成部。图14是表示作为深度增强影像的一例的窗帘对象H301的示意图。窗帘对象生成部存储有分别位于影像的水平方向两侧的窗帘形状的窗帘对象H301，并将该窗帘对象 H301输出到影像合成部16。窗帘对象H301的形状以及颜色无论影像的内容如何都为固定。另外，显然，窗帘对象生成部也可以构成为输入前景影像部分Fll以及背景影像部分 F12，并基于该前景影像部分Fll以及背景影像部分F12的亮度，来变更窗帘对象H301的颜色以及亮度。此外，也可以构成为预先存储三维形状的原三维窗帘对象，输入突出信息，并使用该突出信息对原三维窗帘对象进行旋转以及投影变换，由此来生成二维形状的窗帘对象 H301。另外，作为深度增强影像的一例，在实施方式中举例说明了框形状，在变形例3中举例说明了窗帘形状，但只要能够增强影像深度，则深度增强影像的形状不限定于此。例如，也可以采用单括号形状的深度增强影像。另外，为了背景影像的主要部分不被遮盖，深度增强影像优选构成为位于影像的端侧。(变形例4)在实施方式中，如图7B所示，在影像的突出信息仅具有Z轴分量的情况下，框对象 H403的形状不发生变形，因此无法增强向Z轴方向的突出。变形例4所涉及的影像处理装置1，在突出信息仅具有Z轴分量的情况下，通过将框对象H403的形状变更为向Z轴方向突出，从而构成为能够增强向Z轴方向、即向观众侧的突出。因为只有框对象生成部15的处理内容与实施方式不同，所以以下主要对上述不同点进行说明。图15是概念性地表示变形例4所涉及的框对象H403的形状决定方法的说明图。 框对象生成部15，在突出信息仅含有Z轴分量的情况下，或Z轴分量比X轴分量、Y轴分量大规定值以上的情况下，特别是Z轴分量为正的情况下，如图15所示，使原三维框对象H401 的水平方向大致中央部按照向X轴正方向突出为山状的方式弯曲，并且使原三维框对象 H401的水平框部分(框的长边部分)变形为向垂直方向扩张的立体形状。然后，框对象生成部15计算将变形后的三维框对象H401投影变换到XY平面后得到的二维形状，并将算出的二维形状决定为框对象H403的形状。反之，在Z轴分量为负的情况下，框对象生成部15使原三维框对象H401的水平方向大致中央部按照向X轴负方向突出为谷状的方式弯曲，并且使原三维框对象H401的水平框部分(框的长边部分)变形为向垂直方向缩小的立体形状。然后，框对象生成部15计算将变形后的三维框对象H401投影变换到XY平面后得到的二维形状，并将算出的二维形状决定为框对象的形状。影像合成部16的处理内容，与本实施方式相同。影像合成部16按照在背景影像部分F12上依次重叠框对象H403、补充影像1401、1402、1403、1404、以及前景影像部分Fll 的方式进行合成，并将合成而得到的合成影像部分输出到外部。在变形例4所涉及的影像处理装置1以及影像处理方法中，即使为对象向Z轴方向逼近、即对象向面前侧逼近的影像，或者存在两个向面前侧突出的对象，且各自的突出方向左右不同的影像、例如位于中央的人向画面左右两端伸出双手的影像，也能够增强突出感。(变形例5)图16是表示变形例5所涉及的影像处理装置的框图。变形例5所涉及的影像处理装置通过使计算机3执行本发明所涉及的计算机程序如来实现。计算机3具备对装置整体进行控制的CPU (Central Processing Unit) 31 CPU31 与如下部件连接ROM (Read Only Memory) 32 ；存储伴随运算而产生的暂时性的信息的 RAM (Random Access Memory) 33 ；记录了本发明的实施方式所涉及的计算机程序如的记录介质4a、例如从⑶-ROM读取计算机程序如的外部存储装置34 ；和记录通过外部存储装置 34而读取的计算机程序如的硬盘等内部存储装置35。CPU31将计算机程序如从内部存储装置35读出到RAM33中来执行各种运算处理，由此来实施本发明所涉及的影像处理方法。 CPU31的处理工序，如图10以及图11所示，执行步骤Sll 18、步骤S31 ；34的处理工序。 该处理工序与构成本实施方式以及变形例4所涉及的影像处理装置1的各构成部分的处理内容相同，因此省略其详细的说明。在变形例5所涉及的计算机3以及计算机程序如中，能够使计算机3起到本实施方式所涉及的影像处理装置的功能，而且能够使其实施本实施方式所涉及的影像处理方法，并起到与本实施方式以及变形例1 4相同的效果。另外，本变形例5所涉及的计算机程序4a，显然不限定于记录在记录介质4中的程序，也可以为通过有线或无线的通信网下载、存储、并执行的程序。此外，应该认为本次公开的实施方式在所有的点上均为例示，而不是限制性的内容。本发明的范围并不限定于上述内容，而是包含通过权利要求公开，并与权利要求等同的意思以及范围内的所有的变更。(符号说明)1影像处理装置2输出部3计算机4记录介质如计算机程序11影像取得部12深度信息取得部13影像分割部14突出信息取得部15框对象生成部
16影像合成部
15a存储部
15b旋转处理部
15c投影变换部
15d颜色决定部
3ICPU
32R0M
33RAM
35外部存储装置
36输入部
37输出部
Fll前景影像部分
F12背景影像部分
Hl原三维框对象
H3框对象
权利要求
1.一种影像处理装置，其进行增强输入的影像的深度感的处理， 所述影像处理装置的特征在于，具备深度信息取得单元，其取得深度信息，该深度信息表示构成所述影像的多个影像部分各自的深度方向的距离；影像分割单元，其基于由该深度信息取得单元取得的深度信息以及所述影像，将该影像分割为深度方向的距离不同的多个影像部分；影像合成单元，其按照在由该影像分割单元分割出的一个影像部分上重叠用于增强所述影像的深度的深度增强影像，进而在该深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像。
2.根据权利要求1所述的影像处理装置，其特征在于，所述影像处理装置还具备生成单元，其根据输入的影像的亮度或颜色，生成亮度或颜色与该影像不同的深度增强影像，所述影像合成单元对由所述生成单元生成的深度增强影像进行合成。
3.根据权利要求2所述的影像处理装置，其特征在于，所述生成单元根据由所述影像分割单元分割出的一个影像部分以及/或者其他影像部分的亮度或颜色，来生成亮度或颜色与该影像部分不同的深度增强影像。
4.根据权利要求2或3所述的影像处理装置，其特征在于， 所述影像处理装置构成为按照时间顺序输入多个影像，且具备移动方向信息取得单元，该移动方向信息取得单元取得表示按照时间顺序输入的各影像间的影像部分的移动方向的移动方向信息，所述生成单元生成具有与由该移动方向信息取得单元所取得的移动方向信息相应的形状的深度增强影像。
5.根据权利要求1所述的影像处理装置，其特征在于，所述影像处理装置构成为按照时间顺序输入多个影像，且具备移动方向信息取得单元，该移动方向信息取得单元取得表示按照时间顺序输入的各影像间的影像部分的移动方向的移动方向信息；和生成单元，其生成具有与由该移动方向信息取得单元所取得的移动方向信息相应的形状的深度增强影像，所述影像合成单元对由所述生成单元生成的深度增强影像进行合成。
6.根据权利要求4或5所述的影像处理装置，其特征在于， 所述影像处理装置还具备存储规定的三维图像的存储单元，所述生成单元具备旋转处理单元，该旋转处理单元按照使所述存储单元所存储的三维图像、和由所述移动方向信息取得单元取得的一个影像部分的移动方向信息所表示的移动方向成为规定的位置关系的方式来使该三维图像旋转，且所述生成单元生成具有将由该旋转处理单元旋转后的三维图像投影于规定的二维平面而得到的二维形状的深度增强影像。
7.一种影像处理方法，进行增强输入的影像的深度感的处理，所述影像处理方法的特征在于，取得深度信息，该深度信息表示构成所述影像的多个影像部分各自的深度方向的距基于取得的深度信息以及所述影像，将该影像分割为深度方向的距离不同的多个影像部分；按照在分割出的一个影像部分上重叠用于增强所述影像的深度的深度增强影像，进而在该深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像。
8. 一种计算机程序，使计算机执行增强影像的深度感的处理， 所述计算机程序的特征在于，使所述计算机执行如下步骤基于表示构成所述影像的多个影像部分各自的深度方向的距离的深度信息以及所述影像，将该影像分割为深度方向的距离不同的多个影像部分的步骤；按照在分割出的一个影像部分上重叠用于增强所述影像的深度的深度增强影像，进而在该深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像的步骤。
全文摘要
提供一种能够不使用专用的影像显示装置以及特殊的眼镜，仅通过图像处理来提高影像的深度感的影像处理装置。在进行强调由影像取得部(11)取得的影像的深度感的处理的影像处理装置(1)中，具备深度信息取得部(12)，其取得表示构成所述影像的多个影像部分各自的深度方向的距离的深度信息；影像分割部(13)，其基于由深度信息取得部(12)取得的深度信息以及所述影像，来将影像分割为深度方向的距离不同的多个影像部分；和影像合成部(16)，其按照在由影像分割部(13)分割出的一个影像部分上重叠用于增强所述影像的深度的深度增强影像，并且在深度增强图像上重叠与所述一个影像部分相比深度方向的距离较短的其他影像部分的方式来合成各影像部分以及深度增强图像。
文档编号H04N13/04GK102379127SQ20108001509
公开日2012年3月14日 申请日期2010年3月29日 优先权日2009年3月31日
发明者大津诚, 山本健一郎, 末永健明, 濑户干生, 盐井正宏 申请人:夏普株式会社