专利名称：图像处理装置的制作方法
技术领域：
本发明涉及根据二维图像生成三维显示用的图像的图像处理装置。
背景技术：
在日本特愿2008-504887号公报(专利文献1)公开的三维图像的生成方法中，首先从包含移动物体的二维图像中，进行移动物体的检测和追踪。然后，在检测位置设定标准模板，利用具有检测物体的大小、对比度的线进行校正，从而将图像分离为包含检测物体的前景部分和背景部分。对前景/背景分别提供纵深模型，由此生成三维图像。专利文献1 日本特愿2008-504887号公报
发明内容
但是，在日本特愿2008-504887号公报(专利文献1)的方法中，在二维图像中利用图像中的边缘等线的信息来进行分段，所以存在与实际的三维信息一致的部分仅为目标的周边部这样的问题。另外，在分段后提供纵深模型这样的方式中，所提供的纵深模型未必与三维信息一致，所以存在在设成三维图像时，画质有时显著恶化这样的问题。本发明提供一种能够根据二维图像生成高质量的三维图像的图像处理装置。作为本发明的一个实施方式的一种图像处理装置，其特征在于，具备检测部，检测输入图像内的目标；深度图生成部，选择记述像素的纵深值的至少1个深度模板中的、与所检测出的所述目标的种类对应的深度模板，按照所述输入图像内的所述检测出的目标的位置，在深度图上配置所选择出的深度模板，从而生成记述所述输入图像中的每个像素的纵深值的所述深度图；校正部，根据与关注像素对应的所述输入图像内的对应关注像素的像素值、和与周边像素对应的所述输入图像内的对应周边像素的像素值的关系，计算所述深度图内的至少1个所述关注像素和所述周边像素的权重，根据关注像素的所述纵深值和所述周边像素的所述纵深值的所述权重的加权和，校正所述关注像素的纵深值；以及图像生成部，根据由所述校正部校正后的深度图和所述输入图像，生成多个视差图像。根据本发明，能够根据二维图像生成高质量的三维图像。
图1示出实施例1的图像处理装置的结构例。图2示出实施例2的图像处理装置的结构例。图3示出实施例3的图像处理装置的结构例。图4示出实施例4的图像处理装置的结构例。图5示出深度模板的一个例子。图6示出对图5的深度模板进行了 3D显示的状态。图7示出在图上配置了深度模板的例子。图8示出视差矢量的计算方法。
图9示出将视差矢量分割成的左视差矢量以及右视差矢量。
具体实施例方式以下，参照附图，说明本发明的一个实施方式。另外，对进行相互同样的动作的结构、处理附加公共的符号，省略重复的说明。实施例1图1示出本实施例的图像处理装置的结构例。图像输入部10输入成为处理的对象的二维图像。所输入的二维图像包含多个像素的像素值。图像输入部10能够从所有的设备或者介质输入输入图像。例如，图像输入部 10既可以从HDD等记录介质输入图像数据，也可以从经由网络连接的外部装置输入图像数据。目标检测部100解析输入图像，检测输入图像中包含的目标及其位置。深度模板存储部120针对目标的每个种类，存储记述了分别对应的目标的各像素的纵深值(深度值)的深度模板(cbpth template) 20。深度图生成部200通过从存储部120读出与由目标检测部100检测出的目标对应的深度模板20，并按照所检测出的目标的位置在初始图上配置该深度模板20，生成记述了与输入图像的各像素对应的纵深值的深度图(cbpth map)。深度图校正部(校正部)300将深度图上的各像素依次选择为关注像素，用关注像素和其周边像素进行加权平滑化，从而校正关注像素的纵深值。关注像素以及各周边像素的权重根据与关注像素对应的输入图像的像素(对应关注像素)的像素值、和与各周边像素对应的输入图像中的像素(对应周边像素)的像素值之差来计算。三维用图像生成部400根据输入图像、和校正后的深度图生成多个视差图像(右眼用图像和左眼用图像)。所生成的多个视差图像用于立体图像的显示。例如，通过以时分复用交替显示多个视差图像，能够使观察者识别立体图像。使观察者佩带例如液晶眼镜等专用眼镜，与各视差图像的显示相符合地切换左右的液晶快门，从而向左右的眼睛交替输入左眼用图像、右眼用图像，由此观察者能够识别立体图像。以下，详细说明目标检测部 100、深度模板20、深度图生成部200、深度图校正部300、三维用图像生成部400。在以后的说明中以以下的事项(1) 为前提。(1)以输入图像的左上角为原点，将横方向设为χ轴、将纵方向设为y轴。但是，坐标的设定方法不限于此。另外，将输入图像的坐标(X，y)的像素值表示为P(x，y)。此处， 像素值表示图像的明亮度或者颜色分量，例如相当于亮度、明度、特定的色通道等。(2)在深度图中，以图的左上角为原点，将横方向设定为X轴、将纵方向设定为Y 轴。但是，坐标的设定方法不限于此。另外，将图的坐标(X，Y)下的像素值表示为Z(X，Y)。 此时，像素值表示纵深信息，值越大，纵深(深度)越大。(3)输入图像的坐标与图的坐标一一对应。只要没有特别记述，输入图像的尺寸与图的尺寸相等，输入图像的坐标(x，y)和图的坐标(X，Y)相互对应。(4)只要没有特别记述，将输入图像的像素值记述为“像素值”，将其值域设为
(0以上255以下)。进而，将深度图的像素值记述为“纵深值”，将其值域设为
(0以上255以下)。
首先，叙述目标检测部100。目标检测部100从输入图像中检测成为对象的目标的整体或者一部分、及其位置。成为检测对象的目标也可以是任意种类，并且，也可以在图像中有多个。例如，也可以是人物整体、人物的一部分(脸、手、脚)、车辆、植物等，并且也可以根据人物的脸的朝向将其分别作为不同种类的目标来处理。以下，将在输入图像上的坐标(X，y)中检测出的第i 个目标的输入图像上的位置表示为Ai (x, y)。检测目标的方法能够使用一般已知的方法。另外，也可以根据成为检测对象的目标而组合使用各种方法。例如，在将检测对象目标设成人物的情况下，考虑使用检测人物的一部分即脸的脸检测手法的方法。例如，能够使用参考文献1(三田雄志、金子敏充、堀修， “基于适合于脸检测的共生的Joint Haar-Iike特征(顔検出(二適^ t共起(二基3 < Joint Haar-Iike特徴)”电子信息通信学会论文志D-IIVol. J89-D-II No. 8 pp. 1791-1801,2006) 中叙述的方法。通过该方法，能够根据图像的Haar-Iike特征检测脸，求出以详细地包围脸的方式配置的矩形的位置和大小。即，可知脸的位置和大小。另外，通过改变检测所使用的词典，还可以检测脸的朝向。接下来，叙述深度模板20。针对目标的每个种类准备深度模板20。深度模板表现了目标的实际的三维形状的概略形状。具体而言，在从希望检测的方向观察目标时，将其纵深作为像素值以二维图像表现的是深度模板。例如，在检测对象目标是人物的上半身的情况下，深度模板如图5所示。 在图5中，纵深值越小(越接近黑)纵深越小，纵深值越大(越接近白)纵深越大。图6是对图5进行了 3D(维)显示的图。深度模板具有这样的三维的信息。预先针对希望检测的目标的每个种类，准备1个以上的这样的深度模板，并保存到存储部120 中。接下来，叙述深度图生成部200。深度图生成部200在与由目标检测部100检测出的目标的位置Ai (x，y)对应的图上的位置Bi (X，Y)，配置与所检测出的目标对应的深度模板。由此，生成深度图。图7是从某输入图像检测人物，并在图(初始图)上配置了深度模板的例子。从图7(a)的输入图像通过目标检测部100检测人物的脸，该脸的左上角是坐标Al (x，y)。此时，如图7(b)所示，以使左上角位于与人物的脸的左上角对应的深度图上的位置Bl (X，Y) 的方式，配置相应的深度模板。此处，有时，由于检测多个目标，深度模板在深度图上重叠。对于多个深度模板重叠的坐标的纵深值的提供方法，考虑各种方法。例如，考虑以下的(1) (6)的方法。(1)使用平均。即，使用重叠于该坐标的多个深度模板的该坐标下的纵深值的平均。(2)使用最小值。即，使用重叠于该坐标的深度模板的该坐标下的纵深值的最小值。(3)使用加权平均。使用重叠于该坐标的多个深度模板的该坐标下的纵深值的加权平均。例如，越是纵深小的值的模板，权重越大。(4)使用中值。即，使用重叠于该坐标的深度模板的该坐标下的纵深值的中值。(5)对目标的种类附加位次，使用与位次最高的目标对应的模板的纵深值。在存在多个相同位次的目标时，对这些目标应用(1) ⑷的方法。此处，对初始图的各坐标设定了初始值(基准值)。作为基准值，例如，也可以设定纵深最大的基准值255 (纵深最大)。在配置深度模板时，对于模板的纵深值，基准值被更新 (盖写)。或者，也可以依照⑴ (5)的方法，更新纵深值。接下来，叙述深度图校正部300。深度图校正部300通过用深度图上的关注像素D(X，Y)和其周边像素进行加权平滑化来校正深度图。周边像素是相对关注像素存在于距离近的范围内的像素。例如，表示关注像素和存在于特定的一定距离范围内的像素。按照与关注像素D(X、Y)对应的输入图像中的对应关注像素C(x，y)和其周边像素(对应周边像素)的像素值的关系，设定校正时使用的权重。基本上，根据对应关注像素 C(x、y)的像素值和对应周边像素的像素值的差分来设定权重。例如，设定为差分越小权重越大，差分越大权重越小即可。为了这样的深度图的校正，能够使用例如双边滤波器。如果将校正后的纵深值设为Z’(X，Y)，则能够用式(1)来表示使用了双边滤波器的深度图校正。此处，k是滤波器的窗尺寸。式(1)使用了双边滤波器的深度图校正
权利要求
1.一种图像处理装置，其特征在于，具备检测部，检测输入图像内的目标；深度图生成部，选择记述像素的纵深值的至少1个深度模板中的、与所检测出的所述目标的种类对应的深度模板，按照所述输入图像内的所述检测出的目标的位置，在深度图上配置所选择出的深度模板，从而生成记述所述输入图像中的每个像素的纵深值的所述深度图；校正部，根据与关注像素对应的所述输入图像内的对应关注像素的像素值、和与周边像素对应的所述输入图像内的对应周边像素的像素值的关系，计算所述深度图内的至少1 个所述关注像素和所述周边像素的权重，根据关注像素的所述纵深值和所述周边像素的所述纵深值的所述权重的加权和，校正所述关注像素的纵深值；以及图像生成部，根据由所述校正部校正后的深度图和所述输入图像，生成多个视差图像。
2.根据权利要求1所述的图像处理装置，其特征在于，所述检测部检测所述目标的大小以及朝向中的至少一方，所述深度图生成部根据所述目标的大小以及朝向中的至少一方，修正所述选择出的深度模板，在所述深度图上配置修正后的深度模板。
3.根据权利要求2所述的图像处理装置，其特征在于，所述校正部以越是与所述对应关注像素的像素值的差分小的所述对应周边像素，则使与所述对应周边像素对应的周边像素的权重越大的方式，计算所述周边像素的权重。
4.根据权利要求1所述的图像处理装置，其特征在于，所述校正部对和所述对应关注像素的像素值与所述对应周边像素的像素值之差大于阈值的对应周边像素对应的周边像素的所述权重分配0，并且增大针对所述关注像素的所述权重。
5.根据权利要求1所述的图像处理装置，其特征在于，所述校正部求出所述对应关注像素和所述对应周边像素的像素值中的中值，针对所述对应周边像素以及所述对应关注像素中的、具有与所述中值不一致的像素值的像素，对所述权重分配0，计算具有与所述中值一致的像素值的像素的所述纵深值的平均，从而校正所述关注像素的纵深值。
6.根据权利要求1所述的图像处理装置，其特征在于，还具备合成所述校正后的深度图和特定的被提供的其他深度图的深度图合成部，所述图像生成部使用合成后的深度图来生成所述多个视差图像。
7.一种图像处理装置，其特征在于，具备检测部，检测输入图像内的目标；差异图生成部，选择记述像素的差异值的至少1个差异模板中的、与所检测出的目标的种类对应的差异模板，按照所述输入图像内的所述检测出的目标的位置，在差异图上配置所选择出的差异模板，从而生成记述所述输入图像中的每个像素的差异值的所述差异图；校正部，根据与关注像素对应的所述输入图像内的对应关注像素的像素值和与周边像素对应的所述输入图像内的对应周边像素的像素值的关系，计算所述差异图内的至少1个所述关注像素和所述周边像素的权重，根据所述关注像素的所述差异值和所述周边像素的所述差异值的所述权重的加权和，校正所述关注像素的差异值；以及图像生成部，根据由所述校正部校正后的差异图和所述输入图像，生成多个视差图像。
全文摘要
本发明的图像处理装置根据二维图像生成高质量的三维图像。具备检测部，检测输入图像内的目标；深度图生成部，选择记述像素的纵深值的至少1个深度模板中的、与所检测出的所述目标的种类对应的深度模板，按照所述输入图像内的所述检测出的目标的位置，在深度图上配置所选择出的深度模板，从而生成记述所述输入图像中的每个像素的纵深值的所述深度图；校正部，根据与关注像素对应的所述输入图像内的对应关注像素的像素值、和与周边像素对应的所述输入图像内的对应周边像素的像素值的关系，计算所述深度图内的至少1个所述关注像素和所述周边像素的权重，根据关注像素的所述纵深值和所述周边像素的所述纵深值的所述权重的加权和，校正所述关注像素的纵深值；以及图像生成部，根据由所述校正部校正后的深度图和所述输入图像生成多个视差图像。
文档编号G06T19/00GK102428501SQ200980159320
公开日2012年4月25日 申请日期2009年9月18日 优先权日2009年9月18日
发明者三岛直, 三田雄志, 下山贤一, 井田孝 申请人:株式会社东芝