多视点图像生成装置、多视点图像生成方法
【专利摘要】图像取得部取得左右二视点的图像。视差计算部计算左右二视点间的视差量。显示器特性存储部存储裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值等裸眼立体视觉显示器特性。视差解析部从显示器特性存储部中读出裸眼立体视觉显示器特性，使用读出的裸眼立体视觉显示器特性，调整左右二视点间的视差量。多视点图像生成部使用通过视差解析部调整后的视差量，使左右二视点的图像的各像素移位，从而生成多视点图像。
【专利说明】多视点图像生成装置、多视点图像生成方法
【技术领域】
[0001]本发明涉及一种从左右二视点的图像来生成对裸眼立体视觉显示器的多视点图像的技术。
【背景技术】
[0002]立体视觉显示器中，有利用基于3D眼镜的透光、遮光的切换的眼镜式立体视觉显示器、和利用基于视差屏障(parallax barrier)或双凸透镜(lenticular lens)等的视差障壁的裸眼立体视觉显示器。眼镜式立体视觉显示器中显示的内容由左右二视点的图像构成，而裸眼立体视觉显示器中显示的内容为了防止对应于视听位置逆视觉观看，由多视点的图像构成。
[0003]这里，当前主流的立体视觉显示器是眼镜式立体视觉显示器，所以当前流通的3D内容大多由左右二视点的图像构成。因此，面向需要多视点图像的裸眼立体视觉显示器的3D内容不充足。
[0004]因此，使用从左右二视点的图像生成多视点图像的技术，生成面向裸眼立体视觉显示器的多视点的图像。专利文献I中公开的技术中，首先，根据左右二视点的图像，利用立体匹配(stereo matching)计算各像素的像素间距离。并且，利用像素间距离的内插(interpolation)或外插(extrapolation),从左右二视点的图像生成多视点的图像。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:日本特开2009-124308号公报发明概要
[0008]发明要解决的问题
[0009]但是，在将使用上述现有技术生成的多视点图像显示在裸眼立体视觉显示器上的情况下，有时产生视觉疲劳及立体融合(stereoscopic fusion)困难。
[0010]
【发明内容】
[0011]本发明鉴于上述情况做出，其目的在于提供一种生成适合于裸眼立体视觉显示器的显示的多视点图像的多视点图像生成装置。
[0012]用于解决问题的手段
[0013]为了实现上述目的，本发明的一个方案的多视点图像生成装置，生成对裸眼立体视觉显示器的多视点图像，其特征在于，具备:图像取得部，取得左右二视点的图像；视差计算部，根据所述左右二视点的图像，算出左右二视点间的视差量；显示器特性存储部，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值；视差解析部，使用所述裸眼立体视觉显示器特性，调整所述视差计算部算出的视差量；多视点图像生成部，使用通过所述视差解析部调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像；视点合成部，合成所述多视点图像；以及输出部，对裸眼立体视觉显示器输出通过所述视点合成部的合成而得到的合成图像。
[0014]发明效果
[0015]根据本发明的一个方案的多视点图像生成装置，事先存储裸眼立体视觉显示器的特性，使用该裸眼立体视觉显示器的特性，调整视差计算部算出的视差量。由此，能够生成适合于裸眼立体视觉显示器的视差量的多视点图像，能够不产生视觉疲劳及立体融合困难地向用户提供画面整体融合成像的、有立体感的立体视觉影像。
【专利附图】
【附图说明】
[0016]图1是本发明实施方式I的视点生成装置的结构图。
[0017]图2是本发明实施方式I的视差计算部的一例的图。
[0018]图3是本发明实施方式I的显示器特性的一例的图。
[0019]图4是本发明实施方式I的视差解析部的一例的图。
[0020]图5是本发明实施方式I的视点生成部的一例的图。
[0021]图6是本发明实施方式I中的积极利用LR图像的视点生成的一例的图。
[0022]图7是本发明实施方式I中的考虑了优势眼的视点生成的一例的图。
[0023]图8是本发明实施方式I的视差合成部的一例的图。
[0024]图9是表示本发明的一个方案的多视点图像生成装置的处理流程的流程图。
[0025]图10是表示视差量调整处理的详细内容的流程图。
[0026]图11是表示多视点图像生成处理的详细内容的流程图。
[0027]图12是表示多视点图像生成处理的变形例的流程图。
[0028]图13是本发明实施方式2的视点生成装置的结构图。
[0029]图14是本发明实施方式2的进深信息与视差量的变换的一例的图。
[0030]图15是表示实施方式2的多视点图像生成装置的处理流程的流程图。
【具体实施方式】
[0031](构成本发明的一个方案的基础的见解)
[0032]首先，说明构成本发明的一个方案的基础的见解。
[0033]裸眼立体视觉显示器与眼镜式立体视觉显示器相比，一般而言左右视点图像混杂的串扰(cross talk)量高。因此，在原样观看Blu_ray3D用视点间的视差量(每个像素的视点间的像素间距离)大的影像的情况下，产生影像不融合成像而看到二重像、眼睛疲劳、损害立体感等现象。
[0034]
【发明者】经过仔细研究而发现:在专利文献I公开的多视点生成系统中，用于根据视点位置而利用像素间距离的内插或外插来生成视点图像，所以有时根据场景而视点间的视差量变多，影像不融合成像而看到二重像，眼睛疲劳并损害立体感。
[0035]另外，在多视点图像中，若进入左眼与右眼的视点图像差别大，则在大脑内不能融合成像为立体影像，识别为闪烁等噪声，眼睛会疲劳。
[0036]
【发明者】根据以上见解，得到下面所示的发明的一个方案。
[0037](本发明一个方案的概要)
[0038]作为本发明一个方案的多视点图像生成装置，生成对裸眼立体视觉显示器的多视点图像，其特征在于，具备:图像取得部，取得左右二视点的图像；视差计算部，根据所述左右二视点的图像，算出左右二视点间的视差量；显示器特性存储部，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值；视差解析部，使用所述裸眼立体视觉显示器特性，调整所述视差计算部算出的视差量；多视点图像生成部，使用通过所述视差解析部调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像；视点合成部，合成所述多视点图像；以及输出部，对裸眼立体视觉显示器输出通过所述视点合成部的合成而得到的合成图像。
[0039]根据上述方案，事先存储裸眼立体视觉显示器的特性，使用该裸眼立体视觉显示器的特性，调整视差计算部算出的视差量。由此，在裸眼立体视觉显示器中，能够不产生视觉疲劳及立体融合的困难地向用户提供画面整体融合成像的、有立体感的影像。
[0040]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部还根据处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，局部地调整使用所述裸眼立体视觉显示器特性调整视差量后的视差量。
[0041]根据上述方案，根据处理对象的像素与其周边像素之间的视差量之差来调整视差量，所以能调整视差量的对比度，能生成进一步增强立体感的多视点图像。
[0042]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部，在处理对象的像素与该处理对象的像素的周边像素之间的视差量之差在规定值以下的情况下，增强该视差量之差，所述视差解析部，在处理对象的像素与该处理对象的像素的周边像素之间的视差量之差在规定值以上的情况下，减弱该视差量之差。
[0043]根据上述方案，在与周边像素之间的视差量之差大的情况下，通过减弱视差量之差，能使立体感下降，在与周边像素的视差量之差小的情况下，通过增强视差量之差，能增强立体感。由此，能向用户提供进一步增强立体感的多视点图像。
[0044]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部调整所述视差量，以使所述视差计算部算出的视差量中处于上位x%的视差量和处于下位Y%的视差量收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围。
[0045]根据上述方式，调整视差量，以使处于上位Χ%的视差量和处于下位Υ%的视差量收敛于裸眼立体视觉显示器的视差量推荐值的范围内，所以能生成具有适合于裸眼立体视觉显示器的视差量的多视点图像。另外，即便是在3D内容内有突出值的视差量的情况下，也能不受该视差量的突出值影响地适当调整视差量。
[0046]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部根据具有O附近的视差量的像素的数量，使所述Χ%和Υ%的值变化。
[0047]若画面整体中所占的屏幕(screen)面多，则能融合成像的面积多，即便存在一部分视差强的部位，从画面整体来看也无妨。因此，根据上述方案，通过根据屏幕面附近的面积调整视差量，能进行更适合于用户的视差量调整。
[0048]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部根据所述左右二视点的图像中的、一方或双方图像中的帧间的运动量，使所述x%和Y%的值变化。
[0049]在前后帧的运动量大的情况下，即便存在一部分视差量强的部位，从画面整体来看也无妨。因此，根据上述方案，通过根据帧间的运动量来调整视差量，能进行更适合于用户的视差量调整。
[0050]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部调整所述视差量，以使所述视差计算部算出的视差量的最大值和最小值收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围。
[0051]根据上述方案，调整视差量，使视差量的最大值和最小值收敛于裸眼立体视觉显示器的视差量推荐值的范围内，所以能生成具有适合于裸眼立体视觉显示器的视差量的多视点图像。
[0052]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述图像取得部取得将所述左右二视点的图像显示在一般立体视觉显示器上时假定的第I串扰量，所述视差解析部比较在所述显示器特性存储部中存储的裸眼立体视觉显示器的串扰量即第2串扰量、与所述第I串扰量，根据该串扰量之比，调整所述视差量。
[0053]根据上述方案，由于可以认为串扰量与推荐突出量及推荐进深量大致成比例，所以通过根据在立体视觉显示器上显示时假定的第I串扰量与作为裸眼立体视觉显示器的串扰量的第2串扰量之间的串扰量之比，调整所述视差量，能生成具有适合于裸眼立体视觉显示器的视差量的多视点图像。
[0054]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部求出以使所述视差计算部算出的视差量中处于上位x%的视差量和处于下位Y%的视差量收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围的方式、使视差量为规定倍数时的倍率，所述多视点图像生成部使用所述视差解析部求出的所述倍率，选择将所述左右二视点的图像作为多视点图像的一部分而采用的多个多视点图像生成模式，使用选择出的多视点图像生成模式生成多视点图像。
[0055]根据上述方案，能根据左右二视点的图像，生成视点间的视差量为适合于裸眼立体视觉显示器的视差量的多视点图像。
[0056]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述多视点图像生成部参照视听者的优势眼信息，选择多视点图像生成模式，以使得向多视点图像中的、与视听者的优势眼相应的视点图像更多地分配所述左右二视点的图像。
[0057]根据上述方案，通过按照优势眼的信息生成视点以便优势眼中更能看到LR的原图像，从而能生成画面整体融合成像而容易得到立体感的多视点图像。
[0058]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部将所述视差计算部算出的视差量的值为O附近的像素群的重心位置设定为感兴趣区域的中心点，根据该感兴趣区域的中心点与处理对象的像素之间的距离，局部地调整视差量。
[0059]根据上述方案，能将感受立体感的分辨率高的、所关注的画面上的区域的视差量减弱，将感受立体感的分辨率低的、距所关注的画面上的区域远的区域的视差量增强。
[0060]另外，本发明一个方案的多视点图像生成装置，生成对裸眼立体视觉显示器的多视点图像，其特征在于，具备:图像取得部，取得左右二视点的图像；进深图像取得部，取得表示所述左右二视点的图像中的各个像素的进深的进深图像；显示器特性存储部，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值；视差解析部，使用所述裸眼立体视觉显示器特性，调整由所述进深图像所示的进深量确定的所述左右二视点的图像间的视差量；多视点图像生成部，使用通过所述视差解析部调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像；视点合成部，合成所述多视点图像；以及输出部，对裸眼立体视觉显示器输出通过所述视点合成部的合成而得到的合成图像。
[0061]根据上述方案，使用表示左右二视点的图像中的各个像素的进深的进深图像，能够生成具有适合于裸眼立体视觉显示器的视差量的多视点图像。由此，在裸眼立体视觉显示器中，能够不产生视觉疲劳及立体融合困难地向用户提供画面整体融合成像的、有立体感的影像。
[0062]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部还根据处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，局部地调整使用所述裸眼立体视觉显示器特性调整视差量后的视差量。
[0063]根据上述方案，在使用表示左右二视点的图像中的各个像素的进深的进深图像来调整视差量的情况下，根据处理对象的像素与其周边像素之间的视差量之差来调整视差量的对比度，所以能生成进一步增强立体感的多视点图像。
[0064]另外，在本发明一个方案的多视点图像生成装置的特定方面，所述视差解析部调整视差量，以使由所述进深图像所示的进深量确定的视差量中处于上位x%的视差量和处于下位Y%的视差量收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围。
[0065]根据上述方案，在使用表示左右二视点的图像中的各个像素的进深的进深图像来调整视差量的情况下，调整视差量，以使得处于上位χ%的视差量和处于下位Υ%的视差量收敛于裸眼立体视觉显示器中视差量推荐值的范围内，所以能生成具有适合于裸眼立体视觉显示器的视差量的多视点图像。另外，即便是在3D内容内有突出值的视差量的情况下，也能不受该视差量的突出值影响地调整视差量。
[0066]另外，本发明一个方案的多视点图像生成装置，生成对裸眼立体视觉显示器的多视点图像，其特征在于，具备:图像取得部，取得左右二视点的图像；视差计算部，根据所述左右二视点的图像，算出左右二视点间的视差量；显示器特性存储部，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值；视差解析部，使用所述裸眼立体视觉显示器特性、和处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，调整所述视差计算部算出的视差量；多视点图像生成部，使用通过所述视差解析部调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像；视点合成部，合成所述多视点图像；以及输出部，对裸眼立体视觉显示器输出通过所述视点合成部的合成而得到的合成图像。
[0067]根据上述方案，使用所述裸眼立体视觉显示器特性、和处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，调整所述视差计算部算出的视差量，所以在裸眼立体视觉显示器中，能够不产生视觉疲劳及立体融合困难地生成画面整体融合成像的有立体感的、并且调整了视差量的对比度而得到的更有立体感的多视点图像。
[0068]另外，本发明一个方案的多视点图像生成方法，生成对裸眼立体视觉显示器的多视点图像，其特征在于，包含以下步骤:图像取得步骤，取得左右二视点的图像；视差量算出步骤，根据所述左右二视点的图像，算出左右二视点间的视差量；显示器特性存储步骤，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值；视差量调整步骤，使用所述裸眼立体视觉显示器特性，调整所述视差量算出步骤算出的视差量；多视点图像生成步骤，使用通过所述视差量调整步骤调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像；视点合成步骤，合成所述多视点图像；以及输出步骤，对裸眼立体视觉显示器输出通过所述视点合成步骤的合成而得到的合成图像。
[0069]根据上述方案，能提供一种多视点图像生成方法，该方法能生成具有适合于裸眼立体视觉显示器的视差量的多视点图像。
[0070](实施方式I)
[0071]以下，参照附图来说明本发明的实施方式。
[0072]图1是实施方式I的多视点图像生成装置的结构图。图1中，多视点图像生成装置由图像取得部101、视差计算部102、显示器特性存储部103、视差解析部104、视点生成部105、视点合成部106、裸眼立体显示部107构成。
[0073]图像取得部101接受Blu_ray3D或左右格式(side_by-side)、上下格式(top-and-bottom)等左右(LR) 二视差的图像，分解成左眼用图像(L图像)与右眼用图像(R图像)，并将图像输出到视差计算部102、视点生成部105。
[0074]视差计算部102根据从图像取得部101输出的L、R图像，通过利用了 SAD、SSD等块匹配(block matching)方法或图像分割(graph cuts)等的立体图像制作技术,计算各像素的像素间距离，输出对L图像与R图像的L视差图像、R视差图像。
[0075]显示器特性存储部103将输出多视点图像的裸眼立体视觉显示器的串扰量、及裸眼立体视觉显示器的视差量的推荐值(相对于屏幕面的突出(protrusion)视差量和进深视差量)等裸眼立体视觉显示器的特性用非易失性或易失性存储器等存储，并由视差解析部104读出。
[0076]视差解析部104根据由视差计算部102制作的L视差图像、R视差图像，制作视差量的直方图等，并根据显示器特性存储部103存储的裸眼立体视觉显示器的特性值，计算最适于裸眼立体视觉显示器的视点间视差量。之后，根据计算的结果，变换L视差图像、R视差图像，输出到视点生成部105。
[0077]视点生成部105根据从图像取得部101输出的L图像与R图像，对应于视差量与视点位置，使从视差计算部104输出的、调整后以用于裸眼立体视觉显示器的L视差图像与R视差图像水平移动，生成裸眼立体显示部107所需的视点数的视点图像。
[0078]视点合成部106将视点生成部105输出的多视点图像合成为用于由裸眼立体显示部107显示的图像，并输出到裸眼立体显示部107。
[0079]裸眼立体显示部107通过视差屏障或双凸透镜，显示从视点合成部106输出的合成图像。由此，能实现裸眼立体视觉。
[0080]下面，用图2来说明视差计算部102。图2是表示图1中的视差计算部102的一例的图。图2中，201是L图像，202是映入L图像的物体A，203是映入L图像的物体B，211是L视差图像，212是L视差图像211中的物体A，213是L视差图像211中的物体B，221是R图像，222是映入R图像的物体A，223是映入R图像的物体B，231是R视差图像，232是R视差图像231中的物体A，233是R视差图像231中的物体B。
[0081]L图像201中映入物体A202与物体B203，相同的物体映入R图像221的物体A222与物体B223。此时，若从L图像201的物体A202看，则因为R图像221的物体A222从相同的像素位置向右侧移动2像素，所以L视差图像211中的物体A212的视差量为2。此时，对应关系的搜索能够通过使用块匹配中一般的SAD(Sum of Absolute Difference)、SSD(Sumof Squared Difference) > NCC (Normalized Cross-Correlation)等来实现。
[0082]若同样计算，则与L图像201的物体B203相当的L视差图像211的物体B213的视差量为I。此时，L图像中，将视差量的方向定义为:右侧为+，左侧为_。同样，R图像中，将视差量定义为左侧为+、右侧为-时，与R视差图像231的物体A232相当的视差量为2像素，与物体B233相当的视差量为I像素。
[0083]下面，用图3?4来说明显示器特性部103与视差解析部104。图3是表示图1中的显示器特性存储部103内包含的特性的一例的图。另外，图4是本发明实施方式I的视差解析部的一例的图。
[0084]图3中，301是串扰量，302是推荐突出量，303是推荐进深量。这里，串扰量301是在从适合观看的位置来视听显示器上显示的立体视觉图像的情况下、单侧(例如左眼)用图像在另一方(例如右眼)泄漏并可见的光量的比例。在多视点图像的情况下，是当显示某个视点用的图像时、其他视点的图像泄漏并可见的光量的比例。该串扰量301的值例如能够通过对显示多视点图像的裸眼立体视觉显示器、按每个视点独立地显示测试图像、并使用亮度计测定其亮度来算出。
[0085]另外，推荐突出量302是裸眼立体视觉显示器中从屏幕面(视点间的视差为零)突出的立体影像在适合观看的位置能够看起来融合成像的界限的视差量，推荐进深量303是从屏幕面向内深入的立体影像在适合观看的位置能够看起来融合成像的界限的视差量。
[0086]这些推荐突出量302及推荐进深量304的值，是通过在事先在适合观看的位置进行了调整的裸眼立体视觉显示器上、事先再现与视差量建立了关联的各种测试图像并进行评价从而得到的数值。另外，由于实际上还根据与周边的对比度值而变化，所以也可以按每个与周边的对比度比来进行设置。
[0087]另外，图4(a)表示对照显示器特性来调整视差量的结果。另外，图4(b)是表示视差变换式的切换的图。在图4(a)和图4(b)中，401是最大视差量，402是最小视差量，411是推荐突出量，412是推荐进深量，421是对照特性修正后的最大视差量，422是对照特性修正后的最小视差量，431?433是对应于关注像素与周边像素的视差量的绝对值差来切换的视差量变换式，视差量为+时，看到从画面突出，视差量为-时，看到从画面向内深入。
[0088]此时，裸眼立体显示器中，若视差量通过事先评价而收敛在推荐突出量Ru411与推荐进深量Rd412的范围内，则能在适合观看的位置融合成像并舒适地观察立体影像。为此，通过线性插值等调整+方向的视差量，以使最大视差量401与零视差量的屏幕面的距离成为推荐突出量Ru411，对照特性修正后的最大视差量421与推荐突出量Ru411 —致。同样，关于最小视差量402，修正后的最大视差量422与推荐进深量Rd412 —致。
[0089]更具体而言，视差解析部104取得图像内的视差量中的最大视差量与最小视差量，比较视差量的推荐值(推荐突出量Ru、推荐进深量Rd)与图像内的最大视差量和最小视差量，算出该视差量之比作为视差量校正系数。并且，视差解析部104对各像素具有的视差量乘以视差量校正系数所示的值，变更视差量。由此，能够调整二视点图像具有的视差量，以使其收敛在裸眼立体视觉显示器中推荐的视差量的推荐值范围内。
[0090]另外，图3、图4所示的结构是本发明一个方案的多视点图像生成装置的一例，也可以不必须是该结构。
[0091]例如，也可以是，视差解析部104使用显示器特性存储部103中存储的裸眼立体视觉显示器的串扰量的特性，调整视差量。具体而言，在根据裸眼立体视觉显示器特性的在适合观看的位置的串扰量为CT%、假定串扰量CT’％来制作图像取得部101取得的左右(LR) 二视点的内容的情况下(例如假定主动快门式眼镜而制作的Blu-ray3D)，串扰量与推荐突出量及推荐进深量大致成比例，从该串扰量之比(CT/CT’(CT〈CT’ ))算出视差校正系数。并且，视差解析部104对各像素具有的视差量乘以视差量校正系数所示的值，变更视差量。 [0092]另外，也可以利用P_tile法等搜索视差量直方图的上位X%或下位Y%而不是最大视差量与最小视差量，调整视差量，以使得视差计算部算出的视差量中的处于上位χ%的视差量成为推荐突出量、处于下位y%的视差量成为推荐进深量。
[0093]具体而言，视差解析部104取得图像内的视差量中的处于上位Χ%的视差量与处于下位Υ%的视差量，比较视差量的推荐值(推荐突出量Ru、推荐进深量Rd)与图像内处于上位Χ%的视差量和处于下位Υ%的视差量，算出该视差量之比作为视差量校正系数。
[0094]由于将视差量调整以使得处于上位Χ%的视差量和处于下位Υ%的视差量所具有的视差量收敛在裸眼立体视觉显示器的视差量推荐值范围内，所以能生成具有适合于裸眼立体视觉显示器的视差量的多视点图像。另外，即便是在3D内容内有突出的值的视差量的情况下，也能不受该视差量的突出值影响地适当调整视差量。
[0095]进而，也可以根据屏幕面周边(零视差附近)的面积(像素数量)来动态变更Χ%及y%的值。具体而言，若屏幕面周边的面积大则增大X和Y的值，若屏幕面周边的面积小则减小X和Y的值。
[0096]这是因为若画面整体中所占的屏幕面多则能融合成像的面积多，即便存在一部分视差强的部位，从画面整体来看也无妨，所以根据屏幕面附近的面积来调整视差量也是有效的。
[0097]另外，也可以对应于图像取得部101取得的左右二视点的图像中的一方或双方图像中的前后帧间的运动的量，来动态变更x%及y%的值。具体而言，若帧间的运动量大则增大X和Y的值，若帧间的运动量小则减小X和Y的值。
[0098]在前后帧的运动量大的情况下，即便存在一部分视差量强的部位，从画面整体来看也无妨，所以通过对应于帧间的运动量来调整视差量，能够实现更适合于用户的视差量调整。
[0099]另外，也可以是，在优化视差量时，评价处理对象的像素(关注像素)的视差量与其周边的视差量，利用关注像素的视差量与周边像素的视差量的平均之差，调整视差量。具体而言，对应于处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，局部地对利用了裸眼立体视觉显示器特性的视差量的调整后视差量进行调整。更具体而言，在处理对象的像素与该处理对象的像素的周边像素之间的视差量之差在规定值以下的情况下，增强该视差量之差，在处理对象的像素与该处理对象的像素的周边像素之间的视差量之差在规定值以上的情况下，减弱该视差量之差。
[0100]这是利用了人类视觉特性的图像的动态范围压缩技术的扩展，虽然基本而言收敛在范围中的范围在推荐突出量与推荐进深量之间，但目的在于局部压缩动态并提高效果。由于对应于处理对象的像素与其周边像素之间的视差量之差来调整视差量的对比度，所以能生成进一步增强立体感的多视点图像。
[0101]例如，也可以是，对应于关注像素与周边像素的视差量的绝对值差，从图4(b)的视差变换式432切换到视差变换式431或视差变换式432来调整视差量。作为一例，假定关注像素与周边像素的视差量的绝对差是感受立体感的重要要素，在关注像素与周边像素的视差量的绝对值差多的情况下，为了得到充分的立体感而应用视差变换式431以便减弱绝对差，在绝对差少的情况下，为了得到充分的立体感而应用433，从而局部地提高视差量的对比度。由此，能够实现与裸眼立体视觉显示器的特性相适应的视点间的视差量调整。另夕卜，虽然示出了使用关注像素与周边像素的视差量的绝对值差的一例，但不限于此，也可以使用单纯的差，也可以根据关注像素相比于周边像素以何种程度突出或深入(进深方向)来局部调整视差量的变换。
[0102]同样，也可以是，假定所关注的画面上的注视区域感觉立体感的分辨率最高、其周边感受立体感的分辨率低，不仅根据关注像素与周边像素的视差量的绝对差，还根据距感兴趣区域的中心点(例如，画面中心附近或位于零视差附近的像素群的重心位置)的距离，局部调整视差。作为一例，位于感兴趣区域的中心点附近的像素由于感受立体感的分辨率高，所以为了不看到二重像而以减弱的方式进行基于关注像素与周边像素的差的局部视差的调整，由于随着离开感兴趣区域的中心点而感受立体感的分辨率弱、即便稍微看到二重像也无妨，所以以增强的方式调整基于关注像素与周边像素的差的局部视差，增强立体感。
[0103]下面，用图5来说明视点生成部105。图5是表示图1的视点生成部105的动作一例的图。图5中，501是L图像，502是映入L图像501的物体A，503是映入L图像501的物体B, 511是L视差图像，512是映入L视差图像的物体A, 513是映入L视差图像的物体B，521是使L图像501向右侧移动LR视差的0.5倍后的图像，522是映入移动后的图像521的物体A，523是映入移动后的图像521的物体B，532和533是图像中开孔(hole)的部位。
[0104]图5是使用L图像501与L视差图像511生成从L图像向右移动LR视差的0.5倍后的位置的视点的一例。另外，所谓LR视差，表示图1的图像取得部101取得的L图像与R图像的视差量，在本例中，正好等价于视点位置存在于拍摄了 L图像与R图像的摄像机的中心的情况。
[0105]此时，映入L图像的物体A502的视差量在关注映入L视差图像511的物体A512时为4。因此，在向右侧移动LR视差的0.5倍的情况下，向右移动4X0.5=2像素即可，使物体A502向522移动。同样，映入L图像的物体B503，由于视差量为2，所以在向右侧移动LR视差的0.5倍的情况下，向右移动I像素即可，向523移动。
[0106]此时，若按照L视差图像511使L图像501中包含的像素全部移动，则在532、533的位置存在开孔(hole)的像素。这些孔相当于在L图像中可见、在R图像中不可见的遮挡(occlusion)，所以需要以适当值来填埋孔。作为一例，由于无限远的背景无论以哪个视点都在相同部位看起来相同，所以搜索开孔的像素的周边，搜索与视差少的背景相当的颜色，并用该颜色填埋等。
[0107]另外，图5是本发明实施例1的一例，不一定必须是该结构。例如，图5中，视差生成部将视点位置从L图像向右设定，但也可以向左设定，并且也可以不是仅水平移动而是沿垂直方向生成视点。即，能够从L图像与R图像的视差图像，生成水平垂直的任意的视点图像。[0108]另外，图5中通过水平或垂直移动使各像素移动，生成新的视点图像，但不一定必须是该结构。例如，也可以是，不是以像素单位生成视点，而是事先使用SHIFT或SURF检测特征点等，计算对应点，按连结特征点的每个多边形区域，使用透视投影变换等进行变换，生成视点。此时，由于特征点彼此一致，所以不存在图5那样的孔。
[0109]下面，用图6表示图1的视点生成部105积极地利用LR图像、制作高画质的视点生成图像的一例。图6是根据视点解析部104的解析结果，利用图1的图像取得部生成的L图像与R图像的视差量即LR，决定将各视点间的视差量设为几倍，以与该值对应的视点间的视差量来进行多视点生成的例子，是从视点图像01到08的8视点生成的一例。视点生成部105根据视差解析部104调整视差量时使用的倍率，选择多视点图像生成模式(mult1-viewpoint image generation pattern),并使用选出的多视点图像生成模式，生成多视点图像。
[0110]例如，若视点解析部104解析成以0.30倍生成各视点间的视差量，则视点生成部105选择比该视差解析部求出的倍率即0.30倍少的0.25倍的视差量即604的模式(pattern)。并且，使用选出的模式，生成从视点图像01到08的8视点，使视差图像的视差量为0.25Xn倍(η随视点位置变化)，生成各视点图像。此时，原始的L图像被分配给视点图像03，R图像被分配给视点图像07，在L图像与R图像的内侧，包含从04到06的3视点。此时，视点解析部105仅解析各视点间的理想视差量，不是如图4所示那样校正视差图像内的视差量并向视点生成部105输出视差图像。
[0111]下面,用图7说明考虑了优势眼(dominant eyes)的视点生成的一例。
[0112]图7(a)和图7(b)是表示以0.50LR生成视点间的视差量的4视点图像的一例的图。在本图的例子中，设优势眼是右眼。在图7(a)的例子中，对于观看视点图像01和02的701、观看视点图像03和04的703，优势眼与原图像对应，完全无噪声的理想图像映入优势眼。相对于此，在图7(b)的例子中，对于观看视点图像02和03的705，优势眼与原图像对应，完全无噪声的理想图像映入优势眼。这样，当生成4视点的图像时，其生成模式有图7(a)所示的模式和图7(b)所示的模式，视点生成部105参照视听者的优势眼的信息，选择多视点图像生成模式，以使得向多视点图像中的、与视听者的优势眼相对应的视点图像更多地分配左右二视点的图像。
[0113]在视点数为偶数且在L图像与R图像之间存在奇数个、或视点数为奇数且在L图像与R图像间存在偶数个时，考虑2个多视点图像生成模式，但通过按照事先用遥控器等设定的优势眼的信息、以使得在优势眼中更能看到LR的原图像的方式生成视点，能够提供画面整体融合成像且容易得到立体感的裸眼立体环境。另外，作为优势眼的取得方法，也可以利用脸认证等技术，取出事先登录的人物的优势眼信息并自动切换。
[0114]下面，用图8说明图1的视点合成部106。图8示出图1的裸眼立体显示部107具备6视点的视差屏障时的视点合成部106的一例。这里，视差屏障由于以子像素单位按每6视点而开有孔，所以需要以子像素单位进行合成。因此，按照子像素的RGB的顺序，填埋各视点的子像素。例如，合成图像800的左上的子像素801，由于是R成分，所以用与第一视点图像810的左上的R成分相当的子像素811填埋。之后，合成图像800的子像素801的相邻的子像素804，由于是G成分，所以用与第二视点图像820的左上的G成分相当的子像素824填埋。另外，与第一视点图像810的左上的G成分相当的子像素812填埋到与合成图像800的第二行的G成分相当的子像素802，与第一视点图像810的左上的B成分相当的子像素813填埋到与合成图像800的第三行的B成分相当的803。这样，从相对于合成图像的分辨率、向横向缩小视点数/子像素数(=3)、向纵向缩小子像素数(=3)而得到的各视点图像，顺序取出子像素并合成，从而能够生成合成图像800。另外，图8是合成例的一例，不一定必须是该结构。例如，也可以是，准备相对于合成图像的分辨率向横向缩小视点数后的各视点图像，以子像素单位填埋，也可以是，提高纵向的分辨率(合成图像与各视点图像的纵位置一致)。
[0115]接着，说明具备上述结构的本发明一个方案的多视点图像生成装置的动作。
[0116]图9是表示本发明一个方案的多视点图像生成装置的处理流程的流程图。
[0117]如该图所示，图像取得部101取得左右二视点的图像(步骤S901)。
[0118]接着，视差计算部102算出图像取得部101取得的左右二视点的图像间的视差量(步骤S902)。具体地，视差计算部102通过SAD或SSD等块匹配方法或利用了图像分割等的立体图像制作技术，计算各像素的像素间距离，生成对L图像与R图像的L视差图像、R视差图像。
[0119]接着，视差解析部104读出在显示器特性存储部103中存储的裸眼立体视觉显示器的特性(步骤S903)。
[0120]接着，视差解析部104使用读出的裸眼立体视觉显示器的特性，调整视差计算部102算出的视差量(步骤S904)。该视差量调整处理的详细情况如后所述。
[0121]接着，视点生成部105使用视差解析部104调整后的视差量，生成多视点图像(步骤S905)。该多视点图像生成处理如后所述。
[0122]接着，视点合成部106将视点生成部105生成的多视点图像进行合成(步骤S906)。
[0123]接着，视点合成部106将通过步骤S906的合成处理得到的合成图像输出到裸眼立体显示部107，裸眼立体显示部107显示合成图像(步骤S907)。
[0124]以上是对本发明一个方案的多视点图像生成装置的处理的说明。接着，说明步骤S904的视差量调整处理的详细情况。
[0125]图10是表示视差量调整处理的详细情况的流程图。
[0126]如该图所示，视差解析部104判定裸眼立体视觉显示器的视差量推荐值的信息是否存储在显示器特性存储部103中(步骤S1001)。
[0127]在显示器特性存储部103中存储有视差量推荐值的信息的情况下(步骤S1001的“是”)，视差解析部104从显示器特性存储部103取得裸眼立体视觉显示器的视差量的推荐值(步骤S1002)。
[0128]接着，视差解析部104取得图像内的视差量中的最大的视差量与最小的视差量(步骤 S1003)。
[0129]并且，视差解析部104比较视差量的推荐值与图像内的最大视差量和最小视差量，算出该视差量之比作为视差量校正系数(步骤S1004)。
[0130]在显示器特性存储部103中未存储视差量推荐值的信息的情况下(步骤S1001的“否”)，视差解析部104取得在将图像取得部101取得的二视点图像显示在一般的立体视觉显示器(例如再现BD-3D的立体视觉显示器)上的情况下假定的串扰量(第一串扰量)(步骤 S1005)。
[0131]接着，视差解析部104从显示器存储部103取得裸眼立体视觉显示器的串扰量(第2串扰量)(步骤S1006)。
[0132]并且，视差解析部104比较第I串扰量与第2串扰量，算出该串扰量之比作为视差量校正系数(步骤S1007)。
[0133]在步骤S1004或步骤S1007的处理之后，视差解析部104对各像素具有的视差量乘以视差量校正系数所示的值，变更视差量(步骤S1008)。由此，能调整二视点图像具有的视差量，以使其收敛于裸眼立体视觉显示器中推荐的视差量的推荐值范围内。
[0134]之后，视差解析部104取得处理对象的像素与其周边的像素之间的视差量之差，根据该视差量之差，利用显示器特性进一步对调整后的视差量进行局部地调整(步骤S1009)。具体地，在处理对象的像素与处理对象的像素的周边像素之间的视差量之差在规定值以下的情况下，增强视差量之差，在处理对象的像素与处理对象的像素的周边像素之间的视差量之差在规定值以上的情况下，减弱视差量之差。
[0135]以上是对步骤S904的视差量调整处理的详细情况的说明。接着，说明步骤S905的多视点图像生成处理的详细情况。
[0136]图11是表示多视点图像生成处理的详细情况的流程图。
[0137]如该图所示，视点生成部105取得在视差量调整中使用的视差量校正系数(步骤S1101)。
[0138]接着，视点生成部105根据取得的视差量校正系数，选择多视点图像生成模式(步骤 SI 102)。
[0139]并且，视点生成部105使左右二视点图像的各像素移位由视差解析部104调整后的视差量与所选出的多视点图像生成模式确定的像素数，生成多视点图像(步骤SI 103)。
[0140]以上是对步骤S905的多视点图像生成处理的详细情况的说明。
[0141]另外，作为上述多视点图像生成处理的变形例，考虑图12所示的处理。在该处理中，取得在视差量调整中使用的视差量校正系数(步骤S1101)之后，视点生成部105取得视听者的优势眼信息(步骤S1201)。优势眼信息由非易失性或易失性存储器等存储，视点生成部105从该存储器等中读出优势眼信息。
[0142]并且，视点生成部105使用视差量校正系数和优势眼信息，选择多视点图像生成模式(步骤S1202)。由此，能够选择向多视点图像中的、与视听者的优势眼对应的视点图像更多地分配左右二视点图像的多视点图像生成模式。
[0143](实施方式2)
[0144]实施方式2的多视点图像生成装置与实施方式I的多视点图像生成装置的不同之处在于，取得表示二视点图像的各像素的进深的进深图像，使用取得的进深图像生成多视点图像。
[0145]图13是本发明实施方式2的测位处理装置的结构图。图13中，对与图1相同的构成要素使用相同符号，省略说明。图13中，1301是进深图像取得部，取得从外部输入的进深图像，送到视差解析部1302。例如，在由CG等制作的内容中，由于包含3维模型数据，所以容易输出正确的三维进深信息，能够在内容侧简单地制作进深图像。另外，作为其他例，TOF(Time-of-Flight)等距离传感器能同时取得灰度图像(greyscale image)与距离(进深)图像。
[0146]此时，进深图像取得部1301输出的进深图像不是实施方式I那样的、存储了 L图像与R图像的像素间距离即视差量的值，而是存储了从CG模型或TOF传感器取得的3维进深信息的值。因此，视差解析部1302需要将与进深图像内的像素值相当的进深信息变换为从显示器特性存储部103调用的推荐突出量与推荐进深量的视差量范围。用图14表示简单的变换例。
[0147]图14是从进深图像变换视差量的一例的图。图14中，1401是进深图像中的最小进深量，1402是进深图像中的最大进深量，1403是与屏幕面(视差为零)相当的进深量，1404是推荐进深量，1405是推荐突出量，1406是进深量的平均值。在图14的例子中，视差解析部1302将进深图像中的最小进深量1401变换为推荐进深量1404，将最大进深量1402变换为推荐突出量1405。另外，视差解析部1302向视差为零的屏幕面1403分配进深量的平均值1406，各区间内通过线性插值变换进深量与视差量。
[0148]另外，图14中说明的是一例，但作为进一步从进深图像变换视差量的方式，也可以如用图4说明视差解析部104那样，根据关注像素与周边像素的进深信息，局部变换并调
整视差量。
[0149]图13中，视差解析部104若输出从最适合于裸眼立体显示器的进深量变换为视差量的视差图像，则视差生成部105中，与实施例1同样，根据视差图像与从图像取得部101取得的输入图像，生成多个视点，由视差合成部106合成多视点，由裸眼立体显示部107进行显示。
[0150]下面，说明具备上述结构的实施方式2的多视点图像生成装置的动作。
[0151]图15是表示实施方式2的多视点图像生成装置的处理流程的流程图。另外，对于与图9所示的实施方式I的多视点图像生成装置的动作相同的部分，附加相同符号。
[0152]在取得左右二视点的图像(步骤S901)之后，进深图像取得部1201取得进深图像(步骤 S1501)。
[0153]并且，在读出裸眼立体视觉显示器的特性(步骤S903)之后，视点解析部1302使用裸眼立体视觉显示器的特性，将进深图像所示的进深量变换为适合于裸眼立体视觉显示器的视听的视差量(步骤S1502)。
[0154]在步骤S1502的处理之后，执行步骤S905?步骤S907的处理。
[0155]以上是对实施方式2的多视点图像生成装置的处理的说明。
[0156](变形例)
[0157]另外，根据上述实施方式进行了说明，但本发明当然不限于上述实施方式。下面的情况也包含在本发明中。
[0158][a]本发明也可作为各实施方式中说明的处理步骤公开的应用程序执行方法。另夕卜，也可作为包含使计算机按照所述处理步骤进行动作的程序代码的计算机程序。
[0159][b]本发明也能作为控制上述各实施方式所述的多视点图像生成装置的LSI来实施。这样的LSI能通过将视差计算部102、视差解析部103等各功能块集成化来实现。这些功能块既可以单独单芯片化，也可以包含部分或全部功能块而单芯片化。
[0160]这里，设为LSI，但因集成度不同，有时也称为1C、系统LS1、超级LS1、特级LSI。
[0161]另外，集成电路化的方法不限于LSI，也可由专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA (Field Programmable Gate Array)、或能重构LSI内部的电路单元的连接及设定的可重构处理器。
[0162]并且，若因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可使用该技术进行功能块及部件的集成化。这样的技术有可能适用生物技术等。
[0163][c]本发明也能作为具备上述各实施方式所述的多视点图像生成装置的数字电视、便携电话设备、个人计算机等三维图像显示装置实现。另外，也能作为具备上述各实施方式所述的多视点图像生成装置的BD播放器、DVD播放器等再现设备实现。
[0164][ d]在上述实施方式中，说明了使用裸眼立体视觉显示器特性调整视差量之后、进一步根据处理对象的像素与该处理对象的像素的周边像素之间的视差量之差来局部地进行调整的情况，但本发明不限于该情况。也可以同时进行使用裸眼立体视觉显示器特性的视差量调整、和对应于与周边像素之间的视差量之差的局部的视差量调整。即，也可以是，使用裸眼立体视觉显示器特性、和处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，来调整视差量算出部102算出的视差量。
[0165][e]也可以分别组合上述实施方式及上述变形例。
[0166]产业上的可利用性
[0167]本发明的视点生成装置，通过对照裸眼立体显示器的特性来调整视点间的视差量，能够实现画面整体融合成像、有立体感的裸眼立体视觉，是有益的。
[0168]符号说明
[0169]101 图像取得部
[0170]102 视差计算部
[0171]103 显示器特性存储部
[0172]104 视差解析部
[0173]105 视点生成部
[0174]106 视点合成部
[0175]107 裸眼立体显示部
[0176]201 L 图像
[0177]202 L图像中的物体A
[0178]203 L图像中的物体B
[0179]211 L视差图像
[0180]212 L视差图像中的物体A
[0181]213 L视差图像中的物体B
[0182]221 R 图像
[0183]222 R图像中的物体A
[0184]223 R图像中的物体B
[0185]231 R视差图像
[0186]232 R视差图像中的物体A
[0187]233 R视差图像中的物体B
[0188]301 串扰量[0189]302推荐突出量
[0190]303推荐进深量
[0191]401最大视差量
[0192]402最小视差量
[0193]411推荐突出量
[0194]412推荐进深量
[0195]421对照特性修正后的最大视差量
[0196]422对照特性修正后的最小视差量
[0197]431、432、433 根据关注像素与周边像素的视差量的绝对值差切换的视差量变换式
[0198]501L 图像
[0199]502L图像中的物体A
[0200]503L图像中的物体B
[0201]511L视 差图像
[0202]512L视差图像中的物体A
[0203]513L视差图像中的物体B
[0204]601、602、603、604、605、606 视点生成部的视点生成的模式
[0205]701图7(a)的多视点图像生成模式中的01、02视点的视听例
[0206]702图7(a)的多视点图像生成模式中的02、03视点的视听例
[0207]703图7(a)的多视点图像生成模式中的03、04视点的视听例
[0208]704图7(b)的多视点图像生成模式中的01、02视点的视听例
[0209]705图7(b)的多视点图像生成模式中的02、03视点的视听例
[0210]706图7(b)的多视点图像生成模式中的03、04视点的视听例
[0211]800合成图像
[0212]801合成图像中的左上附近的R成分的子像素
[0213]802合成图像中的左上附近的G成分的子像素I
[0214]803合成图像中的左上附近的B成分的子像素
[0215]804合成图像中的左上附近的G成分的子像素2
[0216]810第I视点图像
[0217]811第I视点图像中的左上附近的R成分的子像素
[0218]812第I视点图像中的左上附近的G成分的子像素
[0219]813第I视点图像中的左上附近的B成分的子像素
[0220]820第2视点图像
[0221]824第2视点图像中的左上附近的G成分的子像素
[0222]1301进深图像取得部
[0223]1302视差解析部
[0224]1401进深图像中的最小进深量
[0225]1402进深图像中的最大进深量
[0226]1403与屏幕面相当的进深量[0227]1404推荐进深量
[0228]1405推荐突出量
[0229]1406进深量的平均值
【权利要求】
1.一种多视点图像生成装置，生成对裸眼立体视觉显示器的多视点图像，其特征在于， 具备: 图像取得部，取得左右二视点的图像； 视差计算部，根据所述左右二视点的图像，算出左右二视点间的视差量； 显示器特性存储部，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值； 视差解析部，使用所述裸眼立体视觉显示器特性，调整所述视差计算部算出的视差量; 多视点图像生成部，使用通过所述视差解析部调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像； 视点合成部，合成所述多视点图像；以及 输出部，对裸眼立体视觉显示器输出通过所述视点合成部的合成而得到的合成图像。
2.根据权利要求1所述的多视点图像生成装置，其特征在于， 所述视差解析部还根据处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，局部地调整使用所述裸眼立体视觉显示器特性调整视差量后的视差量。
3.根据权利要求2所述的多视点图像生成装置，其特征在于， 所述视差解析部，在处理对象的像素与该处理对象的像素的周边像素之间的视差量之差在规定值以下的情况下，增强该视差量之差， 所述视差解析部，在处理对象的像素与该处理对象的像素的周边像素之间的视差量之差在规定值以上的情况下，减弱该视差量之差。
4.根据权利要求1~3中任一项所述的多视点图像生成装置，其特征在于， 所述视差解析部调整所述视差量，以使所述视差计算部算出的视差量中处于上位X%的视差量和处于下位Y%的视差量收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围。
5.根据权利要求4所述的多视点图像生成装置，其特征在于， 所述视差解析部根据具有O附近的视差量的像素的数量，使所述Χ%和Υ%的值变化。
6.根据权利要求4所述的多视点图像生成装置，其特征在于， 所述视差解析部根据所述左右二视点的图像中的、一方或双方图像中的帧间的运动量，使所述x%和y%的值变化。
7.根据权利要求1~6中任一项所述的多视点图像生成装置，其特征在于， 所述视差解析部调整所述视差量，以使所述视差计算部算出的视差量的最大值和最小值收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围。
8.根据权利要求1~7中任一项所述的多视点图像生成装置，其特征在于， 所述图像取得部取得将所述左右二视点的图像显示在一般立体视觉显示器上时假定的第I串扰量， 所述视差解析部比较在所述显示器特性存储部中存储的裸眼立体视觉显示器的串扰量即第2串扰量、与所述第I串扰量，根据该串扰量之比，调整所述视差量。
9.根据权利要求1~8中任一项所述的多视点图像生成装置，其特征在于， 所述视差解析部求出以 使所述视差计算部算出的视差量中处于上位Χ%的视差量和处于下位Y%的视差量收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围的方式、使视差量为规定倍数时的倍率， 所述多视点图像生成部使用所述视差解析部求出的所述倍率，选择将所述左右二视点的图像作为多视点图像的一部分而采用的多个多视点图像生成模式，使用选择出的多视点图像生成模式生成多视点图像。
10.根据权利要求9所述的多视点图像生成装置，其特征在于， 所述多视点图像生成部参照视听者的优势眼信息，选择多视点图像生成模式，以使得向多视点图像中的、与视听者的优势眼相应的视点图像更多地分配所述左右二视点的图像。
11.根据权利要求1~10中任一项所述的多视点图像生成装置，其特征在于， 所述视差解析部将所述视差计算部算出的视差量的值为O附近的像素群的重心位置设定为感兴趣区域的中心点，根据该感兴趣区域的中心点与处理对象的像素之间的距离，局部地调整视差量。
12.—种多视点图像生成装置，生成对裸眼立体视觉显示器的多视点图像，其特征在于， 具备: 图像取得部，取得左右二视点的图像； 进深图像取得部，取得表示所述左右二视点的图像中的各个像素的进深的进深图像；显示器特性存储部，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值；` 视差解析部，使用所述裸眼立体视觉显示器特性，调整由所述进深图像所示的进深量确定的所述左右二视点的图像间的视差量； 多视点图像生成部，使用通过所述视差解析部调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像； 视点合成部，合成所述多视点图像；以及 输出部，对裸眼立体视觉显示器输出通过所述视点合成部的合成而得到的合成图像。
13.根据权利要求12所述的多视点图像生成装置，其特征在于， 所述视差解析部还根据处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，局部地调整使用所述裸眼立体视觉显示器特性调整视差量后的视差量。
14.根据权利要求12或13所述的多视点图像生成装置，其特征在于， 所述视差解析部调整视差量，以使由所述进深图像所示的进深量确定的视差量中处于上位Χ%的视差量和处于下位Υ%的视差量收敛于所述裸眼立体视觉显示器的视差量的推荐值的范围。
15.一种多视点图像生成装置，生成对裸眼立体视觉显示器的多视点图像，其特征在于， 具备: 图像取得部，取得左右二视点的图像； 视差计算部，根据所述左右二视点的图像，算出左右二视点间的视差量； 显示器特性存储部，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值； 视差解析部，使用所述裸眼立体视觉显示器特性、和处理对象的像素与该处理对象的像素的周边像素之间的视差量之差，调整所述视差计算部算出的视差量； 多视点图像生成部，使用通过所述视差解析部调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像； 视点合成部，合成所述多视点图像；以及 输出部，对裸眼立体视觉显示器输出通过所述视点合成部的合成而得到的合成图像。
16.一种多视点图像生成方法，生成对裸眼立体视觉显示器的多视点图像，其特征在 于， 包含以下步骤: 图像取得步骤，取得左右二视点的图像； 视差量算出步骤，根据所述左右二视点的图像，算出左右二视点间的视差量； 显示器特性存储步骤，存储裸眼立体视觉显示器特性，即裸眼立体视觉显示器的串扰量或裸眼立体视觉显示器的视差量的推荐值； 视差量调整步骤，使用所述裸眼立体视觉显示器特性，调整所述视差量算出步骤算出的视差量； 多视点图像生成步骤，使用通过所述视差量调整步骤调整后的视差量，使所述左右二视点的图像的各像素移位，从而生成多视点图像； 视点合成步骤，合成所述多视点图像；以及 输出步骤，对裸眼立体视觉显示器输出通过所述视点合成步骤的合成而得到的合成图像。
【文档编号】G02B27/22GK103636200SQ201280030116
【公开日】2014年3月12日 申请日期:2012年6月19日 优先权日:2011年6月20日
【发明者】石上智英 申请人:松下电器产业株式会社