专利名称：立体图像生成方法、立体图像生成装置和具备该装置的显示装置的制作方法
技术领域：
本发明涉及立体图像生成方法，特别涉及从平面(二维)图像生成能立体观看的立体图像的方法、其生成装置和具备该装置的显示装置。
背景技术：
近年，3D电视装置等能进行立体观看的显示装置被大量销售。该3D电视装置基于预先构成为能进行立体显示的3D电影等视频源来进行立体显示。但是在一般的电视广播中，提供未构成为能进行立体显示的二维图像(平面图像)，因此，期望从该平面图像生成能立体显示的立体图像。将平面图像转换为立体图像的方法，以往存在各种方法，例如在日本特开2002 -245439号公报中，公开了根据由单眼相机取得的I张浓淡图像快速地求出拍照对象的立体形状的方法。另外，在日本特开2010 - 92283号公报中，公开了根据由内窥镜取得的I张图像生成能立体观看的立体图像的方法。现有技术文献专利文献专利文献1:日本特开2002 - 245439号公报专利文献2:日本特开2010 - 92283号公报
发明内容
发明要解决的问题但是，根据日本特开2002 - 245439号公报所公开的方法，预先需要照明光的方向、拍照对象的反射率等信息，另外，用于算出深度信息的运算量变多，因此处理费时。在该方面，根据日本特开2010 - 92283号公报所公开的方法，预先不需要照明光的方向、拍照对象的反射率等信息，但基于图像的亮度算出深度信息，因此同样地运算量变多而处理费时。另外，根据包括这些方法的现有的方法，一般为了产生视差而将用于能立体观看的左眼用图像和右眼用图像所包含的拍照对象的位置左右偏移。因此，在例如3D电视装置等利用交替地显示左眼用图像和右眼用图像且阻挡使用者即视听者的一个眼睛的视野的主动式光闸装置来将上述图像送给对应的眼睛的构成的显示装置中，快速地切换来交替显示上述左眼用图像和右眼用图像，因此，没有使用主动式光闸装置(非使用者)的视听者看到双重(错开)的图像。此外，该现象在同时显示左眼用图像和右眼用图像而得到立体观看的方法(例如交差法等)中也是大致同样的。而且，根据上述现有的方法，使用主动式光闸装置的视听者本身也多看到双重(错开)的图像。当然只要进行从平面图像向立体图像的理想的转换，就不应看到双重的图像，但将平面图像中隐藏的部分在立体图像中补充为能看到几乎是不可能的，另外，实际上多发生以下现象:被左右偏移的图像看上去不是立体的，而是简单双重的。因此，本发明的目的在于提供不需要用于算出深度信息的运算，即使显示左眼用图像和右眼用图像也不会看到双重或难以看到双重的立体图像的生成方法、立体图像生成装置和具备该装置的显示装置。用于解决问题的方案本发明的第I方面是基于I个以上的输入图像生成能立体观看的图像的立体图像生成方法，其特征在于，具备:亮度梯度算出步骤，算出在将终点设为上述输入图像所包含的入眼像素、将起点设为与上述入眼像素相邻或接近的像素时的从设为上述起点的像素向上述入眼像素的亮度梯度，上述起点和上述终点决定亮度梯度算出方向，上述亮度梯度算出方向对应于从应进行立体观看的使用者的一个眼睛到另一个眼睛的方向；和亮度校正图像生成步骤，进行对上述入眼像素的亮度加上与上述亮度梯度的正负相同符号的校正量的第I校正和对上述入眼像素的亮度加上与上述亮度梯度的正负相反符号的校正量的第2校正中的至少一种校正，由此相对于上述输入图像生成I个或2个校正了亮度的图像，在亮度校正图像生成步骤中，将通过上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过上述第2校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。本发明的第2方面的特征在于，在本发明的第I方面中，在上述亮度校正图像生成步骤中，以上述亮度梯度的绝对值越大，则上述校正量的绝对值越大的方式设定上述校正量。本发明的第3方面的特征在于，在本发明的第2方面中，在上述亮度校正图像生成步骤中，在上述亮度梯度的绝对值是规定阈值以上的情况下，使上述输入图像的边缘部分包含上述入眼像素，将上述校正量设为零。本发明的第4方面是基于I个以上的输入图像生成能立体观看的图像的立体图像生成装置，其特征在于，具备:梯度算出部，其算出在将终点设为上述输入图像所包含的入眼像素、将起点设为与上述入眼像素相邻或接近的像素时的从设为上述起点的像素向上述入眼像素的亮度梯度，上述起点和上述终点决定亮度梯度算出方向，上述亮度梯度算出方向对应于从应进行立体观看的使用者的一个眼睛到另一个眼睛的方向；和亮度校正图像生成部，其进行对上述入眼像素的亮度加上与上述亮度梯度的正负相同符号的校正量的第I校正和对上述入眼像素的亮度加上与上述亮度梯度的正负相反符号的校正量的第2校正中的至少一种校正，由此相对于上述输入图像生成I个或2个校正了亮度的图像，亮度校正图像生成部将通过上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过上述第2校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。本发明的第5方面的特征在于，在本发明的第4方面中，上述亮度校正图像生成部仅进行上述第I校正和第2校正中的一种校正，由此生成校正了亮度的I个图像。本发明的第6方面的特征在于，在本发明的第4方面中，上述输入图像是能立体观看的图像，包含应送给上述使用者的上述另一个眼睛的第I输入图像和应送给上述使用者的上述一个眼睛的第2输入图像，亮度校正图像生成部在进一步增强立体观看上述输入图像时得到的立体感的情况下，将通过对上述第I输入图像进行的上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述第I输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过对上述第2输入图像进行的上述第2校正得到的校正了亮度的图像或不生成该图像时将上述第2输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。本发明的第7方面的特征在于，在本发明的第6方面中，亮度校正图像生成部在进一步减弱立体观看上述输入图像时得到的立体感的情况下，将通过对上述第I输入图像进行的上述第2校正得到的校正了亮度的图像或在不生成该图像的情况下将上述第I输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过对上述第2输入图像进行的上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述第2输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。本发明的第8方面的特征在于，在本发明的第4方面中，上述亮度梯度算出部基于包含上述入眼像素和与该入眼像素相邻或接近的像素的入眼像素组的亮度和包含作为上述起点的像素的应成为上述起点的像素组即起点像素组的亮度，算出上述亮度梯度。本发明的第9方面的特征在于，在本发明的第8方面中，上述亮度梯度算出部将第I相加值与第2相加值的差分值设为上述亮度梯度，上述第I相加值是将包含上述入眼像素和与该入眼像素在与上述亮度梯度算出方向垂直的方向相邻或接近的多个像素的入眼像素组的亮度相加而得到的值，上述第2相加值是将在上述亮度梯度算出方向相邻或接近并且沿着上述垂直方向相互相邻或接近的起点像素组的亮度相加而得到的值。本发明的第10方面的特征在于，在本发明的第4方面中，亮度校正图像生成部以上述亮度梯度的绝对值越大，则上述校正量的绝对值越大的方式设定上述校正量。本发明的第11方面的特征在于，在本发明的第4方面中，亮度校正图像生成部将上述校正量的绝对值限制为规定值以下的大小。本发明的第12方面的特征在于，在本发明的第4方面中，亮度校正图像生成部在上述输入图像的边缘部分包含上述入眼像素的情况下，将上述校正量设为零。本发明的第13方面的特征在于，在本发明的第12方面中，亮度校正图像生成部在上述亮度梯度的绝对值是规定阈值以上的情况下，使上述边缘部分包含上述入眼像素，将上述校正量设为零。本发明的第14方面的特征在于，在本发明的第4方面中，亮度梯度算出部基于从外部送来的从上述使用者的一个眼睛到另一个眼睛的方向信息决定上述亮度梯度算出方向，在所决定的该亮度梯度算出方向算出上述亮度梯度。本发明的第15方面是立体图像显示装置，其具备:本发明的第4方面所述的立体图像生成装置；显示部，其交替地显示应送给上述使用者的上述一个眼睛的图像和送给上述另一个眼睛的图像；以及光闸部，其在上述显示部中显示应送给上述一个眼睛的图像的情况下，以该图像不被上述使用者的另一个眼睛看到的方式进行遮挡，在显示应送给上述另一个眼睛的图像的情况下，以该图像不被上述使用者的一个眼睛看到的方式进行遮挡。发明效果根据上述第I方面，通过仅算出入眼像素和起点像素之间的亮度梯度的简单的运算，而不需要用于算出深度信息的复杂运算，就能生成得到充分的立体感的立体图像。另夕卜，仅通过进行亮度校正而不改变像素的位置，因此，即使(例如交替地)显示输出图像(典型的是左眼用图像和右眼用图像)，也不会看到双重的图像或难以看到双重的图像。而且，由此，在例如帧连续型的3D电视装置等中，也能使没有装配主动式光闸装置者(非使用者的视听者)简单地识别图像的内容而不会带给其不适感。根据上述第2方面，以亮度梯度的绝对值越大，则校正量的绝对值越大的方式设定校正量，因此，结果是能增强亮度较大地变化部分的立体感。根据上述第3方面，在亮度梯度的绝对值是规定阈值以上的情况下，使边缘部分包含入眼像素而将校正量设为零，因此，能避免边缘附近的亮度变化异常地变大，另外，能抑制或消除在边缘附近2个输出图像(典型的是右眼用图像和左眼用图像)的(亮度的)差异。由此，能可靠地防止使用者看到立体图像时图像看上去是双重的。而且，在能将为了算出校正量而预先算出的亮度梯度用于边缘检测方面，能用准确且简单的运算进行上述边缘检测。根据上述第4方面，能在立体图像生成装置中起到与上述本发明的第I方面的效果同样的效果。根据上述第5方面，仅进行第I校正和第2校正中的一种校正，因此，与进行两者的情况相比，能通过更简单的运算，不需要用于算出深度信息的复杂的运算，生成得到充分的立体感的立体图像。根据上述第6方面，能通过简单的运算，不需要用于算出深度信息的复杂的运算，根据第I输入图像和第2输入图像(典型的是右眼用图像和左眼用图像)生成进一步增强了立体感的立体图像。另外，能通过增大校正量的绝对值来增强立体感，因此，能任意地设定增强立体感的程度。根据上述第7方面，能通过简单的运算，根据第I输入图像和第2输入图像(典型的是右眼用图像和左眼用图像)生成进一步增强了立体感的立体图像或相反地减弱了立体感的立体图像。另外，能通过增大校正量的绝对值来增强立体感，通过减小校正量的绝对值来减弱立体感，因此，能任意地设定增强立体感的程度或减弱立体感的程度。根据上述第8方面，基于入眼像素组的亮度和起点像素组的亮度算出亮度梯度，因此，与将I个入眼像素设为终点、将I个起点像素设为起点的情况相比，在像素值异常的情况，即存在噪声的影响的情况下，能降低该影响。根据上述第9方面，把将入眼像素组的亮度相加所得的第I相加值与将起点像素组的亮度相加所得的第2相加值的差分值作为亮度梯度而算出，因此，能通过使噪声的影响平均化来降低噪声的影响，另外，能以简单的运算进行亮度梯度的算出。根据上述第10方面，以亮度梯度的绝对值越大，则校正量的绝对值越大的方式设定校正量，因此，与上述第2方面的效果同样地，结果是能增强亮度较大地变化的部分的立体感。根据上述第11方面，将校正量的绝对值限制在规定值以下的大小，因此，能防止由校正量的绝对值过大造成的异常(成为输出图像)的亮度校正，能进行适当的亮度校正。根据上述第12方面，在输入图像的边缘部分包含入眼像素的情况下，将校正量设为零，因此，能避免边缘附近的亮度变化异常地变大，另外，能抑制乃至消除在边缘附近2个输出图像(典型的是右眼用图像和左眼用图像)的(亮度的)差异。因此，能可靠地防止使用者看到立体图像时图像看上去是双重的。根据上述第13方面，在亮度梯度的绝对值是规定阈值以上的情况下，使边缘部分包含入眼像素而将校正量设为零，因此，能将为了算出校正量而预先算出的亮度梯度用于边缘检测，能以准确且简单的运算进行边缘检测。根据上述第14方面，基于从外部送来的从使用者的一个眼睛到另一个眼睛的方向信息决定亮度梯度算出方向，因此，典型的是能生成与使用者的面部的倾斜度相应的、适合相对于立体图像的实际视差方向(具有立体感)的立体图像。根据上述第15方面，能在立体图像显示装置中起到与上述本发明的第4方面的效果同样的效果。
图1是示出本发明的第I实施方式的立体图像生成装置的构成的框图。图2是示出在上述实施方式中，构成来自外部的平面图像的像素中的在左右方向相邻的像素的一部分的位置与亮度的关系的图。图3是示出图2所示的像素的位置与亮度梯度的关系的图。图4是示出通过校正图2所示的一连串入眼像素的亮度而得到的右眼用图像所对应的像素组的位置与亮度的关系的图。图5是示出通过校正图2所示的一连串入眼像素的亮度而得到的左眼用图像所对应的像素组的位置与亮度的关系的图。图6是示出本发明的第2实施方式的立体图像生成装置的构成的框图。图7是示出本发明的第3实施方式的立体图像生成装置的构成的框图。图8是示出在本发明的第4实施方式中，入眼像素的周围的像素与视频信号所包含的像素数据的对应关系的图。图9是示出在本发明的第6实施方式中，通过校正图2所示的入眼像素组的亮度而得到的右眼用图像所对应的像素组的位置与亮度的关系的图。图10是示出在上述实施方式中得到的左眼用图像所对应的像素组的位置与亮度的关系的图。图11是示出本发明的第7实施方式的立体图像生成装置的构成的框图。图12是示出上述实施方式的亮度梯度算出部的详细构成的框图。
具体实施例方式以下，参照
本发明的各实施方式。<1.第I实施方式><1.1整体构成和动作>图1是示出本发明的第I实施方式的立体图像生成装置的构成的框图。如图1所示，该立体图像生成装置10具备:从外部接收包含平面图像(二维图像)的视频信号Dp并算出该平面图像的相邻像素的亮度梯度的亮度梯度算出部11 ;基于上述平面图像和亮度梯度生成右眼用图像DR的右眼用图像生成部12和生成左眼用图像DL的左眼用图像生成部13 ；以及根据右眼用图像DR和左眼用图像DL生成立体图像信号Da的立体图像信号生成部
15。此外，如下面所说明的，在本发明中图像的时间上的变化与立体图像的生成没有关系，因此，上述视频信号Dp在此是按照每I帧期间变化的动态图像，但也可以是静止图像。由上述立体图像信号生成部15生成的立体图像信号Da被送给3D电视装置20。此外，该立体图像生成装置10作为不同于3D电视装置20的装置进行说明，但也可以内置于3D电视装置20。3D电视装置20具备:基于上述立体图像信号Da，将右眼用图像DR和左眼用图像DL按每规定时间(典型地是1/2帧期间)交替地进行显示的液晶显示装置21 ;和遮挡使用者U的右眼或左眼的视野，使得将右眼用图像DR或左眼用图像DL交替地送给使用者(视听者)U所对应的眼睛的眼镜型主动式光闸装置22。在图1中，示出液晶显示装置21显示右眼用图像DR，主动式光闸装置22通过遮挡使用者U的左眼的视野来将右眼用图像DR送给使用者的右眼的例子。此外，使用了该主动式光闸装置的3D电视装置的构成是公知的，因此，省略详细说明。另外，只要是能进行立体显示的显示装置即可，也可以采用使用主动式光闸装置的上述方式(也称为帧连续方式)以外的方式，例如柱状透镜方式、视差屏方式等公知的立体显示方式。在采用了这些方式的情况下，同时显示右眼用图像DR和左眼用图像DL。下面，详细地说明立体图像信号生成部15的构成和动作。图1所示的亮度梯度算出部11算出构成从外部接收的视频信号Dp所包含的(I帧量的)平面图像(二维图像)的相邻或接近的像素间的亮度梯度，即某像素(以下，称为“入眼像素”)的亮度从与该像素的(在此)左侧相邻的像素(以下，称为“左像素”)的亮度发生了多少变化。此外，该亮度梯度是严格地示出相对于像素间的距离的亮度的变化量的所谓的亮度函数的微分值，在此设为表示将左右相邻的2像素间的距离设为I而与此相对的亮度的变化比例的值。另外，在此将从左向右的方向称为亮度梯度算出方向。
具体地，亮度梯度算出部11包含将从外部接收的视频信号Dp (的亮度值)存储I像素的量的左像素亮度存储部，将从接收的入眼像素的亮度值减去左像素亮度存储部所存储的亮度值所得的值作为亮度梯度而算出。此外，该值严格地说是亮度函数的微分值即亮度梯度的比例值，因此，需要进一步将该值除以左像素和入眼像素的实际距离，但在此，如上所述将相邻的2像素间的距离设为1，将上述值作为亮度梯度进行说明。此外，如后所述，在实际的计算中，无需将2像素间的距离设为I。右眼用图像生成部12进行在从亮度梯度算出部11接收的亮度梯度为正的情况下增加入眼像素的亮度，在亮度梯度为负的情况下减小入眼像素的亮度的亮度校正，将其作为右眼用图像DR (的像素值)而输出。该亮度的增加量和减小量可以是恒定的。不过优选该亮度的增加量和减小量以亮度梯度的绝对值越大则其绝对值越大的方式变化。如后所述，其原因是可得到自然的立体感。因此，上述增加量和减小量可以是例如对亮度梯度分别乘以规定常数所得的值，也可以是基于预先规定的算式或规定值的对应关系的表而得到的值。该增加量和减小量作为共用的校正量，还可以如后所述通过对亮度梯度乘以常数来求出。在该构成中，上述增加量、上述减小量分别相当于亮度梯度为正时的校正量、亮度梯度为负时的校正量。另外，左眼用图像生成部13进行在从亮度梯度算出部11接收的亮度梯度为正的情况下减小入眼像素的亮度，在亮度梯度为负的情况下增加入眼像素的亮度的亮度校正，将其作为左眼用图像DL (的像素值)而输出。在此，为了便于说明，该亮度的增加量和减小量的绝对值(校正量)设为与右眼用图像生成部12的上述增加量和减小量的绝对值(校正量)相同的值。即，如上所述，在右眼用图像生成部12进行增加亮度的校正的情况下，左眼用图像生成部13进行减小亮度的校正，不过，该增加量的绝对值(右眼用图像生成部12的校正量)和减小量的绝对值(左眼用图像生成部13的校正量)相对于向右方的视差量(偏移量)和向左方的视差量(偏移量)不是处于唯一的对应关系。因此，为了得到最佳的立体感，优选根据规定计算或经验规律求出上述校正量，但在此为了便于说明，设为相同的值。这样，左眼用图像生成部13相对于右眼用图像生成部12的亮度校正动作，进行切换增加和减小的亮度校正动作。立体图像信号生成部15生成立体图像信号Da，上述立体图像信号Da构成为按每规定时间(典型地是1/2帧期间)交替地包含从右眼用图像生成部12输出的右眼用图像DR和从左眼用图像生成部13输出的左眼用图像DL。如上所述，该立体图像信号Da由3D电视装置20重放，被使用者U识别为立体图像(进行立体观看)。此外，如上的立体图像生成装置10的功能由包含与上述各构成要素对应的规定的逻辑电路的硬件来实现，但其功能的一部分或全部可以由软件来实现。即在具备CPU(Central Processing Unit:中央处理器)、半导体储存器、硬盘等存储部的一般的个人计算机中，安装操作系统、规定的应用程序/软件等，由此，与上述各构成要素对应的功能可以由软件来实现。下面，参照图2到图5具体地说明立体图像生成装置10的上述亮度校正动作。<1.2立体图像生成装置的亮度校正动作>图2是示出构成来自外部的平面图像的像素中的左右相邻的像素的一部分的位置与亮度的关系的图。另外，图3是示出图2所示的像素的位置与亮度梯度的关系的图。此夕卜，以下，将这些图所示的像素称为“一连串入眼像素”，一连串入眼像素所包含的各像素左右相邻，因此，其Y坐标相同，X坐标与图中所示的像素位置一致。如图2和图3所示，一连串入眼像素中的到位置Xl为止的像素的亮度是恒定的(亮度梯度为O)。之后，从位置Xl起的像素的亮度急剧降低并立刻上升。并且，在位置x2，像素的亮度从上升(变为恒定后)转为下降(即亮度梯度从正值经过O转为负值)。之后，像素的亮度持续下降后，急剧上升，位置x3起的像素的亮度变为恒定(亮度梯度为O)。亮度梯度算出部11按这样的方式，在一连串入眼像素中，从左向右逐个地改变X坐标，从而逐个地选择入眼像素，算出所选择的入眼像素的亮度梯度。如上所述，算出的亮度梯度被送给右眼用图像生成部12和左眼用图像生成部13，校正该入眼像素的亮度。具体地，如图4或图5所示来校正图2和图3所示的一连串入眼像素的亮度。图4是示出通过校正图2所示的一连串入眼像素的亮度而得到的右眼用图像所对应的像素组的位置与亮度的关系的图。此外，图中的虚线是图2所示到一连串入眼像素。将图4与图2比较可知，到亮度没有变化(亮度梯度为O)的位置Xl为止的入眼像素的亮度不被校正而没有变化。之后，到亮度增加的位置x2为止的入眼像素的亮度以增加的方式被校正，从位置x2起亮度减小的入眼像素的亮度以减小的方式被校正。另外，从亮度没有变化(亮度梯度为O)的位置x3起的入眼像素的亮度不被校正而没有变化。图5是示出通过校正图2所示的一连串入眼像素的亮度而得到的左眼用图像所对应的像素组的位置与亮度的关系的图。此外，图中的虚线是图2所示的一连串入眼像素。将图5与图2比较可知，到亮度没有变化(亮度梯度为O)的位置Xl为止的入眼像素的亮度不被校正而没有变化。之后，到亮度增加的位置x2为止的入眼像素的亮度以减小的方式被校正，从位置x2起亮度减小的入眼像素的亮度以增加的方式被校正。另外，从亮度没有变化(亮度梯度为O)的位置x3起的入眼像素的亮度不被校正而没有变化。此外，图4和图5所示的校正后的入眼像素的亮度值实际上以超过规定的最大值或低于规定的最小值的方式进行所谓的限幅校正，而且在亮度梯度的绝对值超过规定的边缘检测阈值的情况下不进行校正。该亮度校正动作在后述第6实施方式中进行详细说明，但在此为了简便而省略说明。如上所述，图4所示的校正后的右眼用图像DR所包含的一连串入眼像素的亮度与图2所示的校正前的一连串入眼像素的亮度相比，分布以整体偏向左侧的方式变化，图5所示的校正后的左眼用图像DL所包含的一连串入眼像素的亮度与图2所示的校正前的一连串入眼像素的亮度相比，分布以整体偏向右侧的方式变化。因此，右眼用图像DR和左眼用图像DL所对应的像素的位置即使没有变化，因为像素整体的亮度分布发生变化，所以产生使用者U的双眼的视差或相当于视差的差，由此也能进行立体观看。另外，右眼用图像DR和左眼用图像DL所对应的像素的位置没有变化，因此，即使在液晶显示装置21中(短时间地)交替地显示，没有装配主动式光闸装置22者也看不到双重的图像或(即使存在亮度分布的差)也难以看到双重的图像。另外，不是如现有的构成那样通过左右地改变像素的位置来产生视差，因此，根据本实施方式的构成，即使是装配主动式光闸装置22者，也看不到双重的图像或(即使存在亮度分布的差也)难以看到双重的图像。
在此，如上所述，若在右眼用图像DR和左眼用图像DL中在亮度的分布中产生视差(或与其相当的差)，则能进行立体观看，但根据例如使平面图像的亮度分布在左右方向分别移动规定距离来生成右眼用图像DR和左眼用图像DL的构成，不能说一定会得到充分的立体感。根据该构成而得不到充分的立体感可以考虑与以下相关:基于在亮度的分布中产生差而感到的物体的立体感尤其在球面等带有圆形的凸曲面的情况下会被较强地感受到。例如光从左侧方向，典型地是左上方向(的光源)到达半球状的凸曲面时，一般在该曲面的左上产生较强地反射(具体地是镜面反射和扩散反射)的部分，即高亮度部分。从左右眼看包含该高亮度部分的上述曲面时，不仅是高亮度部分的位置(亮度分布)向左右方向偏移，而且从左眼看到的高亮度部分较宽，从右眼看到的高亮度部分较窄。立体图像生成装置10能通过简单的运算(虚拟地)实现用左右眼看到上述(虚拟的)照明环境下的曲面时的亮度分布的状态，因此，得到在带圆形的凸曲面所感到的较强的立体感。另外，在本实施方式的构成中，高亮度部分中的峰值亮度附近的部分是亮度梯度的符号从正转为负的部分，即亮度梯度为O附近的部分，因此，该部分不进行亮度校正，或亮度的校正量极小。因此，该峰值亮度部分不向左右偏移，因此，可以说，根据这一点，装配主动式光闸装置22者也难以看到双重的图像。<1.3第I实施方式的效果>如上所述，本实施方式的立体图像生成装置10仅通过算出相邻的像素间的亮度梯度的简单的运算，而不需要用于算出深度信息的复杂的运算，就能从一张平面图像生成得到充分的立体感的立体图像。另外，不改变像素的位置，因此，即使(典型地是交替地)显示左眼用图像和右眼用图像，也能看不到双重的图像或难以看到双重的图像。而且，由此，典型地在帧连续型的3D电视装置等中，也能使没有装配主动式光闸装置22者(非使用者的视听者)简单地识别图像的内容而不会带给其不适感。<1.4第I实施方式的变形例>本实施方式的亮度梯度算出部11在从左像素向入眼像素的方向，即亮度梯度算出方向算出示出其亮度的变化比例的亮度梯度，但也可以将从右像素向入眼像素的方向作为亮度梯度算出方向来算出示出其亮度的变化比例的亮度梯度。根据该构成，亮度梯度算出部11包含将从外部接收的视频信号Dp (的亮度值)存储I像素的量的右像素亮度存储部。另外，根据该构成，亮度梯度算出方向与第I实施方式的情况相反，因此，交换地构成右眼用图像生成部12和左眼用图像生成部13。即，右眼用图像生成部12进行在亮度梯度为正的情况下减小入眼像素的亮度，在亮度梯度为负的情况下增加入眼像素的亮度的亮度校正，将其作为右眼用图像DR (的像素值)而输出。相反地，左眼用图像生成部13进行在亮度梯度为正的情况下增加入眼像素的亮度，在亮度梯度为负的情况下减小入眼像素的亮度的亮度校正，将其作为左眼用图像DL (的像素值)而输出。这样的话，看到上述曲面时，从左眼看到的高亮度部分较窄，从右眼看到的高亮度部分较宽，与第I实施方式的情况相反地，得到与实际的光源位于右上时相同的立体感。此外，通过该变形例得到的立体感的程度与通过第I实施方式的构成得到的立体感的程度完全相同。但是一般而言，拍摄图像的照明光源被置于左上的情况较多，因此，可以说第I实施方式的构成与原来的平面图像的实际的照明光源位置一致的可能性较高，在这方面也可以说与上述变形例的构成相比是优选的。另外，还可以考虑基于图像内容、使用者的操作输入等，通过切换第I实施方式的构成及其变形例的构成能将(虚拟的)照明光源的位置切换为左上情况和右上情况的构成。<2.第2实施方式>< 2.1整体构成和动作>图6是示出本发明的第2实施方式的立体图像生成装置的构成的框图。如图6所示，该立体图像生成装置30具备:从外部接收平面图像(二维图像)Dp并算出亮度梯度、进行与第I实施方式的亮度梯度算出部11同样的动作的亮度梯度算出部31 ;基于上述平面图像Dp和亮度梯度生成右眼用图像DR、进行与第I实施方式的右眼用图像生成部12同样的动作的右眼用图像生成部32 ;以及从右眼用图像DR和上述平面图像生成立体图像信号Da的立体图像信号生成部35，省略了第I实施方式的生成左眼用图像DL的左眼用图像生成部13。此外，图6所示的3D电视装置20与图1所示的第I实施方式相同，因此省略说明。< 2.2立体图像生成装置的亮度校正动作>如上所述，在本实施方式中没有生成左眼用图像DL，使用原来的平面图像取代它。这样即使是将原来的平面图像送给左眼的构成，送给右眼的右眼用图像DR也由右眼用图像生成部32进行亮度校正，使其成为平面图像所包含的高亮度部分更窄且偏向右侧的亮度分布的方式。因此，得到与第I实施方式的情况类似的立体感。在此在第I实施方式中，对平面图像在左右方向相等地进行亮度校正，因此，与本实施方式的情况相比，向左右方向的校正量较多(典型的是2倍)。因此，在本实施方式中，为了以成为与第I实施方式的情况相同的距离感(视差量)的方式进行亮度校正，需要增加(典型的是2倍)右眼用图像生成部32的校正量。在该方面，越增大上述校正量的绝对值，则得到越强的立体感(近距离感)，另一方面，与原来的平面图像的背离变大(亮度分布的偏移变大)，因此，有时使从此处看的人产生不协调感的可能性变高。在该方面，可以说第I实施方式的构成更优选。但是，第2实施方式的构成比第I实施方式的构成简单，因此，在能降低装置的制造成本，另外，能减小运算量方面是优选的。此外，在本实施方式中，省略了左眼用图像生成部13，但省略右眼用图像生成部32的构成也是同样的。另外，与第I实施方式的变形例同样地，亮度梯度算出部11可以将从右像素向入眼像素的方向作为亮度梯度算出方向来算出示出其亮度的变化比例的亮度梯度，如上所述，也可以考虑能将(虚拟的)照明光源的位置切换为左上情况和右上情况的构成。<2.3第2实施方式的效果>如上所述，本实施方式的立体图像生成装置30能通过比第I实施方式更简单的运算，不需要用于算出深度信息的复杂的运算，根据一张平面图像生成得到充分的立体感的立体图像。另外，没有改变像素的位置，因此，即使(典型的是交替地)显示左眼用图像和右眼用图像，也能看不到双重的图像或难以看到双重的图像。而且，由此，典型的是在帧连续型的3D电视装置等中，也能使没有装配主动式光闸装置22者简单地识别图像的内容而不会带给其不适感。
< 3.第3实施方式><3.1整体构成和动作>图7是示出本发明的第3实施方式的立体图像生成装置的构成的框图。如图7所示，该立体图像生成装置40具备:从外部接收包含立体图像的立体图像信号DpLR，将其分离为外部右眼用图像DpR和外部左眼用图像DpL而输出的立体图像信号分离部44 ;从该立体图像信号分离部44接收外部右眼用图像DpR并算出右眼用亮度梯度的右眼用亮度梯度算出部46 ;基于上述外部右眼用图像DpR和上述右眼用亮度梯度生成右眼用图像DR的右眼用图像生成部42 ;从立体图像信号分离部44接收外部左眼用图像DpL且算出左眼用亮度梯度的左眼用亮度梯度算出部47 ;基于上述外部左眼用图像DpL和上述左眼用亮度梯度生成左眼用图像DL的左眼用图像生成部43 ；以及根据右眼用图像DR和左眼用图像DL生成立体图像信号Da的立体图像信号生成部45。此外，图7所示的3D电视装置20是与图1所示的第I实施方式相同的构成，因此，省略说明。另外，从外部接收的立体图像信号DpLR可以是采用了与送给3D电视装置20的立体图像信号Da相同的帧连续方式的信号，也可以是采用了在I帧(一张)所接收的图像的右半部分包含外部右眼用图像DpR、在左半部分包含外部左眼用图像DpL的所谓的并排方式，或者将其包含在上半部分或下半部分的所谓的上下方式等的信号。这样，在本实施方式中，不是从外部接收平面图像，而是接收立体图像，因此，即使在完全不进行亮度校正的情况下，也能生成充分地得到立体感的立体图像。但是，从外部得到的立体图像有时立体感过强(距离感过近)、有时立体感过弱(距离感过远)。例如，在利用能取得立体图像的立体照相装置、立体摄像装置等拍摄比较远的人物时，能准确地得到存在比背景靠前的人物的距离感(立体感)，但有时人物看上去平板化(例如看上去像在画板上描绘的人物像那样)，无法得到作为带有圆形的人物的立体感。另外，在立体感过强的情况下，有时发生眼睛疲劳等问题。在这种情况下，本实施方式的立体图像生成装置40能适当地校正来自外部的立体图像的立体感(距离感)。以下，说明其亮度校正动作。< 3.2立体图像生成装置的亮度校正动作>首先，右眼用亮度梯度算出部46与第I实施方式的情况同样地，包含将外部右眼用图像DpR (的亮度值)存储I像素的量的左像素亮度存储部，将从接收的入眼像素的亮度值减去存储于左像素亮度存储部的亮度值所得的值作为右眼用亮度梯度而算出。另外，左眼用亮度梯度算出部47也同样地算出左眼用亮度梯度。下面，如上所述，在因为无法得到使远处的人物像具有圆形的立体感等而希望增强立体感的情况下，右眼用图像生成部42进行在上述右眼用亮度梯度为正的情况下增加上述外部右眼用图像DpR的入眼像素的亮度，在亮度梯度为负的情况下减小上述入眼像素的亮度的亮度校正，将其作为右眼用图像DR (的像素值)而输出。另外，左眼用图像生成部43进行在上述左眼用亮度梯度为正的情况下减小上述外部左眼用图像DpL的入眼像素的亮度，在亮度梯度为负的情况下增加上述入眼像素的亮度的亮度校正，将其作为左眼用图像DL (的像素值)而输出。这样的话，以亮度分布相对于上述外部右眼用图像DpR进一步向右、相对于上述外部左眼用图像DpL进一步向左偏移的方式进行亮度校正，因此，针对立体图像进一步实现与第I实施方式相同的亮度分布状态。因此，来自外部的包含立体图像的立体图像信号DpLR应实现的立体感(距离感)进一步增强。此外，若进一步增大上述校正量(增加量或减小量)的绝对值，则立体感进一步增强，因此，也可以是根据从外部输入的图像的种类(立体图像信号DpLR的内容)、或通过使用者的选择操作等来决定上述校正量的大小的构成。另外，相反地在因为眼睛疲劳等原因而希望减弱(希望取消)立体感的情况下，只要使左眼用图像生成部43和右眼用图像生成部42的亮度校正动作相反即可。这样的话，以亮度分布相对于上述外部右眼用图像DpR向左、相对于上述外部左眼用图像DpL向右偏移的方式进行亮度校正，因此，针对立体图像实现了与第I实施方式相反(方向)的亮度分布状态。因此，来自外部的包含立体图像的立体图像信号DpLR本应实现的立体感(距离感)会减弱。此外，在这种情况下也可以是任意地决定校正量的大小的构成。这样，左眼用图像生成部43和右眼用图像生成部42与第I实施方式的情况同样地，进行相互地切换增加和减小的亮度校正动作，也可以是以下构成:代替上述构成，与第2实施方式同样地，省略右眼用亮度梯度算出部46和右眼用图像生成部42而不进行针对右眼用图像的亮度校正动作，或省略左眼用亮度梯度算出部47和左眼用图像生成部43而不进行针对左眼用图像的亮度校正动作。另外，也可以是以下构成:与第I实施方式的变形例同样地，右眼用亮度梯度算出部46和左眼用亮度梯度算出部47将从右像素向入眼像素的方向作为亮度梯度算出方向而算出示出其变化比例的亮度梯度，如上所述，能将(虚拟的)照明光源的位置切换为左上情况和右上情况。<3.3第3实施方式的效果>如上所述，本实施方式的立体图像生成装置40能通过简单的运算，不需要用于算出深度信息的复杂的运算，生成将立体图像(实现立体图像的右眼用图像和左眼用图像)进一步增强了立体感的立体图像、或相反地减弱了立体感的立体图像。另外，能通过增大校正量的绝对值来增强立体感，通过缩小校正量的绝对值来减弱立体感，因此，能任意地设定增强立体感的程度或减弱立体感的程度。而且与第I实施方式的情况同样地，没有改变像素的位置，因此即使(典型的是交替地)显示左眼用图像和右眼用图像，也看不到双重的图像或难以看到双重的图像。<4.第4实施方式><4.1整体构成和动作>本实施方式的立体图像生成装置的整体构成与图1所示的第I实施方式的立体图像生成装置的构成相同，其动作除了亮度梯度算出部11的动作以外也是相同的，因此，附上与第I实施方式相同的附图标记，省略亮度梯度算出部11以外的各构成要素的说明。以下，说明亮度梯度算出部11的亮度梯度算出动作。<4.2亮度梯度算出部的亮度梯度算出动作>本实施方式的亮度梯度算出部11与第I实施方式的情况不同，算出与包含入眼像素上下的像素的3个像素(以下，也称为“入眼像素组”)和成为用于算出分别朝向该3个像素的亮度梯度的起点的左侧的3个像素(以下，也称为“起点像素组”)之间的3个亮度梯度的平均值相当的值。此外，入眼像素组可以是包含入眼像素上下的任一个像素的2个像素，也可以是与入眼像素(在此是上下地)相邻或接近的多个像素。同样地，起点像素组也只要是(在此是上下地)相邻或接近的多个像素即可。以下，参照图8具体地说明。图8是示出入眼像素周围的像素和视频信号所包含的像素数据的对应关系的图。图8所示的像素数据DOO D22按规定顺序配置在视频信号Dp的规定位置，并且示出液晶显示装置21的显示画面中对应的像素P (0，0) P (2，2)的亮度值(灰度级值)。此外，实际的视频信号Dp包含红色(R)、绿色(G)和蓝色(B)的亮度值，像素P包含分别显示RGB各色的3个子像素，但在此为了便于说明，不考虑上述颜色，设此处的亮度值是该3颜色的平均值或单色显示的亮度值。此外，RGB的亮度的平均值等于明度，因此，即使将本说明书的亮度值置换为包含3个子像素的彩色像素的明度值，也能以同样的构成得到同样的效果。因此，也可以是不以子像素为单位进行亮度校正，而以彩色像素为单位进行明度校正的构成。例如，可以考虑以明度的校正量越大，则越接近白色的方式使RGB的各亮度分别关联起来进行适当地校正的构成等。即使是该校正方式，也能与以彩色像素为单位的亮度校正视为同样。在此将入眼像素设为像素P(l，I),由对应的像素数据Dll所示的亮度值(以下，该值也表示为D11，其它的亮度值也同样地表示)及其上下的亮度值D01，D21、与位于这些入眼像素组的左邻的起点像素组对应的像素数据D00，D10，D20、由亮度梯度算出部11算出的亮度梯度LG成为下式(I)的关系。LG = (D01 + Dll + D21) — (D00 + DlO + D20)…(I)若基于上式(I)求出亮度梯度LG，则得到与包含入眼像素组和其左侧相邻的3个像素的起点像素组的亮度梯度的平均值相当的值(平均值的3倍的值)，因此，如第I实施方式的情况那样，与以例如LG = D21 - D20的方式算出的构成相比，难以受到(传送时、运算时等的)噪声的影响。即，在入眼像素或其左邻的像素由于噪声的影响而成为不同于本来的值的异常的亮度值的情况下，其亮度梯度也成为异常的值，因此，对亮度校正后的图像也产生影响。但是，其上下的像 素和其左邻的像素均相同地受到噪声的影响的可能性较小，因此，能通过求出相当于上述平均值的值来减小噪声的影响。另外，在图像数据的传送时或进行上述运算时发生异常的情况下，多是在像素数据中的I行的量的数据或在其运算中发生异常，因此，能通过参照不同(上下的)行的数据，即，使用相当于上述平均值的值来减小噪声的影响。此外，亮度梯度的平均值其本身是上述亮度梯度LG的1/3的值，但如上所述，此处的亮度梯度严格地说是亮度梯度的比例值，另外，如上所述，亮度校正的亮度的增加量和减小量(为恒定时当然没问题)成为例如设为对亮度梯度乘以规定常数所得的值等与亮度梯度唯一地对应的量，因此，亮度梯度LG也可以是平均值的3倍的值原样。另外，在入眼像素中也可以使用例如进行较大的加权的加权平均值的3倍的值、代表值等通过大体上噪声的影响变小的公知的运算得到的值。另外，与第I实施方式的变形例同样地，也可以将亮度梯度算出方向设为相反的方向。即亮度梯度算出部11也可以算出与从右像素及其上下的像素的亮度向入眼像素及其上下的像素的亮度的变化比例的平均值相当的亮度梯度。另外，如上所述，也可以是能将(虚拟的)照明光源的位置切换为左上情况和右上情况的构成。<4.3第4实施方式的效果>如上所述，本实施方式的立体图像生成装置10能起到与第I实施方式同样的效果，并且能通过使用与上下方向的亮度梯度的平均值相当的值来减小(特别是左右方向的)噪声的影响，通过异常的亮度校正动作来降低应产生的立体图像的异常。另外，还能将本实施方式的构成应用于第2或第3实施方式(或其变形例)的构成。这样的话，能相对于上述效果进一步一并起到第2或第3实施方式的固有效果。<5.第5实施方式><5.1整体构成和动作>本实施方式的立体图像生成装置的整体构成与图1所示的第I实施方式的立体图像生成装置的构成相同，其动作也是除了右眼用图像生成部12和左眼用图像生成部13的亮度校正的增加量和减小量的算出方法不同以外，进行相同的动作，因此，附上与第I实施方式相同的附图标记并省略其说明。以下，说明与第I实施方式不同的、右眼用图像生成部12和左眼用图像生成部13的亮度校正的增加量和减小量的算出方法。< 5.2亮度校正的增加量和减小量的算出动作>本实施方式的右眼用图像生成部12和左眼用图像生成部13在进行基于与亮度梯度LG相应的亮度校正的增加量和减小量(以下，将它们称为校正量)的亮度校正方面和在进行由预先规定的最大值Max和最小值Min带来的限幅校正方面具有特点。此外，在此正值即最大值Max的绝对值和负值即最小值Min的绝对值相等，因此，此处的限幅校正表示将校正量的绝对值限制在规定值以下。首先，将右眼用图像生成部12的入眼像素的校正前的亮度值设为DRpl，将亮度校正后的亮度值设为DR1，将常数设为c (c > O)时，限幅校正前且与亮度梯度LG相应的亮度校正后的亮度值DRl如下式(2)那样求出。
DRl = DRplX (I + LGXc)...(2)这样通过将亮度值DRl与亮度梯度LG对应，在此是加上对亮度梯度LG乘以常数c所得的值来求出。这样若以亮度梯度LG越大则校正量越大的方式进行校正，则在亮度较大地变化的部分(例如高亮度部分的边界附近)，亮度进一步变化，因此，示出高亮度部分的区域变得更宽或更窄，结果是能进一步典型地增强以凸曲面得到的立体感。另外，在亮度变化小或没有变化的部分(例如在高亮度部分中的峰值亮度部分附近、亮度分布状态相同等无法得到立体感的区域)，结果是只产生小的视差(或相当于视差的差)，或没有产生该视差，因此，作为整体立体图像难以看上去是双重的。下面，如上所述求出的亮度值DRl在亮度梯度的符号为正且亮度梯度的值非常大的情况下，有时超过能显示的值，另外，即使在没有超过的情况下，校正量(增加量)有时也过大。同样地，在亮度梯度的符号为负且亮度梯度的值非常小的情况下(即与上述同样地亮度梯度的绝对值非常大的情况下)，有时低于能显示的值，另外，即使在不低于的情况下，校正量(减小量)的绝对值有时也过大。因此，如下式(3a) (3b)那样进行最大值Max和最小值Min的限幅校正。DRl = Min (DRl < Min)…(3a)DRl = Max (DRl > Max)…(3b)此外，在Min ^ DRl ^ Max的情况下，亮度值DRl不通过限幅校正而改变。若这样对亮度值DRl进行限幅校正，则亮度值DRl不会超过最大值Max或低于最小值Min，因此，最终会进行适当的亮度校正。
另外，在此将左眼用图像生成部13的入眼像素的校正前的亮度值设为DLpl，将亮度校正后的亮度值设为DLl，将常数设为c时，限幅校正前且亮度校正后的亮度值DLl如下式(4)那样求出。DLl = DLplX (I —LGXc)...(4) 之后，与用上式(3a) (3b)时同样地,如下式(5a) (5b)那样,进行最大值Max和最小值Min的限幅校正。DLl=Min (DLl < Min)…(5a)DLl=Max (DLl > Max)…(5b)此外,在Min = DLl = Max的情况下,亮度值DLl不改变。在此，上式(2)和上式(4)的常数c可以是恒定值，也可以是与第3实施方式同样地，在希望增强立体感的情况下缩小常数C，在希望减弱立体感的情况下增大常数c的构成。例如，也可以是根据从外部输入的图像的种类(视频信号Dp的内容)、或通过使用者的选择操作等来决定该常数c的构成。另外，与第I实施方式的变形例同样地，也可以是以下构成:亮度梯度算出部11将从右像素向入眼像素的方向作为亮度梯度算出方向来算出示出该亮度的变化比例的亮度梯度，且如上所述，能将(虚拟的)照明光源的位置切换为左上情况和右上情况。此外，亮度梯度算出部11还可以省略与上述亮度梯度相应的亮度校正量的决定和限幅校正中的一种。例如，即使在不进行限幅校正的情况下，若根据亮度梯度，具体地以亮度梯度的绝对值越大则亮度校正量的绝对值越大的方式设定校正量，则也能增强亮度较大地变化的部分的立体感，与和亮度梯度无关系地设定亮度校正量时相比，作为整体能得到更优选的立体感。<5.3第5实施方式的效果>如上所述，本实施方式的立体图像生成装置10起到与第I实施方式相同的效果，并且以亮度梯度的绝对值越大则其绝对值越大的方式决定亮度校正量，由此，结果是能增强亮度较大地变化的部分的立体感，且进行最大值Max和最小值Min的限幅校正，由此能限制校正量的绝对值不会过大而进行适当的亮度校正。另外，还能将本实施方式的构成应用于从第2到第4中的任一个实施方式(或其变形例)的构成。这样的话，能相对于上述效果进一步一并起到从第2到第4中的任一个实施方式的固有效果。<6.第6实施方式><6.1整体构成和动作>本实施方式的立体图像生成装置的整体构成与图1所示的第I实施方式的立体图像生成装置的构成相同，其动作也是除了右眼用图像生成部12和左眼用图像生成部13的亮度校正的增加量和减小量的算出方法不同以外，进行相同的动作，因此，附上与第I实施方式相同的附图标记，省略上述算出方法以外的各构成要素的说明。另外，在本实施方式中，进行第5实施方式的限幅校正，并且进一步一并进行由图像的边缘检测带来的亮度校正动作的停止(即将校正量设为零的动作)。以下，说明右眼用图像生成部12和左眼用图像生成部13的亮度校正动作。<6.2亮度校正的校正量的算出动作>
本实施方式的右眼用图像生成部12和左眼用图像生成部13在包含限幅校正的第5实施方式的亮度校正动作的基础上，还进行在亮度梯度LG的绝对值I LG I超过边缘检测阈值Eth的情况下将校正量设为零来停止(省略)亮度校正的动作。这样进行停止亮度校正的动作是为了避免当原样进行亮度校正动作时，边缘附近的亮度变化异常地变大，在应生成的立体图像中产生异常这一问题。参照图9和图10说明该问题。图9是示出在不进行基于上述边缘检测的停止动作的情况下，通过校正图2所示的一连串入眼像素的亮度得到的右眼用图像所对应的像素组的位置与亮度的关系的图。另夕卜，图10是示出通过同样的亮度校正得到的左眼用图像所对应的像素组的位置与亮度的关系的图。此外，图中的虚线是图2所示一连串入眼像素。在该图9所示的区域AR1、AR2中，不进行停止动作且原样进行亮度校正，由此亮度变化异常地变大。该异常是因为以下的原因而产生的。即，已知在图像的边缘附近的亮度梯度非常大。该亮度梯度非常大时，如参照上式(2 )可知的那样，其原因是校正量变大且校正后的亮度值较大地(严格地说以不超过最大值且不低于最小值的限度)变化。另外，亮度变化的异常在左眼用图像中也同样地发生，而且如图10所示，成为向相反方向的变化。在图10中，示出在不进行基于上述边缘检测的停止动作的情况下，通过校正图2所示的一连串入眼像素的亮度而得到的左眼用图像所对应的像素组的位置与亮度的关系。在该图10所示的区域AL1、AL2中，不进行停止动作且原样地进行亮度校正，由此由于上述原因，亮度变化异常地变大。而且，从比较图9和图10可知，异常部分的亮度的变化方向成为在左右亮度差拉开的相反方向。因此，使用者U利用主动式光闸装置22以立体图像来观看上述2个图像时，与上述区域对应的图像部分的亮度差非常醒目，其结果是，图像的异常更醒目。因此，右眼用图像生成部12在如上所述亮度变化异常地大的情况下，具体地在亮度梯度LG的绝对值I LG I超过边缘检测阈值Eth的情况下，进行停止亮度校正的动作(将校正量设为零)。因此，无论基于上式(2)的亮度校正和基于上式(4)的限幅校正的结果如何，在I LG I > Eth的情况下，均设为DRl = DRpl。另外，在左眼用图像生成部13中也是同样地，在I LG I > Eth的情况下，设为DLl = DLpl。若这样将边缘部分的校正量设为零且停止亮度校正，则如图4和图5所示，能防止由亮度校正造成的异常变化，因此，能抑制在图像中产生异常。此外，为了方便，参照第I实施方式的图4和图5进行了说明，但实际上在第I实施方式的构成的基础上，进行上述限幅校正，而且在亮度梯度的绝对值超过规定的边缘检测阈值的情况下不进行校正时的例子如上所述。另外，在本实施方式的构成中，除了能避免边缘附近的亮度变化异常地变大以外，还能抑制乃至消除在边缘附近右眼用图像和左眼用图像的(亮度的)差异。因此，能可靠地防止使用者看到立体图像时图像看上去是双重的。即，由于当边缘附近看上去是双重的时，作为图像整体也多看上去是双重的，因此，能通过抑制或消除边缘附近的(左右图像的)亮度的差异来生成难以看上去是双重的或看上述不是双重的立体图像。而且，由此，在本实施方式中只要检测图像的边缘即可，因此，也可以不是如上所述根据亮度梯度来进行边缘检测，而是根据例如图形识别方法等公知的边缘检测方法来进行。不过基于亮度梯度的边缘检测方法被应用于坎尼(Canny)算法等公知的优异的边缘检测方法，在本实施方式中为了算出校正量，亮度梯度是必需的，因此，在此在上述边缘检测中使用亮度梯度尤为合适。<6.3第6实施方式的效果>如上所述，本实施方式的立体图像生成装置10起到与第5实施方式相同的效果，并且在边缘附近亮度变化异常地变大的情况下，将该附近的校正量设为零且停止亮度校正，由此能使得在立体图像中不产生异常。另外，还能将本实施方式的构成应用于从第2到第4中的任一个实施方式(或其变形例)的构成。这样的话，能相对于上述效果进一步一并起到从第2到第4中的任一个实施方式的固有效果。<7.第7实施方式><7.1整体构成和动作>图11是示出本发明的第7实施方式的立体图像生成装置的构成的框图。如图11所示，该立体图像生成装置50具备:从外部接收平面图像(二维图像)并且从3D电视装置20接收主动式光闸装置23的倾斜度Sa并算出与倾斜度Sa相应的亮度梯度的亮度梯度算出部51 ;和进行与第I实施方式相同的动作的右眼用图像生成部12、左眼用图像生成部13、及立体图像信号生成部15。此外，送给右眼用图像生成部12和左眼用图像生成部13的视频信号Dp具体地说是与入眼像素对应的像素数据DlI，因此，如后所述，成为将从亮度梯度算出部51得到的像素数据Dll作为视频信号Dp送给右眼用图像生成部12和左眼用图像生成部13的构成，这方面与第I实施方式的构成不同。不过能将该构成应用于第I实施方式，后述详细内容。另外，该图7所示的3D电视装置20具备:与图1所示的第I实施方式相同的液晶显示装置21 ;和除了具有与第I实施方式相同的功能以外，还具有检测倾斜度的功能的主动式光闸装置23。该检测倾斜度的功能利用公知的倾斜度传感器、例如内置于与将使用者的右眼和左眼连接的线段大致平行地延伸的(眼镜型)框架(与上述线段平行地设置)的加速度传感器来实现。例如，在加速度传感器检测到与重力加速度一致的值的情况下，可以说是例如使用者相对于地面垂直地(不使身体倾斜地)坐着时等使用者的左右眼与地面平行的状态。在这种情况下，从主动式光闸装置23输出倾斜度Sa = 0°。另外，在加速度传感器检测到与重力加速度的V 2/2 一致的值的情况下，可以说是例如使用者的左右眼相对于地面向右或向左倾斜45°的状态。在这种情况下，从主动式光闸装置23输出倾斜度Sa = 45°或Sa= — 45°。此外，是否应输出这些中的任一个值是基于紧前的倾斜度的值来判断，但也可以在垂直方向(或45度方向)再设置I个加速度传感器，通过一并参照其输出值来判断。而且，在加速度传感器没有检测到重力加速度的情况下，可以说是例如在横着躺倒时等使用者的左右眼成为与地面垂直的状态。在这种情况下，从主动式光闸装置23输出倾斜度Sa = 90°或一 90°。此外，是否输出这些中的任一个值，与上述内容相同。< 7.2亮度梯度算出部的亮度梯度算出动作>亮度梯度算出部51接收示出上述倾斜度Sa的信号(该信号也表示为“Sa”)，算出与该倾斜度对应的亮度梯度。即，在倾斜度Sa = O的情况下，亮度梯度算出部51与第4实施方式同样地，进行例如基于上式(I)算出图像的从左向右的方向的亮度梯度的动作。另外，在倾斜度Sa = 90°的情况下，亮度梯度算出部51进行基于下式(6)将从上向下的方向作为亮度梯度算出方向来算出亮度梯度的动作。即，如上所述，在图8中将像素设为像素P (I, 1)，则由对应的像素数据Dll示出的像素数据Dll及在与亮度梯度算出方向(从上向下的方向)垂直方向并排的其左右的像素数据DIO、D12 (即，与入眼像素组对应的像素数据)、与这些入眼像素组上邻的像素对应的像素数据D00、DOU D02 (B卩，与起点像素组对应的像素数据)、由亮度梯度算出部51算出的亮度梯度LG成为下式(6)的关系。LG = (DIO + Dll + D12) — (D00 + DOl + D02)…(6)下面，在倾斜度Sa = 45°的情况下，亮度梯度算出部51基于下式(7)进行将从左上到右下的方向作为亮度梯度算出方向来算出亮度梯度的动作。即，将入眼像素设为像素P (I, O时，对应的像素数据Dll及其右上和左下的像素的亮度值D02、D20、与这些入眼像素组的左上附近的起点像素组对应的像素数据D00、D01、D10、由亮度梯度算出部51算出的亮度梯度LG成为下式(7)的关系。LG = (D02 + Dll + D20) — (D00 + DOl + D10)…(7)此外，与上述像素数据D01，DlO对应的2个像素仅与入眼像素和与像素数据D02、D20对应的像素在左上接近且不相邻，但为了简化计算，在此将作为左上附近的像素的这些像素作为计算对象。另外，在倾斜度Sa = — 45 °的情况下，亮度梯度算出部51基于下式(8 )进行将左下到右上的方向作为亮度梯度算出方向来算出亮度梯度的动作。即，将入眼像素设为像素P (I, O时，其亮度值Dll及其左上和右下的像素的亮度值D00、D22、与这些入眼像素组的左下附近的起点像素组对应的像素数据D20、D10、D21、由亮度梯度算出部51算出的亮度梯度LG成为下式(8)的关系。LG = (D00 + Dll + D22) — (DIO + D20 + D21)…(8)此外,在倾斜度Sa = — 90°、Sa= — 135°、或Sa= — 225°的情况下,在上式
(6) (8)任一个中，基于交替地与右眼用和左眼用对应的像素数据进行计算，由此能同样地检测亮度梯度。若这样通过检测使用者的面部的倾斜度(连接左右眼的线段的倾斜度)，检测相对于立体图像的视差方向，在与该视差方向相应的亮度梯度算出方向算出亮度梯度，则在视差方向亮度梯度越大，则亮度校正量越大，因此，结果是在视差方向增强了立体感。因此，能生成适用于实际的视差方向的(具有立体感的)立体图像。 此外，在已制作的立体图像中预先(在左右方向)规定视差方向，因此，在使用者通过倾斜面部等使实际的视差方向与上述预定的视差方向(左右方向)不同的情况下，会损害立体感(显示成为异常)。但是即使在这种情况下，若将立体图像中的一方用作平面图像，或者一旦根据立体图像生成了平面图像后，通过对所生成的平面图像应用本实施方式的构成来生成立体图像，则即使由于使用者的脸部的倾斜度，视差方向发生变化，也能进行正常的图像显示，而且能进行得到立体感的显示。在此，如上所述，为了与使用者的脸部的倾斜度相应地改变亮度梯度的算出方法，需要将图8所示的9个像素数据DOO D22从视频信 号Dp顺序提取并运算。因此，参照图12说明其详细的构成。此外，视频信号Dp是将I行中从最左列到最右列按顺序排列的像素数据从最上行到最下行连续地一个一个地顺序包含的信号。另外，以下的构成如上所述，包括第I实施方式的构成，因此，能容易地应用于第I实施方式，同样地也能应用于其它的实施方式。< 7.3亮度梯度算出部的详细构成和动作>图12是示出亮度梯度算出部51的详细的构成的框图。如图12所示，亮度梯度算出部51包含:FF (触发电路)511 517 ;LB (行缓冲电路)521、522 ;选择电路531;加法电路541、542 ;减法电路551。触发电路511 517将所输入的像素数据存储I像素的量，接收下一输入数据时，输出所存储的像素数据。此外，该触发电路也可以是门闩电路等其它公知的存储电路。行缓冲电路521、522将所输入的像素数据存储I行的量，每当接收下一输入数据时，将最初存储的像素数据每次按I像素的量顺序输出。此外，该行缓冲电路也可以是其它公知的存储电路。图8所示的视频信号Dp所包含的像素数据DOO D22由上述触发电路511 517和行缓冲电路521、522同时送给选择电路531。另外，上述倾斜度Sa被送给选择电路531。选择电路531选择像素数据DOO D22中的、如上所述与倾斜度Sa相应的入眼像素组所对应的3个像素数据，将其作为数据BI B3输出到加法电路541，同样地选择与起点像素组对应的3个像素数据，将其作为数据Al A3输出到加法电路542。例如在从主动式光闸装置23接收倾斜度Sa = 90°的情况下，如上式(6)所示，选择像素数据DIO、DlUD12作为数据Al A3输出，另外，选择像素数据D00、DOU D02作为数据BI B3输出。加法电路541将数据BI B3相加作为数据B输出到减法电路551，加法电路542将数据Al A3相加作为数据A输出到减法电路551。减法电路551通过从输出的上述数据A减去上述数据B来算出亮度梯度LG。这样实现例如上式(6) (8)的计算。< 7.4第7实施方式的效果>如上，本实施方式的立体图像生成装置50起到与第I实施方式相同的效果，并且能通过检测使用者的面部的倾斜度来检测相对于立体图像的实际的视差方向，因此，能通过在与该视差方向相应的亮度梯度算出方向算出亮度梯度来生成适用于实际的视差方向(具有立体感)的立体图像。另外，还能将本实施方式的构成应用于第2到第6中的任一个实施方式(或其变形例)的构成。这样的话，能相对于上述效果进一步一并起到第2到第6中的任一个实施方式的固有效果。工业h的可利用件本发明涉及立体图像的生成方法、生成装置和具备该装置的显示装置，特别适用于具备从平面(二维)图像生成能立体观看的立体图像的装置的3D电视等显示装置。附图标记说明10:立体图像生成装置11、31、51:亮度梯度算出部12、32、42:右眼用图像生成部13、43:左眼用图像生成部15、35、45:立体图像信号生成部
20:3D电视装置21:液晶显示装置22,23:主动式光闸装置44:立体图像信号分离部46:右眼用亮度梯度算出部47:左眼用亮度梯度算出部U:使用者
权利要求
1.一种立体图像生成方法，基于I个以上的输入图像生成能立体观看的图像，其特征在于， 具备: 亮度梯度算出步骤，算出在将终点设为上述输入图像所包含的入眼像素、将起点设为与上述入眼像素相邻或接近的像素时的从设为上述起点的像素向上述入眼像素的亮度梯度，上述起点和上述终点决定亮度梯度算出方向，上述亮度梯度算出方向对应于从应进行立体观看的使用者的一个眼睛到另一个眼睛的方向；和 亮度校正图像生成步骤，进行对上述入眼像素的亮度加上与上述亮度梯度的正负相同符号的校正量的第I校正和对上述入眼像素的亮度加上与上述亮度梯度的正负相反符号的校正量的第2校正中的至少一种校正，由此相对于上述输入图像生成I个或2个校正了亮度的图像， 在亮度校正图像生成步骤中，将通过上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过上述第2校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。
2.根据权利要求1所述的立体图像生成方法，其特征在于， 在上述亮度校正图像生成步骤中，以上述亮度梯度的绝对值越大，则上述校正量的绝对值越大的方式设定上述校正量。
3.根据权利要求2所述的立体图像生成方法，其特征在于， 在上述亮度校正图像生成步骤中，在上述亮度梯度的绝对值是规定阈值以上的情况下，使上述输入图像的边缘部分包含上述入眼像素，将上述校正量设为零。
4.一种立体图像生成装置，基于I个以上的输入图像生成能立体观看的图像，其特征在于， 具备: 梯度算出部，其算出在将终点设为上述输入图像所包含的入眼像素、将起点设为与上述入眼像素相邻或接近的像素时的从设为上述起点的像素向上述入眼像素的亮度梯度，上述起点和上述终点决定亮度梯度算出方向，上述亮度梯度算出方向对应于从应进行立体观看的使用者的一个眼睛到另一个眼睛的方向；和 亮度校正图像生成部，其进行对上述入眼像素的亮度加上与上述亮度梯度的正负相同符号的校正量的第I校正和对上述入眼像素的亮度加上与上述亮度梯度的正负相反符号的校正量的第2校正中的至少一种校正，由此相对于上述输入图像生成I个或2个校正了亮度的图像， 亮度校正图像生成部将通过上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过上述第2校正得到的校正了亮度的图像或在不生成该图像的情况下将上述输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。
5.根据权利要求4所述的立体图像生成装置，其特征在于， 上述亮度校正图像生成部仅进行上述第I校正和第2校正中的一种校正，由此生成校正了亮度的I个图像。
6.根据权利要求4所述的立体图像生成装置，其特征在于， 上述输入图像是能立体观看的图像，包含应送给上述使用者的上述另一个眼睛的第I输入图像和应送给上述使用者的上述一个眼睛的第2输入图像， 亮度校正图像生成部在进一步增强立体观看上述输入图像时得到的立体感的情况下，将通过对上述第I输入图像进行的上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述第I输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过对上述第2输入图像进行的上述第2校正得到的校正了亮度的图像或不生成该图像时将上述第2输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。
7.根据权利要求6所述的立体图像生成装置，其特征在于， 亮度校正图像生成部在进一步减弱立体观看上述输入图像时得到的立体感的情况下，将通过对上述第I输入图像进行的上述第2校正得到的校正了亮度的图像或在不生成该图像的情况下将上述第I输入图像中的任一个作为应送给上述使用者的上述另一个眼睛的图像而输出，并且将通过对上述第2输入图像进行的上述第I校正得到的校正了亮度的图像或在不生成该图像的情况下将上述第2输入图像中的任一个作为应送给上述使用者的上述一个眼睛的图像而输出。
8.根据权利要求4所述的立体图像生成装置，其特征在于， 上述亮度梯度算出部基于包含上述入眼像素和与该入眼像素相邻或接近的像素的入眼像素组的亮度和包含作为上述起点的像素的应成为上述起点的像素组即起点像素组的亮度，算出上述亮度梯度。
9.根据权利要求8所述的立体图像生成装置，其特征在于， 上述亮度梯度算出部将第I相加值与第2相加值的差分值设为上述亮度梯度，上述第I相加值是将包含上述入眼像素和与该入眼像素在与上述亮度梯度算出方向垂直的方向相邻或接近的多个像素的入眼像素组的亮度相加而得到的值，上述第2相加值是将在上述亮度梯度算出方向相邻或接近并且沿着上述垂直方向相互相邻或接近的起点像素组的亮度相加而得到的值。
10.根据权利要求4所述的立体图像生成装置，其特征在于， 亮度校正图像生成部以上述亮度梯度的绝对值越大，则上述校正量的绝对值越大的方式设定上述校正量。
11.根据权利要求4所述的立体图像生成装置，其特征在于， 亮度校正图像生成部将上述校正量的绝对值限制为规定值以下的大小。
12.根据权利要求4所述的立体图像生成装置，其特征在于， 亮度校正图像生成部在上述输入图像的边缘部分包含上述入眼像素的情况下，将上述校正量设为零。
13.根据权利要求12所述的立体图像生成装置，其特征在于， 亮度校正图像生成部在上述亮度梯度的绝对值是规定阈值以上的情况下，使上述边缘部分包含上述入眼像素，将上述校正量设为零。
14.根据权利要求4所述的立体图像生成装置，其特征在于， 亮度梯度算出部基于从外部送来的从上述使用者的一个眼睛到另一个眼睛的方向信息决定上述亮度梯度算出方向，在所决定的该亮度梯度算出方向算出上述亮度梯度。
15.一种立体图像显示装置，具备: 权利要求4所述的立体图像生成装置； 显示部，其交替地显示应送给 上述使用者的上述一个眼睛的图像和送给上述另一个眼睛的图像；以及 光闸部，其在上述显示部中显示应送给上述一个眼睛的图像的情况下，以该图像不被上述使用者的另一个眼睛看到的方式进行遮挡，在显示应送给上述另一个眼睛的图像的情况下，以该图像不被上述使用者的一个眼睛看到的方式进行遮挡。
全文摘要
在立体图像生成装置(10)中，亮度梯度算出部(11)算出示出入眼像素和相邻像素之间的亮度变化量的亮度梯度，右眼用图像生成部(12)以与该亮度梯度相同符号的校正量校正像素的亮度，左眼用图像生成部(13)以与该亮度梯度相反符号的校正量校正像素的亮度。这样的话，在左眼用图像和右眼用图像的亮度分布中产生差，因此，能不算出深度信息地进行立体观看，且不改变像素的位置，因此，看不到双重的图像或难以看到双重的图像。
文档编号G06T19/00GK103081485SQ20118004218
公开日2013年5月1日 申请日期2011年6月1日 优先权日2010年8月30日
发明者田中勇司 申请人:夏普株式会社