专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本公开涉及ー种图像处理装置、图像处理方法和程序，尤其涉及一种能够与立体图像的观看条件无关地获得更合适的深度感觉的图像处理装置、图像处理方法和程序。
背景技术：
迄今为止，存在通过显示装置显示立体图像的技木。通过立体图像再现的被摄体的深度的感觉根据用户观看立体图像的观看条件或者由诸如用户的瞳孔距离的物理特征确定的观看条件而改变。相应地，在一些情况下，再现的深度的感觉可能不适合用户，由此使用户感到疲劳。例如，当在特定观看距离或者显示尺寸的假设下生成的立体图像的实际观看距离比假设距离更接近，并且显示立体图像的显示装置的屏幕的尺寸大于假设的显示装置的尺寸时，难以观看立体图像。因此，提出了通过使用向立体图像添加的交叉点信息来控制立体图像的视差的技术(例如參见日本专利No. 3978392)。然而，在上述技术中，在一些情况下可能不一定根据观看条件针对每个用户提供足够合适的深度的感觉。在使用交叉点信息的技术中，当未向立体图像添加交叉点信息吋，难以控制立体图像的视差。希望提供一种技术，用干与立体图像的观看条件无关地获得更合适的深度的感觉。根据本公开的实施例，能够与立体图像的观看条件无关地获得更合适的深度的感觉。
发明内容
相应地，提供了一种用计算机实现的用于调整三维图像的显示的方法。该方法可以包括接收与由用户观看的图像相关联的观看条件；处理器基于观看条件确定转换特性；以及处理器基于转换特性调整图像的显示条件。根据实施例，提供了一种用于调整三维图像的显示的装置。该装置可以包括显示设备，用于显示由用户观看的图像；存储器，存储指令；以及处理器，执行指令以接收与图像相关联的观看条件；基于观看条件确定转换特性；以及基于转换特性调整图像的显不条件。根据实施例，提供了ー种包括如下指令的非易失性计算机可读存储介质，当在处 理器上执行该指令吋，该指令使处理器执行用于调整三维图像的显示的方法。该方法可以包括接收与由用户观看的图像相关联的观看条件；基于观看条件确定转换特性；以及基于转换特性调整图像的显示条件。
图I是示出瞳孔距离和立体图像的深度的图；图2是示出瞳孔距离的视差和观看距离之间的关系的图；图3是示出显示尺寸和立体图像的深度的图；图4是示出观看距离和立体图像的深度的图；
图5是不出容许最近位直和容许最远位直的图；图6是示出容许最小视差和容许最大视差的图；图7是示出根据实施例的立体图像显示系统的配置的示例的图；图8是示出视差转换装置的配置的示例的图；图9是示出图像转换处理的流程图；图10是示出以累积频率分布对最小视差和最大视差进行检测的图；图11是示出转换特性的示例的图；图12是示出转换特性的示例的图；图13是示出转换特性的示例的图；图14是示出查找表的示例的图；图15是示出图像合成的图；图16是示出立体图像显示系统的配置的另ー示例的图；图17是示出视差转换装置的配置的示例的图；图18是示出图像转换处理的流程图；图19是示出瞳孔距离的计算的图；图20是示出立体图像显示系统的配置的又一示例的图；图21是示出视差转换装置的配置的示例的图；图22是示出图像转换处理的流程图；以及图23是示出计算机的配置的示例的图。
具体实施例方式下文中，參考附图，描述应用本技术的实施例。第一实施例立体图像的观看条件和深度的感觉首先，參考图I至4，描述观看立体图像的用户的观看条件和立体图像的深度的感觉。如图I所示，假设在显示屏幕SCll上显示由右眼图像和左眼图像形成的立体图像，并且用户仅在观看距离D处观看远离显示屏幕SCll的立体图像。这里，形成立体图像的右眼图像是所显示的、使得在显示立体图像时用户可以用他或她的右眼观看右眼图像的图像。形成立体图像的左眼图像是所显示的、使得在显示立体图像时用户可以用他或她的左眼观看左眼图像的图像。这里，假设e (下文中称为瞳孔距离e)是右眼YR和左眼YL之间的距离，d是右眼图像和左眼图像中的预定被摄体Hll的视差。也就是说，d是显示屏幕SCll上的左眼图像上的被摄体Hll和右眼图像上的被摄体Hll之间的距离。在这种情况下，用户感知到的被摄体HlI的位置，即被摄体HlI的定位位置远离显示屏幕SCll距离DD(下文中称为深度距离DD)。通过下面的表达式(I)由视差d、瞳孔距离e和观看距离D计算深度距离DD。深度距离DD = dXD/(e-d). . . (I)在该表达式中，当显示屏幕SClI上的右眼图像上的被摄体HlI存在于图中的左眼图像上的被摄体Hll右侧，即存在于观看立体图像的用户的右侧时，视差d具有正值。在这种情况下，深度距离DD具有正值，并且当从用户看吋，被摄体Hll被定位在显示屏幕SCll的后侧。
相反，当显示屏幕SCll上的右眼图像上的被摄体Hll存在于图中的被摄体Hll左侧时，视差d具有负值。在这种情况下，由于深度距离DD具有负值，因此当从用户看吋，被摄体Hll被定位在显示屏幕SCll的前侧。瞳孔距离e依据观看立体图像的用户而不同。例如，通常成人的双眼距离e大约是6. 5cm,而通常儿童的双眼距离e大约是5cm。因此，如图2所示，相对于立体图像的视差d的深度距离DD根据瞳孔距离e而变化。在图中，垂直轴表示深度距离DD，水平轴表示视差d。曲线Cll是指示当瞳孔距离e =5cm时，相对于视差d的深度距离DD的曲线。曲线C12是指示当瞳孔距离e = 6. 5cm时，相对于视差d的深度距离DD的曲线。从曲线Cll和C12可以理解，视差d越大，曲线Cll和C12所示的深度距离DD之间的距离越大。相应地，在针对成人调整视差的立体图像中，当视差d越大时，对于儿童来说，负担增加。因此，由于深度距离DD依据每个用户的瞳孔距离e的值变化，因此需要依据瞳孔距离e针对每个用户控制视差d，使得立体图像中的每个被摄体的深度距离DD变成合适范围内的距离。如图3所示，当显示立体图像的显示屏幕的尺寸不管立体图像上的右眼图像和左眼图像之间的视差相同的事实而变化时，单个像素的尺寸，即显示屏幕上的被摄体的尺寸变化，因此视差d的幅值变化。在图3的示例中，分别在图的左部所示的显示屏幕SC21和图的右部所示的显示屏幕SC22上显示具有相同视差的立体图像。然而，由于显示屏幕SC21大于显示屏幕SC22，因此显示屏幕上的视差对于显示屏幕SC21来说较大。也就是说，在显示屏幕SC21上设置视差d = dll，而显示屏幕SC22上设置视差d = dl2(其中dll > dl2)。因此，在显示屏幕SC21上显示的被摄体Hll的深度距离DD = DDll也大于在显示屏幕SC22上显示的被摄体Hll的深度距离DD = DD12。例如，当在诸如显示表面SC21的大尺寸屏幕上显示通过控制视差而针对诸如显示屏幕SC22的小尺寸屏幕生成的立体图像时，视差太大，从而増加了用户的眼睛的负担。因此，由于再现的深度感觉依据显示具有相同视差的立体图像的显示屏幕的尺寸而不同，因此需要根据显示立体图像的显示屏幕的尺寸(显示尺寸)来适当地控制视差d。此外，甚至当用户的观看距离D不管显示立体图像的显示屏幕SCll的尺寸或者显示屏幕SCI I上的视差d相同的事实而变化时，例如，如图4所示，被摄体Hl I的深度距离DD也变化。在图4的示例中，图的右部的显示屏幕SCll的尺寸与图的左部的显示屏幕SCll的尺寸相同，并且在显示屏幕SCl I上以相同的视差d显示被摄体Hl I。然而，图的左部的观看距离D = Dll大于图的右部的观看距离D = D12。因此，图的左部的被摄体Hll的深度距离DD = DD21也大于图的右部的被摄体Hll的深度距离DD = DD22。相应地，例如，当用户的观看距离太近时，观看被摄体Hll的收敛角度较大。由于该原因，在一些情况下，更难以观看到立体图像。以这种方式，由于再现的深度的感觉也依据用户的观看距离D而变化，因此需要根据用户到显示屏幕之间的观看距离D来适当地控制视差d。
需要根据瞳孔距离e、显示立体图像的显示屏幕的尺寸和观看距离D，对视差d进行适当的转换，使得立体图像上的每个被摄体的深度距离DD变成对于用户负担较低的合适范围内的距离。下文中，将显示立体图像的显示屏幕的尺寸，特别地，将显示屏幕在视差方向上的长度称为显示宽度W。此外，将至少通过瞳孔距离e、显示宽度W和观看距离D确定的、与用户观看立体图像相关联的条件称为观看条件。立体图像的合适视差接下来，描述在上述观看条件下确定的立体图像的合适视差的范围。假设将在观看条件下确定的立体图像的合适视差的范围内的视差的最小值和最大值分别称为视差dmin'和视差dmax'，由作为观看条件的瞳孔距离e、显示宽度W和观看距尚D计算视差Clmin'和视差(Imax'。这里，视差dmin'和视差(1_是使用立体图像上的像素作为单位设置的视差。也就是说，视差dmiノ和视差dmax'是形成立体图像的右眼图像和左眼图像之间的像素単位的视差。如图5的左部所示，假设立体图像上的被摄体中的视差为视差七ノ的被摄体H12的定位位置是容许最近位置，并且用户与容许最近位置之间的距离为容许最近距离Dmin。此夕卜，如图的右部所示，假设视差为视差dmax'的被摄体的定位位置是容许最远位置，并且用户与容许最远位置之间的距离为容许最远距离Dmax。也就是说，容许最近距离Dmin是允许用户在用户的双眼(左眼YL和右眼YR)与立体图像上的被摄体的定位位置之间以适当的视差观看立体图像的距离的最小值。类似地，容许最远距离Dmax是允许用户在用户的双眼与立体图像上的被摄体的定位位置之间以适当的视差观看立体图像的距离的最大值。例如，如图的左部所示，将用户用左眼YL和右眼YR观看显示屏幕SCll的角度设为角度α，将用户观看被摄体Η12的角度设为角度β。通常，将具有满足关系β-α <60'的最大角度β的被摄体Η12视为被定位在容许最近位置的被摄体。如图的右部所示，将用户的双眼到被定位在无限远位置的被摄体之间的距离视为容许最远距离Dmax。在这种情况下，观看被定位在容许最远距离Dmax的位置的被摄体的用户的双眼的视线是彼此平行的。可以通过几何学方法由瞳孔距离e和观看距离D来计算容许最近距离Dmin和容许最远距离Dniax。也就是说，由瞳孔距离e和观看距离D满足下面的表达式(2)。tan ( a /2) = (1/D) X (e/2)…(2)当对表达式(2)进行变形时，如在表达式(3)中所表示的计算角度α。a = 2tan_1 (e/2D). . · (3)与在角度α中相同，以如下表达式(4)表示角度β。β = 2tan_1 (e/2Dmin)…(4)如所描述的，用于观看被定位为与用户仅距离容许最近距离Dniin的被摄体H12的角度β满足下面的表达式(5)。因此，容许最近距离Dmin根据表达式(4)和表达式(5)满 足表达式(6)表示的条件。β - α 彡 60. · · (5)容许最近距离Dmin 彡 e/2tan ((60+ α ) /2) · · · (6)当使用表达式(3)来代替以这种方式获得的表达式(6)中的α时，可以获得容许最近距离Dmin。也就是说，当在观看条件中可以知道瞳孔距离e和观看距离D时，可以计算容许最近距离Dmin。类似地，当在表达式(6)中角度α为O时，可以获得容许最远距离Dmax。由以这种方式获得的容许最近距离Dmin和容许最远距离Dmax,计算视差dmin'和视左· dmax 。例如，如图6所示，当在显示屏幕SCll上显示立体图像时，被摄体H31被定位在与用户的距离是容许最近距离Dmin的容许最近位置，而被摄体H32被定位在与用户的距离是容许最远距尚Dmax的容许最远位置。这时，通过下面的表达式(7)，使用观看距离D、瞳孔距离e和容许最近距离Dmin表示显示屏幕SCll上的立体图像上的被摄体H31的视差Clniintj dmin = e (Dmin-D) Dmin. · · (7)类似地，通过下面的表达式(8)，使用观看距离D、瞳孔距离e和容许最远距离Dmax表示显示屏幕SCll上的立体图像上的被摄体H32的视差d_。dfflax = e (Dfflax-D) Dfflax... (8)这里，由于如从表达式(7)和表达式⑶所理解的，由瞳孔距离e和观看距离D计算容许最近距离Dmin和容许最远距离Dmax,因此也由瞳孔距离e和观看距离D计算视差dmin和视差dmax。这里，视差dmin和视差dmax是显示屏幕SCll上的距离。因此，为了将立体图像转换为具有适当视差的图像，需要将视差dmin和视差dmax转换为使用像素作为单位而设置的视差(Imin'和视差(Imax' ο当用像素的数量表示视差dmin和视差dmax时，可以将这些视差除以显示屏幕SCll上的立体图像的像素距离，即显示屏幕SCll的显示装置的像素距离。这里，由显示宽度W和显示装置的视差方向(图中的水平方向)上的像素数量N，即立体图像的视差方向上的像素数量N，计算显示装置的像素距离。该值是W/N。通过下面的表达式(9)和表达式(10)，由视差dmin、视差dmax、显示宽度W和像素数量N,表不视差Clmin'和视差(!_/。视差Clmi/ = dminXN/ff. · · (9)
视差dmax' = dmaxXN/W· · · (10)可以由作为观看条件的瞳孔距离e、显示宽度W和观看距离D，计算作为立体图像的适当视差范围的值的视差dmir/和视差(Imax'。相应地，当用户在预定观看条件下观看立体图像，且通过由这些观看条件计算适当视差范围而输入的立体图像被转换为具有所计算的视差范围内的视差的立体图像并被显示时，可以呈现具有适合于观看条件的合适的深度感觉的立体图像。迄今为止，作为满足预定条件的距离，描述了容许最近距离Dmin和容许最远距离Dmax。然而，可以根据用户的喜好来设置容许最近距离Dmin和容许最远距离Dmax。立体图像显示系统的配置的示例根据本发明实施例，提供一种用于调整三维图像的显示的装置，包括显示设备， 用于显示由用户观看的图像；存储器，存储指令；以及处理器，执行所述指令以接收与所述图像相关联的观看条件；基于所述观看条件确定转换特性；以及基于所述转换特性调整所述图像的显示条件。接下来，根据实施例描述应用本技术的立体图像显示系统，作为用于调整三维图像的显示的装置的例子。图7是示出根据实施例的立体图像显示系统的配置的示例的图。立体图像显示系统包括图像记录装置11、视差转换装置12、显示控制装置13和图像显示装置14。图像记录装置11存储用来显示立体图像的图像数据。视差转换装置12从图像记录装置11读取立体图像，根据用户的观看条件转换立体图像的视差，并且将具有转换后的视差的立体图像提供给显示控制装置13。也就是说，将立体图像转换为具有适合于用户的观看条件的视差的立体图像。立体图像可以是彼此具有视差的ー对静止图像，或者可以是彼此具有视差的运动图像。显示控制装置13将从视差转换装置12提供的立体图像提供给图像显示装置14。然后，图像显示装置14在显示控制装置13的控制下，对从显示控制装置13提供的立体图像进行立体化显示。例如，图像显示装置14是作为立体图像显示图像数据的立体化设备。可以使用诸如双凸透镜方法、视差屏障方法或者时分显示方法的任意显示方法，作为通过图像显示装置14显示立体图像的方法。视差转换装置的配置的示例例如，图7所示的视差转换装置12具有图8所示的配置。视差转换装置12包括输入单元41、视差检测单元42、转换特性设置单元43、校正后视差计算单元44和图像合成単元45。在视差转换装置12中，将由右眼图像R和左眼图像L形成的立体图像从图像记录装置11提供到视差检测单元42和图像合成単元45。输入单元41获取作为观看条件的瞳孔距离e、显示宽度W和观看距离D，并且将瞳孔距离e、显示宽度W和观看距离D输入到转换特性设置单元43。例如，当用户操作远程命令器51输入观看条件吋，输入单元41接收从远程命令器51发送的关于观看条件的信息，以获得观看条件。视差检测单元42基于从图像记录装置11提供的右眼图像R和左眼图像L针对每个像素计算右眼图像R和左眼图像L之间的视差，并且将指示每个像素的视差的视差图提供给转换特性设置单元43和校正后视差计算单元44。转换特性设置单元43基于从输入単元41提供的观看条件和从视差检测单元42提供的视差图，确定右眼图像R和左眼图像L之间的视差的转换特性，然后将视差的转换特性提供给校正后视差计算单元44。转换特性设置单元43包括容许视差计算单元61、最大/最小视差检测单元62和设置单兀63。容许视差计算单元61基于从输入単元41提供的观看条件，计算适合于用户的特性或立体图像的观看条件的视差dmin,和视差dmax,，然后将视差dmin,和视差dmax,提供给设置单元63。下文中，还分别将视差dmin,和视差dmax,适当地称为容许最小视差dmin,和容许最大视差Clmax'。最大/最小视差检测单元62基于从视差检测单元42提供的视差图，检测右眼图 像R和左眼图像L之间的视差的最大值和最小值，然后将视差的最大值和最小值提供给设 置単元63。设置单元63基于来自容许视差计算单元61的视差dmin'和视差dmax'以及来自最大/最小视差检测单元62的视差的最大值和最小值，确定右眼图像R和左眼图像L之间的视差的转换特性，然后将确定的转换特性提供给校正后视差计算单元44。校正后视差计算单元44基于来自视差检测单元42的视差图和来自设置単元63的转换特性，将在视差图中指示的每个像素的视差转换为视差dmin,和视差dmax,之间的视差，然后将转换后的视差提供给图像合成単元45。也就是说，校正后视差计算单元44对在视差图中指示的每个像素的视差进行转换(校正)，并且将指示校正后的每个像素的视差的校正后视差图提供给图像合成単元45。图像合成単元45基于从校正后视差计算单元44提供的校正后视差图，分别将从图像记录装置11提供的右眼图像R和左眼图像L(例如显示状況)转换为右眼图像R'和左眼图像L'，然后将右眼图像R'和左眼图像L'提供给显示控制装置13。图像转换处理根据本发明实施例，提供一种用计算机实现的用于调整三维图像的显示的方法，包括接收与由用户观看的图像相关联的观看条件；处理器基于所述观看条件确定转换特性；以及所述处理器基于所述转换特性调整所述图像的显示条件。接下来，描述立体图像显示系统的处理，作为上述根据本发明实施例的调整三维图像的显示的方法的示例。当立体图像显示系统接收到来自用户的再现立体图像的指令时，立体图像显示系统进行将指定的立体图像转换为具有适当视差的立体图像的图像转换处理，并且再现立体图像。參考图9的流程图，描述立体图像显示系统的图像转换处理。在步骤Sll中，视差转换装置12从图像记录装置11中读取立体图像。也就是说，视差检测单元42和图像合成単元45从图像记录装置11中读取右眼图像R和左眼图像し在步骤S12中，输入单元41将从远程命令器51接收到的观看条件输入到容许视差计算单元61。也就是说，用户操作远程命令器51输入作为观看条件的瞳孔距离e、显示宽度W和观看距离D。例如，瞳孔距离e可以由用户直接输入，或者可以在用户选择类别“成人”或“儿童”时输入。当通过选择类别“儿童”等输入瞳孔距离e时，双眼距离e被视为所选择的类别的平均瞳孔距离的值。
当以这种方式输入观看距离时，远程命令器51将输入的观看条件发送到输入单元41。然后，输入单元41接收来自远程命令器51的观看条件，并且将观看条件输入到容许视差计算单元61。作为观看条件的显示宽度W可以由输入単元41从图像显示装置14等获取。输入単元41可以从图像显示装置14等获取显示器尺寸，并且可以由获取的显示器尺寸计算观看距离D，因为观看距离D对于显示器尺寸是标准观看距离。此外，观看条件可以在图像转换处理开始之前事先从输入単元41获取，并且可以按照需要将其提供给容许视差计算单元61。输入单元41可以由诸如按钮的操作単元配置。在这种情况下，当用户操作输入单元41以输入观看条件吋，输入单元41获取根据用户操作生成的信号作为观看条件。在步骤S13中，容许视差计算单元61基于从输入単元41提供的观看条件计算容许最小视差dmin,和容许最大视差dmax,，并且将容许最小视差dmin,和容许最大视差dmax'提供给设置単元63。 例如，容许视差计算单元61基于作为观看条件的瞳孔距离e、显示宽度W和观看距离D，通过计算上述表达式(9)和表达式(10)，计算容许最小视差dmin'和容许最大视差
1^max ο在步骤S14中，视差检测单元42基于从图像记录装置11提供的右眼图像R和左眼图像L，检测右眼图像R和左眼图像L之间的每个像素的视差，然后将指示每个像素的视差的视差图提供给最大/最小视差检测单元62和校正后视差计算单元44。例如，视差检测单元42使用左眼图像L作为基准，通过DP (动态编程)匹配，针对每个像素检测左眼图像L相对于右眼图像R的视差，并且生成指示检测结果的视差图。此外，可以获得左眼图像L和右眼图像R两者的视差，以对隐匿部分进行处理。估计视差的方法是根据相关技术的技术。例如，存在估计右图像和左图像之间的视差，并且通过在从右图像和左图像排除了背景图像的前景图像上进行匹配来生成视差图的技术(例如參见日本未审专利申请公布第2006-114023号)。在步骤S15中，最大/最小视差检测单元62基于从视差检测单元42提供的视差图，检测以视差图示出的各个像素的视差中的最大值和最小值，然后将视差的最大值和最小值提供给设置単元63。下文中，还将最大/最小视差检测单元62检测的视差的最大值和最小值适当地称为最大视差d(i)max和最小视差d(i)min。当检测到最大值和最小值时，可以使用累积频率分布，以使检测结果稳定化。在这种情况下，最大/最小视差检测单元62例如生成图10所示的累积频率分布。在图中，垂直轴表不累积频率，水平轴表不视差。在图10的示例中，曲线RCll表示视差图上的像素作为像素值所具有的视差的值中、视差图上的像素中具有直到每个视差的值作为像素值的像素的数量(累积频率)。当最大/最小视差检测单元62例如生成该累积频率分布吋，最大/最小视差检测单元62将表示相对于整个累积频率的5%的累积频率和95%的累积频率的视差的值，分别设置为最小视差和最大视差。以这种方式，通过将与对应于相对于视差的总数的预设比率的累积频率相对应的视差，设置为最小视差或者最大视差，并且排除极大或小的视差，可以使检测结果稳定化。在步骤S16中，设置单元63基于来自最大/最小视差检测单元62的最小视差和最大视差以及来自容许视差计算单元61的视差Clmin,和视差dmax,，设置转换特性，然后将转换特性提供给校正后视差计算单元44。例如，设置单元63基于最小视差、最大视差、容许最小视差dmin'和容许最大视差dmax'，确定转换特性，使得将立体图像的每个像素的视差转换为落在从容许最小视差dmiノ到容许最大视差dmax,的范围(下文中称为容许视差范围)内的视差。具体地，当最小视差和最大视差落在容许视差范围内吋，设置单元63将视差图在不改变的情况下变为校正后视差图的等效转换函数，设置为转换特性。在这种情况下，将等效转换函数设置为转换特性的原因是，由于立体图像的每个像素的视差是具有适合于容许视差范围的幅值的视差，因此需要控制立体图像的视差。另ー方面，当最小视差和最大视差中的至少ー个没有落在容许视差范围内时，设 置単元63确定对立体图像的每个像素的视差进行校正(转换)的转换特性。也就是说，当将视差图上的像素的像素值(视差的值)设置为输入视差d(i)，并且将校正后视差图上的被定位在与视差图上的像素相同位置处的像素的像素值(视差的值)设置为校正后视差d(o)时,确定将输入视差d(i)转换为校正后视差d(o)的转换函数。以这种方式，例如，确定图11所示的转换函数。在图11中，水平轴表示输入视差d (i)，垂直轴表示校正后视差d (O)。在图11中，直线Fll和F12表示转换函数的图形。在图11的示例中，直线F12表示当输入视差d(i)等于校正后视差d(o)时的转换函数的图形，即等效转换的图形。如上所述，当最小视差和最大视差落在容许视差范围内时，在转换函数中满足d(o) =d(i)的关系。然而，在图11的示例中，最小视差小于容许最小视差dmin'，并且最大视差大于容许最大视差dmax'。因此，当在不改变的情况下将输入视差d(i)等效地转换并设置为校正后视差d(o)时，校正后视差的最小值和最大值可能变为落在容许视差范围外部的视差。相应地，设置单元63将直线Fll所指示的线性函数设置为转换函数，使得每个像素的校正后视差变成落在容许视差范围内的视差。这里,转换函数被确定为使得将输入视差d(i) = O转换为校正后视差d (O) = O,将最小视差d(i)min转换为等于或大于容许最小视差dmin,的视差，并且将最大视差d(i)max转换为等于或小于容许最大视差dmax,的视差。在直线FlI所指示的转换函数中，将输入视差d(i) = O转换为0，将最小视差d(i)min转换为容许最小视差dmin,，并且将最大视差d(i)max转换为等于或小于容许最大视差(Imax'的视差。当设置单元63以这种方式确定了转换函数(转换特性)吋，设置单元63将确定的转换函数作为转换特性提供给校正后视差计算单元44。此外，转换特性不限于图11所示的示例，而可以被设置为针对视差的诸如将视差表示为单调增长的折线的函数的任意函数。例如，可以使用图12或13所示的转换特性。在图12和13中，水平轴表不输入视差d(i),垂直轴表不校正后视差d(ο)。在图中，对与图11中的部分相对应的部分给予相同的附图标记，不重复其描述。在图12中，折线F21指示转换函数的图形。在折线F21所指示的转换函数中，将输入视差d(i) =O转换为O，将最小视差d(i)min转换为容许最小视差dmin,，并且将最大视差d(i)max转换为容许最大视差dmax,。在折线F21所指示的转换函数中，从最小视差d(i)min到O的区间的斜率与从O到最大视差d(i)max的区间的斜率不同，在两个区间中都实现了线性函数。在图13的示例中，折线F31指示转换函数的图形。在折线F31所指示的转换函数中，将输入视差d(i) = O转换为0，将最小视差d(i)min转换为等于或大于容许最小视差dmiノ的视差，并且将最大视差d(i)max转换为等于或小于容许最大视差dmax,的视差。在折线F31所指示的转换函数中，从最小视差(Ki)min到O的区间的斜率与从O到最大视差d(i)max的区间的斜率不同，在两个区间中都实现了线性函数。此外，等于或小于最小视差d(i)min的区间中的转换函数的斜率与从最小视差d⑴min到O的区间中的转换函数的斜率不同。因此，从O到最大视差d⑴_的区间中的转换函数的斜率与等于或大于最大视差d(i)max的区间中的转换函数的斜率不同。 特别地，例如，当最小视差d(i)min或者最大视差d(i)max分别是视差图所示的视差的最小值或者最大值时，折线F31所指示的转换函数有效，由累积频率分布确定最大视差和最小视差。在这种情况下，通过减小等于或小于最小视差d(i)min或者等于或大于最大视差d(i)max的转换特性的斜率，可以将包含在立体图像中的具有超大绝对值的视差转换为适合于更容易观看立体图像的视差。返回參考图9的流程图，当设置了转换特性吋，处理从步骤S16进行到步骤S17。在步骤S17中，校正后视差计算单元44基于从设置単元63提供的转换特性和来自视差检测单元42的视差图生成校正后视差图，然后将校正后视差图提供给图像合成单元45。也就是说，校正后视差计算单元44通过将视差图的像素的视差(输入视差d(i))代入作为特性转换的转换函数中，来计算校正后视差d(o)，并且将计算的校正后视差设置为校正后视差图上的被定位在与该像素的位置相同位置处的像素的像素值。例如，可以通过图14所示的查找表LTll来实现使用转换函数进行的校正后视差d(o)的计算。使用查找表LT11，来通过预定转换特性(转换函数)将输入视差d(i)转换为校正后视差d(o)。在查找表LTll中，输入视差d(i)的各个值与将这些值代入转换函数而获得的校正后视差d(o)的值彼此匹配，并且将其彼此相对应地进行记录。例如，在查找表LTll中，将输入视差d(i)的值“d0”与通过将值“d0”代入转换函数而获得的校正后视差d(o)的值“d0' ”彼此相对应地进行记录。当针对各个转换特性记录这种查找表LTll时，校正后视差计算单元44可以在不计算转换函数的情况下容易地获得针对输入视差d(i)的校正后视差d (O)。返回參考图9的流程图，当校正后视差图由校正后视差计算单元44生成且被提供给图像合成单元45时，处理从步骤S17进行到步骤S18。在步骤S18中，图像合成单元45使用来自校正后视差计算单元44的校正后视差图，将来自图像记录装置11的右眼图像R和左眼图像L转换为具有适当视差的右眼图像R'和左眼图像L'，然后将右眼图像R'和左眼图像L'提供给显示控制装置13。例如，如图15所示，在假设图的水平方向和垂直方向分别为i方向和j方向的i j坐标系中，假设左眼图像L上的位于坐标(i，j)处的像素为L(i，j)，右眼图像R上的位于坐标(i，j)处的像素是R(i，j)。此外，假设左眼图像じ上的位于坐标(i，j)处的像素是じ(i，j)，右眼图像R'上的位于坐标(i，j)处的像素是R' (i，j)。此外，假设像素L(i，j)、像素R(i，j)、像素じ(i，j)和像素R' (i，j)的像素值分别是L(i，j)、R(i，j)、L' (i，j)和!^ (i，j)。假设在视差图中示出的像素L(i，j)的输入视差是d(i)，并且经过校正的输入视差d(i)的校正后视差是d (ο)。在这种情况下，图像合成单元45将左眼图像L上的像素L(i，j)的像素值在不改变的情况下设置到左眼图像じ上的像素L' (i，j)的像素，如下面的表达式(11)所示。V (i, j) = L(i, j). . . (11)图像合成単元45通过下面的表达式(12)计算右眼图像R'上的与像素L' (i，j)相对应的像素作为像素R' (i+d(o)，j)，以计算像素R' (i+d(o)，j)的像素值。
权利要求
1.一种用计算机实现的用于调整三维图像的显示的方法，包括 接收与由用户观看的图像相关联的观看条件； 处理器基于所述观看条件确定转换特性；以及 所述处理器基于所述转换特性调整所述图像的显示条件。
2.根据权利要求I所述的方法，还包括 基于所调整的显示条件，生成表示调整后的图像的数据；以及 使用所生成的数据，显示所述调整后的图像。
3.根据权利要求I所述的方法，还包括在显示设备上显示所述图像，其中所述观看条件基于所述显示设备和所述用户之间的距离、观看所述立体图像的用户的瞳孔距离或者显示所述立体图像的显示屏幕的宽度中的至少ー个。
4.根据权利要求I所述的方法，还包括 基于所述观看条件，确定与所述图像相对应的容许最大视差值和容许最小视差值；以及 确定与所述图像相对应的实际最大视差值和实际最小视差值，基于如下内容确定所述转换特性 所述容许最大视差值和所述实际最大视差值之间的差；以及 所述容许最小视差值和所述实际最小视差值之间的差。
5.根据权利要求I所述的方法，还包括 基于所述观看条件，确定与所述图像相对应的视差值的容许范围；以及确定与所述图像相对应的视差值的实际范围，基于所述视差值的容许范围和所述视差值的实际范围来确定所述转换特性。
6.根据权利要求I所述的方法，还包括基于所述转换特性生成视差图，基于所述视差图调整所述显示条件。
7.根据权利要求I所述的方法，还包括基于所述转换特性生成视差图，所述视差图标识具有不正确视差的所述图像的像素。
8.根据权利要求7所述的方法，其中，调整所述显示条件包括 校正所标识的像素的视差。
9.根据权利要求I所述的方法，还包括 基于右眼图像和左眼图像显示所述图像；以及 基于所述转换特性生成视差图，所述图像的所述显示条件是通过基于所述视差图生成调整后的右眼图像和调整后的左眼图像来调整的。
10.根据权利要求I所述的方法，还包括基于所述观看条件确定视差值的容许范围，其中，所述的调整所述显示条件包括对所述图像的像素的视差值进行转换，使其落入所述视差值的容许范围内。
11.根据权利要求I所述的方法，还包括在显示设备上显示所述图像，其中所述观看条件基于所述用户的右眼和左眼之间的距离。
12.根据权利要求I所述的方法，其中，所述观看条件基于观看距离、瞳孔距离或者与所述图像相关联的深度距离中的至少ー个。
13.根据权利要求12所述的方法，其中基于从捕获用户的图像的图像传感器提供的图像计算所述观看距离。
14.根据权利要求12或13所述的方法，其中基于捕获用户的图像的图像传感器获得的图像和所述观看距离来计算所述瞳孔距离。
15.根据权利要求I所述的方法，其中，所述图像是立体图像。
16.一种用于调整三维图像的显示的装置，包括 显示设备，用于显示由用户观看的图像； 存储器，存储指令；以及 处理器，执行所述指令以 接收与所述图像相关联的观看条件； 基于所述观看条件确定转换特性；以及 基于所述转换特性调整所述图像的显示条件。
17.根据权利要求16所述的装置，其中，所述观看条件基于观看距离、瞳孔距离或者与所述图像相关联的深度距离中的至少ー个。
18.根据权利要求16所述的装置，其中，所述处理器执行所述指令以 基于所述观看条件，确定与所述图像相对应的视差值的容许范围；以及 确定与所述图像相对应的视差值的实际范围，基于所述视差值的容许范围和所述视差值的实际范围来确定所述转换特性。
19.根据权利要求16所述的装置，其中，所述处理器执行所述指令以基于所述转换特性生成视差图，所述显示条件是基于所述视差图调整的。
20.根据权利要求16所述的装置，其中，所述处理器执行所述指令以基于所述转换特性生成视差图，所述视差图标识具有不正确视差的所述图像的像素，以及其中，调整显示条件包括校正所标识的像素的视差。
21.根据权利要求16所述的装置，其中，所述处理器执行所述指令，以通过基于视差图生成调整后的右眼图像和调整后的左眼图像，来调整所述图像的所述显示条件。
22.—种非易失性计算机可读存储介质，包括指令，在处理器上执行所述指令吋，所述指令使所述处理器执行用于调整三维图像的显示的方法，所述方法包括 接收与由用户观看的图像相关联的观看条件； 基于所述观看条件确定转换特性；以及 基于所述转换特性调整所述图像的显示条件。
全文摘要
提供了一种用于调整三维图像的显示的方法、装置和计算机可读存储介质。该方法包括接收与由用户观看的图像相关联的观看条件；处理器基于观看条件确定转换特性；以及处理器基于转换特性调整图像的显示条件。
文档编号G09G5/00GK102695065SQ20121007108
公开日2012年9月26日 申请日期2012年3月16日 优先权日2011年3月23日
发明者森藤孝文, 牛木卓, 绪形昌美 申请人:索尼公司