专利名称：立体图像显示系统、视差转换装置、视差转换方法以及程序的制作方法
技术领域：
本发明涉及一种立体图像显示系统，并且具体地，涉及一种对立体图像中的视差进行转换的视差转换装置、立体图像显示系统、其处理方法、以及使得计算机执行该方法的程序。
背景技术：
近年来，使用了利用图像显示装置来显示立体图像的技术。在观看显示在图像显示装置上的这样的立体图像时，即使当收敛角与真实世界相似时，焦距也可能不同，这成为产生视觉疲劳的因素。具体地，在动画显示期间屏幕内的部分过分地突出、或对象不必要地突出等的情况下，大的视觉改变对观众来说是负担。因此，传统地，为了执行自然的立体显示，提出了如下立体图像显示装置其进行显示，以使得立体图像的显示位置在观察者的焦点深度内(例如，参见PTL1)。利用该传统的立体图像显示装置，要显示的深度距离被非线性地转换为立体图像的显示位置的深度距
1 O引用列表专利文献PTLl 日本未审查专利申请公布第2005-091508号(图6)
发明内容
技术问题利用上述传统技术，通过将要显示的深度距离非线性地转换成立体图像的显示位置的深度距离，立体图像的显示位置调整成在观察者的焦点深度内。然而，存在如下情况 其中，不仅要直接调整深度距离本身，而且还期望间接调整影响深度感知的各类要素。本发明是在考虑这样的情形下进行的，并且旨在根据影响立体图像的深度感知的图像的配置要素的特征来对立体图像的视差进行转换。问题的解决方案作出了本发明来解决上述问题，并且其第一方面是一种具有如下几个单元的视差转换装置、具有针对这些单元中的每个的处理过程的视差转换方法、以及使得计算机执行这些各个过程的程序，其中，该视差转换装置具有视差检测单元，其根据输入图像的左图像和右图像检测视差，并且生成保存每个像素或像素群的视差的视差图；校正特征设置单元，其设置校正视差图中的视差时的校正特征；视差校正单元，其根据所设置的校正特征来校正视差图中的视差，并且生成校正后的视差图；以及图像合成单元，其根据校正后的视差图，根据输入图像的左图像和右图像，合成输出图像的左图像和右图像。这产生了如下效果基于校正后的视差图而合成左图像和右图像，其中，该校正后的视差图进行了根据所设置的校正特征的视差校正。另外，根据这里的第一方面，还可设置有在视差图中设置至少两个区域的区域设置单元；其中，校正特征设置单元针对至少两个区域中的每个区域来设置校正特征；并且， 视差校正单元按照针对视差图中的至少两个区域设置的校正特征，对视差图中的视差进行校正。这产生了如下效果根据针对每个区域设置的校正特征来对视差进行校正。另外，根据这里的第一方面，视差校正单元可在至少两个区域相邻的预定缓冲区域中，按照针对各相邻区域设置的校正特征的加权和，对视差图中的视差进行校正。这产生了避免区域之间不连续的效果。另外，根据这里的第一方面，校正特征设置单元可设置校正特征，以使得在与至少两个区域的视差图的左边缘和右边缘对应的区域中，抑制向前方向中的深度。这产生了如下效果避免左边缘和右边缘中的不自然的突出，由此解决了观察者的不舒适(遮挡冲突)。另外，根据这里的第一方面，校正特征设置单元可针对视差图中的至少两个分量中的每个设置校正特征；其中，视差校正单元包括分量划分单元，其将视差图划分成分量中的每个；分量视差校正单元，其根据针对每个分量设置的校正特征，按分量对视差图中的视差进行校正；以及分量合成单元，其合成针对每个分量校正的视差图，并且生成校正后的视差图。这产生了如下效果对于每个分量，执行适合于相应分量的视差校正。另外，在这种情况下，利用校正特征设置单元设置的分量可以基于视差图中的视差频率的分量。另外，根据这里的第一方面，利用校正特征设置单元设置的校正特征可以是非线性特征，其中，视差图中的视差接近零的地方斜率为1，并且随着视差图中的视差增大收敛到预定值。这产生了如下效果避免接近显示面的深度中图像的失真。另外，在这种情况下，可基于Sigmoid函数限定利用校正特征设置单元设置的校正特征。另外，根据这里的第一方面，图像合成单元可包括中央单眼图像合成单元，其基于视差图的视差，根据输入图像的左图像和右图像合成中央单眼图像；视差/深度转换单元，其将校正后的视差图中的视差转换成深度，并且生成校正后的深度图；三维映射单元， 其基于校正后的深度图、通过将中央单眼图像映射在三维空间中，生成校正后的三维图；以及立体图像合成单元，其通过将校正后的三维图投影到显示面上，合成输出图像的右图像和左图像。这产生了如下效果根据输入图像的左图像和右图像合成中央单眼图像，并且基于中央单眼图像而对视差进行校正。另外，根据这里的第一方面，图像合成单元可具有直接三维映射单元，其基于视差图中的视差，通过将输入图像的左图像和右图像映射在三维空间中，生成三维图；中央单眼图像合成单元，其通过将三维图投影到面对虚拟中央眼的显示面上，合成中央单眼图像； 视差/深度转换单元，其将校正后的视差图中的视差转换成深度，并且生成校正后的深度图；三维映射单元，其基于校正后的深度图，通过将中央单眼图像映射在三维空间中，生成校正后的三维图；以及立体图像合成单元，其通过将校正后的三维图投影到显示面上，合成输出图像的右图像和左图像。这产生了如下效果根据输入图像的左图像和右图像生成三维图，并且基于该三维图对视差进行校正。另外，根据这里的第一方面，还可设置有视差分析单元，其对视差图中的视差进行分析，并且生成视差的累积频率分布；其中，视差校正单元基于累积频率分布和校正特征， 对视差图中的视差进行校正。这产生了如下效果对视差直方图进行平滑，并且有效地改变立体图像的深度感知。
另外，本发明的第二方面是一种立体图像显示系统，具有输入图像提供单元，其提供具有作为一对立体图像的左图像和右图像的输入图像；视差检测单元，其根据输入图像的左图像和右图像检测视差，并且生成保存每个像素或像素群的视差的视差图；校正特征设置单元，其设置校正视差图中的视差时的校正特征；视差校正单元，其根据所设置的校正特征来校正视差图中的视差，并且生成校正后的视差图；图像合成单元，其根据校正后的视差图，根据输入图像的左图像和右图像，合成输出图像的左图像和右图像；以及图像显示装置，其显示输出图像。这产生了如下效果基于校正后的视差图合成左图像和右图像并且显示，其中，该校正后的视差图进行了根据所设置的校正特征的视差校正。发明的有利效果根据本发明，可以根据影响立体图像的深度感知的图像的配置要素的特征，获得卓越的优点可以对立体图像的视差进行转换。
图1是示出根据本发明的一个实施例的立体图像显示系统的配置示例的图；图2是示出根据本发明的第一实施例的视差转换装置100的配置示例的图；图3是示出根据本发明的第一实施例的利用视差校正单元150的视差校正的示例的图；图4是示出根据本发明的第一实施例的利用校正特征设置单元130的校正特征设置的前提的图；图5是示出根据本发明的第一实施例的利用校正特征设置单元130的校正特征设置的示例的图；图6是示出根据本发明的第一实施例的利用视差校正单元150的视差校正的另一个示例的图；图7是示出根据本发明的第一实施例的通过图像合成单元160进行的图像合成的示例的图；图8是示出根据本发明的第一实施例的视差转换装置100的操作示例的图；图9是示出根据本发明的第二实施例的视差转换装置100的操作配置示例的图；图10是根据本发明的第二实施例的通过区域设置单元140进行的多个区域设置的示例；图11是示出根据本发明的第二实施例的在实现校正特征的加权和时的加权示例的图；图12是示出根据本发明的第三实施例的视差转换装置100的配置示例的图；图13是示出根据本发明的第三实施例的图像合成单元260的配置示例的图；图14是示出根据本发明的第三实施例的视差/深度转换单元的处理示例的图；图15是示出根据本发明的第三实施例的中央单眼图像合成单元沈3的处理示例的图；图16是示出根据本发明的第三实施例的三维映射单元264和立体图像合成单元 265的处理概要的图17是示出根据本发明的第三实施例的三维映射单元264和立体图像合成单元 265的处理细节的图；图18是示出根据本发明的第三实施例的通过三维映射单元264和立体图像合成单元265进行的深度曲线上的图像选择的示例的图；图19是示出根据本发明的第三实施例的通过三维映射单元264和立体图像合成单元265进行的深度曲线上的图像选择的另一个示例的图；图20是示出根据本发明的第四实施例的视差转换装置100的配置示例的图；图21是示出根据本发明的第四实施例的图像合成单元360的配置示例的图；图22是示出根据本发明的第四实施例的通过直接三维映射单元362进行的处理示例的图；图23是示出根据本发明的第四实施例的中央单眼图像合成单元363的处理示例的图；图M是示出根据本发明的第五实施例的视差转换装置100的配置示例的图；图25是示出根据本发明的第五实施例的通过视差分析单元120进行的视差分析的示例的图；图沈是示出根据本发明的第五实施例的视差转换装置100的操作示例的图；图27是示出根据本发明的第六实施例的视差转换装置100的配置示例的图；以及图观是示出根据本发明的第六实施例的视差校正单元550的配置示例的图。
具体实施例方式下面将描述本发明的实施例(在下文中称为实施例)。将按以下顺序给出描述。1.第一实施例(按照视差的大小执行视差转换的示例)2.第二实施例(利用按区域不同的校正特征来执行视差转换的示例)3.第三实施例(使用中央单眼图像的示例)4.第四实施例(执行直接三维映射的示例)5.第五实施例(执行视差的直方图平滑的示例)6.第六实施例(通过按分量不同的校正特征来执行视差转换的示例)<1.第一实施例>[立体图像显示系统]图1是示出根据本发明的一个实施例的立体图像显示系统的配置示例的图。这里的立体图像显示系统具有图像存储装置10、视差转换装置100、显示控制装置30以及图像显示装置40。图像存储装置10存储用于立体显示的图像数据。现在，图像数据可以是具有一对由人左眼感知的左图像和由人右眼感知的右图像的立体图像，并且可以是由一对左图像和右图像构成的静止图像，或者可以是运动图像，其中，以时序方式排列左图像和右图像 (帧)。注意，图像存储装置10是在权利要求中描述的输入图像提供单元的示例。视差转换装置100对存储在图像存储装置10中的图像数据的立体图像的视差进行转换。也就是说，视差转换装置100的输入和输出两者都是立体图像，并且被转换以使得由双眼领会的视差不同。
显示控制装置30执行控制，以使得从视差转换装置100输出的图像数据显示在图像显示装置40上。图像显示装置40是将图像数据显示为立体图像的立体显示器。可选方法可应用为立体显示方法，诸如将左图像和右图像交替布置在每隔一行的扫描线上的方法，或者以时分方式显示左图像和右图像的方法。显示控制装置30执行显示控制，以便与这里的图像显示装置40的显示方法对应。[视差转换装置]图2是示出根据本发明的第一实施例的视差转换装置100的配置示例的图。根据第一实施例的视差转换装置100接收由左图像L和右图像R构成的立体图像作为输入图像，对其视差进行转换，并且输出由左图像L'和右图像R'构成的立体图像作为输出图像。视差转换装置100具有视差检测单元110、校正特征设置单元130、视差校正单元150、 以及图像合成单元160。视差检测单元110根据输入图像的左图像L和右图像R检测视差，并且生成视差图dM。这里的视差图dM保存输入图像的每个像素或像素群的视差。在这种情况下，左图像L或右图像R可用作输入图像的基准。另外，可以获得左图像L和右图像R两者的视差用于隐藏部分的处理。视差的估计方法是已知技术，并且已知一种技术估计左图像和右图像的视差，并且通过执行对从左图像和右图像移除了背景图像的前景图像的匹配来生成视差图(例如，日本未审查专利申请公布第2006-114023号)。视差校正单元150对视差图dM中的视差进行校正，并且生成校正后的视差图 dM'。校正特征设置单元130设置利用视差校正单元150执行视差校正时的校正特征。在利用视差校正单元150、使用sigmoid函数执行视差校正的情况下，设置最大容许视差dmax 和最小容许视差dmin为校正特征。稍后将描述视差校正的细节。图像合成单元160基于校正后的视差图dM'合成立体图像的左图像L和右图像 R，并且输出由左图像L'和右图像R'构成的立体图像作为输出图像。[视差校正]图3是示出根据本发明的第一实施例的利用视差校正单元150的视差校正的示例的图。在这里的图中，水平轴表示输入视差d，而垂直轴表示校正之后的校正后的视差d'。 在视差在正方向上增大的情况下，获得向后拖拉的感觉，而在视差在负方向上减小的情况下，获得向前突出的感觉。用实线示出的曲线图表示输入视差d与校正后的视差d'之间的关系。这里的曲线图具有作为非线性函数的示例的sigmoid函数的形式，并且输入视差d在正方向上越增大，校正后的视差d'越接近最大容许视差dmax，而输入视差d在负方向上越减小，校正后的视差d'越接近最小容许视差dmin。也就是说，这里的校正特征是非线性特征，其随着视差图中的视差增大而收敛到预定值。最大容许视差dmax和最小容许视差dmin由显示器大小(显示面的大小)、观看距离、观众(观察者)的观看功能确定，并且根据本发明的实施例，由校正特征设置单元130设置。在该曲线图中，在输入视差变成零的附近，使得斜率为“ 1 ”，由此可以避免接近显示面的深度的图像失真。然而，在整体上深度量不足的情况下，可以考虑将曲线图的斜率增大到大于“1”，以便示出具有增强的深度感知的立体影像。可以利用以下表达式获得这里假设的sigmoid函数。
ζ (χ) = l/(l+e-x)另外，可以使用诸如如下的函数，其中，从上面表达式的函数中减去常量值0.5，并且整体乘以比例因子d。ζ (χ) = dX (l/(l+e-x)_0. 5)图4是示出根据本发明的第一实施例的通过校正特征设置单元130进行的校正特征设置的前提的图。在利用视差校正单元150、基于sigmoid函数来执行视差校正的情况下，必须利用校正特征设置单元130将最大容许视差dmax和最小容许视差dmin设置为校正特征。通过一般感知特征来设置这些最大容许视差dmax和最小容许视差dmin。在下文中，假设首先获得最近容许位置Dmin和最远容许位置Dmax，并且基于这些位置而获得最大容许视差dmax和最小容许视差dmin。在图4(a)中，将垂直地观看在距双眼视觉距离DD的位置处的显示面的角度设置为α，而将垂直地观看最近容许位置Dmin中的平面的角度设置为β。如果右眼和左眼之间的距离是双眼之间的间距e，则可以利用以下表达式获得角度α。tan (α /2) = (1/DD) X (e/2)α = 2tan-l(e/(2 · DD))类似地，可以利用以下表达式示出角度β。β = 2tan-l(e/(2 · Dmin))现在，对于一般感知特征，β - α ^ 60'成立，由此通过以下表达式示出最近容许位置Dmin。Dmin 彡 e/2tan ((60+ α ) /2)如果视线移动得远离图4(b)中的双眼视线平行状态，则担心存在不舒适的感觉。 在双眼视线平行状态中，最远容许位置Dmax是无穷大位置。此时显示面的视差变得等于双眼之间的间距。假设双眼之间的间距约为65mm。因此，可以将最大容许视差dmax设置为约 65mm0图5是示出根据本发明的第一实施例的通过校正特征设置单元130进行的校正特征设置的示例的图。在距双眼的最近容许位置Dmin处观看平面时在视觉距离DD处的显示面的视差变成最小容许视差dmin。另外，在距双眼的最远容许位置Dmax处观看平面时在视觉距离DD处的显示面的视差变成最大容许视差dmax。这里，二者表达为如下表达式。dmin = e (Dmin-DD) /Dmindmax = e (Dmax-DD) /Dmax最大容许视差dmax仅必须设置为如上所述的约65mm，而在可选位置设置为最远容许位置Dmax的情况下，可以根据以上表达式获得最大容许视差dmax。注意，根据以上表达式，使用长度作为单位来获得视差值，而通过将视差值除以显示面的像素间距，像素数可以作为单位。例如，如果假设显示面的屏幕宽度为W[mm]，而水平方向上的像素数为N[像素]，则像素间距为W/N[mm/像素]。相应地，为了将长度单位视差 d[mm]转换成像素单位视差d"[像素]，可以使用以下表达式。d〃 = d/ (ff/N)注意，这里描述了基于一般感知特征来设置校正特征，但是可以适当地根据观众的喜好来设置校正特征。在这种情况下，由用户输入要求的参数，并且校正特征设置单元 130接收该参数来设置校正特征。图6是示出根据本发明的第一实施例的利用视差校正单元150的视差校正的另一个示例的图。其中水平轴是输入视差d而垂直轴为校正之后的校正视差d'的点与图3中相同。在该曲线图中，设置校正特征以使得缩窄到最大容许视差dmax和最小容许视差 dmin的区域被划分成多个范围，并且视差可以适当地再现在每个范围内。在这种情况下，需要利用校正特征设置单元130来设置对各个区域进行链接的交点的坐标。现在，作为由校正特征设置单元130设置的校正特征，给出了如图3中的sigmoid 函数的示例和如图6中的线性曲线图的示例，但是可以设置具有其它非线性相关性的校正特征。例如，可以考虑利用arctan(反正切)函数的设置。[图像合成]图7是示出根据本发明的第一实施例的利用图像合成单元160的图像合成的示例的图。假设输入图像的左图像L的坐标(i，j)处的像素为L(i，j)。此时，在输入图像的右
图像R中，位置在水平方向上偏移输入视差d的量，由此对应于L (i，j)的像素变成R(i+d， j)。另一方面，在输出图像的右图像R'中，位置在水平方向上偏移了校正后的视差 d'，由此对应于L(i，j)的像素变成R' (i+d'，j)。另外，由于左图像用作基准，因此，输入图像的左图像和输出图像的左图像L'匹配。因此，利用以下表达式获得由图像合成单元 160合成的输出图像的左图像L'和右图像R'。L' (i，j)=L(i，j)R' (i+d'，j) = (d' ‘ L(i, j) + |d-d' · R(i+d，j))/(|d_d' |+d')注意，在该示例中，使用左图像作为基准来合成右图像，但是反之，可以使用右图像作为基准来合成左图像。[操作]图8是示出根据本发明的第一实施例的视差转换装置100的操作示例的图。首先，利用校正特征设置单元130设置作为初始设置的视差校正的校正特征(步骤S910)。然后利用视差检测单元110根据输入图像的左图像L和右图像R检测视差，并且生成视差图 dM(步骤S920)。采用这样设置的校正特征，利用视差校正单元150校正视差图dM中的视差，并且生成校正后的视差图dM'(步骤S940)。基于这样生成的校正后的视差图dM'中的视差，利用图像合成单元160根据输入图像合成输出图像(步骤S950)。这里合成后的输出图像经由显示控制装置30显示在图像显示装置40上(步骤S990)。因此，根据本发明的第一实施例，视差校正单元150根据由校正特征设置单元130 设置的校正特征来对输入图像的视差进行校正，并且图像合成单元160采用校正后的视差合成输出图像。因此，可以抑制过度的深度感知，并且可以呈现令观众愉快的立体影像。〈第二实施例〉[视差转换装置]图9是示出根据本发明的第二实施例的视差转换装置100的配置示例的图。与第一实施例相比，根据本发明的第二实施例的视差转换装置100的不同在于还具有区域设置单元140。区域设置单元140在视差图dM中设置多个区域。图10是根据本发明的第二实施例的通过区域设置单元140进行的多个区域设置的示例。例如，如图10(a)所示，关于视差图dM的中央的第一区域设置对应于左边缘和右边缘的第二区域。通过以此方式设置第一区域和第二区域，可以针对每个区域设置不同的校正特征。校正特征设置单元130对于由区域设置单元140设置的每个区域单独设置校正特征。例如，可以基于如图10(b)所示的对于正和负两个方向的sigmoid函数而对视差图dM 的中央的第一区域进行校正，而可以如图10(c)所示对与左边缘和右边缘对应的第二区域进行校正，以使得不执行负方向上(向前侧)的突出。因此，可以避免左边缘和右边缘处的不自然的突出，从而解决了观察者的不舒适(遮挡冲突)。在这种情况下，为了避免区域之间的不连续性，可以在不同区域之间设置缓冲区域，以便在缓冲区域内根据距相邻的两个区域的距离对两个校正特征求加权和来确定校正后的视差。图11是示出在实现根据本发明的第二实施例的校正特征的加权和时的权重的示例的图。在该图中示出了第一区域的权重Pl(X)和第二区域的权重p2(x)。在第一区域和第二区域之间设置缓冲区域，并且缓冲区域设置为使得离开原始区域的中央越远，权重 pl(X)或p2(x)越减小。以下表达式中是权重pl(X)和p2(x)之间的关系。pl(x)+p2(x) = 1这样设置的权重pl(x)或p2(x)用来获得如以下表达式所表示的最终校正视差 d'。然而，Fl (d)是第一区域的校正函数，而F2(d)是第二区域的校正函数。d' = pl(x) XFl(d)+p2(x) XF2(d)[操作]根据本发明的第二实施例的操作与利用图8描述的第一实施例的处理过程的操作的不同在于步骤S910中的初始设置，区域设置单元140设置多个区域，并且校正特征设置单元130针对每个区域提供校正特征。在除此之外的方面，操作与第一实施例类似，因此这里将省略详细描述。
因此，根据本发明的第二实施例，区域设置单元140在视差图dM中设置多个区域， 由此可以设置适于每个区域的校正特征，并且可以解决图像边框附近的遮挡冲突。<3.第三实施例〉[视差转换装置]图12是示出根据本发明的第三实施例的视差转换装置100的配置示例的图。与第一实施例相比，这里根据第三实施例的视差转换装置100在图像合成单元沈0中具有不同的图像合成内容。下面将描述图像合成单元260的内容。[图像合成]图13是示出根据本发明的第三实施例的图像合成单元260的配置示例的图。图像合成单元260具有视差/深度转换单元沈1、中央单眼图像合成单元沈3、三维映射单元 264以及立体图像合成单元洸5。视差/深度转换单元沈1将包括在校正后的视差图dM ‘中的视差转换成深度方向上的距离，并且生成校正后的深度图DPM'。中央单眼图像合成单元263根据输入图像的左
12图像L和右图像R以及视差图dM合成中央单眼图像C。现在，中央单眼图像C是从虚拟布置在左眼和右眼之间的中央单眼观看的图像。假设中央单元图像C布置在视觉距离DD处的显示面上。三维映射单元264根据校正后的深度图DPM'，将中央单眼图像C映射为作为三维空间深度曲线的校正后的三维图3DTM'。立体图像合成单元265将映射为校正后的三维图3DTM'的图像投影到显示面上，并且合成由左图像L'和右图像R'构成的立体图像。 注意，三维映射单元264是权利要求中的三维映射单元的示例。[视差/深度转换]图14是示出根据本发明的第三实施例的视差/深度转换单元的处理示例的图。如图所示，当双眼之间的距离是双眼之间的间距e并且到显示面的距离为视觉距离DD 时，可以根据显示面处的视差d通过以下表达式获得深度DP。DP = e · DD/(e-d)视差/深度转换单元沈1将包括在校正后的视差图dM ‘中的视差插入到以上表达式的视差d中，并且得到深度DP。所获得的深度DP被提供到三维映射单元264中，作为保存与图像的每个像素或每个像素群对应的深度的校正后的深度图DPM'。注意，通过以上表达式获得的深度DP的水平方向上的坐标是不均勻分布的，由此可以使用内插等获得与图像上的各个像素对应的位置处的深度，并且该深度被保存为二维阵列。[中央单眼图像合成]图15是示出根据本发明的第三实施例的中央单眼图像合成263的处理示例的图。 如果位置(i，j)处的左图像L(i，j)为基准，则输入视差d的右图像R变成R(i+d，j)。现在，如图所示，中央单眼图像C被设置为左图像和右图像之间的中间位置C(i+d/2，j)。也就是说，利用以下表达式表达中央单眼图像C。C(i+d/2, j) = (L(i，j)+R(i+d, j)/2因此，中央单眼图像合成单元263合成中央单眼图像C，其在水平方向上具有左图像L和右图像R之间的中间位置，并且在垂直方向上在与左图像L和右图像R相同的位置中。这里合成的中央单眼图像C被提供到三维映射单元沈4。[三维映射和立体图像合成]图16是示出根据本发明的第三实施例的三维映射单元264和立体图像合成单元 265的处理概要的图。如图16(a)所示，三维映射单元264对深度曲线进行映射，其中，在从左眼和右眼之间估计的虚拟中央眼观看中央单眼图像C的像素或像素群中，进一步观看由校正后的深度映射DPM'示出的深度。该深度曲线为校正后的三维图3DTM'，并且在三维空间(X，y，ζ)中被标识。如图16(b)所示，立体图像合成单元265将从左眼和右眼观看校正后的三维图 3DTM'时的图像投影到显示面上。因此，合成输出图像的左图像L'和右图像R'。图17是示出根据本发明的第三实施例的三维映射单元264和立体图像合成单元 265的处理细节的图。在从假设为左眼和右眼之间的虚拟中央眼观看在观看距离DD处的中央单眼图像C的像素或像素群中，通过三维映射单元264对进一步观看通过校正后的深度图DPM'示出的深度的位置处的深度曲线进行映射。因此，中央单眼图像C的水平方向上的位置xCO处的像素被映射为校正后的深度图DPM'的水平方向上的位置xdO。如此映射为校正后的深度图DPM'的像素通过立体图像合成单元265投影到右图像中从右眼看到的直线与右图像之间的交点(水平方向上的位置xRO)处。类似地，像素投影到左图像中从左眼看到的直线与左图像之间的交点处。对于右图像，在以下表达式中示出了穿过右眼与右图像上的交点(水平方向上的位置xRO)的直线。Z(x) = (-DD/ (e/2-xRO)) · x+(DD · e/2) / (e/2-xRO)图18是示出根据本发明的第三实施例的通过三维映射单元264和立体图像合成单元265进行的深度曲线上的图像选择的示例的图。三维映射单元264在水平方向上扫描校正后的深度图DPM'，并且将水平像素位置设置为xdO，由此以下表达式变得最小。E(X)=DPM' (x，y) - ((-DD/(e/2-xRO)) · x+(DD χ e/2) / (e/2-xRO))在存在使得以上表达式变得最小的多个位置的情况下，可选择最接近xRO的位置。计算穿过右眼(e/2，0)和位置(xdO，DP(xdO))的直线，并且将这里的直线与单眼中央图像C相交的交点的像素值设置为右图像的位置xRO的像素值。在这里的交点位于相邻像素之间的情况下，通过从两侧内插执行计算。图19是示出根据本发明的第三实施例的通过三维映射单元264和立体图像合成单元265进行的深度曲线上的图像选择的另一个示例的图。在选择位置xdO时，根据提供上述表达式E(X)的最小值的位置xmin以及其之前和之后的x(min-l)和χ(min+1)，可利用指数曲线近似它们之间的DP(X)，并且可以获得使得近似曲线与直线之间的差别最小的位置和深度量。[操作]根据本发明的第三实施例的操作与根据图8中描述的第一实施例的处理过程的操作的不同在于，在步骤S950中的图像合成中，基于中央单眼图像而反映视差校正以执行合成。在其它点中，操作与第一实施例类似，因此这里将省略其详细描述。因此，根据本发明的第三实施例，合成根据所检测到的视差的中央单眼图像，并且通过基于这里的中央单眼图像而反映视差校正，可以呈现使观众愉快的立体图像。<4.第四实施例〉[视差转换装置]图20是示出根据本发明的第四实施例的视差转换装置100的配置示例的图。与第一实施例相比，根据第四实施例的视差转换装置100的不同在于利用图像合成单元360 的图像合成的内容。下面将描述这里的图像合成单元360的内容。[图像合成]图21是示出根据本发明的第四实施例的图像合成单元360的配置示例的图。图像合成单元360具有视差/深度转换单元361、直接三维映射单元362、中央单眼图像合成单元363、三维映射单元364以及立体图像合成单元365。除了这里的图像合成单元360利用直接三维映射单元362生成三维图以及中央单眼图像合成单元363根据这里的三维图合成中央单眼图像C之外，该配置与上述根据第三实施例的图像合成单元260相似。直接三维映射单元362根据视差图dM、输入图像的左图像和右图像生成三维图3DTM。注意，直接三维映射单元362是权利要求中描述的直接三维映射单元的示例。另外，三维映射单元364 是权利要求中描述的三维映射单元的示例。
图22是示出根据本发明的第四实施例的通过直接三维映射单元362进行的处理示例的图。使用左图像L(x'，y)作为基准，估计在水平方向上偏移视差d的位置中的右图像R(x' +d，y)。假设直接三维映射单元362将从左眼观看左图像L(x'，y)的直线与从右眼观看右图像R(x' +d，y)的直线的交点设置在三维图上的点3DTM(x，y，DP)处。也就是说，可以利用以下表达式获得3DTM(x，y，DP)。3DTM(x, y, DP) = (L(x' , y)+R(x' +d, y))/2图23是示出根据本发明的第四实施例的利用中央单眼图像合成单元363的处理示例的图。中央单眼图像合成单元363关于假设为左眼和右眼之间的虚拟中央眼、从作为深度曲线的三维图3DTM(x，y，ζ)上的各个点向显示面投影，并且合成中央单眼图像C。也就是说，中央单眼图像合成单元363执行与图16(a)中描述的三维映射单元264相反的操作。[操作]根据本发明的第四实施例的操作与根据图8中描述的第一实施例的处理过程的操作的不同在于，在步骤S950中的图像合成中，基于中央单眼图像而反映视差校正以执行合成。在其它方面，操作与第一实施例类似，因此这里将省略其详细描述。因此，根据本发明的第四实施例，通过根据来自输入图像的视差直接合成中央单眼图像并且基于这里的中央单眼图像而反映视差校正，可以呈现使观众愉快的立体图像。<5.第五实施例〉[视差转换装置]图M是示出根据本发明的第五实施例的视差转换装置100的配置示例的图。与第一实施例相比，根据第五实施例的视差转换装置100的不同在于还具有生成视差的累积频率分布的视差分析单元120和基于其累积频率分布执行视差校正的视差校正单元450。 以下将描述通过视差分析单元120进行的视差分析和通过视差校正单元450进行的视差校正的内容。[视差分析和视差校正]图25是示出根据本发明的第五实施例的通过视差分析单元120进行的视差分析的示例的图。视差分析单元120生成视差图dM中的图像内的视差d的直方图，如图25(a) 所示。在同一图中，水平轴为视差d，而垂直轴表示针对视差d的频率h(d)。视差分析单元120改变视差校正单元450的输入/输出特征，以便平滑视差d的直方图，由此使得视差直方图最大化。因此，执行平滑以使得视差出现频率全部相同，因此可以有效地修改立体图像的深度感知。如在以下表达式中那样，执行平滑之后的视差d'被示出为在平滑之后的视差最大值dmax与累积频率分布P (ζ)的乘积。d' = dmax χ P(ζ)然而，通过总数据量对累积频率分布Ρ(ζ)进行归一化。因此，P(Z) < 1.0成立。现在，利用以下表达式表达累积频率分布P (ζ)。P (ζ) = (1/Ν)χ Σ h(d)然而，总和Σ使用d = 0到ζ作为定义域。也就是说，这里，视差d仅聚集于正范围。对于负范围，必须执行类似的单独处理。
图25(b)示出了这样获得的平滑之后的视差d'。对于正范围和负范围两者将基于累积频率分布P(Z)的平滑之后的视差d'从视差分析单元120提供到视差校正单元 450。注意，如上所述，平滑之后的视差d'为累积频率分布P(ζ)乘以dmax，由此，在该说明书中被作为广义累积频率分布处理。视差校正单元450基于从视差分析单元120提供的累积频率分布而执行视差校正。也就是说，在第一实施例中，使用诸如sigmoid函数的非线性函数来执行视差校正，而在第五实施例中，使用累积频率分布曲线来执行视差校正。因此，可以根据图像的视差分布来有效地修改校正特征，以执行视差校正。注意，调整增益以便接近由校正特征设置单元 130设置的最大容许视差dmax和最小容许视差dmin的点与第一实施例相似。[操作]图沈是示出根据本发明的第五实施例的视差转换装置100的操作示例的图。首先，在校正特征设置单元130处，将视差校正的校正特征设置为初始设置(步骤S910)。在视差检测单元110处，检测来自输入图像的左图像L和右图像R的视差，并且生成视差图 dM(步骤S920)。另外，通过视差分析单元120分析视差图dM的图像内的视差d，并且根据视差直方图生成累积频率分布(步骤S930)。根据所设置的校正特征和累积频率分布，利用视差校正单元450来校正视差图dM的视差，并且生成校正后的视差图dM'(步骤S940)。基于这样生成的校正后的视差图dM'的视差，利用图像合成单元160根据输入图像合成输出图像(步骤S950)。将合成后的输出图像经由显示控制装置30显示在图像显示装置40上(步骤S990)。因此，根据本发明的第五实施例，使用通过利用视差分析单元120分析视差图dM 的图像内的视差获得的累积频率分布，并且视差校正单元450校正输入图像的视差。因此， 可以根据图像内的视差有效地修改立体图像的深度感知。<6.第六实施例〉[视差转换装置]图27是示出根据本发明的第六实施例的视差转换装置100的配置示例的图。根据第六实施例的视差转换装置100与第一实施例的不同在于如下点利用校正特征设置单元530设置根据分量的校正特征和利用视差校正单元550对于每个分量执行视差校正。以下将描述利用视差校正单元550的视差校正的内容。[视差校正]图观是示出根据本发明的第六实施例的视差校正单元550的配置示例的图。视差校正单元550具有分量划分单元551、第一分量视差校正单元552、第二分量视差校正单元阳3、以及分量合成单元554。分量划分单元551按分量来划分视差图dM的图像内的视差。例如，提取作为视差的主要(broad)分量的低频分量和作为视差细节分量的高频分量。因此，获得具有不同分量的两个图像。例如，通常的频带划分滤波器或边缘保存型滤波器用作分量划分单元阳1， 由此可以提取根据视差频率分量的分量。第一分量视差校正单元552和第二分量视差校正单元553针对各个相应分量执行视差校正。在视差校正时，根据由校正特征设置单元530设置的校正特征来执行校正。例如，对于主要分量，可执行诸如在第一实施例中描述的视差压缩，而细节分量可以在不改变的情况下保存并且不执行视差校正(或采用在校正前后没有变化的视差校正)。因此，在维持深度改变的细节的同时，可以将视差的动态范围抑制在容许范围内。注意，第一分量视差校正单元552和第二分量视差校正单元553是在权利要求中描述的分量视差校正单元的示例。分量合成单元5M合成第一分量视差校正单元552和第二分量视差校正单元553 的输出。例如，可以通过相加单元实现分量合成单元阳4。注意，这里假设分量划分单元551划分成两个分量，但是并不限制于此，而是可根据需要划分成三个或更多个分量，并且根据各个分量执行校正。因此，根据本发明的第六实施例，可以通过分量划分单元551划分成具有不同分量的多个图像，并且分别通过不同的校正特征执行视差校正，由此可以实现适于各个分量的视差校正。例如，通过抑制细节分量的视差校正，可以维持深度变化细节，同时将视差动态范围保持在容许范围内。注意，本发明的实施例示出了用于实现本发明的示例，并且如在本发明的实施例中阐明的那样，本发明的实施例的项目和权利要求中的发明特定项目分别具有关联性。类似地，权利要求中的发明特定项目和具有相同名称的根据本发明的实施例的项目分别具有关联性。然而，本发明不限于这些实施例，并且可以在本发明的范围和实质内通过执行对实施例的各种修改来实现本发明。另外，根据本发明的实施例描述的处理过程可保持为具有一系列过程的方法，或者可保持为用于使得计算机执行这里的一系列过程的程序和存储其程序的记录介质。例如，CD(压缩盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、蓝光盘(Blu-ray Disc)等可用作这里的记录介质。附图标记列表10图像存储装置30显示控制装置40图像显示装置100视差转换装置110视差检测单元120视差分析单元130、530校正特征设置单元140区域设置单元150、450、550视差校正单元160,260,360图像合成单元261、361视差/深度转换单元362直接三维映射单元263,363中央单眼图像合成单元263、364三维映射单元265、365立体图像合成单元551分量划分单元552第一分量视差校正单元
553第二分量视差校正单元554分量合成单元
权利要求
1.一种视差转换装置，包括视差检测单元，所述视差检测单元根据输入图像的左图像和右图像检测视差，并且生成保存每个像素或像素群的所述视差的视差图；校正特征设置单元，所述校正特征设置单元设置在校正所述视差图中的视差时的校正特征；视差校正单元，所述视差校正单元根据所述设置的校正特征来校正所述视差图中的视差，并且生成校正后的视差图；以及图像合成单元，所述图像合成单元根据所述校正后的视差图，根据所述输入图像的左图像和右图像，合成输出图像的左图像和右图像。
2.根据权利要求1所述的视差转换装置，还包括区域设置单元，所述区域设置单元在所述视差图中设置至少两个区域；其中，所述校正特征设置单元针对所述至少两个区域中的每个区域来设置所述校正特征；并且其中，所述视差校正单元按照针对所述视差图中的所述至少两个区域设置的所述校正特征，对所述视差图中的视差进行校正。
3.根据权利要求2所述的视差转换装置，其中，所述视差校正单元在所述至少两个区域相邻的预定缓冲区域中，按照针对各相邻区域设置的所述校正特征的加权和，对所述视差图中的视差进行校正。
4.根据权利要求2所述的视差转换装置，其中，所述校正特征设置单元设置所述校正特征，以使得在与所述至少两个区域的所述视差图的左边缘和右边缘对应的区域中，抑制向前方向中的深度。
5.根据权利要求1所述的视差转换装置，其中，所述校正特征设置单元针对所述视差图中的至少两个分量中的每个分量设置所述校正特征；所述视差校正单元包括分量划分单元，所述分量划分单元将所述视差图划分成所述分量中的每个；分量视差校正单元，所述分量视差校正单元根据针对每个所述分量设置的所述校正特征，按分量对所述视差图中的视差进行校正；以及分量合成单元，所述分量合成单元合成针对每个所述分量校正了的视差图，并且生成所述校正后的视差图。
6.根据权利要求5所述的视差转换装置，其中，利用所述校正特征设置单元设置的所述分量基于所述视差图中的视差频率的分量。
7.根据权利要求1所述的视差转换装置，其中，利用所述校正特征设置单元设置的所述校正特征是非线性特征，其中，所述视差图中的视差接近零的地方斜率为1，并且随着所述视差图中的视差增大所述斜率收敛到预定值。
8.根据权利要求7所述的视差转换装置，其中，基于sigmoid函数限定利用所述校正特征设置单元设置的所述校正特征。
9.根据权利要求1所述的视差转换装置，其中，所述图像合成单元包括中央单眼图像合成单元，所述中央单眼图像合成单元基于所述视差图的视差，根据所述输入图像的左图像和右图像合成中央单眼图像；视差/深度转换单元，所述视差/深度转换单元将所述校正后的视差图中的视差转换成深度，并且生成校正后的深度图；三维映射单元，所述三维映射单元基于所述校正后的深度图、通过将所述中央单眼图像映射在三维空间中，生成校正后的三维图；以及立体图像合成单元，所述立体图像合成单元通过将所述校正后的三维图投影到显示面上，合成所述输出图像的右图像和左图像。
10.根据权利要求1所述的视差转换装置，其中，所述图像合成单元包括直接三维映射单元，所述直接三维映射单元基于所述视差图中的视差，通过将所述输入图像的左图像和右图像映射在三维空间中，生成三维图；中央单眼图像合成单元，所述中央单眼图像合成单元通过将所述三维图投影到面对虚拟中央眼的显示面上，合成中央单眼图像；视差/深度转换单元，所述视差/深度转换单元将所述校正后的视差图中的视差转换成深度，并且生成校正后的深度图；三维映射单元，所述三维映射单元基于所述校正后的深度图，通过将所述中央单眼图像映射在三维空间中，生成校正后的三维图；以及立体图像合成单元，所述立体图像合成单元通过将所述校正后的三维图投影到显示面上，合成所述输出图像的右图像和左图像。
11.根据权利要求1所述的视差转换装置，还包括视差分析单元，所述视差分析单元对所述视差图中的视差进行分析，并且生成所述视差的累积频率分布；其中所述视差校正单元基于所述累积频率分布和所述校正特征，对所述视差图中的视差进行校正。
12.—种立体图像显示系统，包括输入图像提供单元，所述输入图像提供单元提供具有作为一对立体图像的左图像和右图像的输入图像；视差检测单元，所述视差检测单元根据所述输入图像的左图像和右图像检测视差，并且生成保存每个像素或像素群的所述视差的视差图；校正特征设置单元，所述校正特征设置单元设置在校正所述视差图中的视差时的校正特征；视差校正单元，所述视差校正单元根据所述设置的校正特征来校正所述视差图中的视差，并且生成校正后的视差图；图像合成单元，所述图像合成单元根据所述校正后的视差图，根据所述输入图像的左图像和右图像，合成输出图像的左图像和右图像；以及图像显示装置，所述图像显示装置显示所述输出图像。
13.—种视差转换方法，包括校正特征设置过程，设置在校正视差图中的视差时的校正特征，所述视差图保存每个像素或像素群的所述视差；视差检测过程，根据输入图像的左图像和右图像检测视差，并且生成所述视差图； 校正特征设置过程，设置在校正所述视差图中的视差时的校正特征；视差校正过程，根据所述设置的校正特征来校正所述视差图中的视差，并且生成校正后的视差图；图像合成过程，根据所述校正后的视差图，根据所述输入图像的左图像和右图像，合成输出图像的左图像和右图像；以及图像显示过程，在显示装置上显示所述输出图像。
14. 一种使得计算机执行以下过程的程序校正特征设置过程，设置在校正视差图中的视差时的校正特征，所述视差图保存每个像素或像素群的所述视差；视差检测过程，根据输入图像的左图像和右图像检测视差，并且生成所述视差图； 视差校正过程，根据所述设置的校正特征来校正所述视差图中的视差，并且生成校正后的视差图；图像合成过程，根据所述校正后的视差图，根据所述输入图像的左图像和右图像，合成输出图像的左图像和右图像；以及图像显示过程，在显示装置上显示所述输出图像。
全文摘要
根据影响三维图像的深度感知的图像的配置要素的特征，对三维图像视差进行转换。视差检测单元(110)根据输入图像的左图像(L)和右图像(R)检测视差，并且生成视差图(dM)。视差校正单元(150)校正视差图(dM)中的视差并且生成校正后的视差图(dM′)。校正特征设置单元(130)设置在视差校正单元(150)中执行视差校正时所用的校正特征。图像合成单元(160)基于校正后的视差图(dM′)合成三维图像的左图像(L)和右图像(R)，并且输出包括左图像(L′)和右图像(R′)的三维图像作为输出图像。因此，输出具有根据所设置的校正特征的视差的三维图像。根据视差大小、屏幕上的位置、空间变化的方式等配置要素特征影响深度感知的程度，设置其中的校正特征。
文档编号H04N13/00GK102474644SQ201180003076
公开日2012年5月23日 申请日期2011年5月25日 优先权日2010年6月7日
发明者森藤孝文, 牛木卓, 绪形昌美 申请人:索尼公司