信号处理设备、图像显示设备、信号处理方法和计算机程序的制作方法

专利名称：信号处理设备、图像显示设备、信号处理方法和计算机程序的制作方法
技术领域：
本发明涉及一种信号处理设备、图像显示设备、信号处理方法和计算机程序。更具 体而言，本发明涉及使观众感知(perceive)到立体图像的一种信号处理设备、图像显示设 备、信号处理方法和计算机程序。
背景技术：
在相关领域中，已知图像处理设备通过显示利用左右眼之间的视差的两张图像使 得这两张图像可分别被左右眼观察，来得到立体图像(三维图像)。而且，提出了各种类型 的显示方法，该方法使得观看由这种图像处理设备显示的图像的观众感知到作为立体图像 的图像。 但是，总的来说，根据各种条件，如显示设备(例如，显示图像的显示器)的大小和 显示设备和观众之间的距离，自然地，人们可观看到图像的条件是不同的。因此，观众可能 感知图像中物体的大小与物体的实际大小不同，并且当观看到物体的立体图像时，可能有 差异感。而且，取决于显示的图像和显示图像的显示器之间的关系，立体图像观看本身也可 能是困难的。 为了解决上述问题，提出了各种技术。例如，公开号为JP-A-2004-334833的日本 专利申请是试图解决上述问题的一个例子。在公开号为JP-A-2004-334833的日本专利申 请中描述的技术将关于显示设备属性的信息添加到由显示设备显示的内容，由此减少了观 看立体图像时的差异感。

发明内容
但是，在本领域中，依赖于显示图像的显示器和实际在显示器上显示的图像之间 的关系，观众可以不同于物体实际的大小来感知图像中的物体的大小，而且在观看立体图 像时，观众可能感觉到差异。 此外，当显示二维图像时，观众两眼的收敛角度在显示器的面板部分会合。因此， 当显示二维图像时，观众感知到显示器面板的距离，而观众无法感知到在面板之外延伸的 深度。结果，观众无法感觉到深度，好像从窗户中看远处的风景。 根据上述内容，期望提供一种新型和改良的信号处理设备、图像显示设备、信号处 理方法和计算机程序，其可能以物体的实际大小来感知物体，由此可能以接近人的感觉的 深度感觉来观看更自然的视频。 根据本发明的实施例，提供了一种信号处理设备，包括图像分析部件，其分析输 入图像的内容；距离信息获取部件，其获取观看上面显示输入图像的屏幕的观众与该屏幕 之间的距离信息；以及立体图像产生部件，其使用由图像分析部件所分析的图像的分析结 果、由距离信息获取部件所获取的距离信息以及关于屏幕在水平方向上的规格的信息，从 原始输入图像产生立体图像。 利用上述结构，图像分析部件分析输入到信号处理设备的输入图像的内容，且距离信息获取部件获取在观看上面显示输入图形的屏幕的观众和该屏幕之间的距离信息。立
体图像产生部件使用由图像分析部件分析的输入图像的分析结果、距离信息获取部件获取
的观众和屏幕之间的距离信息、以及关于屏幕在水平方向上的规格的信息，来从原始输入
图像产生立体图像。结果，由于使用了输入图像的分析结果、观众和屏幕之间的距离信息、
以及关于屏幕在水平方向上的规格的信息产生了立体图像，有可能以物体的实际大小来感
知物体。因此，可能使观众以接近于人类感觉的深度感觉来感知更自然的视频。 图像分析部件可能包括检测部件，其检测输入图像中包含的物体的大小，以及距
离计算部件，其根据检测部件检测的大小计算虚拟空间中物体的位置和观众之间的距离，
以及立体图像产生部件可能使用距离计算部件计算的虚拟空间中的物体的位置和观众之
间的距离、距离信息获取部件获取的距离信息以及关于屏幕在水平方向上的规格的信息，
来从原始输入图像产生立体图像。 当脸部被包含在输入图像中时，图像分析部件可能检测到脸部的大小，且立体图 像产生部件可使用图像分析部件检测的脸部大小和距离信息获取部件获取的距离信息来 从原始输入图像产生立体图像。 信号处理设备还可包括收敛角度计算部件，其根据图像分析部件检测的物体大 小，计算观众观看物体时的视线收敛角度。 信号处理设备还可包括移位宽度确定部件，其基于收敛角度计算部件计算的收敛
角度，来确定当立体图像产生部件产生立体图像时的原始输入图像的移位宽度。 当图像分析部件分析输入图像是位于无限距离处的风景时，立体图像产生部件可
通过把原始输入图像移位相应于观众两眼之间间隔的宽度，来从原始输入图像产生立体图像。 当图像分析部件分析输入图像是静止图像时，图像分析部件可获得该静止图像的 拍摄信息，且立体图像产生部件可使用图像分析部件获得的拍摄信息和距离信息获取部件 获取的距离信息来从原始输入图像产生立体图像。 立体图像产生部件可通过从输入图像的一部分裁剪出右眼的图像和左眼的图像 来从原始输入图像产生立体图像。 根据本发明的另一实施例，提供了一种图像显示设备，包括显示图像的图像显示 部件、分析输入图像内容的图像分析部件、测量观看在图像显示部件上显示的图像的观众 和图像显示部件的图像显示表面之间的距离的距离测量部件、以及立体图像产生部件，其 使用图像分析部件分析的输入图像的分析结果、距离测量部件测量的距离信息和关于图像 显示表面在水平方向上的规格的信息，来从原始输入图像产生要在图像显示部件上显示的 立体图像。 根据本发明的另一实施例，提供了一种信号处理方法，包括以下步骤分析输入 图像的内容、获取观看在上面显示输入图像的屏幕的观众和屏幕之间的距离信息，并使用 图像分析步骤中的输入图像的分析结果、在距离信息获取步骤中获取的距离信息和关于屏 幕在水平方向上的规格的信息，来从原始输入图像产生要在图像显示部件上显示的立体图 像。 根据本发明的另一实施例，提供了一种图像显示方法，包括以下步骤分析输入图 像内容、测量观看在图像显示部件上显示的图像的观众和图像显示部件的图像显示表面之间的距离、使用图像分析步骤中的输入图像的分析结果、在距离测量步骤中测量的距离信 息和关于图像显示表面在水平方向上的规格的信息来从原始输入图像产生立体图像、以及 在图像显示部件上显示立体图像。 根据本发明另一实施例，提供了一种计算机程序，其包括命令计算机执行以下步
骤的指令分析输入图像的内容、获取观看在上面显示输入图像的屏幕的观众和屏幕之间
的距离信息、以及使用图像分析步骤中的输入图像的分析结果、距离信息获取步骤中获取
的距离信息和关于屏幕在水平方向上的规格的信息来从原始输入图像产生立体图像。 根据本发明的另一实施例，提供了一种计算机程序，其包括命令计算机执行以下
步骤的指令分析输入图像的内容、测量观看图像显示部件上显示的图像的屏幕的观众和
图像显示部件的图像显示表面之间的距离信息、使用图像分析步骤中的输入图像的分析结
果、距离信息测量步骤中测量的距离信息和关于图像显示表面在水平方向上的规格的信息
来从原始输入图像产生立体图像、以及在图像显示部件上显示立体图像。 如上所述，根据本发明，有可能提供一种新的改良了的图像显示设备、信号处理设 备、信号处理方法和计算机程序，使得可以感知物体的实际大小，由此可以以接近人类感觉 的深度感觉来观看更自然的视频。


图1是示出了人眼看到在几乎无限的距离上的实际风景的一种情形的说明图。
图2是示出了人眼看到显示器上显示的图像的一种情形的说明图。 图3是示出了人眼看到在显示三维图像的已知显示设备的显示器上显示的图像
的一种情形的说明图。 图4是示出了根据本发明的实施例的信号处理设备100和图像显示设备190的说 明图。 图5是示出了如何裁剪图像的例子的说明图。 图6是示出了用于产生三维图像的信号处理方法的流程图。 图7是示出了物体和观众之间的位置关系的说明图。
具体实施例方式
在下文中，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图 中，具有基本上相同功能和结构的结构性元素用相同的参考标号来表示，且对这些结构性
元素的重复解释将被省略。 在下文中，将以以下顺序详细描述本发明的示例性实施例。 1.根据现有技术的一般的三维图像显示方法 2.本发明的实施例 2-1.信号处理设备和图像显示设备的结构 2-2.用于产生三维图像的信号处理方法 2-3修改的例子 1.根据现有技术的一般的三维图像显示方法 ] 首先，在具体描述本发明的示例性实施例前，将描述三维观看和收敛角度。而且，将描述根据即有技术的一般的三维图像显示方法。在下文中，作为例子，将比较和解释在看 到几乎无限的距离的实际风景的情形和在显示器上看到风景的情形。图l是示出了人眼看 到在几乎无限的距离上的实际风景的一种情形的说明图。图2是示出了人眼看到显示器上 显示的图像的一种情况的说明图。 如图l所示，通常，当人眼看到远处的风景时，左眼的视线方向12和右眼的视线方 向14互相平行，且视线之间的间隔对应于两眼之间的间隔De。这是由于远处风景中的物体 IO(图l示出的例子中的山)位于无限距离处。因此，两眼的视线之间的角度(收敛角度) 是0度，由于移动眼睛等的肌肉运动，人感觉到关于物体10的距离。 另一方面，如图2所示，当人眼看到在显示器20上显示的物体22时，左眼的视线 方向12'和右眼的视线方向14'并没有互相平行，且在两眼的视线之间产生收敛角度21。 结果，两眼见到的物体22并没有被识别为无限距离处的物体，而是被识别为离开两眼距离 仅为L的显示器20上的物体。因此，当如图2所示人眼看到显示器20上显示的物体时，与 图1所示的实际看到远处风景的情况不同，不会感知到物体的自然大小。
为了解决该问题，如果在显示器上显示当人眼看到图像时没有产生收敛角度的图 像时，则可能得到三维图像。图3是示出了人眼看到在显示三维图像的已知显示设备的显 示器上显示的图像的一种情形的说明图。图3示出了一种情形，其中三维图像被获得，使得 将以三维方式被观看的图像在水平方向上移位(displace)，并被显示为左眼的图像24和 右眼的图像25。 更具体地，图3示出了一种情形，其中显示器20通过改变偏振的方向、对每条线或 以时间共享的方式，显示左眼的图像24和右眼的图像25，该图像由移位将被观众作为三维 图像观看的图像而得到。如果观众通过一副眼镜等观看在显示器20上显示的图像，观众可 仅使用左眼来观看左眼的图像24，且可仅使用右眼来观看右眼的图像25。因此，观众可观 看到三维图像。 左眼的图像24和右眼的图像25被显示在显示器20上，使得它们在水平方向上彼 此分开等于观众的左眼和右眼之间的距离De的距离。随着左眼的图像24和右眼的图像25 以这种方式在显示器20上显示，观众左眼的视线12"和右眼的视线14"变得彼此平行。因 此，没有产生收敛角度，并且以与在图1中示出的看到位于无限距离处的风景的情形一样 的方式，在显示器20上显示的图像可被感知为三维图像。 为了使观众将在可显示三维图像的图像显示设备上显示的图像感知为三维图像， 观众的右眼和左眼之间的距离De很重要。但是，对应于距离De的在水平方向上的移位距 离Dd根据显示器在水平方向上的规格而变化(例如，显示器的宽度和水平方向上像素的数 量)，或者根据显示的图像而变化。更具体而言，显示器的显示宽度越小，或者水平方向上像 素的数量越多，移位的量就相对越大。相反地，显示器的显示宽度越大，或者水平方向上像 素的数量越少，则移位的量就相对越小。 但是，对于可显示三维图像的已知的图像显示设备，距离Dd是与显示器的宽度和 像素的数量无关的一个固定值。结果，在例如电影院的屏幕和投影机之类的大屏幕上观看 三维内容时和在连接到个人计算机的监视器上观看三维内容时的立体效果会有差异。更具 体而言，当使用连接到个人计算机的监视器时，期望被显示为位于远处的巨大物体的三维 图像可被显示为位于监视器前的小物体。因此，观众可能感到差异或者疲劳，且由此自然的观看变得困难。相反地，当假定被显示在小的监视器上的三维内容被在大显示器上观看时， 收敛角度可能具有负值。在这种情况下，观众可能不能将三维内容感知为三维图像。
2.本发明的实施例 为了解决上述问题，根据以下将描述的本发明的实施例，当产生用于右眼的图像 和左眼的图像时，使用关于显示三维图像的显示器的信息，由此使观众感知到自然的三维 图像。此外，当在有限距离处的图像被显示为三维图像时，获得从显示器到观众的距离信 息，且该获得的距离信息被用来产生用于右眼的图像和用于左眼的图像，由此使观众感知 到自然的三维图像。 2-1.信号处理设备和图像显示设备的结构 首先，将描述根据本发明的实施例的信号处理设备和显示由信号处理设备产生的 图像的图像显示设备的结构。图4是示出了根据本发明的实施例的信号处理设备100和图 像显示设备190的结构的说明图。在下文中，将参考图4描述根据本发明的实施例的信号 处理设备100和图像显示设备190的结构。 如图4所示，根据本发明的实施例的信号处理设备100包括视频信号计算部件100 和视频信号合成部件180。图像显示设备190包括图像显示部件192和距离测量部件194。
信号处理设备100接收外部输入的视频信号，并从接收的视频信号中产生将作为 三维图像在图像显示设备190上显示的视频信号。输入到信号处理设备100的视频信号可 为预先产生以使观众感知为三维图像的信号，或者可为产生以使观众感知为普通二维图像 的信号。视频信号计算部件110执行计算过程以产生将作为三维图像在图像显示设备190 上显示的视频信号。视频信号计算部件110包括存储部件120、物体宽度计算部件130、距 离计算部件140、收敛角度计算部件150、移位宽度确定部件160和视频信号产生部件170。
存储部件120临时地存储被用来在视频信号计算部件110中产生视频信号的信息 或数据。动态随机存取存储器(DRAM)、铁电随机存取存储器(FeRAM)、其它随机存取存储器 (RAM)、闪存等可被用作存储部件120。临时存储在存储部件120中的信息或数据可能是，例 如，外部输入到信号处理设备100和由视频信号计算部件110获得的视频信号、关于图像显 示部件192的规格的信息(例如，图像显示部件192的宽度和水平方向上像素的数量)、或 者图像显示部件192和观众之间的距离信息。 当外部输入到信号处理设备100的视频信号中包含的位于有限距离处的物体被 显示在图像显示部件192上时，物体宽度计算部件130计算物体的宽度。物体的例子包括 人的脸部和身体、动物、火车、汽车或任何其它物体。可由在存储部件120中存储的图像显 示部件192的宽度的信息来计算物体的宽度。 当物体宽度计算部件130计算人的脸部宽度时，其可通过从视频信号提取诸如眼
睛、鼻子、嘴巴等的特征点并识别脸部区域，来计算人的脸部宽度。因此，物体宽度计算部件 130可提供一种功能，以提取在人脸中包含的诸如眼睛、鼻子、嘴巴等的特征点。此外，当物 体宽度计算部件130计算位于有限距离处的物体(例如人的身体、动物、火车或汽车)的宽 度时，物体宽度计算部件130可识别物体的轮廓并基于识别出的轮廓来计算物体的宽度。 注意到已知的技术可被用来作为提取人脸特征的技术和获得物体轮廓的技术。因此这里省 略对这些技术的具体解释。 距离计算部件140使用由物体宽度计算部件130计算的物体的宽度信息和图像显示部件192和观看在图像显示部件192上显示的图像的观众之间的距离来估算和计算观众 和物体之间的距离。以下将详细描述用于在距离计算部件140中计算观众和物体之间的距 离的方法。 收敛角度计算部件150使用由距离计算部件140计算的、在观看在图像显示部件 192上显示的图像的观众和在图像显示部件192上显示的物体之间的距离信息，来计算当 观众观看物体时的收敛角度。以下将详细描述在收敛角度计算部件150中的计算收敛角度 的方法。 移位宽度确定部件160基于由收敛角度计算部件150计算的收敛角度信息，来确 定输入到视频信号计算部件110的视频信号的水平方向中的移位宽度。水平方向中的移位 宽度对应于将在图像显示设备190上显示的右眼的图像和左眼的图像之间的间隔。如果视 频信号产生部件170基于由移位宽度确定部件160确定的移位宽度的信息，产生右眼的视 频信号和左眼的视频信号，则可在图像显示设备190上显示三维图像。
基于由移位宽度确定部件160确定的视频信号在水平方向中的移位宽度信息，视 频信号产生部件170从输入到视频信号计算部件110的视频信号中产生右眼的视频信号和 左眼的视频信号。由视频信号产生部件170产生的右眼的视频信号和左眼的视频信号被传 送到视频信号合成部件180。 视频信号合成部件180使用由视频信号产生部件170产生的右眼的视频信号和左 眼的视频信号来产生将在图像显示设备190上作为三维图像显示的视频信号。当视频信号 合成部件180合成右眼的视频信号和左眼的视频信号并产生视频信号时，所产生的视频信 号被传送到图像显示设备190。 图像显示设备190输入由信号处理设备100产生的视频信号，并基于输入的视频 信号显示图像。图像显示部件192基于输入到图像显示设备190的视频信号显示图像。当 图像显示设备190是电视接收器时，图像显示部件192可为，例如，阴极射线管(CRT)、液晶 显示面板、等离子体显示面板、场发射显示面板或者有机EL面板。而且，当图像显示设备 190是投影仪时，图像显示部件192可为其上被投影了视频的屏幕。而且，图像显示设备190 不限于电视接收器或者投影仪，且其可被应用到所有具有显示设备的设备，例如个人计算 机和移动电话等。 注意到图像显示设备190不仅可显示三维图像，也可显示普通的二维图像。二维 图像的显示和三维图像的显示可基于到信号处理设备100的用户输入而转换，或者可根据 从信号处理设备100输出的视频信号而自动转换。 距离测量部件194测量图像显示部件192和观看在图像显示部件192上显示的图 像的观众之间的距离。距离测量部件194可测量图像显示部件192和观众之间的距离，例 如，通过使用在图像显示部件192附近提供的相机来拍摄观众，或者通过使用在图像显示 部件192附近提供的超声波感知器来进行测量。由距离测量部件194测量的在图像显示部 件192和观众之间的距离信息被输出到信号处理设备100。基于由距离测量部件194测量 的在图像显示部件192和观众之间的距离，信号处理设备100产生右眼的视频信号和左眼 的视频信号。 注意到有各种方法作为使观众感知到立体图像的三维图像显示方法。在以下的说 明中，作为这样的显示方法的一个例子，将描述这样一种情形，其中图像显示部件192是液晶显示面板，并通过改变图像显示部件192的奇数线和偶数线的偏振方向而使观众感知到 三维图像。 在该情形下，例如，将基于左眼的视频信号的图像显示在图像显示部件192的奇 数线上，而将基于右眼的视频信号的图像显示在偶数线上。因此，在信号处理设备100中， 视频信号合成部件180合成左眼的视频信号和右眼的视频信号，使得左眼的视频信号位 于奇数线上，而右眼的视频信号位于偶数线上。观众佩戴一副对于右眼和左眼具有不同 偏振方向的眼镜，且观众通过这幅眼镜来观看在图像显示部件192上显示的图像。通过 以这种方式来观看图像，分别地，观众可只使用右眼来观看基于右眼的视频信号的图像， 并可只使用左眼来观看基于左眼的视频信号的图像。作为使观众通过改变图像显示部件 192的奇数线和偶数线的偏振方向来感知三维图像的技术，可使用例如在日本专利申请号 2004-334833中公开的技术。 注意到在本发明中，不需要提及三维图像的显示方法不限于上述例子。可使用上 述方法以外的方法来在图像显示设备190上显示图像。作为上述方法以外的方法，存在一 种方法，用于例如通过以双倍或多倍速度来驱动帧，以时间共享的方式来切换右眼的图像 的显示和左眼的图像的显示。 此外，在图4中，信号处理设备IOO产生用于显示三维图像的视频信号，且产生的 视频信号被输出到图像显示设备190。但是，本发明不限于该例子。例如，信号处理设备100 的结构元件可能被在图像显示设备190中提供，且图像显示设备190的单个单元可能产生 用于产生三维图像的视频信号。 上面描述了根据本发明的实施例的信号处理设备100和图像显示设备190的结
构。接下来，将描述根据本发明的实施例的使用信号处理设备IOO和图像显示设备190来
产生三维图像的信号处理方法。 2-2.产生三维图像的信号处理方法 首先，将描述在输入到信号处理设备100的视频信号是显示位于无限距离处的物
体(例如风景)的视频信号的情形下，用于产生三维图像的信号处理方法。 当输入用于显示例如风景的位于无限距离处的物体的视频信号时，输入到信号处
理设备100的原始输入图像被移位了两眼之间的距离，并产生右眼的图像和左眼的图像。
然后，产生的右眼的图像和左眼的图像被合成。作为以这种方式来产生和合成图像的结果，
可根据用来显示例如风景的位于无限距离处的物体的视频信号来产生三维图像。 当图3被用来说明时，右眼的图像和左眼的图像之间的间隔Dd可被设置为等于两
眼之间的距离De。因此，如果图像显示部件192的宽度被表示为Wd，图像显示部件192在
横向上的像素数量被表示为Nd，且图像显示部件192在水平方向上对应于距离De的像素数
量被表示为Ne，则右眼的图像和左眼的图像之间的间隔Dd可通过下列等式1得到。 <formula>formula see original document page 10</formula> 等式1 厕 如果上面的等式1被重写使得左侧为Ne，则得到下列等式2。
<formula>formula see original document page 10</formula>
iVe =——xDe…等式2 『d 信号处理设备IOO可从图像显示设备190接收关于图像显示部件192的宽度Wd 和图像显示部件192在横向上的像素数量Nd的信息。因此，从原始图像移位的像素数量Ne可由视频信号计算部件110的移位宽度确定部件160从上面的等式2来计算。然后，如果右 眼的视频信号和左眼的视频信号由视频信号产生部件170基于由移位宽度确定部件160所 计算的像素数量Ne来产生，则可以从显示无限距离处的物体的视频信号中产生三维图像。
注意到如果原始图像通过这种方式被移位了两眼之间的距离，并且产生了右眼的 图像和左眼的图像，则非图像(non-image)部分被在右眼的图像中在图像显示部件192的 左侧产生，且非图像部分被在左眼的图像中在图像显示部件192的右侧产生。例如，非图像 部分被显示为黑色垂直带。因此，为了不产生非图像部分，可通过裁剪出原始图像的一部分 来产生右眼的图像和左眼的图像。 图5是示出在裁剪出原始图像的一部分并产生右眼的图像和左眼的图像从而不 产生非图像部分的情形下怎样来裁剪图像的例子的说明图。图5示出了一种情形，其中右 眼的图像的裁剪帧52和左眼的图像的裁剪帧54被用来从原始图像50中裁剪出图像。
这里，设置各个裁剪帧，使得右眼的图像的裁剪帧52的左端和左眼的图像的裁剪 帧54的左端之间的距离Dc等于两眼之间的距离De。如果图像显示部件192的宽度被表示 为Wd，图像显示部件192在横向上的像素数量被表示为Nd，且图像显示部件192在水平方 向上对应于距离Dc的像素数量被表示为Ne，则距离Dc可从下列等式3得到。Dc(= Z)力=De =——xffd...等式3 如果上面的等式3被重写使得左侧为Ne，则得到下列等式4。
iVe = —xDe…等式4 等式4和上面的等式2相同。信号处理设备100可从图像显示设备190接收关于 图像显示部件192的宽度Wd和图像显示部件192在横向上的像素数量Nd的信息。因此， 图像显示部件192对应于距离Dc的像素数量可由视频信号计算部件110的移位宽度确定 部件160从上面的等式2来计算。 如果右眼的视频信号和左眼的视频信号以这种方式来产生，则当观众观看在图像 显示设备190上显示的位于无限距离处的物体时，不存在收敛角度。这样，可以使观众感知 到不是在图像显示部件192的位置而是在远处位置的物体。 以上，描述了在输入到信号处理设备100的视频信号是用于显示位于无限距离处 的物体(比如风景)的信号的情形下，用于产生三维图像的信号处理方法。接下来，将描述 在输入到信号处理设备100的视频信号是用于显示有限距离处的物体(比如人)的信号的 情形下，用于产生三维图像的信号处理方法。以下，将描述一种情形，其中从视频内容产生 三维图像，在该视频内容中人脸被拍摄作为有限距离处的物体。 图6是示出用于产生三维图像的信号处理方法的流程图。图7是示出在人脸在图 像显示设备190上被显示为物体的情形下，物体和观众之间的位置关系的说明图。下面将 参考图6和图7来描述用于产生三维图像的信号处理方法。 首先，基于关于图像显示部件192的宽度和水平方向上的像素数量的信息，在图 像显示部件192上显示的脸部的宽度Wf由物体宽度计算部件130来计算(步骤S102)。例 如，让我们假设一种情形，其中图像显示部件192的宽度为100cm，且水平方向上的像素数 量为1920。在该情形下，如果脸部部分对应于120像素，则在图像显示部件192上显示的脸 部的宽度Wf为6. 25cm。如前所述，物体宽度计算部件130可通过从视频信号中提取特征点(例如眼镜、鼻子、嘴巴等)、并识别脸部区域来计算人脸的宽度。 在步骤S102中计算在图像显示部件192上显示的脸部的宽度Wf之后，距离计算 部件140使用在图像显示部件192和观众之间的距离L2来计算在图像显示部件192上显 示的脸部的角度A1。随着在图像显示部件192上显示的脸部的角度A1的计算，距离计算部 件140计算观众和假设在图像显示部件192上显示的脸部所在的位置B之间的距离Ll (步 骤S104)。 当在图像显示部件192上显示的脸部Wf的宽度被确定，且图像显示部件192和观 众之间的距离L2的信息被进一步确定时，则可以计算在图像显示部件192上显示的脸部的 角度Al 。此外，人脸的大小被大致确定，且可通过物体宽度计算部件130中的脸部识别过程 来识别显示的脸部所属的人是成人还是小孩。结果，可确定假设在图像显示部件192上显 示的脸部所在的位置B。如果位置B被确定了 ，则可以计算图像显示部件192和假设脸部所 在的位置B之间的距离L3。因此，还可以计算观众和假设图像显示部件192上显示的脸部 所在的位置B之间的距离Ll ( = L2+L3)。 注意到在本发明中，观众和假设图像显示部件192显示的脸部所在的位置B之间 的距离L1的计算方法不限于上述例子。例如，物体的位置信息可能与输入到信号处理设备 100的视频信号同步地事先以元数据格式提供给信号处理设备IOO，或作为除了视频信号 以外的附加数据来提供。此外，位置信息(例如图像显示部件192和假设脸部所在的位置 B之间的距离L3)可由距离计算部件140对提供给信号处理设备100的元数据进行分析来 获得，且可计算观众和假设图像显示部件192上显示的脸部所在的位置B之间的距离Ll。
注意，在从输入到信号处理设备100的视频信号中识别到多个脸部时，在上面的 步骤S104中可能计算观众和与观众最近的人之间的距离作为距离Ll。
如果在图像显示部件192上显示的脸部的角度Al以及观众和假设脸部所在的位 置B之间的距离Ll在上面的步骤S104中被计算，则使用计算的距离Ll的信息来计算收敛 角度A2 (步骤S106)。收敛角度A2是在观众观看离开观众距离Ll的物体(脸部)时左眼 视线和右眼视线之间的角度。 如果收敛角度A2在上面的步骤S106中被获得，则移位宽度确定部件160使用获 得的收敛角度A2及图像显示部件192和观众之间的距离L2的信息来确定右眼的图像和左 眼的图像之间的移位宽度Dc(S108)。然后，基于在步骤S108中确定的移位宽度Dc，视频信 号产生部件170产生右眼的视频信号和左眼的视频信号(步骤SllO)。注意，可产生右眼的 视频信号和左眼的视频信号，作为将原始视频信号所显示的图像在左右方向上简单地移位 而得到的图像，或者可如图5所示通过裁剪出原始图像的一部分使得不产生非图像部分而 产生。 接下来，视频信号合成部件180合成在上面的步骤S110中产生的用于右眼的视频 信号和用于左眼的视频信号(步骤S112)。由视频信号合成部件180合成的视频信号被输 入到图像显示设备190，并在图像显示部件192上显示。如果观众观看在图像显示部件192 上显示的图像，例如，通过一副对右眼和左眼具有不同偏振方向的眼镜，则观众可感知图像 为三维图像。 以上，描述了在输入到信号处理设备100的视频信号是用于显示例如人的有限距 离处的物体的信号的情形下，用于产生三维图像的信号处理方法。
如上所述，根据本发明的实施例，当例如风景的位于无限距离处的物体的图像由 图像显示设备190显示时，根据图像显示部件192的宽度和水平方向上的像素数量来确定 右眼的图像和左眼的图像之间的间隔。通过以这种方式确定右眼的图像和左眼的图像之间 的间隔，可以使观众将位于无限距离处的物体的图像感知为具有深度感觉的自然的三维图像。 此外，当位于有限距离处的物体由图像显示设备190显示时，观众到物体的距离 被估算。然后，通过对应于估算距离的合适的收敛角度，确定右眼的图像和左眼的图像之间 的间隔。通过以这种方式来确定右眼的图像和左眼的图像之间的间隔，可以使观众将位于 有限距离处的物体的图像感知为具有深度感觉的自然的三维图像。
2-3.修改的例子 接下来，将描述本发明的实施例的修改的例子。在上述本发明的实施例中，视频信 号被输入到信号处理设备IOO，并且在信号处理设备100中从输入的视频信号中产生用于 使观众感知到三维图像的右眼的视频信号和左眼的视频信号。在该修改的例子中，将描述 一种情形，其中从静止图像例如照片数据中产生使观众感知到三维图像的用于右眼的视频 信号和用于左眼的视频信号。 通常，在静止图像例如照片数据中，关于在拍摄静态图像时设置的焦距、快门速度 和光圈等的信息被记录为与静态图像相关的元数据。因此，为了从静态图像产生右眼的图 像和左眼的图像的信号作为三维图像，首先，物体宽度计算部件130分析静止图像并计算 物体的宽度。然后，距离计算部件140分析记录的与静止图像相关的元数据，并估算从观众 到静态图像中包含的物体的距离。 如果从观众到静态图像中所包含的物体的距离被估算，则收敛角度计算部件150 计算收敛角度，且移位宽度确定部件160基于计算的收敛角度来计算静止图像的移位宽 度。然后，视频信号产生部件170基于确定的移位宽度来产生右眼的信号和左眼的信号，且 视频信号合成部件180合成所产生的信号。这样，可以使观众将静止图像(例如照片)感 知为三维图像。 上面描述了本发明的实施例的修改的例子。注意到根据本发明的实施例和本实施 例的修改的例子的信号处理设备100的操作可被执行，使得中央处理单元(CPU)和其它控 制设备顺序地读取在信号处理设备100中存储的计算机程序。计算机程序可能在各种类型 的ROM或RAM以及CD-ROM、 DVD-ROM或其它记录媒介中存储。 本领域技术人员应该理解，可依赖于设计需求和其它因素来进行各种修改、组合、 部分组合和替换，只要它们在所附权利要求书及其等价物的范围内。 本公开包含与在2009年1月21号向日本专利局提交的日本优先专利申请JP 2009-11286中公开的相关的主题，将其全部内容通过引用结合于此。
权利要求
一种信号处理设备，包括图像分析部件，其分析输入图像的内容 距离信息获取部件，其获取观看上面显示输入图像的屏幕的观众和该屏幕之间的距离信息；以及立体图像产生部件，其使用由所述图像分析部件所分析的所述输入图像的分析结果、由所述距离信息获取部件所获取的所述距离信息以及关于屏幕在水平方向上的规格的信息，从原始输入图像产生立体图像。
2. 如权利要求1所述的信息处理设备，其中 所述图像分析部件包括检测部件，其检测输入图像中所包含的物体的大小，以及距离计算部件，其从由检测部件检测到的大小来计算虚拟空间中的物体位置与观众之 间的距离，并且所述立体图像产生部件使用所述距离计算部件所计算的虚拟空间中的物体位置与观 众之间的距离、所述距离信息获取部件所获取的距离信息、以及关于所述屏幕在水平方向 上的规格的信息，从原始输入图像产生立体图像。
3. 如权利要求2所述的信号处理设备，其中当在输入图像中包含脸部时，所述图像分析部件检测脸部的大小，并且 所述立体图像产生部件使用由所述图像分析部件所检测到的脸部大小、和由所述距离 信息获取部件所获取的距离信息，从原始输入图像产生立体图像。
4. 如权利要求2所述的信号处理设备，还包括收敛角度计算部件，其从由所述图像分析部件所检测到的物体大小来计算观众观看物 体时视线的收敛角度。
5. 如权利要求4所述的信号处理设备，还包括移位宽度确定部件，其基于由所述收敛角度计算部件所计算的收敛角度来确定在所述 立体图像产生部件产生立体图像时原始输入图像的移位宽度。
6. 如权利要求l所述的信号处理设备，其中当所述图像分析部件分析输入图像是位于无限距离处的风景时，所述立体图像产生部 件通过将原始输入图像移位与观众的两眼之间的间隔相对应的宽度，从原始输入图像产生 立体图像。
7. 如权利要求l所述的信号处理设备，其中当所述图像分析部件分析输入图像是静止图像时，所述图像分析部件获取静止图像的 照相信息，且所述立体图像产生部件使用由所述图像分析部件所获取的照相信息和由所述 距离信息获取部件所获取的距离信息，从原始输入图像产生立体图像。
8. 如权利要求l所述的信号处理设备，其中所述立体图像产生部件通过从输入图像的一部分中裁剪掉用于右眼的图像和用于左 眼的图像，从原始输入图像产生立体图像。
9. 一种图像显示设备，包括 图像显示部件，其显示图像； 图像分析部件，其分析输入图像的内容；距离测量部件，其测量在观看所述图像显示部件上显示的图像的观众和所述图像显示 部件的图像显示表面之间的距离；以及立体图像产生部件，其使用由所述图像分析部件所分析的输入图像的分析结果、由距 离测量部件所测量的距离信息、关于图像显示表面在水平方向上的规格的信息，从原始输 入图像产生要在图像显示部件上显示的立体图像。
10. —种信号处理方法，包括下列步骤 分析输入图像的内容；获取观看在上面显示输入图像的屏幕的观众和该屏幕之间的距离信息；以及 使用在图像分析步骤中的输入图像的分析结果、在距离信息获取步骤中获取的距离信 息以及关于屏幕在水平方向上的规格的信息，从原始输入图像产生立体图像。
11. 一种图像显示方法，包括下列步骤 分析输入图像的内容；测量观看在图像显示部件上显示的图像的观众和该图像显示部件的图像显示表面之 间的距离；使用在图像分析步骤中的输入图像的分析结果、在距离测量步骤中测量的距离信息、 以及关于图像显示表面在水平方向上的规格，从原始输入图像产生立体图像；并且 在所述图像显示部件上显示立体图像。
12. —种计算机程序，其包括命令计算机执行下列步骤的指令 分析输入图像的内容；获取观看在上面显示输入图像的屏幕的观众和该屏幕之间的距离信息；以及 使用在图像分析步骤中的输入图像的分析结果、在距离信息获取步骤中获取的距离信 息、以及关于屏幕在水平方向上的规格的信息，从原始输入图像产生立体图像。
13. —种计算机程序，其包括命令计算机执行下列步骤的指令 分析输入图像的内容；测量观看在图像显示部件上显示的图像的观众和图像显示部件的图像显示表面之间 的距离；使用在图像分析步骤中的输入图像的分析结果、在距离测量步骤中测量的距离信息、 以及关于图像显示表面在水平方向上的规格的信息，从原始输入图像产生立体图像；以及 在图像显示部件上显示立体图像。
全文摘要
提供了一种信号处理设备，包括图像分析部件，其分析输入图像的内容；距离信息获取部件，其获取观看上面显示输入图像的屏幕的观众与该屏幕之间的距离信息；以及立体图像产生部件，其使用由图像分析部件所分析的图像的分析结果、由距离信息获取部件所获取的距离信息以及关于屏幕在水平方向上的规格，从原始输入图像产生立体图像。
文档编号H04N13/00GK101783967SQ20101000367
公开日2010年7月21日 申请日期2010年1月14日 优先权日2009年1月21日
发明者铃木和良 申请人:索尼公司