专利名称：立体显示设备及其控制方法
技术领域：
本发明涉及立体显示设备及其控制方法，更具体而言，涉及头戴类型的立体显示设备及其控制方法。
背景技术：
近年来，作为用于实时、无缝地融合现实与虚拟世界的技术，已知混合现实(MR)技术。
此外，作为用于体验混合现实的设备，已知立体视频透视HMD(头戴式显示器)。立体视频透视HMD是在佩带者眼睛前面显示立体图像的设备。当合成图像被生成并呈现给HMD时，配带者体验就象虚拟物体出现在现实空间中一样的感觉，在所述合成图像中从佩带者视点位置看到的三维虚拟图像被叠加到基本与当用户不佩带HMD时所看到的图像相同的立体视频图像上。这就是混合现实。
应当指出，一般地，虚拟物体图像通常是由CG(计算机图形)实现的。此外，立体视频图像通常是由连接到HMD的立体摄像机感测的。
图2是显示立体视频透视HMD 400连接状态的示意图。视频透视HMD 400具有象眼镜或护目镜一样的外观，其内部置有由例如LCD构成的用于右眼的显示设备402R和用于左眼的显示设备402L。此外，当立体视频图像由连接到HMD的摄像机获得时，例如，立体摄像机401R、401L安装在靠近佩带者视点位置的位置。
为了创造这种混合现实的体验，有必要提供三维图像。为此，有必要将通过将利用两个摄像机(左和右)感测到的图像输入到图像处理装置并在其上叠加虚拟物体图像所生成的用于左眼的合成图像和用于右眼的合成图像正确地输入到HMD左和右显示设备。
但是，因为在实际环境中，除视频信号电缆之外的电缆也连接在图像处理装置和HMD之间(例如，HMD电源电缆及位置与方向传感器电缆)，所以用于左和右中每一个的电缆有时候被不正确地连接。
在立体图像的情况下，如果用于左眼的图像和用于右眼的图像颠倒显示，则不仅其结果是不可识别为三维图像的，而且观察者也会体验视觉疲劳。例如，在单镜头反光照相机领域中，已经提出了确定所安装的镜头是否具有正确的兼容性的技术(日本专利特开号2003-228115)。但是，单镜头反光照相机与立体HMD差别很大，而且不会发生弄错左和右的问题。此外，可互换的镜头和视频输入连接的结构及其目的是完全不同的。
因此，如上所述，从传统上讲，还没有用于帮助用户正确地向头戴类型立体显示设备输入左和右图像信号的机制。
发明内容
本发明是鉴于传统技术中的上述问题设想的。
根据本发明的一方面，提供了通过将用于显示的图像分别显示在用于右眼的显示设备和用于左眼的显示设备上执行立体显示的立体显示设备，特征在于包括用于接收由用于显示的图像对构成的立体图像的接收部件；用于将该用于显示的图像对中的每个图像识别为用于右眼的显示图像或用于左眼的显示图像的识别部件；将该用于显示的图像对作为输入并将该图像对中的一个输出到用于右眼的显示设备而将该图像对中的另一个输出到用于左眼的显示设备的输出部件；及用于控制输出部件的控制部件，使得基于识别部件的识别结果，被确定为用于右眼的显示图像的显示图像被输出到用于右眼的显示设备而被确定为用于左眼的显示图像的显示图像被输出到用于左眼的显示设备。
根据本发明的一方面，提供了用于立体显示设备的控制方法，其中立体显示设备具有能够将用于显示的图像对作为输入并将一个所述图像输出到用于右眼的显示设备而将另一个所述图像输出到用于左眼的显示设备的输出部件，该控制方法特征在于包括接收由用于显示的图像对构成的立体图像的接收步骤；将该用于显示的图像对中的每个图像识别为用于右眼的显示图像或用于左眼的显示图像的识别步骤；及控制步骤，用于控制输出部件，使得基于识别步骤的识别结果和输出部件的当前输入—输出关系，将被确定为用于右眼的显示图像的显示图像输出到用于右眼的显示设备而将被确定为用于左眼的显示图像的显示图像输出到用于左眼的显示设备。
利用这种结构，本发明的立体显示设备使得用户可以不用关心图像信号是用于右眼还是用于左眼就能够连接图像输入电缆。
本发明的其它特征将从以下示例实施方式的描述(并参考附图)变得显而易见。
纳入本说明书并构成其一部分的附图示出了本发明的实施方式并与说明书一起用来解释本发明的原理。
图1是显示根据本发明第一实施方式的混合现实呈现系统结构例子的方框图；图2是显示立体视频透视HMD连接状态的示意图；图3是显示其中代表用于左眼的图像的信息和代表用于右眼的图像的信息作为其中左和右图像可以区分的信息被添加到由图像感测单元110R、110L生成的感测图像数据，作为电子水印图像160R、160L的例子的图；图4是显示根据本发明第二实施方式的混合现实呈现系统中图像处理单元200’的示例配置的方框图；图5是显示根据本发明第三实施方式的混合现实呈现系统的示例配置的方框图；图6是显示根据该实施方式在视频透视HMD中的感测的图像数据的处理的流程图；图7是显示根据该实施方式在视频透视HMD中的图像显示处理的流程图；图8是显示在根据本发明第一实施方式的混合现实呈现系统中图像处理单元200的示例配置的的方框图；图9是显示根据本发明第五实施方式的混合现实呈现系统的示例配置的方框图；图10是说明在根据本发明第五实施方式的混合现实呈现系统中连接确定处理过程中图像感测处理的流程图；图11是说明在根据本发明第五实施方式的混合现实呈现系统中由确定单元所执行的处理的流程图；图12是说明在根据本发明第五实施方式的混合现实呈现系统中连接确定处理的另一例子的流程图；图13是说明在根据本发明第六实施方式的混合现实呈现系统中连接确定处理过程中图像感测处理的流程图；图14是说明在根据本发明第六实施方式的混合现实呈现系统中由确定单元所执行的处理的流程图；图15是说明在根据本发明第七实施方式的混合现实呈现系统中由确定单元所执行的处理的流程图；图16是显示根据本发明第八实施方式的混合现实呈现系统的示例配置的方框图；图17是显示在图16所示配置中其中左右显示电缆颠倒连接的状态的方框图；图18是显示在图16所示配置中其中左右感测单元电缆颠倒连接的状态的方框图；图19是显示在图16所示配置中其中左右图像感测和显示电缆颠倒连接的状态的方框图；及图20是说明在根据本发明第八实施方式的混合现实呈现系统中由图像处理单元600R和600L执行的确定所接收到的感测图像是用于左眼还是用于右眼的处理的流程图。
具体实施例方式
现在将参考附图具体描述本发明的优选实施方式。
(第一实施方式)图1是显示根据本发明第一实施方式的混合现实呈现系统结构例子的方框图。
在图1中，混合现实呈现系统包括头戴类型的图像感测与显示设备(下文中称为视频透视HMD或简单地称为HMD)100及图像处理单元200。
视频透视HMD 100包括右图像感测单元110R、左图像感测单元110L、图像信息识别单元130、右显示单元120R、左显示单元120L及MPU 140。
在右图像感测单元110R中，图像感测设备111R是将图像转换成电信号的CCD图像传感器、CMOS图像传感器等。定时发生器(下文中称为TG)116R生成驱动图像感测设备111R的信号。此外，V-Dr(V驱动器)117R从TG 116R接收信号并生成在图像感测设备111R的垂直方向执行控制的信号。CDS/AGC单元112R对从图像感测设备111R输出的模拟信号执行CDS(相关双重采样)和增益调节。
AD转换器113R将CDS/AGC单元112R输出的模拟信号转换成数字信号。数字信号处理器114R对AD转换器113R输出的数字信号执行增益控制、色彩控制、亮度控制和灰度校正，并输出感测到的图像信号。感测图像输出单元115R将感测到的图像信号转换成适合于通过例如USB或IEEE 1394的数字接口发送的数据格式并将格式化后的数据输出到图像处理单元200。
除了输出从HMD佩带者左眼视点附近而不是右眼视点附近感测到的感测图像，左图像感测单元110L的结构和操作与右图像感测单元110R的结构和操作完全相同。此外，右图像感测单元110R和左图像感测单元110L可以由例如小型摄像机实现。此外，如图2中作为立体摄像机401R、401L所示出的，右图像感测单元110R和左图像感测单元110L固定安装在佩带者(观察者)两眼附近的HMD 400的部分，从而当正确佩带HMD时，能够面向与观察者视线相同的方向。由右和左图像感测单元110R、110L感测到的现实空间图像通过电缆(也称为感测单元电缆)151R、151L输入到图像处理单元200。
图像信息识别单元130通过电缆(也称为显示电缆)153、154接收用于左眼的合成图像和用于右眼的合成图像，这些合成图像是由图像处理单元200生成的用于显示的图像对。图像信息识别单元130包括显示图像输入单元131R、131L和转换开关132。
转换开关132是两输入/两输出的矩阵开关，其输入是由图像输入单元131R、131L输出的合成图像，而且其输出连接的是右显示单元120R和左显示单元120L。显示图像输入单元131R、131L识别用于区分包含在合成图像中的左和右显示图像的信息并将结果通知MPU 140。MPU 140根据需要切换转换开关132的输入和输出之间的连接，使得用于右眼的合成图像输出到右显示单元120R，而用于左眼的合成图像输出到左显示单元120L。
右显示单元120R包括用于右眼的显示设备121R和用于驱动该显示设备121R的显示驱动单元122R。类似地，左显示单元120L包括用于左眼的显示设备121L和用于驱动该显示设备121L的显示驱动单元122L。优选地，显示设备121R、121L是小型、轻重量的显示设备，如LCD显示器、有机EL显示器等。
MPU 140是具备例如CPU、存储用于CPU的控制程序的ROM和用作CPU工作区域的RAM的微处理器。通过CPU执行存储在ROM中的控制程序，MPU 140控制视频透视HMD的每个部分并实现后面描述的多种操作。
(图像处理单元配置)图8是显示本实施方式的图像处理单元的示例配置的的方框图。
应当指出，以下为了方便描述和理解，即使处理是对由右图像感测单元110R和左图像感测单元110L中每一个感测到的图像对执行的，该描述也只是对单个图像执行的处理的。但是，实际中，对由每个图像感测单元感测到的每个图像执行相同的处理，而且产生合成图像对并将其独立地显示在HMD 100用于右眼的显示设备121R和用于左眼的显示设备121L上。
作为适于感测图像输出单元115R、L的数字接口的图像输入单元402从图像感测单元110R、L接收感测图像并将它们提供给图像合成单元407和标记检测单元403。
根据从图像输入单元402提供的感测图像，标记检测单元403检测例如提前放置在现实空间中的两维标记。该两维标记是其在现实空间中的绝对位置已知并具有可以从感测图像中提取的特征(色彩、形状、图案等)的指标。因此，标记检测单元403通过从图像中搜索匹配于该两维标记特征的区域来检测该两维标记。
视点位置与方向计算单元404利用由标记检测单元403感测到的标记信息(例如，图像中的位置、标记的方向和表面积)及标记坐标系统中标记特征点的位置和图像感测单元110的照相机参数来计算HMD 100的三维位置和方向。关于视点位置与方向计算单元404所执行的处理，位置与方向计算技术在本技术领域中是众所周知的，而且并不直接与本发明相关，因此在此将省略其具体描述。
虚拟空间数据库406是例如硬盘驱动器，并且包含虚拟物体的三维CG模型数据。
基于存储在虚拟空间数据库406中的虚拟物体三维CG模型数据及由视点位置与方向计算单元404计算出的HMD 100的位置与方向数据，图像生成单元405生成应当从观察者左眼和右眼视点观察到的三维CG图像并将所生成的CG图像提供给图像合成单元407。在图像生成单元中CG图像的生成过程中，使用包含在虚拟空间数据库406中的关于CG模型的几何数据、如色彩和纹理的属性信息及照明信息。应当指出，三维CG图像的生成是已知的技术，因此在此将省略其具体描述。
图像合成单元407合成来自图像输入单元402的感测图像和来自图像生成单元405的CG图像(虚拟物体的图像)并生成用于右眼的合成图像和用于左眼的合成图像。图像输出单元408是例如DVI接口或其它这种显示接口，并通过电缆153、154向图像信息识别单元130输出由图像合成单元407输出的用于右眼的合成图像和用于左眼的合成图像。
应当指出，这种类型的图像处理单元200可以由普通的市场上买得到的计算机设备实现。因此，下述发生在图像处理单元200内部的至少一部分处理可以作为软件由执行控制程序的CPU实现。
(图像感测处理)接下来，参考图6所示的流程图，给出本实施方式的视频透视HMD 100中的感测图像数据的处理的描述。
首先，在步骤S101，处理以现实空间视差图像的感测开始。HMD100安装成使得当正确佩带HMD 100时图像感测单元110R、L位于靠近佩带者视点(瞳孔)位置的地方。因此，图像感测单元110R、110L的图像感测设备111R、111L感测基本是与从HMD 100佩带者瞳孔位置所观察到的图像相同的图像的图像，即，只相差对应于左右瞳孔位置的基线长度的视差图像。
由图像感测设备111R、111L感测到的物体图像作为模拟信号输入到各自的CDS/AGC单元112R、112L，在那里执行如CDS(相关双重采样)和增益调节的处理。其后，这样处理过的模拟信号在AD转换器113R、113L转换成数字信号(步骤S102)。
接下来，在AD转换器113R、113L转换成数字信号的感测图像信号输入到数字信号处理器114R、114L，执行增益控制、色彩控制、亮度控制和灰度校正，并生成感测图像数据(步骤S103)。
此外，数字信号处理器114R、114L向在步骤S103中生成的左和右感测图像数据的每一帧添加形式为例如不可见电子水印的附加信息。这种附加信息由至少可以使左和右图像能够彼此区分的信息(代表图像方向性的信息)构成(步骤S104)。
除了使左和右图像能够彼此区分的信息，例如图像感测镜头信息和快门速度及拍摄者信息的特定于HMD的信息也可以包括在附加信息中。
此外，代替在感测图像数据的每一帧中插入形式为电子水印的附加信息，可选地，这种信息可以按每预定的帧被插入。
图3是显示其中代表表示用于右眼的图像的信息和表示用于左眼的图像的信息的电子水印图像(160R、160L)作为使左和右图像能够区分的信息添加到由图像感测单元110R、110L生成的感测图像数据中的例子的图。尽管在图3的例子中示出了可见的电子水印图像，但是这种信息也可以作为不可见的电子水印图像嵌入到感测图像数据中。此外，这种信息也可以不以图像的形式而是以编码信息的形式嵌入到感测图像数据中。此外，使左和右图像能够区分的信息可以不作为电子水印而是作为如图像数据头信息的通用的附加信息的一部分添加。此外，信息可以添加到图像边缘的单个点，或者信息可以添加到不显示的区域。
在步骤S105，具有嵌入的电子水印的感测图像数据通过感测图像输出单元115R、115L和感测单元电缆151R、151L输出到图像处理单元200。
在图像处理单元200，不考虑嵌入的电子水印执行上述合成处理，从而生成用于右眼的合成图像和用于左眼的合成图像。然后，这些图像通过图像输出单元408和显示电缆153、154输出到图像信息识别单元130。
(显示控制处理)图7是显示HMD 100的图像信息识别单元操作的流程图。
在步骤S201，图像信息识别单元130在显示图像输入单元131R、131L通过电缆153、154从图像处理单元200接收用于右眼的合成图像和用于左眼的合成图像。在这个阶段，图像信息识别单元130不知道所接收的两个合成图像中哪一个是用于右眼的图像，哪一个是用于左眼的图像。然后，在步骤S202，从接收到的合成图像，显示图像输入单元131R、131L提取指示哪个图像用于左眼及哪个图像用于右眼的附加信息并识别该附加信息。识别的结果报告给MPU 140。
基于该识别的结果，MPU 140根据需要切换转换开关132的输入和输出之间的连接，使得用于右眼的合成图像输出到右显示单元120R，而用于左眼的合成图像输出到左显示单元120L。
换句话说，在步骤S203，MPU 140接收由显示图像输入单元131R、131L执行的识别的结果，并根据接收到识别结果时转换开关132的连接之间的关系和识别结果确定是否有必要改变转换开关132的连接之间的关系(步骤S203)。
当连接之间的当前关系使得用于右眼的合成图像输出到右显示单元120R，而用于左眼的合成图像输出到左显示单元120L时，MPU140确定不需要改变，处理返回步骤S201。相反，如果MPU 140确定输入是颠倒的，则在步骤S204它颠倒转换开关132的连接之间的关系，处理返回步骤S201。
因此，如上所述，在具有用于右眼的显示设备和用于左眼的显示设备的头戴类型显示设备中，本实施方式提供了能够改变用于显示的图像对和显示设备对之间连接的开关。然后，通过识别所接收显示图像的方向性并依赖该识别结果切换开关之间的连接，本实施方式消除了当连接用于将合成图像输入到HMD的电缆时知道该方向性的需求，因此简化了HMD和向HMD提供显示图像的设备之间的连接。
应当指出，显示图像输入单元131R、131L不需要识别其中被检测到附加信息的所有帧并将该确定结果报告给MPU 140。可选地，例如，可以设置成使显示图像输入单元131R、131L只按每预定的时间间隔或按每预定的帧报告它们的确定结果，或者最近的识别结果被保留而只在有发生改变时才通知MPU 140。
此外，可以设置成使得不管什么时候当指示给定图像是左眼图像还是右眼图像的附加信息作为不可见信息嵌入时，显示图像输入单元131R、131L将该信息作为可见信息添加到合成图像。例如，通过使用其中有可能响应来自在HMD 100上提供的、未示出的确认按钮的输入在不可见信息和可见信息之间切换的布置，有可能在HMD 100连接的状态确认左和右图像是否正确地显示。
此外，尽管在本实施方式中MPU 140确定转换开关132连接改变的必要性并控制切换，但可选地，可以设置成使显示图像输入单元131R、131L中的一个或另一个执行切换。
此外，尽管在本实施方式中给出了具有图像感测单元的HMD的描述，但图像感测单元安装到HMD上并不是必需的。图像感测单元110R、110L也可以作为独立于HMD的单元构建。
(第二实施方式)在本发明的第一实施方式中，在包含在图像感测单元110R、110L中的数字信号处理器114R、114L中，合成代表左和右图像的附加信息。但是，可选地，附加信息的合成可以在图像处理单元中执行。
图4是显示在根据本发明第二实施方式的混合现实呈现系统中图像处理单元200’的示例配置的方框图。
在这种实施方式中，附加信息在图像处理单元200’的图像合成单元407’中合成，而不在右图像感测单元110R和左图像感测单元110L中合成代表左和右图像的附加信息。
要合成的附加信息存储在附加信息存储单元409中。图像合成单元407’向从右图像感测单元110R输入的图像添加指示图像是用于右眼的附加信息，并向从左图像感测单元110L输入的图像添加指示图像是用于左眼的附加信息。
同样是在本实施方式中，附加信息可以作为电子水印图像添加或者作为头信息添加。除了使左和右图像能够区分的信息，例如图像感测镜头信息和快门速度及拍摄者信息的特定于HMD的信息也可以包括在附加信息中。
此外，代替在感测图像数据的每一帧中插入形式为电子水印的附加信息，可选地，这种信息可以按每预定的帧被插入。
同样利用本实施方式，可以实现与第一实施方式相同的效果。此外，由于图像处理单元添加了附加信息，因此这种实施方式还可以适于使用不具有添加附加信息能力的图像感测单元的混合现实呈现系统。
(第三实施方式)
在上述实施方式中，用于左右感测图像的虚拟物体图像和附加信息的合成是利用单个图像处理单元执行的。
相反，在本实施方式中，图像处理单元的个数增加到二，分别专用于右眼图像或左眼图像，使得处理速度可以提高。
图5是显示根据本实施方式的混合现实呈现系统的示例配置的方框图。采用这种类型的配置使虚拟物体图像的合成及虚拟物体图像与附加信息的组合能够以高速度处理。
(第四实施方式)在上述实施方式中，主要集中在简化图像处理单元和HMD之间的图像输入。但是，在有些情况下，关于图像感测单元与图像处理单元之间的图像输入，存在相同的问题。
在这种情况下，在第一实施方式的配置中，等效于图像信息识别单元130的机构可以添加到图像处理单元。具体而言，等效于图像信息识别单元130的结构添加到图像输入单元402的第一级，而且转换开关132的连接之间的关系被控制成使得来自图像感测单元110R、110L的输入图像和图像输入单元402输入中的左右关系是正确的。
确定连接切换的必要性和切换控制可以由图像处理单元的控制单元或者由图像信息识别单元130中的显示图像输入单元131执行。
由于虚拟物体图像的合成使得正确的合成图像只有在虚拟图像添加到正确地区分为左和右的感测图像中时才能获得，因此有必要使右和左感测图像正确地输入到用于右眼图像的处理系统和用于左眼图像的处理系统。因此，在其中有可能弄错图像感测单元110R、110L之间连接的情况下，本实施方式的配置是有用的。
(第五实施方式)在第四实施方式中，电缆连接是通过在感测图像中嵌入附加信息确定的，而且用于右眼的显示图像显示在用于右眼的显示设备上，而用于左眼的显示图像显示在用于左眼的显示设备上。
在本实施方式中，给出了通过控制图像感测单元确定电缆连接的配置的描述。
图9是显示根据本实施方式的混合现实呈现系统的示例配置的方框图。
同样在本实施方式中，混合现实呈现系统由HMD 500和图像处理单元600构成。
在HMD 500中，左图像感测单元510L和右图像感测单元510R感测分别显示在HMD的左显示单元520L和右显示单元520R上的图像。左显示单元520L和右显示单元520R显示从图像处理单元600提供的由感测图像和CG图像合成的(用于左眼和用于右眼的)合成图像。收发信机I/F 550是用于向/从图像处理单元600发送/接收图像与信号的接口。确定单元540识别所接收的合成图像。转换开关530确定将显示所接收合成图像的显示单元。MPU 560是具有例如CPU、存储用于CPU的控制程序的ROM和用作CPU工作区域的RAM的微处理器。
图像处理单元600由例如个人计算机(PC)、工作站等构成。在图像处理单元600中，收发信机I/F 610是从HMD 500接收感测图像信号和数据信号并向HMD 500发送合成图像信号和数据信号的接口。图像合成单元620将CG图像叠加到在收发信机I/F 610接收的感测图像上并生成其随后通过收发信机I/F 610发送到HMD 500的合成图像。
接下来，参考图10中所示的流程图给出本实施方式中图像感测单元控制的描述。
在步骤S301，MPU 560控制左和右图像感测单元510L、510R并改变感测图像的亮度。例如，通过控制左和右图像感测单元510L、510R快门速度和/或增益值，可以改变感测图像的亮度。
在步骤S302，MPU 560利用收发信机I/F 550向图像处理单元600发送作为改变亮度结果获得的左和右感测图像。其后，在步骤S303，MPU 560使图像感测单元510L、510R的设置返回其初始值，并放弃对感测图像亮度的控制。
应当指出，感测图像的亮度可以对图像感测单元510L、510R中的两个或者仅其中一个改变。此外，感测图像的亮度对于左和右图像感测单元510L、510R可以不同。
图11是说明确定单元540操作的流程图。
在步骤S401，确定单元540通过收发信机I/F 550从图像处理单元600接收两个感测图像。在步骤S402，确定单元540确定所接收感测图像的亮度。如上所述，MPU 560控制左和右图像感测单元510L、510R并提前改变感测图像的亮度。因此，确定单元540可以预测要接收的感测图像的亮度。
例如，在图10所示的步骤S301，MPU 560示为提高左图像感测单元510L的感测图像的亮度，而降低右图像感测单元510R的感测图像的亮度。在这种情况下，确定单元540可以预测在要从图像处理单元接收的两个感测图像中用于左眼的感测图像的亮度值将比较高，而用于右眼的感测图像的亮度值将比较低。
因此，在步骤S402，通过比较所接收的两个感测图像的亮度，确定单元540确定所接收的感测图像哪个用于右眼，哪个用于左眼。
然后，在步骤S403，从转换开关530的状态和由确定单元540输出的图像之间的关系，确定单元540估计输出路径改变的必要性。如果在转换开关530的当前状态下，用于左眼的合成图像输出到左显示单元520L，而用于右眼的合成图像输出到右显示单元520R，则不需要输出路径改变。如果合成图像与显示单元之间的左右关系颠倒了，则需要输出路径改变。
在步骤S404，确定单元540请求MPU 560改变输出路径，而MPU 560切换转换开关530输入与输出之间的连接。
利用上述配置，本实施方式也使得用于左眼的合成图像能够正确地显示在左显示单元上，而用于右眼的合成图像能够正确地显示在右显示单元上。
应当指出，在图11所示的流程图中，为了方便描述和理解，对输出路径改变的必要性的估计是基于合成图像对的。但是，为了提高估计精度，输出路径改变的必要性可以基于对多个合成图像集合的估计结果确定。
图12是说明在其中估计处理被执行多次的情况下处理的流程图。在图12中，执行与图10和图11中所述处理步骤相同的处理的步骤分配了相同的标号。
在步骤S301，MPU 560控制左和右图像感测单元510L、510R并改变感测图像的亮度。在步骤S402，确定单元540通过测量所接收的一组合成图像的亮度等识别所接收的合成图像的左和右。在步骤S503，确定所进行的识别次数是否达到预先设定的次数(N次)，并且如果没有达到N次，则所进行的识别次数加一(步骤S504)。如果在步骤S503中所进行的识别次数达到N次，则在步骤S303中MPU560使图像感测单元510L、510R返回它们的初始设置。
在步骤S403，估计输出路径改变的必要性。例如，作为步骤S402中基于亮度的左右确定的结果，输出路径改变的必要性的估计可以根据以高概率获得的确定结果进行。
如果确定需要改变输出路径，则在步骤S404中改变输出路径。
根据图12中所示的处理，由于亮度的改变和左右合成图像的确定被重复多次并最终进行路径改变的必要性的估计，因此确定精度进一步提高了。
应当指出，在这种实施方式中，对上述连接确定处理执行的定时没有特别的限制，因此这种处理可以在HMD 500被激活时、在系统被激活时或者在任意定时根据用户操作等执行。
应当指出，在确定左右合成图像的处理中，为了改变感测图像的亮度，可以通过关掉显示单元520L、520R的电源而防止用于显示的图像显示。此外，在这种实施方式中，路径控制是利用置于显示单元520L、520R前面的转换开关530执行的。但是，还有可能通过将转换开关530置于图像感测单元510L、510R和收发信机I/F 550之间执行相同的控制。
此外，尽管在本实施方式中图像感测单元510L、510R是由HMD500的MPU 560控制的，但可选地，图像感测单元510L、510R可以从图像处理单元600控制。在那种情况下，亮度改变的程度可以以预定的值或者以由在任意定时在HMD 500和图像处理单元600之间的通信所确定的值执行。
利用本实施方式，连接不是通过在感测图像中嵌入附加信息而是通过改变感测图像自身的亮度确定的。因此，在感测图像中嵌入附加信息所需的电路和处理就变得不需要了，从而使得设备成本和处理负荷减小。
(第六实施方式)在第五实施方式中，给出了通过改变感测图像亮度确定电缆连接的配置的描述。在本实施方式中，给出了不是通过改变感测图像亮度而是通过改变感测图像色彩进行相同确定的配置的描述。应当指出，这种实施方式也适于第五实施方式中所述的混合现实呈现系统，因此利用与第五实施方式相同的配置给出处理内容的描述。
接下来，参考图13所示的流程图给出本实施方式中图像感测单元控制的描述。
在步骤S601，MPU 560控制左和右图像感测单元510L、510R，从而改变感测图像的色彩。例如，通过控制左和右图像感测单元510L、510R的白平衡，可以改变感测图像的色彩。例如，MPU 560控制左图像感测单元510L的白平衡，从而加重红色而削弱蓝色和绿色。此外，MPU 560控制右图像感测单元510R的白平衡，从而加重蓝色而削弱红色和绿色。
在步骤S602，MPU 560利用收发信机I/F 550向图像处理单元600发送通过改变色彩所获得的左和右感测图像。其后，在步骤S603，MPU 560使左和右图像感测单元510L、510R的设置返回其初始值并放弃对感测图像亮度的控制。
应当指出，感测图像色彩的改变可以对左和右图像感测单元510L、510R中的两个或者仅一个进行。此外，感测图像的色彩对于左和右图像感测单元510L、510R可以不同。
图14是说明本实施方式的确定单元540操作的流程图。
在步骤S701，确定单元540通过收发信机I/F 550从图像处理单元600接收两个合成图像。在步骤S702，确定单元540确定所接收合成图像的色彩。如上所述，MPU 560控制左和右图像感测单元510L、510R并提前改变感测图像的色彩。因此，确定单元540可以预测要接收的合成图像的色彩。
例如，在图13的步骤S601，假定MPU 560控制图像感测单元510L、510R中的每一个，从而分别在左图像感测单元510L的感测图像中加重红色而削弱蓝色和绿色，在右图像感测单元510R的感测图像中加重蓝色而削弱红色和绿色。
在这种情况下，确定单元540可以预测在从图像处理单元600接收的两个合成图像中，用于左眼的合成图像将带红色，而用于右眼的合成图像将带蓝色。
因此，在步骤S702，通过比较所接收两个合成图像的色彩，确定单元540确定所接收的合成图像中哪个用于右眼，哪个用于左眼。
然后，在步骤S703，从转换开关530的状态和由确定单元540输出的图像之间的关系，确定单元540估计输出路径改变的必要性。如果在转换开关530的当前状态下，用于左眼的合成图像输入到左显示单元520L，而用于右眼的合成图像输入到右显示单元520R，则不需要改变输出路径。如果合成图像与显示单元之间的左右关系颠倒，则需要改变输出路径。
在步骤S704，确定单元540请求MPU 560改变输出路径，而MPU 560切换转换开关530输入和输出之间的连接。
利用上述配置，本实施方式也使得用于左眼的合成图像正确地显示在左显示单元上，而用于右眼的合成图像正确地显示在右显示单元上。
同样在这种实施方式中，就象对于第五实施方式，有可能根据利用图12所述的处理对多个合成图像对进行确定，特别是通过代替步骤S301的处理而执行步骤S601的处理，及代替步骤S403的处理执行步骤S703的处理。
此外，第五实施方式和本实施方式可以组合，从而组合基于亮度的确定和基于色彩的确定，并最终确定连接。
此外，关于色彩改变的控制，除了改变红色、蓝色和绿色的相对强度，可以设置成例如使得两个感测图像中的一个变成单色图像。
此外，即使设置成使得由图像感测单元等拥有的单色图表为感测图像输出，也有可能基于色彩确定连接。
应当指出，在这种实施方式中，对上述连接确定处理执行的定时没有特别的限制，因此这种处理可以在HMD 500被激活时、在系统被激活时或者在任意定时根据用户操作等执行。
应当指出，在确定左右合成图像的处理中，为了改变感测图像的色彩，可以通过关掉显示单元520L、520R的电源而防止用于显示的图像显示。此外，在这种实施方式中，路径控制是利用置于显示单元520L、520R前面的转换开关530执行的。但是，还有可能通过将转换开关530置于图像感测单元510L、510R和收发信机I/F 550之间执行相同的控制。
此外，尽管在本实施方式中图像感测单元510L、510R是由HMD500的MPU 560控制的，但可选地，图像感测单元510L、510R可以从图像处理单元600控制。在那种情况下，改变的程度和改变色彩的方法可以以预定的值或者以由任意定时在HMD 500和图像处理单元600之间的通信所确定的值执行。
利用本实施方式，连接不是通过在感测图像中嵌入附加信息而是通过改变感测图像自身的色彩确定的。因此，在感测图像中嵌入附加信息所需的电路和处理就变得不需要了，从而使得设备成本和处理负荷减小。此外，如果使用由图像感测单元拥有的单色图，则正确连接的确定获得了更多的可靠性。
(第七实施方式)在第五和第六实施方式中，电缆连接是通过控制HMD的图像感测单元确定的。在本实施方式中，电缆连接是通过改变由图像处理单元生成的左和右合成图像之间的分辨率确定的。应当指出，这种实施方式也可以适于在第五实施方式中描述的混合现实呈现系统，因此利用与第五实施方式相同的配置给出处理内容的描述。
在这种实施方式中，使得当确定连接的处理执行时从图像处理单元600发送到HMD 500的合成图像的分辨率在用于左眼的合成图像与用于右眼的合成图像之间有区别。左和右分辨率可以是预定的分辨率，或者它们可以由在任意定时在HMD 500和图像处理单元600之间的通信确定。
图15是说明在根据本实施方式的混合现实呈现系统中由确定单元540执行的处理操作的流程图。
在步骤S801，确定单元540通过收发信机I/F 550从图像处理单元600接收两个合成图像。在步骤S802，确定单元540确定所接收的合成图像的分辨率。例如，在进行该确定的处理中，图像处理单元600可以设置成使得生成具有XGA分辨率(1024×768)的用于左眼的合成图像和具有SXGA分辨率(1280×1024)的用于右眼的合成图像。
在步骤S803，确定单元540考虑转换开关530的状态进行确定。换句话说，如果确定单元540接收具有SXGA分辨率的合成图像用于左眼合成图像的输出路径和具有XGA分辨率的合成图像用于右眼合成图像的输出路径，则在步骤S803它确定需要改变输出路径。
在步骤S804，确定单元540请求MPU 560改变输出路径，而MPU 560切换转换开关530输入与输出之间的连接。此外，根据需要，MPU 560通知图像处理单元600确定连接的处理已经完成。作为响应，图像处理单元600生成具有初始分辨率的合成图像并将它们发送到HMD 500。
同样对于本实施方式，由于不需要在感测图像中嵌入附加信息，因此在感测图像中嵌入附加信息所需的电路和处理就变得不需要了，从而使得设备成本与处理负荷减小。此外，根据这种实施方式，由于感测图像的亮度和色彩没有改变，因此不需要在确定连接的处理过程中通过关掉显示单元的电源等停止显示。
(第八实施方式)
接下来，给出其中如第三实施方式(图5)中所示的多个图像处理单元存在于第五至第七实施方式中的配置的描述。
图16是显示其中基于图9所示的配置提供了两个图像处理单元的混合现实呈现系统的示例配置的方框图。
在图16中，提供了用于处理用于右眼的感测图像的右图像处理单元600R和用于处理用于左眼的感测图像的左图像处理单元600L。除了图像合成单元620处理的感测图像构成单个系统和提供了用于连接到LAN的I/F 630之外，图像处理单元600R、600L的配置与图9所示的图像处理单元600完全相同。
图17是显示在图16所示配置中其中左右显示电缆颠倒连接的状态的方框图。
在这种情况下，图像处理单元600R接收用于右眼的感测图像，而图像处理单元600L接收用于左眼的感测图像，CG图像在各自的图像合成单元620对感测图像合成，并生成用于右眼的合成图像和用于左眼的合成图像。
图20是说明由图像处理单元600R和600L执行的确定接收到的感测图像是用于左眼还是用于右眼的处理的流程图。
这种处理是由包括在图像合成单元620中的未示出的控制单元执行的。该控制单元象HMD的MPU 560那样具有例如CPU、ROM、RAM等，通过CPU执行程序实现下述图像合成处理和确定处理。
在步骤S901，图像合成单元620接收感测图像，并在步骤S902中确定哪个感测图像是用于左眼的和哪个是用于右眼的。这种左和右的确定可以采用第五和第六实施方式中所描述的技术。换句话说，确定单元540的功能在至少一个图像合成单元620中提供。但是，由于在本实施方式中每个图像合成单元620都只从左和右图像感测单元中的一个接收感测图像，因此其不能基于左和右感测图像的亮度或色彩进行确定。
例如，假定在其中感测图像色彩改变的情况下，其中红色被加重其后蓝色被加重的感测图像是左感测图像，而其中蓝色被加重其后绿色被加重的感测图像是右感测图像。在这种情况下，通过改变相同图像感测单元的感测图像的色彩和亮度的调节目标和程度并改变左和右感测图像之间的改变，有可能基于单个感测图像确定左和右。左和右图像感测单元如何被控制也可以提前确定，或者可以通过在任何定时在HMD 500和图像处理单元600R、600L之间的通信设置。
为了基于上述亮度和色彩的相对改变作出关于右和左的确定，执行这种确定多次并提高这样作出的确定的精度是优选的。应当指出，在这种实施方式中，在单个确定中，比较处于第一状态(在上述例子中，其中左感测图像中红色被加重的状态)的图像和处于第二状态(在相同的例子中，其中蓝色被加重的状态)的图像并执行确定。
在步骤S903、S906中，确定所进行的识别次数是否达到预先设定的次数(N次)，并且如果没有达到N次，则所进行的识别次数加一。如果所进行的识别次数达到N次，则在步骤S904中确定是否从正确的图像感测单元接收到感测图像。在这里，例如，作为在步骤S902中确定左和右的结果，关于连接正确还是不正确的确定可以根据以高概率获得的确定结果进行。
在图16所示的状态中，由于显示电缆和感测单元电缆正确地连接，因此在步骤S904中确定不需要改变合成处理。在图17所示状态的情况下，尽管显示电缆的连接颠倒了，但由于感测单元电缆正确地连接了，因此正确地生成合成图像。换句话说，左和右感测图像及左和右合成图像之间的关系是正确的。因此，步骤S905的合成处理改变不执行。
但是，从图像处理单元600R、600L发送到HMD 500的合成图像的左右关系与HMD 500显示单元的左右关系是颠倒的。因此，利用上述实施方式，在HMD 500中，有必要在输入的左右关系和到显示单元的输出的左右关系之间具有一致性。
通过这样做，用于左眼的合成图像正确地显示在左显示单元上，而用于右眼的合成图像正确地显示在右显示单元上。
图18是显示在图16所示配置中其中左右感测单元电缆颠倒连接的状态的方框图。
在这种情况下，右图像处理单元600R接收左感测图像，而左图像处理单元600L接收右感测图像，而图像合成单元620向感测图像添加CG图像。换句话说，分别执行向左感测图像添加用于右眼的CG图像和向右感测图像添加用于左眼的CG图像的处理。
在参考图20所述的确定处理中，图像合成单元620可以识别所接收的感测图像颠倒的事实。因此，在步骤S904中，确定有必要改变合成处理，并且在步骤S905中执行图像合成处理的改变。
因此，图像处理单元600R的图像合成单元620合成不是用于右眼而是用于左眼的CG图像，类似地，图像处理单元600L的图像合成单元620合成不是用于左眼而是用于右眼的CG图像。
还是在这种情况下，就象对于图17所示的情况，从图像处理单元600R、600L发送到HMD 500的合成图像的左右关系与HMD 500显示单元的左右关系是颠倒的。因此，利用上述实施方式，在HMD 500中，有必要在输入的左右关系和到显示单元的输出的左右关系之间具有一致性。
因此，用于左眼的合成图像可以正确地显示在左显示单元上，而用于右眼的合成图像可以正确地显示在右显示单元上。
图19是显示在图16所示配置中其中左右图像感测和显示电缆都颠倒连接的状态的方框图。
还是在这种情况下，由于由左和右图像处理单元600L、R接收的感测图像的左右关系是颠倒的，因此有必要改变图像合成处理。但是，由于显示电缆是颠倒的，因此输入到HMD 500的合成图像的左右关系相对于显示单元的左右关系是正确的。结果，HMD 500的确定单元540确定不需要在转换开关530切换显示图像的输出。
因此，用于左眼的合成图像可以正确地显示在左显示单元上，而用于右眼的合成图像可以正确地显示在右显示单元上。
在本实施方式中，给出了在提供两个图像处理单元的配置中在其中显示电缆和感测单元电缆都未正确连接的情况下调节的描述。
因此，如上所述，根据这种实施方式，即使当图像感测和/或显示电缆未正确连接时，仍然有可能在左显示单元上显示用于左眼的合成图像，而在右显示单元上显示用于右眼的合成图像。
(其它实施方式)应当指出，在上述实施方式中，给出了适于用作立体视频透视HMD的混合现实呈现系统的描述。但是，如可以由本领域技术人员理解的，由于本发明不依赖于所显示的图像，并且可以适于其中有必要正确显示立体图像的任何系统中的立体视频透视HMD，这意味着本发明适于任何立体视频透视HMD。此外，本发明可以类似地应用到用户在手上拿着显示器并在眼睛前面观察图像的手持类型显示器。
上述实施方式还可以作为软件由系统或装置的计算机(或CPU、MPU等)实现。
因此，由于计算机实现了本发明的功能性处理，因此提供给并安装到计算机本身当中的程序也实现了本发明。换句话说，用于实现本发明功能性处理的计算机程序本身也包括在本发明的范围之内。
在那种情况下，只要系统或装置具有程序的能力，程序可以任何形式执行，例如目标代码、由解释器执行的程序或者提供给操作系统的脚本数据。
在这种情况下，用于由计算机实现本发明功能性处理的计算机程序由立体照相机或者由有线/无线通信提供。可以用于提供程序的存储介质的例子是例如软盘、硬盘或磁带的磁存储介质，如MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R或DVD-RW的光/磁-光存储介质及非易失性半导体存储器等。
对于利用有线/无线通信提供程序的方法，有例如其中数据文件(程序数据文件)存储在计算机网络的服务器上的方法，该数据文件或者是形成本发明的计算机程序本身或者是被压缩并自动安装、并能够在客户端计算机上变成包括本发明的计算机程序的文件等。程序数据文件可以是可执行格式，或者其也可以是源代码的形式。
然后，程序数据文件下载到所连接的访问服务器的客户端计算机。在这种情况下，程序数据文件还可以分成多个段文件，而段文件在不同的服务器中分布。
换句话说，将利用计算机实现本发明功能性处理的程序数据文件下载到多个用户的服务器设备也可以被本发明的权利要求覆盖。
还有可能将本发明的程序加密并存储到如CD-ROM的存储介质上，将存储介质分发到用户，允许满足特定需求的用户通过因特网从网站下载解密密钥数据，并允许这些用户通过使用密钥数据解密加密的程序，由此将程序安装到用户计算机中。
除了根据实施方式的上述功能通过由计算机执行所读出的程序实现的情况，运行在计算机上的操作系统等也可以执行全部或部分的实际处理，因此上述实施方式的功能可以由这种处理实现。
此外，在从存储介质读出的程序写到插入计算机的功能扩展板或连接到计算机的功能扩展单元中提供的存储器之后，安装在功能扩展板或功能扩展单元上的CPU等执行全部或部分的实际处理，因此上述实施方式的功能可以由这种处理实现。
尽管本发明已经参考示例实施方式进行了描述，但应当理解本发明不限于所公开的示例实施方式。以下权利要求的范围是要符合最广泛的解释，从而包含所有这些修改及等效结构和功能。
权利要求
1.一种立体显示设备，其通过将用于显示的图像分别显示在用于右眼的显示设备和用于左眼的显示设备上来执行立体显示，特征在于包括接收部件，用于接收由用于显示的图像对构成的立体图像；识别部件，用于将所述用于显示的图像对中的每个图像识别为用于右眼的显示图像或者用于左眼的显示图像；输出部件，用于将所述用于显示的图像对作为输入并用于将所述图像对中的一个输出到所述用于右眼的显示设备并将所述图像对中的另一个输出到所述用于左眼的显示设备；及控制部件，用于控制所述输出部件，使得基于所述识别部件的识别结果，将确定为所述用于右眼的显示图像的显示图像输出到所述用于右眼的显示设备，而将确定为所述用于左眼的显示图像的显示图像输出到所述用于左眼的显示设备。
2.如权利要求1所述的立体显示设备，特征在于还包括立体图像感测部件，具有分别用于感测用于右眼的图像和用于左眼的图像的用于右眼的图像感测设备和用于左眼的图像感测设备；及发送部件，用于将所述用于右眼的图像和所述用于左眼的图像发送到外部设备，特征在于所述接收部件从所述外部设备接收由用于显示的图像对构成的立体图像。
3.如权利要求1或2所述的立体显示设备，特征在于所述识别部件利用包含在所述用于显示的图像对中的附加信息执行所述识别。
4.如权利要求3所述的立体显示设备，特征在于所述附加信息包括嵌入在所述用于显示的图像对中的电子水印信息，而且所述识别部件利用所述电子水印信息执行所述识别。
5.如权利要求3所述的立体显示设备，特征在于所述附加信息嵌入在所述用于显示的图像对中未显示的区域中。
6.如权利要求1或2所述的立体显示设备，特征在于所述识别部件通过比较所述用于显示的图像对执行所述识别。
7.如权利要求6所述的立体显示设备，特征在于所述识别部件通过比较所述用于显示的图像对中特定区域中的亮度、色彩和分辨率中的至少一种执行所述识别。
8.如权利要求2所述的立体显示设备，特征在于还包括合成部件，用于通过分别向由所述用于左眼的图像感测设备感测到的所述用于左眼的图像添加指示这种图像是用于左眼的图像的信息并向由所述用于右眼的图像感测设备感测到的所述用于右眼的图像添加指示这种图像是用于右眼的图像的信息生成合成图像。
9.一种立体显示系统，特征在于包括如权利要求8所述的立体显示设备；及图像处理部件，作为所述外部设备，用于接收所述合成图像，对所述合成图像执行事先确定的图像处理，并向所述接收部件输出这样处理过的合成图像作为所述用于显示的图像对。
10.如权利要求9所述的立体显示系统，特征在于所述图像处理部件由用于接收所述合成图像中的每一个的多个结构构成。
11.如权利要求2所述的立体显示设备，特征在于还包括图像感测控制部件，用于使所述立体图像感测部件对所述用于右眼的图像和所述用于左眼的图像执行不同的图像处理。
12.一种立体显示系统，特征在于包括如权利要求2所述的立体显示设备；作为所述外部设备的图像处理装置，包括接收部件，用于接收所述用于右眼的图像和所述用于左眼的图像；及发送部件，用于利用所述用于右眼的图像和所述用于左眼的图像生成所述立体图像并将这种立体图像发送到所述立体显示设备；及控制设备，用于控制所述输出部件，使得基于所述识别部件的识别结果，将确定为所述用于右眼的显示图像的显示图像输出到所述用于右眼的显示设备，而将确定为所述用于左眼的显示图像的显示图像输出到所述用于左眼的显示设备。
13.如权利要求12所述的立体显示系统，特征在于所述图像处理装置包括用于从所述用于右眼的图像生成所述用于右眼的显示图像的第一图像处理部件和用于从所述用于左眼的图像生成所述用于左眼的显示图像的第二图像处理部件。
14.如权利要求12所述的立体显示系统，特征在于所述立体显示设备包括头戴类型的显示设备。
15.如权利要求12所述的立体显示系统，特征在于所述立体图像包括其中图形图像添加到所述用于右眼的图像和所述用于左眼的图像的图像。
16.一种用于立体显示设备的控制方法，该立体显示设备具有能够将用于显示的图像对作为输入并将一个所述图像输出到用于右眼的显示设备而将另一个所述图像输出到用于左眼的显示设备的输出部件，该方法的特征在于包括接收步骤，接收由用于显示的图像对构成的立体图像；识别步骤，将所述用于显示的图像对中的每个图像识别为用于右眼的显示图像或者用于左眼的显示图像；及控制步骤，用于控制所述输出部件，使得基于所述识别步骤中的识别结果和所述输出部件的当前输入-输出关系，将确定为所述用于右眼的显示图像的显示图像输出到所述用于右眼的显示设备，而将确定为所述用于左眼的显示图像的显示图像输出到所述用于左眼的显示设备。
全文摘要
例如，显示图像输入单元131R、131L从用于显示的图像检测指示左和右方向性的附加信息。然后，在具有用于右眼的显示设备和用于左眼的显示设备的立体显示设备中，能够切换输入和输出之间连接的转换开关132被控制成使得正确的用于显示的图像被提供给正确的显示设备。利用这种配置，即使当电缆不正确地连接时，仍有可能将立体图像输入到立体显示设备，使得这些图像总是以正确的左－右关系显示。
文档编号H04N15/00GK1925626SQ20061012618
公开日2007年3月7日 申请日期2006年8月29日 优先权日2005年8月29日
发明者山口弘市, 冈田直行, 高山知彦 申请人:佳能株式会社