信息处理装置、信息处理装置的控制方法及图像处理系统与流程

本发明涉及信息处理装置、信息处理装置的控制方法以及图像处理系统，尤其涉及使用头戴型显示装置(即HMD(Head Mounted Display，头戴显示器))的图像处理技术。

背景技术：

近年来，作为用于将现实世界与虚拟世界实时进行无缝融合的技术，已知所谓的混合现实(MR)技术。一种已知的MR技术涉及使用视频透视HMD(头戴显示器)，通过使用视频摄像机等拍摄与从HMD用户的瞳孔位置观察到的被摄体大致相匹配的被摄体，并且HMD用户观察通过将CG(计算机图形)叠加到拍摄图像上而获得的显示图像。

视频透视HMD具有如下的构造：用于使用诸如CCD等的电荷耦合元件拍摄被摄体，获取被摄体的数字图像数据，并且经由诸如液晶显示器或有机EL显示器等的显示设备向其佩戴者，显示通过将CG图像叠加到数字图像上而获得的MR图像(混合现实图像)。

图15是当由HMD用户佩戴时的HMD 2501的图。存在除HMD 2501之外的外部装置(未示出)，并且由HMD 2501拍摄的拍摄图像从HMD 2501被发送到外部装置。外部装置由从HMD接收到的拍摄图像，计算HMD 2501的位置和姿势，基于计算结果，将CG图像叠加到拍摄图像上，并且将图像发送到HMD。HMD 2501显示从外部装置接收到的叠加后的图像。HMD用户能够通过使用HMD 2501来体验MR空间。

还存在如下的HMD，该HMD除了配备有用于拍摄现实世界并叠加CG图像以体验MR空间的图像传感器之外，还配备有用于获得HMD 2501的位置和姿势的图像传感器。将用于体验MR的图像传感器与用于获得位置和姿势的图像传感器分立的一个原因是：通过加宽用于获得位置和姿势的图像传感器的视角，从而加宽摄像范围以拍摄大量的用于获 得位置和姿势的特征点，能够获得更精确的位置和姿势。

一般而言，摄像单元具有称为自动曝光的功能。这是通过控制快门速度、增益等，使从摄像单元输出的图像的亮度恒定的功能(参见日本特开2006-295506号公报)。

在此，图16中的附图标记16001表示当由摄像单元拍摄时的桌子的图像。通过计算置于桌子上的标记的特征，能够获得HMD的位置和姿势。附图标记16002表示当现实世界变得更亮时，作为使用摄像单元进行图像拍摄的结果而获得的图像，并且所拍摄的物体由于现实世界已变得更亮而被曝光过度。现实世界的亮度，根据例如进入窗口的阳光的强度而改变。附图标记16003表示，由于在图像16002之后，摄像单元的自动曝光功能进行操作，因此在被摄像单元拍摄之后的拍摄图像类似于图像16001。

在日本特开2006-295506号公报中描述的自动曝光功能中，用于体验MR的摄像和用于获得位置和姿势的摄像，在彼此之间不区分地进行。因此，存在例如从图像16001至图像16002以及从图像16002至图像16003那样发生改变的可能性。即，当外部环境的亮度改变时(在图像16002的时候)，拍摄图像被曝光过度，因此存在如下问题，并非必然能够以高精确度获得HMD的位置和姿势。

技术实现要素：

鉴于上述问题，提出了本发明。本发明提供如下的技术，即，在存在多个摄像单元的情况下，即使外部环境的亮度改变，也以高精确度进行使用各个摄像单元的图像拍摄。

根据本发明的一个方面，提供一种信息处理装置，所述信息处理装置包括：辉度值获得单元，其被构造为获得物理空间的第一拍摄图像的第一辉度值以及物理空间的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄，并且所述第二拍摄图像由第二摄像单元拍摄；参数获得单元，其被构造为获得用于所述第一摄像单元的、与 物理空间的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第二追踪参数；以及设定单元，其被构造为基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。

根据本发明的一个方面，提供一种图像处理系统，所述图像处理系统包括信息处理装置和有线连接或无线连接到所述信息处理装置的图像处理装置，所述信息处理装置包括：辉度值获得单元，其被构造为获得物理空间的第一拍摄图像的第一辉度值以及物理空间的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄，并且所述第二拍摄图像由第二摄像单元拍摄；参数获得单元，其被构造为获得用于所述第一摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第二追踪参数；以及设定单元，其被构造为基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。

根据本发明的一个方面，提供一种信息处理装置的控制方法，所述控制方法包括以下步骤：获得物理空间的第一拍摄图像的第一辉度值以及物理空间的第二拍摄图像的第二辉度值，其中，所述第一拍摄图像由第一摄像单元拍摄，并且所述第二拍摄图像由第二摄像单元拍摄；获得用于所述第一摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第一追踪参数，以及用于所述第二摄像单元的、与物理空间的亮度的改变相对应的自动曝光控制的第二追踪参数；以及基于所述第一辉度值和所获得的第一追踪参数，设置用于所述第一摄像单元的第一摄像参数，并且基于所述第二辉度值和所获得的第二追踪参数，设置用于所述第二摄像单元的第二摄像参数。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出第一实施例的图像处理系统的构造示例的图。

图2是根据第一实施例的功能框图。

图3是根据第一实施例的拍摄图像处理单元的详细框图。

图4A至图4C是示出根据第一实施例的、用于获得位置和姿势的摄像单元的姿势与测光方法(photometric method)之间的关系的图。

图5A和图5B是根据第一实施例的用于确定追踪时间的表。

图6是示出根据第一实施例的自动曝光控制的示例的图。

图7是示出根据第一实施例的自动曝光控制的示例的图。

图8是根据第一实施例的整体自动曝光控制的流程图。

图9是根据第一实施例的自动曝光控制的流程图。

图10A至图10C是示出根据第二实施例的用于获得位置和姿势的摄像单元的姿势的图。

图11是根据第二实施例的功能框图。

图12是根据第二实施例的拍摄图像处理单元的详细框图。

图13是根据第二实施例的整体自动曝光控制的流程图。

图14A和图14B是根据第二实施例的自动曝光控制的流程图。

图15是示出用户佩戴HMD的状态的图。

图16是示出当外部环境的亮度改变时的物体的状态的图。

具体实施方式

现在，将参照附图详细描述本发明的示例性实施例。应当指出的是，在这些实施例中阐述的组件的相对布置、数值表达以及数值不限制本发明的范围，除非另有具体声明。

第一实施例

在本实施例中，将描述分立控制作为信息处理装置的头戴显示装置(在下文中被称为HMD)的用于体验MR的摄像单元的Auto Exposure(也称为自动曝光)功能、与用于获得位置和姿势的摄像单元的自动曝光功能，以及如下的示例，在该示例中，进行控制，使得用于获得位置和姿势的摄像单元的自动曝光功能对外部环境的亮度的改变快速地响应。

图1是示出根据本实施例的图像处理系统的构造示例的图。在图1中，图像处理系统配设有HMD 1101、控制器1102以及具有显示单元1103的图像处理装置1104。

HMD 1101配设有图像显示单元11010、与控制器1102进行通信的通信单元11011以及控制这些单元的控制单元11012，HMD 1101被用户佩戴在他或她的头上。图像显示单元11010显示由图像处理装置1104生成的图像。图像显示单元11010在用户的各个眼睛的前方，附装有包括光学系统的构造。

HMD 1101与构成小规模网络(例如WLAN(无线局域网)或WPAN(无线个人局域网))的控制器1102进行通信。在HMD 1101与控制器1102之间，通信不限于无线通信系统，并且可以使用有线通信系统。此外，HMD 1101配备有摄像单元1105。摄像单元1105拍摄外部环境，以获得HMD 1101的位置和姿势。

有线连接到控制器1102的图像处理装置1104，具有用于再现图像的再现单元和用于存储要再现的图像的存储单元。图像处理装置1104经由控制器1102与HMD 1101进行通信。另外，图像处理装置1104配设有用于输入数据、指令等的键盘等，并且输入的数据、指令的结果等被显示在显示单元1103上。

注意，在图1的例示中，图像处理装置1104和控制器1102具有分立的硬件构造。然而，也能够在图像处理装置1104中实现控制器1102的所有功能并且集成这些硬件构造，或者能够集合图像处理装置1104的功能和控制器1102的功能并且构成专用的图像处理装置。

图2是根据本实施例的、具有HMD和图像处理装置的图像处理系统的功能框图。HMD 1201配设有用于获得位置和姿势的摄像单元1202(第一摄像单元)、用于体验MR的摄像单元1203(第二摄像单元)、显示单元1204、控制单元1205、拍摄图像处理单元1206、图像处理装置I/F通信单元1207以及其他功能单元(未示出)。HMD 1201对应于HMD 1101。

用于获得位置和姿势的摄像单元1202拍摄外部环境并获得HMD的位置和姿势。用于体验MR的摄像单元1203拍摄外部环境并且以体验混合现实。显示单元1204显示图像。控制单元1205控制HMD 1201。拍摄图像处理单元1206对由用于体验MR的摄像单元1203以及用于获得位置和姿势的摄像单元1202拍摄的图像进行图像处理。图像处理装置I/F通信单元1207发送/接收图像以及控制信号。

另一方面，由与HMD 1201不同的外部装置，诸如PC(个人计算机)或WS(工作站)等，构成图像处理装置1210。图像处理装置1210配设有HMD I/F通信单元1211、位置和姿势获得单元1212、内容数据库(DB)1213、CG渲染单元1214以及其他功能单元(未示出)。图像处理装置1210对应于图像处理装置1104。

HMD I/F通信单元1211发送/接收图像，控制信号等。位置和姿势获得单元1212根据从HMD 1201接收到的用于获得位置和姿势的拍摄图像，获得HMD 1201的位置和姿势。内容数据库(DB)1213存储虚拟图像的CG内容。CG渲染单元1214将存储在内容DB 1213中的CG图像，叠加在由用于体验MR的摄像单元1203拍摄的拍摄图像上。

注意，在本实施例中，拍摄图像被从HMD 1201发送到图像处理装置1210，图像处理装置1210获得位置和姿势并将虚拟图像的CG叠加到拍摄图像上，但是构造不限于该示例。例如，可以采用如下的构造，即，将位置和姿势获得单元1212安装到HMD 1201，并且将HMD 1201的位置和姿势信息发送到图像处理装置1210。在这种构造中，接下来，仅虚拟图像的CG图像被从图像处理装置1210发送到HMD 1201，并且在HMD 1201中叠加拍摄图像与CG图像。

利用上述的构造，由用于体验MR的摄像单元1203以及用于获得HMD 1201的位置和姿势的摄像单元1202所拍摄的外部环境的图像，通过拍摄图像处理单元1206来处理。拍摄图像处理单元1206的处理内容包括拍摄图像的色调校正、用于自动曝光的处理等。然后，处理后的拍摄图像经由图像处理装置I/F通信单元1207，被发送到图像处理装置1210。

图像处理装置1210的位置和姿势获得单元1212基于接收到的用于获得位置和姿势的拍摄图像，获得HMD 1201的位置和姿势。CG渲染单元1214基于由位置和姿势获得单元1212获得的HMD 1201的位置和姿势来绘制CG，并且将该CG叠加在由用于体验MR的摄像单元1203所拍摄的拍摄图像上。然后，叠加后的图像经由HMD I/F通信单元1211，被发送到HMD 1201。HMD 1201在显示单元1204上，显示从图像处理装置1210接收到的图像。上述构造使得用户能够通过佩戴HMD 1201，来观察通过将由图像处理装置1210绘制的CG叠加在拍摄图像上而获得的叠加后的图像。

接下来，图3是HMD 1201的拍摄图像处理单元1206的详细框图，并且特别地，是用于实现自动曝光功能的功能框图。拍摄图像处理单元1206配设有辉度转换单元1301、辉度积分值获得单元1302、测光方法确定单元1303、参数设定单元1304(设定单元)以及追踪参数确定单元1305。

由用于体验MR的摄像单元1203或用于获得位置和姿势的摄像单元1202拍摄的物理空间的拍摄图像，被发送到辉度转换单元1301。辉度转换单元1301针对各个像素，将拍摄图像从红色(R)、绿色(G)和蓝色(B)转换成辉度值(获得辉度值)。使用下面的一般表达式等，进行从R、G和B至辉度(Y)的转换。

Y＝0.299×R+0.587×G+0.114×B (1)

由辉度转换单元1301转换成辉度值的数据，被发送到辉度积分值获得单元1302。辉度积分值获得单元1302基于从辉度转换单元1301发送的辉度值和从测光方法确定单元1303发送的测光方法，获得针对各个区 域加权的辉度积分值，并且将辉度积分值发送到参数设定单元1304。

在此，将描述由测光方法确定单元1303确定的测光方法。当确定测光方法时，将拍摄图像分割成3×3区域、5×5区域等，并且确定要主要使用哪个区域的辉度值。图4A至图4C各自示出了当将拍摄图像分割成4×4区域时的测光方法的示例。

图4A中的附图标记1701表示要体验MR的人，并且附图标记1702表示用于获得位置和姿势的摄像单元。图4A中的用于获得位置和姿势的摄像单元1702，被安装为与MR体验人1701的视线大致面向相同的方向。在这种情况下，关于拍摄图像的中心的区域1703的辉度积分值的权重增大。

另一方面，图4B中的用于获得位置和姿势的摄像单元1702面向略微向上的方向。在这种情况下，可能需要去除附装到天花板的照明，因此与图4A的情况相比，要加权的位置改变为区域1704。类似地，在图4C的情况下，用于获得位置和姿势的摄像单元面向略微向下的方向。在这种情况下，可能需要消除在地板上映出的阴影，因此要加权的位置类似地改变为区域1705。

依据用于体验MR的位置，改变用于获得位置和姿势的摄像单元1702的姿势，以面向最佳方向。例如，在地板上存在用于获得位置和姿势的大量信息的情况下，以如图4C所示的方式，使用用于获得位置和姿势的摄像单元1702。

追踪参数确定单元1305将当外部环境的亮度改变时的时间、与当进行自动曝光控制时的时间之间的时间差的程度，确定为追踪参数，并且将该信息发送到参数设定单元1304。

在此，将描述由追踪参数确定单元1305确定的追踪参数。追踪参数表示当外部环境的亮度改变时的时间、与当自动曝光控制追踪该改变时的时间之间的时间差。图5A和图5B示出了示出相对于外部环境的亮度的改变、进行自动曝光控制的追踪的时间差的程度的示例。图5A示出了用于获得位置和姿势的摄像的追踪参数的示例，并且图5B示出了用于体 验MR的摄像的追踪参数的示例。

在图5A和图5B的示例中，进行控制，使得来自用于获得位置和姿势的摄像单元1202的输出图像，例如在1fps内达到目标辉度，或在5fps内达到目标辉度。另一方面，图5B示出了用于体验MR的摄像单元1203的追踪参数的示例，并且进行控制以便以1秒达到目标辉度，或以5秒达到目标辉度。因此，用于获得位置和姿势的追踪参数，是比用于体验MR的追踪参数更早达到目标辉度的参数。

基于从辉度积分值获得单元1302接收到的针对各个区域的辉度积分值，以及从追踪参数确定单元1305接收到的追踪参数，参数设定单元1304推导诸如快门速度和增益等的摄像参数，所述摄像参数为用于体验MR的摄像单元1203和用于获得位置和姿势的摄像单元1202而设置，使得拍摄图像的亮度恒定，并且参数设定单元1304将摄像参数发送到用于体验MR的摄像单元1203和用于获得位置和姿势的摄像单元1202。

注意，在本实施例中，将描述控制快门速度和增益中的至少一个以改变拍摄图像的辉度的方法，但本发明不限于此。

接下来，将描述由参数设定单元1304进行的用于改变快门速度的方法。图6中的附图标记601至605表示示出外部环境的亮度的改变、基于该改变的各种控制定时、以及通过这种控制输出的拍摄图像的辉度的图。图601是示出外部环境的亮度的改变的图。纵轴表示亮度，横轴表示时间，并且亮度被示出为从时刻t1至时刻t2增加而从时刻t3至时刻t4减少。

图602示出了在外部环境的亮度如图601中所示改变的情况下，用于体验MR的摄像单元1203的自动曝光控制的开/关控制。在从时刻t1起经过了一定量的时间时的时刻t5开始自动曝光控制，并且在从时刻t2起历过了一定量的时间时的时刻t6结束控制。类似地，在从时刻t3起历过了一定量的时间时的时刻t7开始自动曝光控制，并且在从时刻t4起历过了一定量的时间时的时刻t8结束控制。

图603示出了在进行图602中所示的开/关控制的情况下，从用于体 验MR的摄像单元1203输出的拍摄图像的辉度信息。所述控制以小的延迟追踪外部环境的亮度的改变，并且通常保持拍摄图像的亮度恒定。快速响应于外部环境的亮度的改变，对MR体验人而言感觉不自然，因此，所述控制以小的延迟追踪外部环境的亮度的改变。

图604示出了用于获得位置和姿势的摄像单元1202的自动曝光控制的开/关控制。控制在时刻t9开始，时刻t9是比用于体验MR的摄像单元1203的开/关控制的开始时刻t5更早的定时，而控制在时刻t10结束，这意味着，控制在比当用于体验MR的摄像单元1203的开/关控制结束时的时刻t6更早的定时结束。

图605示出了当进行图604中所示的开/关控制时，从用于获得位置和姿势的摄像单元输出的拍摄图像的辉度信息。如图605中所示，控制没有延迟地追踪外部环境的亮度的改变，以便保持亮度恒定。

注意，替代图601至图605中所示的控制，可以进行图7中的图701至图705所示的控制。图701是示出外部环境的亮度的改变的图，并且类似于图601。在图601至图605与图701至图705当中，图602与图702是不同的。具体而言，用于体验MR的摄像单元1203的自动曝光控制开(ON)的开始时刻不同。图702中的开始时刻t5在时刻t1与时刻t2之间，但是它比图602中的开始时刻t5更早。类似地，图702中的开开始时刻t7在时刻t3与时刻t4之间，但它比图602中的开始时刻t7更早。

控制用于体验MR的摄像单元1203的自动曝光控制的开始和结束，使得从用于体验MR的摄像单元1203输出的拍摄图像的辉度信息，以小的延迟对外部环境的亮度的改变进行追踪即可，并且可以使用除图6和图7中所示的控制方法之外的方法。即使当外部环境的亮度如在图16中所示的情况下改变时，通过进行如图6等中所示的、用于获得位置和姿势的摄像单元1202的自动曝光控制，来自用于获得位置和姿势的摄像单元1202的输出图像，不是以图16中的16001至16002的方式，而是以图16中的16001至16003的方式改变。

图8是示出根据本实施例的由拍摄图像处理单元1206进行的自动曝光控制的处理过程的流程图。在步骤S1801中，辉度转换单元1301确定拍摄图像是用于获得位置和姿势的拍摄图像，还是用于体验MR的拍摄图像。在用于获得位置和姿势的拍摄图像的情况下，操作前进到步骤S1802。另一方面，在用于体验MR的拍摄图像的情况下，操作前进到步骤S1805。

在步骤S1802中，测光方法确定单元1303检测用于获得位置和姿势的摄像单元1202的姿势。注意，关于用于获得位置和姿势的摄像单元1202的姿势，可以将用于获得位置和姿势的摄像单元1202的姿势预先存储在安装到HMD 1201的ROM中。作为选择，可以从图像处理装置1210接收数据，或者通过HMD 1201拍摄特定图表，HMD 1201可以获得用于获得位置和姿势的摄像单元1202的姿势。

在步骤S1803中，测光方法确定单元1303基于用于获得位置和姿势的摄像单元1202的姿势，确定测光方法。如参照图4A至图4C所描述的，基于用于获得位置和姿势的摄像单元1202的姿势，来确定测光方法。在步骤S1804中，追踪参数确定单元1305确定用于追踪外部环境的亮度的改变的参数。追踪参数的确定可以由图像处理装置1210来进行，或者可以在HMD 1201与图像处理装置1210之间的连接序列中确定。

在步骤S1805中，测光方法确定单元1303确定测光方法。例如，主要使用中央区域的方法，被确定为关于用于体验MR的拍摄图像的测光方法。在步骤S1806中，追踪参数确定单元1305确定关于用于体验MR的拍摄图像的、用于追踪外部环境的亮度的改变的参数。在步骤S1807中，拍摄图像处理单元1206进行自动曝光控制(稍后将参照图9详细描述)，并且图8的流程图的处理结束。

下面，将参照图9中的流程图详细描述步骤S1807的处理。在步骤S1901中，辉度转换单元1301对获得的拍摄图像进行转换，转换成辉度值。如上所述进行从红色、绿色和蓝色至辉度值的转换。在步骤S1902中，辉度积分值获得单元1302基于从辉度转换单元1301发送的针对各 个像素的辉度值，以及由测光方法确定单元1303确定的测光方法，获得针对各个区域的辉度积分值。

在步骤S1903中，追踪参数确定单元1305获得在步骤S1804或步骤S1806中确定的追踪参数。在步骤S1904中，参数设定单元1304确定自外部环境的亮度改变以来，是否经过了与在步骤S1903中获得的追踪参数相对应的预定时间。在经过了预定时间的情况下，操作前进到步骤S1905。另一方面，在未经过预定时间的情况下，操作结束。

在步骤S1905中，参数设定单元1304根据由辉度积分值获得单元1302获得的针对各个区域的辉度积分值，确定要为各个摄像单元(用于获得位置和姿势的摄像单元1202和用于体验MR的摄像单元1203)设置的摄像参数(快门速度、增益等)。在步骤S1906中，参数设定单元1304为各个摄像单元设置在步骤S1905中确定的摄像参数。然后，图9中的流程图的处理结束。

如上所述，在本实施例中，在用于体验MR的摄像单元以及用于获得位置和姿势的摄像单元中的各个被最优化之后，进行对用于体验MR的摄像单元的自动曝光控制，以及对用于获得位置和姿势的摄像单元的自动曝光控制，因此，即使在外部环境的亮度改变的情况下，也能够获得更精确的位置和姿势。

第二实施例

在第一实施例中，使用一个用于获得位置和姿势的摄像单元，但在本实施例中，将描述在存在多个用于获得位置和姿势的摄像单元的情况下的处理。

图10A示出了在第一实施例中使用的、并配备有一个用于获得位置和姿势的摄像单元2001的HMD 1101。与此相反，图10B示出了在本实施例中使用的、并配备有两个用于获得位置和姿势的摄像单元2002和2003的HMD 2010。在图10B中，将用于获得位置和姿势的摄像单元2002和2003连接到HMD，以便面对相同的方向，但是可以采用如下的构造，即，如图10C中所示，将用于获得位置和姿势的摄像单元2005连接到 HMD，以便面对向上的方向，而将用于获得位置和姿势的摄像单元2004连接到HMD，以便面对向下的方向。

图11是根据本实施例的具有HMD和图像处理装置的图像处理系统的功能框图。不同于图2，安装有用于获得位置和姿势的摄像单元(B)2101，并且拍摄图像处理单元2102被构成为能够处理三个摄像机。在本实施例中，将描述存在两个用于获得位置和姿势的摄像单元的示例，但是用于获得位置和姿势的摄像单元的数量为两个或更多个即可，并且不特别地限于两个。

图12是HMD 1201的拍摄图像处理单元2102的详细框图，并且尤其是用于实现自动曝光功能的功能框图。不同于图3，能够由拍摄图像处理单元2102，来接收由用于获得位置和姿势的摄像单元2101所拍摄的拍摄图像。用于处理接收到的拍摄图像的处理单元的构造，与图3中的类似。

接下来，图13是示出根据本实施例的由拍摄图像处理单元2102进行的自动曝光控制的处理过程的流程图。下面将着重于与第一实施例的图8中的流程图的各个处理的差异，来给出描述。

在步骤S1801中，辉度转换单元1301确定拍摄图像是用于获得位置和姿势的拍摄图像，还是用于体验MR的拍摄图像。在用于获得位置和姿势的拍摄图像的情况下，代替步骤S1802，操作前进到步骤S2301。然而，在用于体验MR的拍摄图像的情况下，类似于第一实施例，操作前进到步骤S1805。

在步骤S2301中，测光方法确定单元1303对用于获得位置和姿势的摄像单元的方向以及用于获得位置和姿势的摄像单元之间的关系进行检测。类似于第一实施例，对摄像单元的方向进行检测以确定测光方法。

下面，将描述摄像单元之间的关系。如在图10B和图10C中，检测用于获得位置和姿势的摄像单元的姿势的关系。在图10B的示例的情况下，用于获得位置和姿势的摄像单元2002和2003面向相同的方向，但是在图10C的示例的情况下，用于获得位置和姿势的摄像单元2005面向 上，而用于获得位置和姿势的摄像单元2004面向下。在如图10C所示，用于获得位置和姿势的摄像单元面向的方向不同的情况下，优选分立地控制自动曝光控制，而不是同步自动曝光控制。这是因为在大多数情况下，由面向上的摄像单元拍摄的照明环境的改变，与由面向下的摄像单元拍摄的照明环境的改变并不相同。

然而，在如图10B所示的安装位置的情况下，用于获得位置和姿势的摄像单元2002与用于获得位置和姿势的摄像单元2003二者面向相同的方向，因此，由用于获得位置和姿势的摄像单元2002拍摄的照明环境的改变、与由用于获得位置和姿势的摄像单元2003拍摄的照明环境的改变大致相同。因此，优选同步自动曝光控制。

关于用于检测安装摄像单元的姿势的关系的方法，可以采用如下的构造，即，将摄像单元之间的关系预先存储在安装到HMD 1201的ROM中，然后读出。作为选择，可以从图像处理装置1210接收数据，或者可以根据由HMD 1201拍摄的图像的辉度分布来估计所述关系。例如，使用获得针对画面的各个区域的辉度积分值的事实，在针对各个区域的辉度积分值在摄像单元之间差大于或等于阈值的量的情况下，可以估计出各摄像单元面向的方向不同。然而，如果差小于或等于阈值，则可以估计出各摄像单元面向的方向相同。

图13中的其他处理类似于第一实施例中的，但是步骤S2302的自动曝光控制的处理内容与第一实施例中的不同。

下面，将参照图14A至图14B中的流程图，着重于与图9中的流程图的处理的差异，来详细描述步骤S2302的处理。在步骤S2401中，辉度转换单元1301确定接收到的拍摄图像是用于获得位置和姿势的拍摄图像，还是用于体验MR的拍摄图像。在用于获得位置和姿势的拍摄图像的情况下，操作前进到步骤S2402。另一方面，在用于体验MR的拍摄图像的情况下，操作前进到步骤S1901。

在步骤S2402中，辉度转换单元1301使用在步骤S2301中检测到的用于获得位置和姿势的摄像单元的姿势，确定用于获得位置和姿势的摄 像单元的姿势是否相同。在各摄像单元面向的方向相同的情况下，操作前进到步骤S2403。然而，在各摄像单元面向的方向不同的情况下，操作前进到步骤S1901。

在步骤S2403中，辉度转换单元1301将用于获得位置和姿势的摄像单元的所有图像，转换成辉度值。在步骤S2404中，辉度积分值获得单元1302基于从辉度转换单元1301发送的辉度值和由测光方法确定单元1303确定的测光方法，获得与用于获得位置和姿势的摄像单元中的各个有关的、针对各个区域的辉度积分值。

在步骤S2405中，辉度积分值获得单元1302基于在步骤S2404中获得的、用于获得位置和姿势的摄像单元中的各个的辉度积分值，获得平均辉度积分值。在步骤S2406中，追踪参数确定单元1305确定用于追踪外部环境的亮度的改变的参数。在步骤S2407中，参数设定单元1304确定自外部环境的亮度改变以来，是否历过了与在步骤S2406中获得的追踪参数相对应的预定时间。在历过了预定时间的情况下，操作前进到步骤S2408。另一方面，在未历过预定时间的情况下，操作结束。

在步骤S2408中，参数设定单元1304基于由辉度积分值获得单元1302获得的针对各个区域的辉度积分值，确定要为各个摄像单元设置的摄像参数(快门速度、增益等)。在步骤S2409中，参数设定单元1304设置在步骤S2408中确定的、要为摄像单元设置的参数，并且为各个摄像单元设置所述参数。

另一方面，当在步骤S2401中确定拍摄图像不是用于获得位置和姿势的拍摄图像，或者在步骤S2402中确定用于获得位置和姿势的摄像单元面向不同方向的情况下，操作前进到步骤S1903至步骤1906的处理。然后进行与存在一个摄像单元的情况下的自动曝光控制相同的控制。

在本实施例中，描述了存在两个用于获得位置和姿势的摄像单元的示例，但是可以存在三个或更多个用于获得位置和姿势的摄像单元。在这种情况下，针对面向相同方向的用于获得位置和姿势的摄像单元中的各个，进行自动曝光控制即可。

如上所述，根据本实施例，在存在多个用于获得位置和姿势的摄像单元的情况下，即使外部环境的亮度改变，也能够更精确地获得位置和姿势。

根据本发明，在存在多个摄像单元的情况下，即使外部环境的亮度改变，也能够以高精确度进行各个摄像单元的图像拍摄。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分立的计算机或分立的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽 的解释，以使其涵盖所有这些变型例以及等同的结构和功能。