头戴式显示器以及头戴式显示器的控制方法、信息处理装置、显示装置以及程序与流程

[0001]
本公开内容涉及头戴式显示器、头戴式显示器的控制方法、信息处理器、显示装置和程序，并且涉及尤其是在家庭环境中使得在用户不知情的情况下就可以执行校准并且可以适当地估计摄像装置参数的头戴式显示器、头戴式显示器的控制方法、信息处理器、显示装置和程序。


背景技术：

[0002]
在包括摄像装置的设置中，发生光学系统的失真、成像方向上的偏差等，并且预先测量(估计)用于处理失真和偏差的参数，从而可以通过应用所捕获图像的参数来获得适当的图像。
[0003]
在这种设置中，现有的参数估计方法通常仅假设一个初始测量值。其中，显示器等上的已知图案由摄像装置成像，并且基于成像结果来估计参数。
[0004]
例如，已经提出了下述技术：在显示装置上显示已知图案，并且通过对显示的已知图案进行成像而获得的捕获图像被用于实现摄像装置校准(参见专利文献1)。
[0005]
然而，当此后在设置中发生变形或变化时，在那些方法中需要再次进行校准。
[0006]
即，在工厂等中执行校准的情况下，当在出货后由于家庭环境(诸如用户的家)中的冲击等使摄像装置的设置发生变形时，需要将其重新运送到工厂以再次执行校准。为了避免这种情况，用户必须在家庭环境(基于家庭的环境)中执行校准，使得可以再次估计这些参数。
[0007]
引用列表
[0008]
专利文献
[0009]
专利文献1：日本专利申请特许公开第2000-350239号


技术实现要素：

[0010]
本发明要解决的问题
[0011]
然而，某些假设家庭环境的现有方法需要单独准备用于参数估计的特殊对象。另外，在需要包括特殊程序的处理的许多方法中，存在用户不喜欢执行这些处理，并且自身不执行校准的可能性。
[0012]
此外，在专利文献1中，存在如下可能性：由于诸如用户与显示器之间的位置关系之类的情况而导致可能不能处理被成像的已知图案中的改变，并且可能无法适当估计摄像装置参数。
[0013]
鉴于这样的情况作出本公开内容，并且尤其是在家庭环境中，在用户不知情的情况下执行校准，并且适当地估计摄像装置参数。
[0014]
问题的解决方案
[0015]
本公开内容的一个方面的头戴式显示器是包括下述部件的头戴式显示器：显示单
元；对外部进行成像的成像单元；以及校准处理单元，其生成适合于校准的校准图像并且使外部显示设备显示校准图像。
[0016]
本公开内容的一个方面的用于头戴式显示器的控制方法是下述用于头戴式显示器的控制方法，该头戴式显示器包括包括显示单元以及对外部进行成像的成像单元，该方法包括：校准处理，其生成适合于校准的校准图像并且使外部显示设备显示校准图像。
[0017]
本公开内容的一个方面的程序是用于使控制头戴式显示器的计算机用作校准处理单元的程序，该头戴式显示器包括显示单元以及对外部进行成像的成像单元，该校准处理单元生成适合于校准的校准图像并且使外部显示设备显示校准图像。
[0018]
本公开内容的一个方面的信息处理器是用于向头戴式显示器提供内容的信息处理器，该头戴式显示器包括显示单元以及对外部进行成像的成像单元，该信息处理器包括：校准处理单元，其生成适合于校准的校准图像并且使外部显示设备显示校准图像。
[0019]
本公开内容的一个方面的显示装置是用于显示头戴式显示器中的成像单元的校准图像的显示装置，该成像单元对外部进行成像，该头戴式显示器包括显示单元和成像单元，该显示装置包括：校准处理单元，其生成适合于校准的校准图像并且使显示装置显示校准图像。
[0020]
在本公开内容的一个方面中，生成适合于校准的校准图像，并且将该校准图像显示在外部显示设备上。
[0021]
本发明的效果
[0022]
根据本公开内容的一个方面，尤其是在家庭环境中，可以在用户不知情的情况下执行校准，并且可以适当地估计摄像装置参数。
附图说明
[0023]
图1是用于说明本公开内容的校准系统的配置示例的示例性视图。
[0024]
图2是用于说明根据本公开内容的第一实施方式的校准处理的概述的图。
[0025]
图3是用于说明根据hmd与显示装置之间的距离来显示校准图案的示例的图。
[0026]
图4是用于说明根据hmd与显示装置之间的位置关系来显示校准图案的示例的图。
[0027]
图5是用于说明第一实施方式的hmd的配置示例的图。
[0028]
图6是用于说明第一实施方式的信息处理器的配置示例的图。
[0029]
图7是用于说明第一实施方式的显示装置的配置示例的图。
[0030]
图8是用于说明第一实施方式的校准处理的流程图。
[0031]
图9是用于说明根据第一实施方式的校准图案显示状态确认处理的流程图。
[0032]
图10是用于说明第一修改例的概述的图。
[0033]
图11是用于说明根据第一修改例的校准图案显示状态确认处理的流程图。
[0034]
图12是用于说明第二修改例的概述的图。
[0035]
图13是用于说明第二修改例的校准处理的流程图。
[0036]
图14是用于说明第三修改例的概述的图。
[0037]
图15是用于说明根据第三修改例的校准图案显示状态确认处理的流程图。
[0038]
图16是用于说明根据第二实施方式的信息处理器的配置示例的图。
[0039]
图17是用于说明第二实施方式的校准处理的流程图。
[0040]
图18是用于说明第三实施方式的显示装置的配置示例的图。
[0041]
图19是用于说明第三实施方式的校准处理的流程图。
[0042]
图20是用于说明通用个人计算机的配置示例的图。
具体实施方式
[0043]
现在将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本上相同的功能配置的部件由相同的附图标记表示，并且将省略其重复描述。
[0044]
下面将描述用于实施本技术的模式。将按以下顺序进行描述：
[0045]
1.本公开内容的校准系统的概述
[0046]
2.第一实施方式
[0047]
3.第一修改例
[0048]
4.第二修改例
[0049]
5.第三修改例
[0050]
6.第二实施方式
[0051]
7.第三实施方式
[0052]
8.由软件执行的示例
[0053]
<<1.本公开内容的校准系统的概述>>
[0054]
<校准系统的配置示例>
[0055]
参照图1，将描述应用了本公开内容的技术的校准系统的概述。
[0056]
图1示出了本公开内容的校准系统的配置示例。图1所示的校准系统11是由头戴式显示器(hmd)31、信息处理器32和包括显示器的显示装置33构成的系统，其中，hmd 31中设置的摄像装置31a的摄像装置参数通过校准来估计(测量)。
[0057]
图1的校准系统11例如在正常操作中用作用于显示内容的装置，如游戏机。更具体地，信息处理器32将包括虚拟现实(vr)图像或者增强现实(ar)的图像的内容输出至用户21所佩戴的hmd 31以用于显示。
[0058]
此外，校准系统11在用户观看在头戴式显示器31上显示的图像的同时，例如在用户玩游戏的同时，在用户不知情的情况下，对安装在hmd 31上的摄像装置31a执行校准，并且校准系统11估计(测量)摄像装置31a的摄像装置参数。
[0059]
即，校准系统11在实现作为游戏机原来的功能的同时在后台执行校准处理。
[0060]
更具体地，例如，如图2中的状态st1所示，在执行校准处理时，校准系统11显示例如多个方形标记的图像或方格旗图案的图像作为校准图案，该校准图案用于对显示装置33执行校准，并且已知在显示装置33上在哪里、什么位置处进行显示。注意，标记的形状可以是除方形以外的预定形状，或者例如可以是已知颜色布置图案，只要是已知形状即可。
[0061]
此时，hmd 31的摄像装置31a捕获显示在显示装置33上的校准图案的图像，并且hmd 31基于由摄像装置31a捕获的校准图案的图像来估计(测量)摄像装置31a的摄像装置参数。
[0062]
另外，在执行校准处理时，校准系统11的hmd 31同时显示并且向用户21呈现如图2中的状态st2所示的vr图像以及如图2中的状态st3所示的ar图像。
[0063]
因此，校准系统11在用作游戏机的同时在后台执行校准处理，并且估计(测量)摄
像装置31a的摄像装置参数。
[0064]
这里要获得的摄像装置参数是例如从显示装置33开始的摄像装置31a的设置的位置和姿势的信息、摄像装置31a的内部参数(失真、焦距、光学中心等)的信息、在存在多个摄像装置31a的情况下各摄像装置31a之间的位置和姿势的信息、包括摄像装置31a的白平衡的颜色信息等。然而，在估计(测量)包括白平衡的颜色信息的摄像装置参数的情况下，校准图案需要是例如rgb图像。
[0065]
因此，在用户21佩戴hmd 31并且使用信息处理器32玩游戏的同时，可以在用户21不知道校准的情况下执行校准，并且可以适当地估计(测量)摄像装置参数。
[0066]
注意，如图2中的状态st2和st3所示，显示vr图像的状态或者显示ar图像的状态示出了佩戴hmd 31的用户要观看的图像的成像，并且与实际显示状态不同。
[0067]
<根据hmd与显示器之间的距离显示校准图案的示例>
[0068]
例如，设置在hmd 31中的摄像装置31a对佩戴hmd 31的用户21的面部的正面方向进行成像。因此，如图1所示，当用户21将面部转向显示装置33的方向，并且hmd 31被佩戴在用户21的头部上时，显示装置33被成像。
[0069]
此外，在hmd 31中设置有显示器(未示出)，使得当将hmd 31放置在用户21的头部上时覆盖用户21的眼睛，并且作为游戏等的内容的vr图像或ar图像被显示在显示器上。
[0070]
通过这样的配置，用户21观看在hmd 31上显示的vr图像或ar图像的操作与摄像装置31a对用户21的正面方向进行成像的操作是彼此完全独立的，但是观看方向和成像方向随着用户21的操作而改变。
[0071]
此外，利用上述配置，用户21在佩戴hmd 31的同时可能无法识别用户21的观看方向与显示装置33之间的位置关系，因此摄像装置31a与显示装置33之间的位置关系被假设为处于各种状态。
[0072]
例如，在佩戴hmd 31的用户21的面部的正面方向与显示装置33的显示面彼此面对的情况下，由摄像装置31a成像的显示在显示装置33上的校准图案在下述情况之间变化：在hmd 31和显示装置33存在于彼此之间的距离比预定距离近的位置处的情况；以及在hmd 31和显示装置33存在于彼此之间的距离比预定距离远的位置处的情况。
[0073]
即，在佩戴hmd 31的用户21的面部的正面方向与显示装置33的显示面的正面方向彼此面对的情况下，并且当hmd 31和显示装置33存在于距彼此的预定距离处时，构成由摄像装置31a成像的校准图案的标记的尺寸是适当的大小，并且可以适当地识别多个标记的边界。
[0074]
注意，尽管将校准图案描述为其中布置有多个方形标记的图像，但是校准图案可以是另一图像，并且可以例如是其中白色和黑色的多个方形标记以密集排列的状态交替布置的方格旗图案的图像。
[0075]
相比之下，在佩戴hmd 31的用户21的面部的正面方向与显示装置33的显示面的正面方向彼此面对并且hmd 31和显示装置33存在于彼此之间的距离比预定距离远的位置处时，与hmd 31和显示装置33存在于彼此之间的预定距离处的位置的情况相比，构成由摄像装置31a成像的校准图案的标记的尺寸变得更小，并且可能由于例如标记的边界折叠等而使得无法正确识别标记的位置。
[0076]
当标记的位置(边界的位置，尤其是在方形标记的情况下)进入无法正确识别的状
态时，可能无法通过校准来估计(测量)适当的摄像装置参数。
[0077]
因此，在图1的校准系统11中，构成显示在显示装置33上的校准图案的标记的尺寸根据hmd 31与显示装置33之间的距离而改变和显示。
[0078]
即，如图3的上部所示，在hmd 31与显示装置33之间的距离为预定距离d1的情况下，由摄像装置31a捕获的显示装置33的图像变为例如图像p1。在图像p1的情况下，假定构成校准图案的方形标记被布置成阵列，并且标记的水平尺寸是默认尺寸d，并且适合于估计(测量)摄像装置参数。
[0079]
相比之下，在hmd 31与显示装置33之间的距离大于预定距离的情况下，构成校准图案的标记的水平尺寸可能变得小于尺寸d，并且可能变为不适合于估计(测量)摄像装置参数的尺寸。
[0080]
因此，在图1的校准系统11中，构成校准图案的标记的尺寸根据hmd31与显示装置33之间的距离而改变。即，例如，如图3的下部所示，在hmd 31与显示装置33之间的距离是大于预定距离d1的距离d2的情况下，由摄像装置31a捕获的图像以构成校准图案的标记的较大水平尺寸进行显示，例如为图像p2。
[0081]
以这种方式，在图像p2中构成校准图案的标记的尺寸d变为与当hmd 31与显示装置33之间的距离为距离d1时的尺寸类似的尺寸d，如图3的上部所示，并且尺寸d可以被设置为适合于估计(测量)摄像装置参数的尺寸。
[0082]
因此，无论hmd 31与显示装置33之间的距离如何，都可以使构成校准图案的标记的尺寸为适当的尺寸，从而可以在不考虑hmd 31与显示装置33之间的距离的情况下显示适当尺寸的校准图案。
[0083]
因此，可以适当地估计(测量)摄像装置参数。
[0084]
<根据hmd成像方向与显示器之间的位置关系显示校准图案的示例>
[0085]
此外，例如，在佩戴hmd 31的用户21的面部的正面方向与显示装置33的显示面的正面方向不彼此面对的情况下，并且例如，hmd 31的摄像装置31a从相对于显示装置33的正面方向的左侧或右侧倾斜方向对显示装置33进行成像时，由摄像装置31a成像并且显示在显示装置33上的校准图案根据hmd 31的成像方向与显示装置33之间的位置关系而发生变化。
[0086]
即，在从作为佩戴hmd 31的用户21的面部的正面方向相对于显示装置33的显示面的正面方向的左侧或右侧倾斜方向对显示装置33进行成像的情况下，与从正面方向执行成像的情况相比，构成校准图案的标记的水平尺寸较小。
[0087]
因此，构成由摄像装置31a成像的校准图案的标记的水平大小变得更小，并且可以构想，由于例如所成像的校准图案的标记的边界折叠等，无法适当地识别标记的位置。
[0088]
当无法适当地识别标记的位置时，有可能无法通过校准处理获得适当的摄像装置参数。
[0089]
因此，在图1所示的校准系统11中，根据佩戴hmd 31的用户21的面部的正面方向与显示装置33的显示面的正面方向之间的位置关系来改变在显示装置33上显示的构成校准图案的标记的水平尺寸。
[0090]
即，如图4的左部的图像pt11所示，在显示装置33上显示的校准图案是方格旗图案的图像的情况下，当在佩戴hmd 31的用户21的面部的方向与显示装置33的正面方向一致的
状态下捕获图像时，方格旗图案的校准图案的白色或黑色方形部分用作标记，并且在规则地布置标记的状态下捕获图像。因此，在图4的左侧部分中，可以适当地执行校准，从而可以适当地获得摄像装置参数。
[0091]
然而，当例如由摄像装置31a从相对于显示装置33的正面方向的右侧倾斜方向对显示在显示装置33上的校准图案进行成像时，例如由图4的中间的图像pt11'所示的图像被成像。
[0092]
即，如图像pt11'所示，有可能所成像的校准图案的方格旗图案中的标记的水平尺寸小于当从正面方向进行成像时图像pt11中的标记的水平尺寸，并且可能不是适当的标记尺寸。
[0093]
因此，在图1的校准系统11中，在以hmd 31的成像方向是相对于显示装置33的正面方向从右侧倾斜的方向执行成像的情况下，如图4的右侧部分中的图像pt12所示，构成校准图案的标记的水平尺寸增大，并且在显示装置33上显示校准图案，以使得标记的水平尺寸在校准处理中变得合适。
[0094]
因此，不管hmd 31与显示装置33之间的位置关系如何，都可以使构成校准图案的标记的尺寸为适当的尺寸。因此，无论hmd 31中的摄像装置31a的成像方向与显示装置33之间的位置关系如何都可以适当地执行校准，并且可以适当地估计(测量)摄像装置参数。
[0095]
<<2.第一实施方式>>
[0096]
<hmd的配置示例>
[0097]
接下来，将参照图5描述构成图1的校准系统11的hmd 31的配置示例。
[0098]
头戴式显示器(hmd)31被佩戴成缠绕用户21的头部，并且被设置成覆盖用户21的右眼和左眼的显示单元54显示从信息处理器32提供的包括vr图像或ar图像的内容，并且使用户21观看该内容。
[0099]
此外，hmd 31与显示该内容的处理并行地执行校准处理，利用所提供的摄像装置31a捕获显示在显示装置33上的校准图案的图像，并且基于该捕获图像来估计(测量)摄像装置参数。
[0100]
更具体地，hmd 31由经由总线60彼此电连接的控制单元51、通信单元52、成像单元53、显示单元54、存储单元55、驱动器56和可移动存储介质57构成。
[0101]
控制单元51由处理器和存储器构成，并且控制hmd 31的整个操作。
[0102]
此外，控制单元51包括校准处理单元71和内容显示处理单元72。
[0103]
校准处理单元71基于标记识别、基于由成像单元53捕获的在显示装置33上显示的校准图案的图像、或者基于通过同时定位和映射(slam)估计的位置和姿势的信息来执行校准处理，并且估计(测量)成像单元53即摄像装置31a的摄像装置参数。注意，除了由成像单元53捕获的图像之外，还可以通过使用slam结合惯性测量单元(imu)的测量结果的估计来以更高的精度获得对位置和姿势的估计。另外，可以单独由imu来估计，或者可以由全球定位系统(gps)、全球导航卫星系统(gnss)等来估计。
[0104]
内容显示处理单元72经由通信单元52获得从信息处理器32提供的内容的数据，并且将vr图像或ar图像显示在显示单元54上。
[0105]
通信单元52由控制单元51控制，并且使用有线(或无线地，未示出)通过由局域网(lan)等代表的通信网络向信息处理器32发送并且从信息处理器32接收各种数据和程序。
[0106]
成像单元53对应于安装在hmd 31中的摄像装置31a。此外，成像单元53是包括互补金属氧化物半导体(cmos)、电荷耦合器件(ccd)等的图像传感器，并且成像单元53在用户21佩戴成像单元的情况下对用户21的正面进行成像，并且将捕获的图像输出至控制单元51。
[0107]
显示单元54是被设置为覆盖hmd 31的用户21的双眼的显示器，并且包括例如液晶显示器(lcd)、有机电致发光(el)等。显示单元54由控制单元51的内容显示处理单元72控制，以基于从信息处理器32提供的内容的数据来显示vr图像或ar图像。
[0108]
注意，在投影并显示ar图像的情况下，显示单元54可以是透射型显示器或非透射型显示器，或者可以是具有根据需要覆盖右眼或左眼的结构的显示器。
[0109]
存储单元55由控制单元51控制，存储单元55包括硬盘驱动器(hdd)、固态驱动器(ssd)、半导体存储器等，并且写入或读出各种数据和程序。
[0110]
驱动器56从诸如磁盘(包括软盘)、光盘(包括压缩光盘只读存储器(cd-rom)和数字通用光盘(dvd))、磁光盘(包括小型光盘(md))或半导体存储器的可移动存储介质57中读取数据，并且将数据写入可移动存储介质57中。
[0111]
<信息处理器的配置示例>
[0112]
接下来，将参照图6描述信息处理器32的配置示例。
[0113]
信息处理器32将包括vr图像、ar图像等的内容提供给hmd 31以用于显示，并且还将从hmd 31提供的用于控制校准图案的显示尺寸等的参数(以下简称为校准参数)提供给显示装置33。
[0114]
信息处理器32由控制单元91、通信单元92、存储单元93、驱动器94和可移动存储介质95构成，并且这些单元经由总线96彼此电连接。
[0115]
控制单元91由处理器和存储器构成，并且控制信息处理器32的全部操作。
[0116]
通信单元92由控制单元91控制，并且使用有线(或无线地，未示出)通过由局域网(lan)等代表的通信网络向hmd 31和显示装置33发送以及从hmd 31和显示装置33接收各种数据和程序。
[0117]
存储单元93由控制单元91控制，包括硬盘驱动器(hdd)、固态驱动器(ssd)、半导体存储器等，并且写入或读出各种数据和程序。
[0118]
驱动器94从诸如磁盘(包括软盘)、光盘(包括光盘只读存储器(cd-rom)和数字通用光盘(dvd)、磁光盘(包括小型光盘(md))或半导体存储器的可移动存储介质95中读取数据，并且将数据写入可移动存储介质95中。
[0119]
更具体地，控制单元91例如读出存储在存储单元93或可移动存储介质95中的包括vr图像或ar图像的内容的数据，并且控制通信单元92，以将数据提供给hmd 31以用于显示。
[0120]
此外，控制单元91控制通信单元92，以获得从hmd 31提供的校准图案的显示图像的信息，并且还将信息提供给显示装置33以用于显示。
[0121]
<显示装置的配置示例>
[0122]
接下来，将参照图7描述显示装置33的配置示例。
[0123]
显示装置33以基于从hmd 31经由信息处理器32提供的校准参数的显示格式来显示校准图案。
[0124]
显示装置33包括控制单元111、通信单元112、显示单元113、存储单元114、驱动器115和可移动存储介质116，并且这些单元经由总线117彼此电连接。
[0125]
控制单元111由处理器和存储器构成，并且控制显示装置33的整个操作。
[0126]
此外，控制单元111包括显示控制单元131。显示控制单元131基于经由通信单元12从hmd 31提供的校准参数对校准图案执行处理，并且显示该校准图案。校准图案是例如其中多个方形标记以预定间隔布置成阵列的图像，或者是其中多个白色和黑色方形标记被布置成阵列的方格旗图案的图像，但是校准图案可以是其中布置有多个其他标记的图像，只要该标记具有预先已知其位置和大小的形状即可。
[0127]
通信单元112由控制单元111控制，并且使用有线(或无线地，未示出)通过由局域网(lan)等代表的通信网络向信息处理器32发送以及从信息处理器32接收各种数据和程序。
[0128]
显示单元113包括液晶显示器(lcd)、有机电致发光(el)等，由控制单元111的显示控制单元131控制，并且以基于与从hmd 31经由信息处理器32提供的校准图案的显示有关的参数的格式来显示校准图案。
[0129]
存储单元114由控制单元111控制，存储单元114包括硬盘驱动器(hdd)、固态驱动器(ssd)、半导体存储器等，并且写入或读出各种数据和程序。
[0130]
驱动器115从诸如磁盘(包括软盘)、光盘(包括光盘只读存储器(cd-rom)和数字通用光盘(dvd))、磁光盘(包括小型光盘(md))或半导体存储器的可移动存储介质116中读取数据，并且将数据写入可移动存储介质116中。
[0131]
<第一实施方式中的校准处理>
[0132]
接下来，将参照图8的流程图描述第一实施方式中的校准处理。
[0133]
在步骤s41中，信息处理器32的控制单元91读出构成存储在存储单元93或可移动存储介质95中的内容的显示图像的数据，并且控制通信单元92，以将数据提供给hmd 31。
[0134]
在步骤s11中，hmd 31中的控制单元51的内容显示处理单元72控制通信单元52，以获得构成从信息处理器32提供的内容的显示图像的数据，并且还将包括基于内容的数据的vr图像或ar图像的内容显示在显示单元54上。
[0135]
通过该处理，佩戴hmd 31的用户21进入能够观看在显示单元54上显示的vr图像或ar图像的内容的状态。
[0136]
在步骤s12中，成像单元53(摄像装置31a)捕获佩戴hmd 31的用户21的正面的场景的图像，并且将所捕获的图像输出至控制单元51。
[0137]
在步骤s13中，控制单元51的校准处理单元71分析由成像单元53捕获的图像，并且确定是否对显示装置33进行成像。校准处理单元71基于例如显示装置33的形状是否被包括作为对捕获图像中的对象的检测结果来确定显示装置33是否已经被成像。
[0138]
在步骤s13中，例如当认为显示装置33已经被成像时，处理进行到步骤s14。
[0139]
在步骤s14中，校准处理单元71控制通信单元52，以经由信息处理器32指示显示装置33开始校准。
[0140]
在步骤s42中，信息处理器32的控制单元91控制通信单元92，以确定hmd 31是否已经指示了校准开始。在步骤s42中，当已经通过步骤s14的处理指示了校准开始时，处理进行到步骤s43。
[0141]
在步骤s43中，控制单元91控制通信单元92，以指示显示装置33开始校准。
[0142]
在步骤s71中，显示装置33中的控制单元111的显示控制单元131控制通信单元
112，以确定是否已经从hmd 31经由信息处理器32提供了开始校准的指令。当在步骤s71中指示了校准开始时，处理进行到步骤s72。
[0143]
在步骤s72中，显示控制单元131读出存储在存储单元114或可移动存储介质116中的校准图案的图像数据，并且使显示单元113显示该图像数据。此时，显示控制单元131以默认尺寸的状态在所读取的校准图案中显示标记的尺寸。
[0144]
即，当在与hmd 31的摄像装置31a对应的成像单元53中对显示装置33进行了成像时，开始校准，并且将具有默认标记尺寸的校准图案显示在显示装置33上。
[0145]
另一方面，在步骤s15中，校准处理单元71基于由成像单元53捕获的图像来确定校准图案是否已经被显示装置33成像，并且重复相同的处理，直到执行了成像为止。
[0146]
在步骤s15中，当通过上述一系列处理在显示装置33的显示单元113上显示了校准图案并且由此认为该校准图案已经被成像单元(摄像装置31a)成像时，处理进行到步骤s16。
[0147]
在步骤s16中，校准处理单元71执行校准图案显示状态确认处理，并且确认由成像单元53成像的校准图案的显示状态。更具体地，校准处理单元71确定校准图案是否处于适合于校准的状态下，并且在该状态不适合的情况下，如参照图3和图4描述的那样，设置用于在显示装置33上显示适合于校准的校准图案的大小等，并且计算出对应校准参数。
[0148]
注意，稍后将参照图9的流程图详细描述校准图案显示状态确认处理。
[0149]
在步骤s17中，校准处理单元71通过校准图案显示状态确认处理来确定所成像的校准图案是否已经被确定为处于适合于校准的状态。在步骤s17中，当所成像的校准图案不适合于校准时，处理进行到步骤s18。
[0150]
在步骤s18中，校准处理单元71控制通信单元52，以将通过校准图案显示状态确认处理计算出的校准参数经由信息处理器32发送到显示装置33，并且处理返回到步骤s15。
[0151]
在步骤s44中，信息处理器32的控制单元91控制通信单元92，以确定是否已经从hmd 31向显示装置33提供了校准参数。然后，当在步骤s44中已经将校准参数提供给了显示装置33时，处理进行到步骤s45。
[0152]
在步骤s45中，控制单元91控制通信单元92，以将校准参数发送到显示装置33。
[0153]
在步骤s73中，显示装置33中的控制单元111的显示控制单元131控制通信单元112，以确定是否已经提供了从hmd 31经由信息处理器32发送的校准参数。然后，当在步骤s73中已经提供了校准参数时，处理进行到步骤s74。
[0154]
在步骤s74中，显示控制单元131控制通信单元92，以获得校准参数，根据默认存储的校准图案的校准参数执行处理，并且将校准图案显示在显示单元113上。
[0155]
即，如参照图3所描述的，在hmd 31与显示装置33的距离大于预定距离的情况下，基于校准参数以大尺寸来显示标记。此外，在hmd 31与显示装置33的距离为预定距离的情况下，将校准图案中的标记的尺寸设置为默认尺寸。此外，在hmd 31与显示装置33的距离小于预定距离近的情况下，以小于默认尺寸的尺寸来显示校准图案中的标记。
[0156]
此外，如参照图4所述，在hmd 31存在于相对于显示装置33的显示单元113的显示面的横向方向上的情况下，增大校准图案中的标记的水平尺寸。此外，在hmd 31存在于相对于显示装置33的显示单元113的显示面的正面的情况下，以默认尺寸显示校准图案中的标记的水平尺寸。
[0157]
通过以这种方式调整所显示的标记的尺寸，可以始终使得由成像单元53成像的校准图案中的标记的尺寸为适当的尺寸，因此，可以始终在适合于校准的状态下显示校准图案。
[0158]
当在步骤s44和s73中没有发送校准参数时，跳过步骤s45和s74中的处理。
[0159]
此外，在步骤s46中，控制单元91确定是否已经从hmd 31通知了校准完成，并且当未通知时，处理返回到步骤s44。即，重复步骤s44至s46的处理，直到完成校准为止。
[0160]
此外，在步骤s75中，显示控制单元131确定是否已经从hmd 31经由信息处理器32通知了校准完成，并且当未通知时，处理返回到步骤s73。即，重复步骤s73至s75的处理，直到完成校准为止。
[0161]
此外，在hmd 31中，除非在步骤s17中认为所成像的校准图案适合于校准，否则重复步骤s15至s18的处理。因此，在信息处理器32中重复步骤s44至s46的处理，在显示装置33中重复步骤s73至s75的处理，重复设置校准参数，并且校准图案的标记的显示尺寸继续根据hmd 31与显示装置之间的位置关系而改变。
[0162]
当在步骤s17中认为由成像单元53成像的校准图案适合于校准时，处理进行到步骤s19。
[0163]
在步骤s19中，校准处理单元71基于所成像的校准图案来估计(测量)作为成像单元53的摄像装置31a的摄像装置参数，并且将所获得的摄像装置参数反映在由成像单元53捕获的图像上。
[0164]
这里要获得的摄像装置参数是例如从显示装置33的显示单元113开始的摄像装置31a(成像单元53)的设置的位置和姿势的信息、摄像装置31a(成像单元53)的内部参数的信息(失真、焦距、光学中心等)、在存在多个摄像装置31a(成像单元53)的情况下各个摄像装置31a(成像单元53)之间的位置和姿势的信息、包括摄像装置31a(成像单元53)的白平衡的颜色信息等。然而，例如，在估计(测量)了包括白平衡的颜色信息的摄像装置参数的情况下，校准图案需要包括包含rgb中的每种颜色的图像。
[0165]
在步骤s20中，校准处理单元71控制通信单元52，以经由信息处理器32向显示装置33通知校准完成。
[0166]
因此，认为在步骤s46中通知了校准的完成，并且处理进行到步骤s47。
[0167]
在步骤s47中，控制单元91控制通信单元92，以将校准完成通知给显示装置33。
[0168]
此外，在步骤s75中，认为已经通知了校准完成，并且处理进行到步骤s76。
[0169]
在步骤s76中，显示控制单元131控制通信单元112，以获得校准完成的通知，并且结束在显示单元113上显示校准图案。
[0170]
在步骤s21中，校准处理单元71确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s11，并且重复随后的处理。注意，当在步骤s13中认为显示装置33尚未成像时，处理进行到步骤s21。
[0171]
此外，在步骤s48中，控制单元91确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s41，并且重复随后的处理。注意，当在步骤s42中认为尚未指示校准开始时，处理进行到步骤s48。
[0172]
此外，在步骤s77中，显示控制单元131确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s71，并且重复随后的处理。注意，当在步骤s71中认为尚未指
示校准开始时，处理进行到步骤s77。
[0173]
然后，当在步骤s21、s48和s77的每一个中指示结束时，校准处理结束。
[0174]
通过以上处理，在处于包括vr图像或ar图像的内容被显示在hmd31的显示单元54上并且用户21正在观看该内容的状态下，但是与该状态无关地，实现了对摄像装置31a(成像单元53)的摄像装置参数的校准处理。
[0175]
因此，可以在用户21不知情的情况下估计(测量)摄像装置31a(成像单元53)的摄像装置参数。同样，此时，根据hmd 31(摄像装置31a)与显示装置33之间的位置关系，显示在显示装置33上并且由成像单元53成像的校准图案的显示尺寸在被调整为适合于校准的尺寸的状态下被显示，使得可以实现对摄像装置参数的适当估计(测量)。
[0176]
<校准图案显示状态确认处理>
[0177]
接下来，将参照图9的流程图描述校准图案显示状态确认处理。
[0178]
在步骤s91中，校准处理单元71基于由成像单元53捕获的图像，通过slam获得(估计)hmd 31本身的位置和姿势的信息。
[0179]
在步骤s92中，校准处理单元71基于hmd 31和显示装置33的位置和姿势的信息，确定用当前校准参数显示的校准图案是否适合于校准。
[0180]
这里假定显示装置33的位置、姿势、尺寸和分辨率的信息是预先获得的并且被存储在存储单元55中，但是例如，该信息可以基于显示装置33的型号等经由信息处理器32获得，或者可以由用户21输入。此外，由于校准处理单元71已经获得了hmd 31的位置和姿势的信息，因此显示装置33的位置和姿势(显示单元113的显示面的方向)可以在已经由作为摄像装置31a的成像单元53捕获的图像中检测到。
[0181]
因此，校准处理单元71可以识别hmd 31与显示装置33之间的位置关系。
[0182]
此外，在没有从hmd 31提供校准参数的情况下，以默认位置和尺寸来显示校准图案，使得校准处理单元71可以估计捕获图像中的校准图案的标记的尺寸。
[0183]
此外，即使当在随后的处理中将校准参数提供给显示装置33时，所提供的校准参数也是已知的，因此，此时，校准处理单元71同样可以估计由摄像装置31a捕获的图像中的校准图案的标记的位置和尺寸。
[0184]
根据该信息，校准处理单元71可以确定以当前校准参数显示并且由成像单元53在校准图案中捕获的图像中的标记的尺寸是否适合于校准。
[0185]
当在步骤s92中确定显示在显示装置33上的校准图案的标记的尺寸不适合于校准时，处理进行到步骤s93。
[0186]
在步骤s93中，校准处理单元71认为当前显示在显示装置33上的校准图案的标记的尺寸不适合于校准，并且基于当前hmd 31与显示装置33之间的位置关系来设置适当的标记尺寸。
[0187]
即，例如，如参照图3所述，当校准图案的标记比预定距离分开地更远时，校准处理单元71将该标记的尺寸设置为大于默认尺寸。
[0188]
此外，如参照图4所述，例如，在hmd 31存在于相对于显示装置33的显示单元113的显示面的正面方向的预定角度的位置处并且标记的尺寸小于所成像的校准图案的标记的水平尺寸的情况下，校准处理单元71将水平方向(即形成预定角度的方向)的尺寸设置为更大。
[0189]
类似地，在hmd 31存在于相对于显示装置33的显示单元113的显示面的正面方向的竖直方向的预定角度的位置处并且标记的尺寸小于所成像的校准图案的标记的竖直尺寸的情况下，校准处理单元71可以将竖直方向(即形成预定角度的方向)上的尺寸设置为更大。
[0190]
注意，在此假设在校准处理单元71设置标记的尺寸时显示装置33中的显示单元113的分辨率、尺寸等是已知的，但是显示单元113的分辨率、尺寸等的信息可以例如预先由用户使用键盘、操作按钮等(未示出)输入到hmd 31中。另外，可以与显示装置33的型号相关联地预先存储每个分辨率和尺寸，并且可以经由已知的信息处理器32预先获得显示装置33的型号等。此外，关于显示装置33的显示单元113的尺寸，由于hmd 31与显示装置33之间的位置关系是已知的，因此校准处理单元71可以基于在由作为摄像装置31a的成像单元53捕获的图像中的显示装置33的大小和尺寸来获得该尺寸。
[0191]
在步骤s94中，校准处理单元71计算与校准图案的标记的设置尺寸对应的校准参数。
[0192]
即，当认为校准图案的标记的尺寸不适合于校准时，校准处理单元71基于hmd 31与显示装置33之间的位置关系来设置标记的适当尺寸，并且计算与设置尺寸对应的校准参数。
[0193]
另一方面，当在步骤s92中认为所成像的校准图案的标记的尺寸适合于校准时，处理进行到步骤s95。
[0194]
在步骤s95中，校准处理单元71认为所成像的校准图案的标记的尺寸适合于校准，并且保持校准图案的标记的当前尺寸。
[0195]
通过以上处理，即使当佩戴hmd 31的用户21在观看内容的同时相对于显示装置33移动到不同位置时，显示装置33也在根据与hmd 31的位置关系动态地改变校准图案的标记的尺寸的同时执行显示，使得可以在用户21未意识到校准的情况下适当地估计(测量)摄像装置参数。
[0196]
注意，上面已经描述了当由hmd 31的摄像装置31a(成像单元53)对显示装置33进行成像时显示校准图案并且开始校准的示例，但是校准可以在除此以外的定时处开始。
[0197]
例如，可以开始校准，使得每次经过预定时间时，在显示装置33上周期性地重复显示校准图案。
[0198]
此外，可以在需要校准的定时处开始校准，例如由于某种原因造成的摄像装置31a(成像单元53)的设置方向的偏差等，基于由成像单元53捕获的图像，根据通过slam估计的位置和姿势的信息，例如在摄像装置31a(成像单元53)最初捕获的图像与摄像装置31a(成像单元53)实际捕获的图像之间出现差异的定时处。
[0199]
此外，当用户21观看要观看的vr图像或ar图像并且相对于位置或姿势的改变而感到图像的改变不舒适时，可以例如当用户21嘟哝诸如“不对劲”或“有偏差”之类的指示异常的词汇的定时处开始校准。
[0200]
此外，在图1中，显示装置33被配置为假设诸如家庭环境中的电视接收机之类的显示器，但是显示装置33可以是设置在室外的大型显示器，并且例如可以在城镇中设置的大型建筑物中设置的用于广告的大型显示器等上显示校准图案，并且可以执行校准处理。
[0201]
此外，在以上描述中，已经描述了使用一个显示装置33相对于一个hmd 31的摄像
装置31a执行校准以估计(测量)摄像装置参数的示例，但是即使在其中在hmd 31中设置多个摄像装置31a或者在多个hmd 31中设置摄像装置31a的状态下，每个摄像装置31a的摄像装置参数也可以由一个显示装置33估计(测量)。
[0202]
此外，校准处理单元71可以基于帧速率在显示校准图案的显示装置33的显示单元113中设置用于控制摄像装置31a的帧速率的校准参数，并且可以控制显示装置33，使得以摄像装置31a可以容易地对校准图案进行成像的帧速率来显示校准图案。
[0203]
此外，在包括包括白平衡的颜色信息的摄像装置参数的情况下，可以设置用于控制构成校准图案的标记的颜色布置和白平衡的校准参数，并且可以控制适合于校准的校准图案的颜色布置和白平衡。
[0204]
<<3.第一修改例>>
[0205]
在上文中，已经描述了下述示例：将构成校准图案的标记的尺寸设置为适当的尺寸，并且基于hmd 31与显示装置33之间的位置关系来改变显示尺寸，由此在摄像装置31a(成像单元53)中可以适当地对校准图案进行成像，并且精确地估计(测量)通过校准的摄像装置参数。
[0206]
然而，当检测到存在或不存在由摄像装置31a成像的校准图案的剪白或剪黑并且检测到剪白或剪黑时，可以控制在显示装置33中显示校准图案的亮度。
[0207]
也就是说，在校准图案是如图10的左上部分中的图像pt31所示的方格旗图案并且以正常亮度显示在显示装置33的显示单元113上的情况下，构想由摄像装置31a(成像单元53)对校准图案进行成像使得出现剪白的状态，如图10的右上部分中的图像pt32所示。
[0208]
在如图像pt32所示成像的校准图案中，由于剪白，可能无法适当地识别出构成校准图案的标记特别是相邻标记的边界，并且可能不能适当地估计(测量)摄像装置参数。
[0209]
由于剪白是由显示装置33显示的亮度过高引起的现象，因此降低显示装置33的显示单元113中的校准图案的亮度，如图10的左下部分中的图像pt33所示。这减少了由摄像装置31a(成像单元53)成像的校准图案的剪白，如图10的右下部分中的图像pt34所示。因此，校准图案以适当的状态被成像，使得可以适当地估计(测量)摄像装置参数。
[0210]
注意，在图10中，已经描述了发生剪白的情况的示例，但是在存在剪黑的情况下，增加用于显示的亮度。即，由于剪黑是由显示装置33的显示单元113的亮度过低引起的现象，因此增加亮度，以使整个图像变亮，并且减少剪黑的发生。
[0211]
另外，不仅可以通过显示装置33的亮度调整而且可以通过控制摄像装置31a的曝光来减少剪白或剪黑，从而可以在适当的状态下对校准图案进行成像，以适当地估计(测量)摄像装置参数。
[0212]
<第一修改例中的校准图案显示状态确认处理>
[0213]
接下来，将参照图11的流程图描述第一修改例中的校准图案显示状态确认处理。注意，第一修改例中的校准处理与参照图8的流程图描述的处理相似，并且因此将省略其描述。
[0214]
在步骤s111中，校准处理单元71检测由摄像装置31a(成像单元53)成像的校准图案的图像中的每个像素的亮度。
[0215]
在步骤s112中，校准处理单元71基于检测到的每个像素的亮度的信息，确定是否发生了剪白或剪黑。更具体地，基于检测到的每个像素的亮度值的信息，校准处理单元71根
据例如具有饱和像素值的像素的数目是否为预定比率或更高来确定是否存在剪白。此外，类似地，校准处理单元71根据例如像素值是最小亮度值的像素的数目是否为预定比率或更高来确定是否存在剪黑。
[0216]
当在步骤s112中认为已经出现剪白或剪黑时，处理进行到步骤s113。
[0217]
在步骤s113中，校准处理单元71认为由于剪白或剪黑而导致所成像的校准图案不适合于校准，并且调整用于显示校准图案的亮度，以减少剪白或剪黑。
[0218]
即，在校准图案的亮度高并且检测到剪白的情况下，校准处理单元71设置亮度值以减小亮度。此外，在校准图案的亮度低并且检测到剪黑的情况下，校准处理单元71设置亮度值以增加亮度。
[0219]
在步骤s114中，校准处理单元71设置与经调整的亮度对应的校准参数。
[0220]
另一方面，当在步骤s112中认为不存在剪白或剪黑时，处理进行到步骤s115。
[0221]
在步骤s115中，校准处理单元71认为所成像的校准图案适合于校准并且维持当前亮度值。
[0222]
通过以上处理，在图8的流程图中的步骤s74的处理中，根据所成像的校准图案的亮度状态，使用在显示装置33的显示单元113上显示的用于经调整的亮度的校准参数，以适合于校准的亮度来显示校准图案。
[0223]
因此，可以通过校准来适当地估计(测量)摄像装置31a(成像单元53)的摄像装置参数。注意，可以以组合方式执行参照图11描述的第一修改例中的校准图案显示状态确认处理以及参照图9描述的校准图案显示状态确认处理。通过这样的处理，可以根据hmd 31与显示装置33之间的位置关系来调整亮度，同时可以调整校准图案的标记的尺寸，从而可以以更高的精度估计(测量)摄像装置参数。
[0224]
<<4.第二修改例>>
[0225]
在上文中，已经描述了下述示例：hmd 31根据与显示装置33的位置关系和亮度来调整显示在显示装置33的显示单元113上的校准图案的尺寸和亮度，以适当地估计(测量)摄像装置31a(成像单元53)的摄像装置参数。
[0226]
然而，当可以估计(测量)摄像装置31a(成像单元53)的摄像装置参数时，可以将除校准图案之外的图像显示在显示装置33上，并且由摄像装置31a(成像单元53)成像以用于校准。例如，可以预先设置可用于校准的内容图像，在预定定时处在显示装置33上显示，并且在所显示的定时处用于校准。
[0227]
即，如图12的右部所示，假定包括其中在时间t1至t3的定时处按时间顺序依次显示内容图像p(t1)至p(t3)的运动图像的内容被显示在显示装置33的显示单元113上。在这种情况下，将在时间t3的定时处预先显示的内容图像p(t3)设置为要用于校准的校准内容，并且内容中的预定对象的位置被用于校准。
[0228]
在这种情况下，如图12的左侧所示，校准处理单元71预先存储与内容图像p(t3)对应的校准内容pt 51。
[0229]
然后，在时间t3处，校准处理单元71通过将由摄像装置31a(成像单元53)捕获的图像中的内容图像p(t3)中的对象的预定位置ob1至ob3与预先相应地存储的校准内容pt 51中的对象的预定位置ob11至ob13进行比较来执行校准，并且估计(测量)摄像装置参数。
[0230]
<第二修改例的校准处理>
[0231]
接下来，将参照图13的流程图描述第二修改例中的校准处理。注意，在该处理中，假设校准内容和再现校准内容的定时的信息被预先存储在hmd 31的存储单元55中，并且校准处理单元71读出并且适当地使用校准内容。
[0232]
在步骤s181中，信息处理器32的控制单元91读出存储在存储单元93或可移动存储介质95中的内容的数据，并且控制通信单元92，以将数据提供给hmd31。
[0233]
在步骤s151中，hmd 31中的控制单元51的内容显示处理单元72控制通信单元52，以获得从信息处理器32提供的内容的数据，并且还基于内容的数据在显示单元54上显示vr图像或ar图像的内容。
[0234]
通过该处理，佩戴hmd 31的用户21观看显示在显示单元54上的vr图像或ar图像的内容。
[0235]
在步骤s152中，成像单元53(摄像装置31a)对佩戴hmd 31的用户21的正面的场景进行成像，并且将所捕获的图像输出至控制单元51。
[0236]
在步骤s153中，控制单元51的校准处理单元71分析由成像单元53捕获的图像，并且确定显示装置33是否已经被成像。校准处理单元71基于例如显示装置33的形状是否被包括在捕获图像中的对象的检测结果中来确定显示装置33是否已经被成像。
[0237]
在步骤s153中，例如，当认为显示装置33已经被成像时，处理进行到步骤s154。
[0238]
在步骤s154中，校准处理单元71控制通信单元52，以经由信息处理器32指示显示装置33开始校准。
[0239]
在步骤s182中，信息处理器32的控制单元91控制通信单元92，以确定是否已经由hmd 31指示了校准开始。在步骤s182中，例如，当已经通过步骤s154的处理指示了校准开始时，处理进行到步骤s183。
[0240]
在步骤s183中，控制单元91控制通信单元92，以指示显示装置33开始校准。此时，控制单元91根据需要提供校准内容和校准内容的显示定时的信息。注意，在将校准内容预先存储在显示装置33中的情况下，仅提供校准内容的显示定时的信息。
[0241]
在步骤s201中，显示装置33中的控制单元111的显示控制单元131控制通信单元112，以确定是否已经从hmd 31经由信息处理器32提供了开始校准的指令。如果在步骤s201中指示了校准开始，则处理进行到步骤s202。
[0242]
在步骤s202中，显示控制单元131读出存储在存储单元114或可移动存储介质116中的校准内容的图像数据，并且使显示单元113显示该图像数据。替选地，显示控制单元131使显示单元113显示从hmd 31经由信息处理器32提供的校准内容。这时，显示控制单元131根据所提供的显示定时来显示校准内容作为时间序列的运动图像的一部分。
[0243]
另一方面，在步骤s155中，校准处理单元71读出存储在存储单元55或可移动存储介质57中的作为校准内容的一部分的、用于校准的图像，并且还读出要显示该图像的定时。
[0244]
在步骤s156中，校准处理单元71控制摄像装置31a(成像单元53)，使得在捕获用于校准的图像的定时处捕获显示在显示装置33上的校准内容的图像。
[0245]
在步骤s157中，校准处理单元71执行校准内容显示状态确认处理，并且通过将由成像单元53捕获的校准内容的图像与所读取的用于校准的图像进行比较来确认由成像单元53捕获的校准内容的图像的显示状态。
[0246]
这里，在用于校准的图像不适合于校准的情况下，校准处理单元71设置用于在显
示装置33上显示适合于校准的校准内容的图像的尺寸、亮度等，并且计算对应的校准参数，如参照图3和图4所述。
[0247]
注意，校准内容显示状态确认处理基本上类似于参照图9的流程图描述的校准图案显示状态确认处理，因此将省略其描述。
[0248]
在步骤s158中，校准处理单元71通过校准内容显示状态确认处理来确定是否已经将用于校准的捕获图像确定为处于适合于校准的状态。在步骤s158中，当用于校准的捕获图像不适合于校准时，处理进行到步骤s159。
[0249]
在步骤s159中，校准处理单元71控制通信单元52，以经由信息处理器32将用于校准内容的校准参数以及用于校准的图像的显示定时的信息发送到显示装置33，并且处理返回到步骤s155。
[0250]
在步骤s184中，信息处理器32的控制单元91控制通信单元92，以确定是否已经从hmd 31向显示装置33提供了校准内容中的校准参数和显示定时的信息。然后，在步骤s184中，当将校准参数和显示定时的信息已提供给显示装置33时，处理进行到步骤s185。
[0251]
在步骤s185中，控制单元91控制通信单元92，以将校准参数和用于校准的图像的显示定时的信息发送到显示装置33。
[0252]
在步骤s203中，显示装置33中的控制单元111的显示控制单元131控制通信单元112，以确定是否已提供了从hmd 31经由信息处理器32发送的校准参数和显示定时的信息。然后，当在步骤s203中已经提供了校准参数和显示定时的信息时，处理进行到步骤s204。
[0253]
在步骤s204中，显示控制单元131控制通信单元92以获得校准参数，根据该校准参数对默认存储的校准内容中的用于校准的图像执行处理以进行更新，并且还在从hmd 31提供的预定显示定时处在信息显示单元113上显示该用于校准的图像。
[0254]
因此，通过适当地更新在由成像单元53成像的校准内容中的用于校准的图像的尺寸和亮度，以适合于校准的状态来显示图像。
[0255]
在步骤s184和s203中尚未发送校准参数和显示定时的信息的情况下，跳过步骤s185和s204中的处理。
[0256]
此外，在步骤s186中，控制单元91确定是否已经从hmd 31通知了校准完成，并且当未通知时，处理返回到步骤s184。即，重复步骤s184至s186的处理，直到通知了校准完成为止。
[0257]
此外，在步骤s205中，显示控制单元131确定是否已经从hmd 31经由信息处理器32通知了校准完成，并且当尚未通知时，处理返回到步骤s203。即，重复步骤s203至s205的处理，直到通知了校准完成为止。
[0258]
此外，在hmd 31中，除非在步骤s158中认为所捕获的校准内容中的用于校准的图像适合于校准，否则重复步骤s155至s159的处理。因此，在信息处理器32中重复步骤s184至s186的处理，在显示装置33中重复步骤s203至s205的处理，并且继续重复使用校准参数来调整用于校准的图像的尺寸、亮度等。
[0259]
然后，当在步骤s158中认为所捕获的校准内容中的用于校准的图像适合于校准时，处理进行到步骤s160。
[0260]
在步骤s160中，校准处理单元71基于所捕获的用于校准的图像来估计(测量)作为成像单元53的摄像装置31a的摄像装置参数，并且将所获得的摄像装置参数反映在由成像
单元53捕获的图像上。
[0261]
在步骤s161中，校准处理单元71控制通信单元52，以经由信息处理器32通知显示装置33校准完成。
[0262]
此外，在步骤s186中，认为已经通知了校准完成，并且处理进行到步骤s187。
[0263]
在步骤s187中，控制单元91控制通信单元92，以通知显示装置33校准完成。
[0264]
此外，在步骤s205中，认为已经通知了校准完成，并且处理进行到步骤s206。
[0265]
在步骤s206中，显示控制单元131控制通信单元112，以获得校准完成的通知，并且结束在显示单元113上显示校准内容。
[0266]
在步骤s162中，校准处理单元71确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s151，并且重复随后的处理。注意，当在步骤s153中认为显示装置33尚未被成像时，处理进行到步骤s162。
[0267]
此外，在步骤s188中，控制单元91确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s181，并且重复随后的处理。注意，当在步骤s182中认为尚未指示校准开始时，处理进行到步骤s188。
[0268]
此外，在步骤s207中，显示控制单元131确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s201，并且重复随后的处理。注意，当在步骤s201中认为尚未指示校准开始时，处理进行到步骤s207。
[0269]
然后，当在步骤s162、s188和s207的每一个中指示结束时，校准处理结束。
[0270]
通过以上处理，处于包括vr图像或ar图像的内容被显示在hmd 31的显示单元54上并且用户21正在观看该内容的状态，但是与该状态无关地，实现了摄像装置31a(成像单元53)的摄像装置参数的校准处理。
[0271]
此外，用于校准的图像仅是作为包括运动图像的校准内容而显示在显示装置33上的图像中的在预定定时处显示的图像，使得未佩戴hmd 31的用户可以观看在显示装置33上显示的校准内容而没有不适感。
[0272]
因此，可以在不仅佩戴hmd 31的用户而且其他用户也不知情的情况下估计(测量)摄像装置31a(成像单元53)的摄像装置参数。另外，此时，在显示装置33上显示并且由成像单元53成像的用于校准的图像的显示尺寸和亮度在被调整为适合于校准的尺寸和亮度的状态下显示，从而可以实现对摄像装置参数的适当估计(测量)。
[0273]
此外，由于以这种方式在显示装置33上连续显示不能一眼识别为用于校准的图像的校准内容，因此，未佩戴hmd 31的用户可以将校准内容作为显示在显示装置33上的一般内容来观看。因此，显示装置33可以包括例如在城镇中设置的用于广告的大型显示器，并且可以使未佩戴hmd31的普通用户一眼就看到用于广告显示的校准内容，同时使由附近的用户佩戴的hmd 31的摄像装置31a执行校准，以估计(测量)摄像装置参数。
[0274]
同样在这种情况下，可以在使得佩戴hmd 31的用户或者未佩戴hmd 31的用户没有意识到校准的情况下适当地对摄像装置31a的摄像装置参数执行校准和估计(测量)。
[0275]
<<5.第三修改例>>
[0276]
以上已经描述了下述示例：改变由hmd 31的摄像装置31a(成像单元53)成像的校准图案的大小和亮度、作为校准内容显示的标记等，以调整适合于校准的图像，并且根据一个图像来估计(测量)摄像装置参数。
[0277]
然而，用于引导用户21改变用户21的位置和姿势的图像可以用hmd31a显示在用户21观看的内容中，可以捕获适合于校准的多个图像，并且可以根据多个图像来估计(测量)摄像装置参数。
[0278]
即，例如，如图14的上部所示，将构想如下状态：由用户21佩戴的摄像装置31a(成像单元53)的观察位置从面对显示装置33的显示单元113的显示面的位置变为相对于显示装置33以如时间t11至t13所示的时间序列在附图中从左到右的位置p(t11)至p(t13)。
[0279]
在图14的上部的情况下，当用户21面对显示装置33时，摄像装置31a的观察位置以不平衡的方式处于左侧范围内，并且当用户21面对显示装置33时，在右侧范围z1中不存在观察位置，从而在估计(测量)摄像装置参数时，有可能发生不平衡，并且所估计的摄像装置参数的精度可能降低。
[0280]
因此，例如，如图14的上部所示，在hmd 31中的显示单元54上显示的vr图像或ar图像中，具有方形开口的圆柱形对象v1在显示装置33的正前方的位置处被显示为三维结构，并且用户21被赋予了下述游戏任务：通过经由开口向里面观察设置在对象v1内部的对象v2来增加积分。
[0281]
注意，在图14的上部中，具有方形开口的圆柱形对象v1的开口被设置在显示装置33的显示单元113的显示面的前方向上，并且可以通过经由开口向对象v1的内部观察来看到设置在其中的对象v2。
[0282]
如图14的下部所示，hmd 31的校准处理单元71使显示单元54显示作为对象v1'的vr图像或ar图像，使得圆柱形对象v1的开口处于能够从图的右侧向里看的方向。
[0283]
如图14的下部所示，用户21移动到由用户21'指示的位置，并且通过显示在显示单元54上的对象v1'的开口观看对象v2。从而，从hmd 31的摄像装置31a的观察位置p(t31)从显示装置33的右侧范围(即图14的上部所示的范围z1)对显示在显示装置33的显示单元113上的校准图案进行成像。
[0284]
因此，显示在显示装置33的显示单元113上的校准图案可以基于从相对于显示装置33的显示单元113的正面方向的多个方向均匀成像的多个图像来估计(测量)摄像装置参数。即，通过获得其中校准图案的失真和外观彼此相关联的最佳解决方案，可以通过捕获的多个校准图案来估计图像之间的对应性，并且可以同时估计成像单元53的位置和姿势以及摄像装置参数。此时，通过使用从多个方向捕获的图像，可以提高估计精度。
[0285]
因此，通过从多个方向均匀地对校准图案进行成像，可以更适当地执行校准，并且可以以更高的精度估计(测量)摄像装置参数。
[0286]
<第三修改例中的校准图案显示状态确认处理>
[0287]
接下来，将参照图15的流程图描述第三修改例中的校准图案显示状态确认处理。
[0288]
在步骤s231中，校准处理单元71基于由成像单元53捕获并且显示在显示装置33上的校准图案的图像，通过同时定位和映射(slam)来检测(估计)位置和姿势，并且将位置和姿势与由摄像装置31a(成像单元53)捕获的校准图案相关联地存储在存储单元55中。
[0289]
在步骤s232中，校准处理单元71基于与位置和姿势相关联地存储在存储单元55中的所成像的校准图案的信息来确定是否存在不足的观察位置。
[0290]
当在步骤s232中认为存在不足的观察位置时，处理进行到步骤s233。
[0291]
在步骤s233中，校准处理单元71假定存在不足的观察位置并且该图像不适合于校
准，并且如参照图14所述，校准处理单元71生成用于将用户21的位置和姿势引导到不足的观察位置的包括vr图像或ar图像的内容的图像。
[0292]
在步骤s234中，校准处理单元71控制显示单元54，以显示用于将用户21的位置和姿势引导到不足的观察位置的包括vr图像或ar图像的内容的图像。
[0293]
另一方面，当在步骤s234中认为不存在不足的观察位置时，处理进行到步骤s235。
[0294]
在步骤s235中，校准处理单元71认为不存在不足的观察位置，校准所需的多个校准图案的图像是从多个方向均匀地成像的，并且该图像处于适合于校准的状态。
[0295]
通过以上处理，可以基于其中从多个方向对由显示装置33的显示单元113显示的校准图案进行成像的图像来执行校准，并且可以以更高的精度估计(测量)摄像装置参数。
[0296]
也就是说，在这种情况下，在图8的校准处理中的步骤s19中，校准处理单元71可以使用由摄像装置31a(成像单元53)从多个观察位置成像的校准图案来更以更高的精度来估计(测量)摄像装置参数。
[0297]
注意，在上文中已经描述了其中显示vr图像或ar图像以引导至不足的观察位置作为hmd 31的摄像装置31a的观察位置的示例，但是在通过使用一个显示装置33来调整多个hmd 31的摄像装置31a时，用于引导佩戴hmd 31的用户的内容可以被显示成使得多个hmd 31的每个摄像装置31a不会遮挡显示装置33的视野。以这种方式，可以在用户不知情并且不会阻挡多个hmd 31的每个摄像装置31a的视野的情况下对显示装置33的校准图案进行成像，并且可以执行多个hmd 31的摄像装置31a的校准。因此，可以适当地估计(测量)多个摄像装置31a的摄像装置参数。
[0298]
<<6.第二实施方式>>
[0299]
在上面的描述中，已经描述了下述示例：由hmd 31中的控制单元51的校准处理单元71执行校准，以估计(测量)摄像装置31a(成像单元53)的摄像装置参数，但是可以通过除hmd 31之外的配置来执行校准，例如，可以由信息处理器32执行校准。
[0300]
图16示出了在由信息处理器32执行校准处理的情况下信息处理器32的配置示例。注意，在图16的信息处理器32中，具有与图6的信息处理器32的部件相同功能的部件由相同的附图标记表示，并且将适当地省略其描述。
[0301]
即，图16中的信息处理器32与图6中的信息处理器32的不同之处在于，在控制单元91中设置了校准处理单元201。校准处理单元201基本上具有与hmd 31的校准处理单元71相同的功能，基于由hmd 31检测到的hmd 31的位置和姿势的信息来估计(测量)摄像装置参数，并且将结果提供给hmd 31。
[0302]
注意，由于hmd 31和显示装置33的基本配置与参照图4和图6描述的基本配置相同，因此将省略其描述，但是在第二实施方式中，校准处理主要由信息处理器32执行，可以删除hmd 31中的控制单元51的校准处理单元71。
[0303]
<第二实施方式的校准处理>
[0304]
接下来，将参照图17的流程图描述第二实施方式中的校准处理。
[0305]
在步骤s341中，信息处理器32的控制单元91读出存储在存储单元93或可移动存储介质95中的内容的数据，并且控制通信单元92，以将数据提供给hmd31。
[0306]
在步骤s311中，hmd 31中的控制单元51的内容显示处理单元72控制通信单元52，以获得从信息处理器32提供的内容的数据，并且还基于该内容的数据将vr图像或ar图像的
内容显示在显示单元54上。
[0307]
在步骤s312中，成像单元53(摄像装置31a)对佩戴hmd 31的用户21的正面的场景进行成像，并且将捕获图像输出至控制单元51。
[0308]
在步骤s313中，控制单元51基于由成像单元53成像的在显示装置33上显示的校准图案的图像，通过同时定位和映射(slam)来检测(估计)位置和姿势的信息。
[0309]
在步骤s314中，控制单元51控制通信单元52，以将由摄像装置31a(成像单元53)捕获的图像的信息以及hmd 31的位置和姿势发送到信息处理器32。
[0310]
在步骤s342中，控制单元91的校准处理单元201控制通信单元92，以获得从hmd 31发送的图像、位置和姿势的信息。此外，校准处理单元201对所获得的图像进行分析，并且确定显示装置33是否被成像。
[0311]
在步骤s342中，当例如认为显示装置33已经被成像时，处理进行到步骤s343。
[0312]
在步骤s343中，校准处理单元201控制通信单元92，以指示显示装置33开始校准。
[0313]
在步骤s371中，显示装置33中的控制单元111的显示控制单元131控制通信单元112，以确定是否已经提供了来自信息处理器32的开始校准的指令。当在步骤s371中指示了开始校准时，处理进行到步骤s372。
[0314]
在步骤s372中，显示控制单元131读出存储在存储单元114或可移动存储介质116中的校准图案的图像数据，并且使显示单元113显示该图像数据。此时，显示控制单元131以默认尺寸的状态显示所读取的校准图案中的标记的尺寸。
[0315]
即，当由与hmd 31的摄像装置31a对应的成像单元53对显示装置33进行成像时，在显示装置33上显示校准图案。
[0316]
另一方面，在步骤s344中，信息处理器32的校准处理单元201基于由hmd 31的成像单元53捕获的图像来确定是否已经对由显示装置33显示的校准图案进行了成像，并且重复相同的处理，直到图像被成像为止。
[0317]
在步骤s344中，当通过上述一系列处理在显示装置33的显示单元113上显示校准图案并且由此认为校准图案已经被成像时，处理进行到步骤s345。
[0318]
在步骤s345中，校准处理单元201执行校准图案显示状态确认处理，并且确认由成像单元53成像的校准图案的显示状态。在此，在校准图案不适合于校准的情况下，校准处理单元201设置用于在显示装置33上显示适合于校准的校准图案的尺寸、亮度等，并且计算对应的参数，如参照图3和图4所述。
[0319]
注意，校准图案显示状态确认处理基本上与参照图9的流程图描述的处理相同，因此将省略其描述。然而，在步骤s91中获得hmd 31的位置和姿势的信息的处理是代替步骤s313的处理的处理，因此将被省略。
[0320]
在步骤s346中，校准处理单元201通过校准图案显示状态确认处理来确定所成像的校准图案是否已经被确定为处于适合于校准的状态。
[0321]
当在步骤s346中确定所成像的校准图案不适合于校准时，处理进行到步骤s347。
[0322]
在步骤s347中，校准处理单元201控制通信单元92，以将校准参数发送到显示装置33，并且处理返回到步骤s344。
[0323]
在步骤s373中，显示装置33中的控制单元111的显示控制单元131控制通信单元112，以确定是否已经提供了从hmd 31经由信息处理器32发送的校准参数。然后，当在步骤
s373中已经提供了校准参数时，处理进行到步骤s374。
[0324]
在步骤s374中，显示控制单元131控制通信单元92以获得校准参数，根据校准参数对默认存储的校准图案执行处理，并且将校准图案显示在显示单元113上。
[0325]
当在步骤s373中尚未发送校准参数时，跳过步骤s374的处理。
[0326]
此外，在步骤s344中校准图案未被成像的情况下，重复类似的处理，直到校准图案被成像为止。
[0327]
此外，在步骤s346中，重复步骤s344至s347的处理，直到认为校准图案处于适合于校准的状态为止。因此，在信息处理器32中重复步骤s344至s347的处理，在显示装置33中重复步骤s373至s375的处理，重复设置校准参数，并且继续改变校准图案的显示。
[0328]
然后，当在步骤s346中认为所成像的校准图案适合于校准时，处理进行到步骤s348。
[0329]
在步骤s348中，校准处理单元201基于所成像的校准图案执行校准，并且估计(测量)作为成像单元53的摄像装置31a的摄像装置参数。
[0330]
在步骤s349中，校准处理单元201控制通信单元92，以通知hmd 31所获得的作为校准结果的摄像装置参数。
[0331]
在步骤s315中，控制单元51控制通信单元52，以确定是否已经由信息处理器32通知了作为校准结果的摄像装置参数。
[0332]
在步骤s315中，当通过信息处理器32已通知了作为校准结果的摄像装置参数时，处理进行到步骤s316。
[0333]
在步骤s316中，控制单元51将所通知的摄像装置参数反映在由成像单元53捕获的图像上。
[0334]
在此，在步骤s350中，校准处理单元201控制通信单元92，以通知显示装置33校准完成。
[0335]
此时，在步骤s375中，显示控制单元131确定是否已经从信息处理器32通知了校准完成，并且当未通知时，处理返回到步骤s373。即，重复步骤s373至s375的处理，直到通知了校准完成为止。
[0336]
然后，当在步骤s375中认为通知了校准完成时，处理进行到步骤s376。
[0337]
在步骤s376中，显示控制单元131控制通信单元112，以获得校准完成的通知，并且结束在显示单元113上显示校准图案。
[0338]
在步骤s317中，校准处理单元201确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s311，并且重复随后的处理。注意，当在步骤s315中尚未通知摄像装置参数时，跳过步骤s316的处理。
[0339]
此外，在步骤s351中，控制单元91确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s341，并且重复随后的处理。注意，当在步骤s342中认为显示装置33尚未被成像时，处理进行到步骤s351。
[0340]
此外，在步骤s377中，显示控制单元131确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s371，并且重复随后的处理。注意，当在步骤s371中认为尚未指示校准开始时，处理进行到步骤s377。
[0341]
然后，当在步骤s317、s351和s377的每一个中指示结束时，校准处理结束。
[0342]
通过以上处理，处于包括vr图像或ar图像的内容被显示在hmd 31的显示单元54上并且用户21正在观看该内容的状态下，但是与该状态无关地，实现了摄像装置31a(成像单元53)的摄像装置参数的校准处理。
[0343]
结果，可以在用户21不知情的情况下估计(测量)摄像装置31a(成像单元53)的摄像装置参数。另外，此时，在显示装置33上显示并且由成像单元53成像的校准图案的显示尺寸在被调整为适合于校准的尺寸的状态下显示，从而可以实现对摄像装置参数的适当估计(测量)。
[0344]
<<7.第三实施方式>>
[0345]
在上面的描述中，已经描述了由信息处理器32的校准处理单元201执行校准以估计(测量)摄像装置31a(成像单元53)的摄像装置参数的示例，但是可以由显示装置33执行校准。
[0346]
图18示出了在由显示装置33执行校准的情况下显示装置33的配置示例。注意，在图18的显示装置33中，具有与图7的显示装置33的部件相同功能的部件由相同的附图标记表示，并且将适当地省略其描述。
[0347]
即，图18中的显示装置33与图7中的显示装置33的不同之处在于，在控制单元111中设置了校准处理单元221。校准处理单元221基本上具有与hmd 31的校准处理单元71相同的功能，基于由hmd 31检测到的hmd 31的位置和姿势的信息进行校准，估计(测量)摄像装置参数，并且将结果提供给hmd31。
[0348]
注意，由于hmd 31和信息处理器32的基本配置与参照图4和图5描述的基本配置相同，因此将省略其描述，但是在第三实施方式中，由于校准处理主要由显示装置33执行，因此可以删除hmd 31中的控制单元51的校准处理单元71。
[0349]
<第三实施方式的校准处理>
[0350]
接下来，将参照图19的流程图描述第三实施方式中的校准处理。
[0351]
在步骤s441中，信息处理器32的控制单元91读出存储在存储单元93或可移动存储介质95中的内容的数据，并且控制通信单元92，以将数据提供给hmd31。
[0352]
在步骤s411中，hmd 31中的控制单元51的内容显示处理单元72控制通信单元52，以获得从信息处理器32提供的内容的数据，并且还基于内容的数据将vr图像或ar图像的内容显示在显示单元54上。
[0353]
在步骤s412中，成像单元53(摄像装置31a)对佩戴hmd 31的用户21的正面的场景进行成像，并且将捕获图像输出至控制单元51。
[0354]
在步骤s413中，控制单元51基于由成像单元53成像的、在显示装置33上显示的校准图案的图像，通过同时定位和映射(slam)来检测(估计)位置和姿势的信息。
[0355]
在步骤s414中，控制单元51控制通信单元52，以将由摄像装置31a(成像单元53)捕获的图像的信息以及hmd 31的位置和姿势的信息发送到信息处理器32。
[0356]
在步骤s442中，控制单元91控制通信单元92，以获得从hmd 31发送的图像、位置和姿势的信息，并且将该信息发送给显示装置33。
[0357]
在步骤s471中，控制单元111的校准处理单元221控制通信单元112，以获得由摄像装置31a(成像单元53)捕获的图像的信息以及hmd 31的位置和姿势的信息。然后，校准处理单元221分析所获得的图像，并且确定显示装置33是否已经被成像。
[0358]
在步骤s471中，当例如认为显示装置33已经被成像时，处理进行到步骤s472。
[0359]
在步骤s472中，校准处理单元221控制显示控制单元131，以读出存储在存储单元114或可移动存储介质116中的校准图案的图像数据，并且使显示单元113显示该图像数据。此时，显示控制单元131以默认尺寸的状态显示所读取的校准图案中的标记的尺寸。
[0360]
即，当在与hmd 31的摄像装置31a对应的成像单元53中对显示装置33进行成像时，开始校准，并且在显示装置33上显示校准图案。
[0361]
另一方面，在步骤s473中，显示装置33的校准处理单元221基于由hmd 31的成像单元53捕获的图像来确定是否已经对由显示装置33显示的校准图案进行了成像，并且重复相同的处理，直到图像被成像为目。
[0362]
在步骤s473中，当通过上述一系列处理在显示装置33的显示单元113上显示了校准图案并且由此认为校准图案已经被成像时，处理进行到步骤s474。
[0363]
在步骤s474中，校准处理单元221执行校准图案显示状态确认处理，并且确认由成像单元53成像的校准图案的显示状态。这里，在校准图案不适合于校准的情况下，校准处理单元221设置用于在显示装置33上显示适合于校准的校准图案的尺寸、亮度等，并且计算对应的校准参数，如参照图3和图4所述。
[0364]
注意，校准图案显示状态确认处理基本上与参照图9的流程图描述的处理相同，因此将省略其描述。然而，在步骤s91中获得hmd 31的位置和姿势的信息的处理是代替步骤s413的处理的处理，因此将被省略。
[0365]
在步骤s475中，校准处理单元221通过校准图案显示状态确认处理来确定所成像的校准图案是否已经被确定为处于适合于校准的状态。
[0366]
当在步骤s475中确定所成像的校准图案不适合于校准时，处理进行到步骤s476。
[0367]
在步骤s476中，校准处理单元221根据校准参数对默认存储的校准图案的执行处理。然后，显示控制单元131使显示单元113显示根据校准参数处理的校准图案。
[0368]
在步骤s475中，重复步骤s473至s476的处理，直到认为校准图案适合于校准的状态为止，并且重复设置校准参数，并且在改变校准图案的大小和亮度的同时显示校准图案。
[0369]
然后，当在步骤s475中认为所成像的校准图案适合于校准时，处理进行到步骤s477。
[0370]
在步骤s477中，校准处理单元221基于所成像的校准图案执行校准，并且估计(测量)作为成像单元53的摄像装置31a的摄像装置参数。
[0371]
在步骤s478中，校准处理单元221控制通信单元112，以经由信息处理器32通知hmd 31已完成校准以及作为校准结果所获得的摄像装置参数。
[0372]
在步骤s443中，控制单元91控制通信单元92，以确定是否已经从显示装置33发送了校准完成以及作为校准结果的摄像装置参数。
[0373]
在步骤s443中，当从信息处理器32发送了校准完成以及作为校准结果的摄像装置参数时，处理进行到步骤s444。
[0374]
在步骤s444中，控制单元91控制通信单元92，以获得从显示装置33通知的校准完成以及作为校准结果获得的摄像装置参数，并且通知hmd 31完成。
[0375]
在步骤s415中，控制单元51控制通信单元52，以确定是否已经从信息处理器32通知了校准完成以及作为校准结果获得的摄像装置参数，并且重复类似的操作，直到通知了
完成为止。然后，当在步骤s415中一起通知了校准完成以及作为校准结果获得的摄像装置参数时，处理进行到步骤s416。
[0376]
在步骤s416中，控制单元51控制通信单元52以获得校准完成以及所发送的摄像装置参数，并且将所获得的摄像装置参数反映在由成像单元53捕获的图像上。
[0377]
在步骤s417中，控制单元51确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s411，并且重复随后的处理。注意，当在步骤s415中尚未通知摄像装置参数和校准完成时，跳过步骤s416的处理。
[0378]
此外，在步骤s445中，控制单元91确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s441，并且重复随后的处理。注意，当在步骤s443中认为尚未通知摄像装置参数和校准完成时，跳过步骤s444的处理。
[0379]
此外，在步骤s480中，校准处理单元221确定是否已经指示了处理结束，并且当尚未指示结束时，处理返回到步骤s471，并且重复随后的处理。注意，当在步骤s471中尚未对显示装置33成像时，处理进行到步骤s480。
[0380]
然后，当在步骤s417、s445和s480的每一个中指示结束时，校准处理结束。
[0381]
通过以上处理，处于包括vr图像或ar图像的内容被显示在hmd 31的显示单元54上并且用户21正在观看该内容的状态下，但是与该状态无关地，实现了摄像装置31a(成像单元53)的摄像装置参数的校准处理。
[0382]
因此，可以在用户21不知情的情况下估计(测量)摄像装置31a(成像单元53)的摄像装置参数。而且，此时，在显示装置33上显示并且由成像单元53成像的校准图案的显示尺寸和亮度以调整为适合于校准的尺寸和亮度的状态显示，从而可以实现对摄像装置参数的适当估计(测量)。
[0383]
注意，尽管上面已经描述了由hmd 31、信息处理器32和显示装置33构成的校准系统，但是可以通过将hmd 31与信息处理器32集成在一起来实现由hmd 31和显示装置33构成的校准系统，以同样实现hmd 31中的信息处理器32的处理，或者通过将显示装置33与信息处理器32集成在一起，以同样实现在显示装置33中的信息处理器32的处理。
[0384]
<<8.由软件执行的示例>>
[0385]
上述一系列处理可以由硬件执行，但是也可以由软件执行。在由软件执行一系列处理的情况下，将构成软件的程序从记录介质安装到并入专用硬件中的计算机、例如能够通过安装各种程序等来执行各种功能的通用计算机。
[0386]
图20示出了通用计算机的配置示例。该个人计算机包括中央处理器(cpu)1001。输入/输出接口1005经由总线1004连接到cpu 1001。只读存储器(rom)1002和随机存取存储器(ram)1003连接到总线1004。
[0387]
以下单元连接到输入/输出接口1005：输入单元1006，其包括诸如键盘和鼠标的输入装置，该输入装置由用户输入操作命令；以及输出单元1007，其用于将处理操作画面和处理结果的图像输出至显示装置；存储单元1008，其包括存储程序和各种数据的硬盘驱动器等；以及通信单元1009，其包括局域网(lan)适配器等，并且经由以因特网为代表的网络执行通信处理。另外，连接了用于从可移动存储介质1011读取数据以及向可移动存储介质1011写入数据的驱动器1010，该介质是磁盘(包括软盘)、光盘(包括光盘只读存储器(cd-rom))和数字多功能光盘(dvd)、磁光盘(包括小型光盘(md))、半导体存储器等。
[0388]
cpu 1001根据存储在rom 1002中的程序或者从诸如磁盘、光盘、磁光盘或半导体存储器等的、安装在存储单元1008中的可移动存储介质1011读出的、并且从存储单元1008加载到ram 1003中的程序执行各种处理。ram 1003还适当地存储例如cpu 1001执行各种处理所需的数据。
[0389]
在如上所述配置的计算机中，例如，cpu 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到ram 1003中，并且执行该程序，从而执行上述一系列处理。
[0390]
例如，可以通过将程序记录在诸如封装介质之类的可移动存储介质1011上来提供要由计算机(cpu 1001)执行的程序。此外，还可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
[0391]
在计算机中，通过将可移动存储介质1011安装在驱动器1010上，可以经由输入/输出接口1005将程序安装在存储单元1008中。此外，可以由通信单元1009经由有线或无线传输介质接收程序，并且将程序安装在存储单元1008中。此外，可以将程序预先安装在rom 1002或存储单元1008中。
[0392]
注意，由计算机执行的程序可以是其中按照本说明书中描述的顺序按时间顺序执行处理的程序，或者可以是其中并行执行处理或者在必要的定时处如被调用时执行处理的程序。
[0393]
注意，图20中的cpu 1001实现了图5中的控制单元51、图6和16中的控制单元91以及图7和18中的控制单元111的功能。
[0394]
此外，在本说明书中，系统是指一组多个部件(装置、模块(零件)等)，并且是否所有部件都在同一壳体中是无关紧要的。因此，容纳在分开的壳体中并且经由网络连接的多个装置以及在一个壳体中容纳多个模块的一个装置都是系统。
[0395]
注意，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的范围的情况下进行各种修改。
[0396]
例如，本公开内容可以被配置为云计算，在该云计算中，一个功能由多个装置经由网络共享并且被共同处理。
[0397]
此外，上述流程图中描述的每个步骤可以由一个装置或者多个装置执行。
[0398]
此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以由多个装置共享并执行。
[0399]
注意，本公开内容可以被配置如下：
[0400]
<1>一种头戴式显示器，包括：
[0401]
显示单元；
[0402]
成像单元，其对外部进行成像；以及
[0403]
校准处理单元，其生成适合于校准的校准图像并且使外部显示设备显示所述校准图像。
[0404]
<2>根据<1>所述的头戴式显示器，其中，
[0405]
所述校准处理单元基于所述头戴式显示器与所述外部显示设备之间的位置关系来生成所述校准图像。
[0406]
<3>根据<2>所述的头戴式显示器，其中，
[0407]
所述校准处理单元基于所述头戴式显示器的位置信息和所述外部显示设备的位置信息来生成所述校准图像。
[0408]
<4>根据<3>所述的头戴式显示器，其中，
[0409]
所述校准处理单元根据所述头戴式显示器与所述外部显示设备之间的距离来调整所述校准图像的尺寸，并且生成所述校准图像。
[0410]
<5>根据<4>所述的头戴式显示器，其中，
[0411]
当所述头戴式显示器与所述外部显示设备之间的距离大于预定距离时，所述校准处理单元将所述校准图像的尺寸调整到更大的程度。
[0412]
<6>根据<2>所述的头戴式显示器，其中，
[0413]
所述校准处理单元基于所述头戴式显示器的姿势信息和所述外部显示设备的姿势信息来生成所述校准图像。
[0414]
<7>根据<6>所述的头戴式显示器，其中，
[0415]
所述校准处理单元根据由所述成像单元的成像方向与所述外部显示设备的表面的方向形成的角度来调整所述校准图像的尺寸并且生成所述校准图像。
[0416]
<8>根据<7>所述的头戴式显示器，其中，
[0417]
所述校准处理单元相对于所形成的角度被形成的方向来调整所述校准图像的尺寸。
[0418]
<9>根据<8>所述的头戴式显示器，其中，
[0419]
当所形成的角度大于预定角度时，所述校准处理单元相对于所形成的角度被形成的方向将所述校准图像的尺寸调整到更大的程度。
[0420]
<10>根据<2>所述的头戴式显示器，其中，
[0421]
所述校准处理单元通过使用由所述成像单元捕获并且由所述外部显示设备显示的所述校准图像来估计所述成像单元的摄像装置参数。
[0422]
<11>根据<10>所述的头戴式显示器，其中，
[0423]
在所述校准处理单元基于由所述成像单元捕获并且由所述外部显示设备显示的所述校准图像的多个图像来估计所述摄像装置参数的情况下，所述校准处理单元使所述显示单元显示引导佩戴所述头戴式显示器的用户的图像，使得对于所述多个图像，当相对于所述外部显示设备的表面的方向的所述成像单元的成像方向不平衡时，从相对于所述外部显示设备的表面的方向的所述成像单元的成像方向中的未由所述成像单元执行成像的方向执行成像。
[0424]
<12>根据<11>所述的头戴式显示器，其中，
[0425]
在所述校准处理单元估计多个所述头戴式显示器的成像单元中的每个的摄像装置参数的情况下，所述校准处理单元使所述显示单元显示引导佩戴所述头戴式显示器的用户的图像，使得能够在所述多个成像单元中的每个不交叠的情况下捕获由所述外部显示设备显示的校准图像。
[0426]
<13>根据<2>所述的头戴式显示器，其中，
[0427]
所述校准处理单元基于由所述成像单元捕获并且由所述外部显示设备显示的所述校准图像的亮度来生成所述校准图像。
[0428]
<14>根据<13>所述的头戴式显示器，其中，
[0429]
在由所述成像单元捕获并且由所述外部显示设备显示的所述校准图像中存在超过预定数目的具有饱和亮度的像素的情况下，所述校准处理单元降低由所述外部显示设备显示的所述校准图像的亮度，并且在由所述成像单元捕获并且由所述外部显示设备显示的所述校准图像中存在超过预定数目的具有最低亮度的像素的情况下，所述校准处理单元增加由所述外部显示设备显示的所述校准图像的亮度。
[0430]
<15>根据<1>至<14>中任一项所述的头戴式显示器，其中，
[0431]
所述校准处理单元在由所述成像单元捕获的图像中检测到所述外部显示设备的定时处、在经过了预定时间的定时处、在基于所述头戴式显示器的位置信息并且基于所述成像单元的摄像装置参数由所述成像单元最初成像的图像与由所述成像单元实际成像的图像之间出现差异的定时处、或者在用户请求所述校准的定时处，生成适合于所述校准的校准图像，并且使所述外部显示设备显示所述校准图像。
[0432]
<16>根据<1>至<15>中任一项所述的头戴式显示器，其中，
[0433]
所述校准图像是包括具有预定形状的标记的图像，或者是包括以预定颜色布置来着色的标记的图像。
[0434]
<17>根据<1>至<16>中任一项所述的头戴式显示器，其中，
[0435]
所述校准图像是在包括运动图像的内容中在预定定时处显示的图像。
[0436]
<18>一种用于头戴式显示器的控制方法，所述头戴式显示器包括显示单元以及对外部进行成像的成像单元，所述方法包括：
[0437]
校准处理，生成适合于校准的校准图像并且使外部显示设备显示所述校准图像。
[0438]
<19>一种程序，用于使控制头戴式显示器的计算机用作校准处理单元，所述头戴式显示器包括显示单元和对外部进行成像的成像单元，
[0439]
所述校准处理单元生成适合于校准的校准图像并且使外部显示设备显示所述校准图像。
[0440]
<20>一种用于向头戴式显示器提供内容的信息处理器，所述头戴式显示器包括显示单元和对外部进行成像的成像单元，所述信息处理器包括：
[0441]
校准处理单元，其生成适合于校准的校准图像并且使外部显示设备显示所述校准图像。
[0442]
<21>一种用于显示头戴式显示器中的对外部进行成像的成像单元的校准图像的显示装置，所述头戴式显示器包括显示单元和所述成像单元，所述显示装置包括：
[0443]
校准处理单元，其生成适合于校准的校准图像并且使所述显示装置显示所述校准图像。
[0444]
附图标记列表
[0445]
11
ꢀꢀꢀꢀꢀ
校准系统
[0446]
31
ꢀꢀꢀꢀꢀ
hmd(头戴式显示器)
[0447]
31a
ꢀꢀꢀꢀ
摄像装置
[0448]
32
ꢀꢀꢀꢀꢀ
信息处理器
[0449]
33
ꢀꢀꢀꢀꢀ
显示装置
[0450]
51
ꢀꢀꢀꢀꢀ
控制单元
[0451]
52
ꢀꢀꢀꢀꢀ
通信单元
[0452]
53
ꢀꢀꢀꢀꢀ
成像单元
[0453]
54
ꢀꢀꢀꢀꢀ
显示单元
[0454]
55
ꢀꢀꢀꢀꢀ
存储单元
[0455]
56
ꢀꢀꢀꢀꢀ
驱动器
[0456]
57
ꢀꢀꢀꢀꢀ
可移动存储介质
[0457]
60
ꢀꢀꢀꢀꢀ
总线
[0458]
71
ꢀꢀꢀꢀꢀ
校准控制单元
[0459]
72
ꢀꢀꢀꢀꢀ
内容显示处理单元
[0460]
91
ꢀꢀꢀꢀꢀ
控制单元
[0461]
92
ꢀꢀꢀꢀꢀ
通信单元
[0462]
93
ꢀꢀꢀꢀꢀ
存储单元
[0463]
94
ꢀꢀꢀꢀꢀ
驱动器
[0464]
95
ꢀꢀꢀꢀꢀ
可移动存储介质
[0465]
96
ꢀꢀꢀꢀꢀ
总线
[0466]
111
ꢀꢀꢀꢀ
控制单元
[0467]
112
ꢀꢀꢀꢀ
通信单元
[0468]
113
ꢀꢀꢀꢀ
显示单元
[0469]
114
ꢀꢀꢀꢀ
存储单元
[0470]
115
ꢀꢀꢀꢀ
驱动器
[0471]
116
ꢀꢀꢀꢀ
可移动存储介质
[0472]
131
ꢀꢀꢀꢀ
显示控制单元
[0473]
201、221
ꢀꢀꢀꢀ
校准处理单元