头戴式显示器装置的制作方法

1.本发明涉及头戴式显示器装置(head mounted display：hmd)的技术。


背景技术：

2.佩戴于用户的头部的hmd能够在透射型或者非透射型的显示面上显示虚拟物体等的图像。在以往的hmd中，作为在显示面上显示图像的方式，有在与世界坐标系匹配的位置进行显示的方式、在与用户的头(对应的hmd)的方向匹配的位置进行显示的方式。另外，作为其他方式，还提出在与用户的躯体等躯干的方向匹配的位置进行显示的方式。
3.作为与上述hmd相关的现有技术例，可以举出日本特开2019-28638号公报(专利文献1)。在专利文献1中，记载了作为头戴式显示器等，具备检测头部的朝向的头部传感器、检测躯干的朝向的躯干传感器等，在佩戴者的周围的虚拟空间中构筑由躯干层和头部层这2层构成并且构成连续的信息显示区域的虚拟桌面。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2019-28638号公报


技术实现要素：

7.发明要解决的课题
8.hmd存在与高度功能化等相伴地重量变大的倾向。由于hmd的重量，用户的身体负担变大，例如难以进行长时间的利用。为了降低用户的身体负担，要求尽可能降低hmd的重量。
9.作为hmd的高度功能化的例子，可以举出根据用户的状态来控制向显示面的图像的显示的功能。例如，可以举出能够并用与用户的头方向匹配的图像显示和与躯干方向匹配的图像显示的功能。在专利文献1的例子中，将从佩戴于用户的躯干的传感器测量的躯干的方向用作图像的显示基准。在专利文献1的例子中，以能够检测头方向和躯干方向这2个方向的方式，在头部的hmd和用户的躯干这两方具备如3轴角速度传感器那样的传感器。
10.为了hmd的高度功能化，需要安装包括传感器的各种设备。然而，越是安装重的设备、大量的设备，hmd的重量越增加。在专利文献1的例子中，需要双重地设置相同种类的传感器，这样的结构以传感器的有效利用的观点来看存在改善余地。在hmd的安装中，以高度的功能的观点和重量的观点来看，需要平衡性良好地进行设计。
11.本发明的目的在于，针对hmd的技术，提供能够平衡性良好地实现高度的功能和重量降低并且能够提高用户的使用性的技术。上述以外的课题等在具体实施方式中示出。
12.解决课题的手段
13.本发明中的代表性的实施方式具有以下所示的结构。一个实施方式的头戴式显示器装置能够在用户的视场中显示图像，所述头戴式显示器装置具备：头佩戴部，佩戴到所述用户的头部，具有显示所述图像的显示面；以及躯干佩戴部，与所述头佩戴部进行通信，佩
戴到所述用户的躯干的一部分，所述头戴式显示器装置测定所述头佩戴部和所述躯干佩戴部的相对的位置关系，根据所述位置关系，掌握包括所述头佩戴部的位置及方向的状态、以及包括所述躯干佩戴部的位置及方向的状态。
14.发明的效果
15.根据本发明中的代表性的实施方式，能够平衡性良好地实现高度的功能和重量降低，能够提高用户的使用性。
附图说明
16.图1是示出包括本发明的实施方式1的头戴式显示器装置(hmd)的显示系统的结构的图。
17.图2是示出实施方式1的hmd的结构的图。
18.图3是示出在实施方式1的hmd中控制部等的结构的图。
19.图4是示出在实施方式1的hmd中主要的处理流程的图。
20.图5是示出在实施方式1的hmd中坐标系以及位置关系的测距等的图。
21.图6是示出在实施方式1的hmd中位置关系的计算等的图。
22.图7是示出在实施方式1的hmd中颈佩戴部中的元素的安装例的图。
23.图8是示出在实施方式1的hmd中与连接线有关的结构例的图。
24.图9是示出在实施方式1的hmd中关于壳体的宽度的结构例的图。
25.图10是示出在实施方式1的hmd中将构成元素分离的结构例的图。
26.图11是示出在实施方式1的hmd中显示信息以及坐标系信息的结构例的图。
27.图12是示出本发明的实施方式2的hmd的结构的图。
28.图13是示出本发明的实施方式3的hmd的结构的图。
29.图14是示出本发明的实施方式4的hmd的结构的图。
30.图15是示出本发明的实施方式5的hmd中的第1显示控制例的第1状态等的图。
31.图16是示出在实施方式5的hmd中第1显示控制例的第2状态的图。
32.图17是示出在实施方式5的hmd中第1显示控制例的第3状态的图。
33.图18是示出在实施方式5的hmd中第1显示控制例的第4状态的图。
34.图19是示出在实施方式5的hmd中作为第2显示控制例以头部坐标系为基准的应用图标的显示例的图。
35.图20是示出在实施方式5的hmd中作为第2显示控制例以颈部坐标系为基准的应用图标的显示例的图。
36.图21是示出在实施方式5的hmd中第3显示控制例的图。
37.图22是在实施方式5的hmd中作为第4显示控制例示出应用的显示坐标系的设定例的图。
38.图23是在实施方式5的hmd中作为第4显示控制例示出应用图标的显示坐标系的设定例的图。
39.图24是在实施方式5的hmd中作为第4显示控制例示出作业用工具的显示坐标系的设定例的图。
40.图25是在实施方式5的hmd中作为第5显示控制例示出惯性坐标系的概念的图。
具体实施方式
41.以下，根据附图来详细说明本发明的实施方式。
42.(实施方式1)
43.使用图1～图11说明本发明的实施方式1的头戴式显示器装置(hmd)。
44.实施方式1的hmd具有分离型的结构，大致上由头佩戴部和颈佩戴部这2个部分构成。hmd功能的构成元素被分成这2个部分而安装。例如，在头佩戴部上安装了显示设备，在颈佩戴部上安装了主要的传感器群、控制器以及电池等。通过这样的分离型的结构，能够减少安装于头佩戴部的设备，能够省略将高度的功能所需的传感器群中的至少一部分的传感器安装到头佩戴部。由此，该hmd与以往的hmd相比能够降低佩戴于用户的头部的头佩戴部的重量。因此，该hmd的用户的佩戴感变得良好，也易于进行长时间的利用。
45.另外，在该hmd中，根据用户的活动，颈佩戴部的位置及方向(对应的姿势)和头佩戴部的位置及方向(对应的姿势)可以独立地变化。因此，该hmd具备用于测定颈佩戴部和头佩戴部的相对的位置关系的单元。作为该单元的例子，该hmd在颈佩戴部中具备测距传感器，从颈佩戴部测定头佩戴部的位置及方向。然后，该hmd使用测定的位置关系，根据坐标系的旋转等计算，掌握颈佩戴部的位置及方向等状态和头佩戴部的位置及方向等状态这两方。
46.该hmd能够使用上述位置关系，将由头佩戴部或颈佩戴部中的一方的传感器检测到的状态(对应的传感器数据等)校正并变换为头佩戴部或颈佩戴部中的另一方的坐标系中的状态(对应的传感器数据等)。即，该hmd能够使用位置关系将由头佩戴部的传感器检测到的头部坐标系中的状态变换为颈佩戴部的颈部坐标系中的状态。另外，该hmd能够使用位置关系将由颈佩戴部的传感器检测的颈部坐标系中的状态变换为头佩戴部的头部坐标系中的状态。
47.实施方式1的hmd通过这样的结构，能够检测用户的头方向(对应的头佩戴部的方向)和躯干方向(对应的颈佩戴部的方向)这两方，能够进行使用了这2个方向中的各方向的虚拟物体的显示控制。该hmd例如能够并用向头部坐标系中的与头方向匹配的位置的图像的显示、和向颈部坐标系中的与躯干方向匹配的位置的图像的显示。通过这样的高度的功能，能够支援用户的作业等，能够提高便利性。
48.实施方式1的hmd特别地不在头佩戴部而在颈佩戴部安装位置姿势传感器。该位置姿势传感器是检测以包括颈/肩的躯干为基准的位置、方向(对应的姿势)的传感器，换言之是检测颈部坐标系中的状态的传感器。由该传感器检测到的状态其原样与以头(对应的头佩戴部以及头部坐标系)为基准的状态不同。因此，该hmd根据上述位置关系，通过坐标系的计算，从由颈佩戴部检测到的状态得到以头部坐标系为基准的状态。
49.[显示系统]
[0050]
图1示出包括实施方式1的hmd 1的显示系统的结构。在hmd1中，利用连接线4连接头佩戴部1a和颈佩戴部1b。头佩戴部1a和颈佩戴部1b通过作为线缆的连接线4而可通信及可供电地连接。虽然在图1中未示出，但存在佩戴hmd 1的用户的身体。在用户的头上佩戴头佩戴部1a，在用户的颈/肩的附近佩戴颈佩戴部1b。hmd1也可以附属有作为遥控器的操作器2作为选项。用户能够通过手持的操作器2操作hmd 1。例如，颈佩戴部1b和操作器2进行近距离无线通信。hmd 1也可以与外部的机器进行通信。例如，hmd 1也可以经由通信网与运营商
的服务器3a、自家的pc 3b等连接。此外，有与坐标系独立地使用x、y、z方向作为说明上的方向的情况。x方向相对于用户的身体以及hmd 1与前后方向对应。y方向相对于用户的身体以及hmd 1与左右方向对应。z方向相对于用户的身体以及hmd 1与上下方向对应。
[0051]
头佩戴部1a具有例如眼镜状的壳体10，在壳体10上安装有包括透射型的显示面5的显示设备、相机6等构成元素。在壳体10的一部分、例如左右的侧面的附近，包括用于测距的标记部13，在标记部13中形成有成为测定点的多个标记17。
[0052]
在颈佩戴部1b中，作为例如弧形状的壳体，具有壳体11以及壳体12。壳体11是相对于用户的颈/肩配置于左右的位置的部分，具有右侧壳体11r和左侧壳体11l。壳体12连接左右的壳体11，是配置于用户的颈/肩的后部的位置的部分。在壳体11上，安装有测距传感器7、麦克风8、扬声器9、操作输入部14等。
[0053]
hmd 1不是如以往的hmd那样通过从初始化状态的变位的差来测定hmd的位置、方向等状态的结构，而是从颈佩戴部1b的测距传感器7直接测定头佩戴部1a的位置、方向等位置关系的结构。由此，该hmd 1省略头佩戴部1a中的位置姿势传感器等构成元素的搭载，谋求头佩戴部1a的重量降低。
[0054]
作为以往的hmd中的位置、姿势的测定用的传感器，可以举出加速度传感器、角速度传感器(陀螺仪传感器)、地磁传感器、gps接收器、相机以及测距传感器等。此外，有时包括相机而将这些设备总称为传感器。加速度传感器能够测量hmd的移动量并且在静止时测量重力加速度向量，所以能够测量hmd的倾斜。角速度传感器测量hmd的朝向的变化。地磁传感器根据地磁的方向的检测来推测hmd的朝向。gps接收器能够根据能够通过gps电波接收的信息，将hmd的位置获知为纬度及经度的值。相机对外界的特征点进行拍摄。能够根据有特征点的方向和地图信息来推测hmd的位置及朝向。测距传感器测定直至外界的特征点的距离。能够根据该距离和地图信息来推测hmd的位置及朝向。
[0055]
在实施方式1的hmd 1中，将如上所述的用于测定hmd的状态的传感器中的至少一部分的传感器安装到颈佩戴部1b而非头佩戴部1a。因此，hmd 1具备用于测定颈佩戴部1b和头佩戴部1a的相对的位置关系的功能。hmd 1使用该位置关系来进行由颈佩戴部1b的传感器测定的数据与由头佩戴部1a的传感器测定的数据之间的变换。
[0056]
hmd 1从安装于颈佩戴部1b的测距传感器7对头佩戴部1a的壳体10进行用于位置关系的掌握的测距。特别地，测距传感器7测量壳体10的多个标记17的位置作为多个特征点。多个特征点设为不在同一直线上的3点以上的点即可。颈佩戴部1b能够根据测量到的特征点来得到头佩戴部1a的头部坐标系和颈佩戴部1b的颈部坐标系的位置关系(后述的图5)。
[0057]
hmd 1能够使用得到的位置关系来将由颈佩戴部1b的传感器检测到的状态校正并变换为以头佩戴部1a的头部坐标系为基准的状态。另外，hmd 1能够使用得到的位置关系来将由头佩戴部1a的传感器检测到的状态校正并变换为以颈佩戴部1b的颈部坐标系为基准的状态。因此，hmd 1能够掌握以头部坐标系为基准的头的位置及方向等状态和以颈部坐标系为基准的躯干的位置及方向等状态这两方。hmd 1能够使用这些状态的数据来进行与头方向等对应的虚拟物体的显示控制和与躯干方向等对应的虚拟物体的显示控制这两方。
[0058]
[hmd]
[0059]
图2示出实施方式1的hmd 1的功能块结构。头佩戴部1a具备处理器100、存储器
120、通信接口部130、电源电路141、子电池142、显示设备150、相机6、操作输入部18等，它们经由总线等相互连接。
[0060]
处理器100是控制头佩戴部1a的子控制器。在存储器120中，存储处理器100等处理的数据、信息。通信接口部130是在与颈佩戴部1b之间经由连接线4进行有线通信的通信电路等部分。电源电路141是从颈佩戴部1b通过连接线4接受供电的部分，对子电池142进行充电。子电池142对头佩戴部1a内的各部供给电力。子电池142的安装也可以省略。在该情况下，从电源电路141向各部进行供电。显示设备150根据显示数据在显示面5的区域中显示虚拟物体等的影像、图像。相机6拍摄包括头佩戴部1a的前方的周围的图像。操作输入部18包括例如用于hmd 1的操作的操作按钮等。操作输入部18的安装可以省略。标记部13包括多个标记17，也可以包括控制标记17的发光的电路等。
[0061]
颈佩戴部1b具备处理器200、存储器220、通信接口部230、电源电路241、主电池242、操作输入部14、测距传感器7、位置姿势传感器70、声音输入部以及声音输出部等，它们经由总线等相互连接。
[0062]
处理器200是控制包括颈佩戴部1b的hmd 1整体的主控制器。在存储器220中，存储处理器200等处理的数据、信息。通信接口部230是在与头佩戴部1a之间经由连接线4进行有线通信的通信电路等部分。另外，通信接口部230还进行与外部的无线通信、与操作器2之间的近距离无线通信。电源电路241是从外部电源对主电池242进行充电并且通过连接线4向颈佩戴部1b进行供电的部分。主电池242对颈佩戴部1b内的各部供给电力。操作输入部14包括例如用于hmd 1的操作的操作按钮等。测距传感器7是后述的并用类型，进行标记17的测距和通常的测距这两方。位置姿势传感器70包括加速度传感器71、角速度传感器72、地磁传感器73以及gps接收器74。声音输入部包括左右的麦克风8。声音输出部包括左右的扬声器9以及耳机。
[0063]
在存储器220中，还存储用于构成hmd 1的功能的控制程序、实现各应用的应用程序以及设定信息等。设定信息包括系统设定信息、用户设定信息。控制程序或者应用程序是例如在用户的视野中显示包括用于作业支援的图形用户界面(gui)的虚拟物体(对应的显示目标)的程序。
[0064]
在实施方式1中，颈佩戴部1b设为佩戴于用户的躯干中的颈/肩的附近的部分，但不限于此。颈佩戴部1b是能够检测用户的躯干的方向等状态的结构即可，所以能够设为作为佩戴到躯干中的任意部位的部分的躯干佩戴部。即，躯干佩戴部也可以设为佩戴到胸、背部、腹、腰等的部分。
[0065]
作为在实施方式1中选择颈附近作为佩戴部位的理由，除了也便利于扬声器、麦克风的利用的点以外，还有以下的点。即，有尽可能缩短头佩戴部与躯干佩戴部的距离，尽可能缩短将它们以有线方式连接的情况下的线缆(对应的连接线4)的长度的点。线缆短越，越能够降低在身体上缠绕线缆的感觉，能够使用户的佩戴感、易于活动性、使用性变得更良好。作为变形例，与头佩戴部1a和颈佩戴部1b的通信及供电有关的连接不限于有线，也可以是无线。
[0066]
[hmd-处理部]
[0067]
图3示出由头佩戴部1a的处理器100以及颈佩戴部1b的处理器200实现的控制部等功能块结构。
[0068]
在头佩戴部1a中，作为由处理器100等实现的控制部内的各处理部，具有数据取得部100a、数据处理部100b、通信控制部100c以及显示控制部100d。头佩戴部1a在由存储器120等实现的存储部中存储显示信息d11等。显示信息d11是从颈佩戴部1b接收到的显示数据等。
[0069]
在颈佩戴部1b中，作为由处理器200等实现的控制部内的各处理部，具有数据取得部200a、数据处理部200b、通信控制部200c以及显示控制部200d。颈佩戴部1b在由存储器220等实现的存储部中存储显示信息d21、坐标系信息d22等。显示信息d21与包括用于显示控制的图像、控制信息的显示数据相当，包括向头佩戴部1a发送的数据。坐标系信息d22与用于管理和控制后述的头部坐标系或颈部坐标系的各坐标系及它们的位置关系的信息相当。
[0070]
头佩戴部1a的数据取得部100a取得由相机6拍摄的图像等数据并存储到存储部。此外，在头佩戴部1a中具备其他传感器的情况下，数据取得部100a取得由该传感器检测到的数据并存储到存储部。数据处理部100b根据需要对数据取得部100a取得的数据进行处理，并传送到通信控制部100c。通信控制部100c进行将该数据通过通信接口部130发送给颈佩戴部1b的控制。
[0071]
颈佩戴部1b的数据取得部200a取得由位置姿势传感器70的各传感器检测到的数据、通过测距传感器7的通常的测距检测到的数据并存储到存储部。通信控制部200c通过通信接口部230接收来自头佩戴部1a的通信控制部100c的数据，并传送到数据处理部200b。另外，处理器200使用测距传感器7，使得进行针对头佩戴部1a的标记17的测距。数据取得部200a还取得该测距的数据。数据处理部200b根据需要对由数据取得部200a取得的各数据、来自头佩戴部1a的各数据进行处理。
[0072]
数据处理部200b根据标记17的测距数据来计算头佩戴部1a相对于颈佩戴部1b的相对的位置关系。该位置关系相当于颈部坐标系与头部坐标系之间的原点的位置关系、旋转的关系。数据处理部200b将与计算出的位置关系有关的数据存储到坐标系信息d22。
[0073]
数据处理部200b使用位置关系来计算颈部坐标系的位置及方向等状态和头部坐标系的位置及方向等状态。此时，数据处理部200b根据由颈佩戴部1b的位置姿势传感器70检测到的数据，根据位置关系进行向表示头部坐标系中的状态的数据的校正、变换。此时，数据处理部200b根据后述的坐标系的旋转的计算来进行该校正、变换。数据处理部200b将计算得到的状态等的数据存储到坐标系信息d22。
[0074]
显示控制部200d参照由数据处理部200b得到的状态等的数据，进行向显示面5的虚拟物体的显示控制。显示控制部200d例如制作用于在与头方向匹配的位置显示图像的显示数据和用于在与躯干方向匹配的位置显示图像的显示数据，并存储到显示信息d22。另外，显示控制部200d也可以进行使用了头佩戴部1a的相机6的图像数据等的显示控制。
[0075]
通信控制部200c进行将显示信息d21的显示数据通过通信接口部230发送给头佩戴部1a的控制。头佩戴部1a的通信控制部100c接收该显示数据并存储到显示信息d11。显示控制部100d依照该显示数据来控制显示设备150，使显示面5显示图像。
[0076]
此外，在实施方式1中，显示控制部100d是依照来自显示控制部200d的显示数据来原样地进行向显示面5的图像显示的结构，所以显示控制部100d的安装可以省略或简化。在其他实施方式中，显示控制部100d也可以与显示控制部200d的显示控制独立地进行头佩戴
部1a中的特有的显示控制。例如，显示控制部100d也可以进行使用了相机6的图像的显示控制。另外，在头佩戴部1a中具备视线检测功能的情况下，显示控制部100d也可以进行与使用该功能检测到的视线方向对应的图像显示控制。另外，在设为在头佩戴部1a中不具备相机6、其他传感器的结构的情况下，能够省略或简化数据处理部100b的安装。通过设为由颈佩戴部1b的主控制器进行主要的处理的结构，能够减少头佩戴部1a的设备的安装。
[0077]
另外，在实施方式1中，通过颈佩戴部1b的数据处理部200b进行使用了位置关系的状态的变换等计算，但在其他实施方式中，也可以从颈佩戴部1b向头佩戴部1a发送位置关系的数据，通过头佩戴部1a的数据处理部100b进行类似的计算。
[0078]
[hmd-处理流程]
[0079]
图4示出实施方式1的hmd 1中的主要的处理流程。图4具有基于颈佩戴部1b的步骤s11～s17和基于头佩戴部1a的步骤s21～s26。在步骤s11中，在根据用户的操作使电源成为了on(开启)状态时，颈佩戴部1b进行启动处理而开始进行电路动作，并且向头佩戴部1a进行通信。在步骤s21中，头佩戴部1a根据来自颈佩戴部1b的通信而开始进行电路动作。
[0080]
在步骤s12中，颈佩戴部1b通过数据取得部200a取得各数据。此时的取得数据包括位置姿势传感器70的检测数据、由测距传感器7进行的标记17的测距的测距数据。在步骤s22中，头佩戴部1a通过数据取得部100a取得数据。在步骤s23中，头佩戴部1a通过通信控制部100c将数据发送给颈佩戴部1b。在步骤s13中，颈佩戴部1b通过通信控制部200c接收该数据。
[0081]
在步骤s14中，数据处理部200b使用取得数据来计算与头佩戴部1a的位置关系，使用位置关系来进行与由位置姿势传感器70检测到的状态有关的校正、变换。由此，数据处理部200b得到表示颈部坐标系中的状态的数据和表示头部坐标系中的状态的数据这两方，更新坐标系信息d22。
[0082]
在步骤s15中，显示控制部200d根据坐标系信息d22来制作用于虚拟物体的显示控制的显示数据，并存储到显示信息d21。在步骤s16中，通信控制部200c将显示数据发送给头佩戴部1a。在步骤s24中，头佩戴部1a的通信控制部100c接收该显示数据。在步骤s25中，显示控制部100d根据该显示数据在显示面5上显示图像。
[0083]
在步骤s17中，在根据用户的操作使电源成为了off(关闭)状态的情况下(“是”)，颈佩戴部1b进行颈佩戴部1b的结束处理，本流程结束。在结束处理时，还进行向头佩戴部1a的通信。在电源仍然为on状态的情况下(“否”)，返回到步骤s12，同样地进行反复。另外，在步骤s26中，在使颈佩戴部1b的电源成为了off状态的情况下(“是”)，头佩戴部1a进行头佩戴部1a的结束处理，本流程结束。在电源仍然为on状态的情况下(“否”)，返回到步骤s22，同样地进行反复。
[0084]
[坐标系以及位置关系]
[0085]
图5示出实施方式1的hmd 1中的与各坐标系以及位置关系相关的结构。此外，图5省略连接线4、用户的身体等的图示。(a)示出hmd 1的状态的第1例，(b)示出状态的第2例。在(a)的状态下，用户的颈等躯干的方向和头的方向几乎相同，是前朝向。对应地，颈佩戴部1b的方向(轴xn)和头佩戴部1a的方向(轴xh)几乎相同。将头佩戴部1a中的坐标系设为头部坐标系ch{轴xh，yh，zh}，将原点设为原点oh。将颈佩戴部1b中的坐标系设为颈部坐标系cn{轴xn，yn，zn}，将原点设为原点on。原点on的位置是根据距颈佩戴部1b的各部(特别是测距传
感器7的位置)的相对的位置关系而规定的。在该状态下，轴xh及xn与前方向对应，轴yh及yn与左方向对应，轴zh及zn与上方向对应。颈部坐标系cn换言之是躯干坐标系。
[0086]
向量v1是表示头佩戴部1a相对于颈佩戴部1b的相对的位置关系的向量，是从原点on向原点oh的向量。此外，在考虑了向量v1的逆朝向的向量的情况下，该向量是表示颈佩戴部1b相对于头佩戴部1a的相对的位置关系的向量。
[0087]
(b)的状态是用户从(a)的状态几乎不使躯干变化而使头的朝向及位置变化的情况下的例子。(b)的状态相对于(a)的状态，颈佩戴部1b的状态几乎不变化。(b)的状态相对于(a)的状态，头佩戴部1a的位置稍微向前移动，并且头佩戴部1a的方向向左侧稍微旋转。
[0088]
hmd 1从颈佩戴部1b的测距传感器7对头佩戴部1a的多个标记17进行测距。向量v1是该测距时的从测距传感器7的位置至标记17的位置的向量。hmd 1根据测距数据来计算头佩戴部1a距颈佩戴部1b的相对的位置关系。该位置关系由原点之间的向量v1和头部坐标系ch与颈部坐标系cn坐标系之间的旋转来表示。
[0089]
为了计算位置关系而需要测距的测定点(对应的标记17)是至少不在同一直线上的3点。在图示的例子中，是使用左右的2个测距传感器7对左右合计4点进行测距的结构，但不限于此，只要能够进行3点的测距作为结果，就能够进行位置关系的计算。标记17的位置在图示的例子中位于壳体10的侧面中的前方的端的一个部位和途中的一个部位，但不限于此。另外，在该结构例中，通过左右的2个测距传感器7分别对壳体10的左右的各2点进行测距。不限于此，也可以从1个测距传感器7对壳体10的左右的标记17进行测距。
[0090]
另外，在图5中，测距传感器7是并用类型，能够进行位置关系计算用的测距501和通常的测距502这2个种类的测距。测距501是如包括向量v1那样的标记17的测距。通常的测距502是针对包括hmd 1的前方的周围的物体的测距。通常的测距502是例如用于掌握周围的房间的结构的测距。不限于此，在变形例的hmd中，用于位置关系计算用的测距501的测距传感器和用于通常的测距502的测距传感器也可以独立地设置。例如，也可以在壳体11的前侧的位置设置通常的测距502用的测距传感器，在壳体11的中间或后侧的位置或者壳体12上设置测距501用的测距传感器。另外，这2个种类的测距传感器也可以分开安装到头佩戴部1a和颈佩戴部1b。
[0091]
[测距传感器]
[0092]
测距传感器7能够应用tof传感器(tof：time of flight，飞行时间)、立体方式的相机等。tof传感器检测照射的参照光照到物体而返回的光，根据该光的飞行时间来计算距离。在应用tof传感器的情况下，也可以将高效地反射参照光的波长的光的反射部件作为标记17配置到头佩戴部1a。参照光的波长例如是近红外域的波长。由此，tof传感器的反射光的强度增加，能够降低测定误差，特征点的检测也变得容易。另外，在使用近红外域的参照光的情况下，还有针对室外的干扰光的影响而强化的效果。
[0093]
立体方式的相机根据拍摄到的左右的图像内的特征点的差来计算距离。在应用立体方式的相机的情况下，作为头佩戴部1a的标记17，也可以配置发光标记。也可以标记部13控制标记17的发光。该发光标记发出例如近红外光。由此，立体方式的相机中的入射光增加，能够降低测定误差，特征点的检测也变得容易，得到与tof相机的情况同样的效果。
[0094]
另外，在从颈佩戴部1b的测距传感器7对头佩戴部1a的标记17进行测距时，由于某种影响，还可能有测距困难的情况。在该情况下，hmd 1也可以通过颈佩戴部1b侧的测距传
感器7和头佩戴部1a侧的相机6或者其他传感器这两方来测定标记17以外的外界的任意的特征点，根据这些两方的测定数据来推测位置关系。作为变形例，也可以在颈佩戴部1b和头佩戴部1a这两方中具备测距传感器7，在该情况下，能够利用上下的2个测距传感器7的测距数据来推测位置关系。
[0095]
测距传感器7通过设为并用类型，能够减少安装的设备的数量以及重量。关于测距传感器7，在通常的测距用和位置关系的测距用中设为独立的情况下，虽然安装的设备的数量以及重量增加，但具有能够选择与测定距离对应的最佳的测距传感器的优点。
[0096]
[位置关系计算以及显示控制]
[0097]
图6示出关于上述的位置关系的计算等的处理例。颈佩戴部1b在步骤s01中得到由测距传感器7进行的标记17的测距的测距数据dm。颈佩戴部1b在步骤s02中使用测距数据dm计算与头佩戴部1a的位置关系，得到位置关系数据dl。颈佩戴部1b在步骤s03中得到基于位置姿势传感器70的以颈部坐标系cn为基准的位置及方向等状态的传感器数据sn等数据。颈佩戴部1b在步骤s04中根据颈部坐标系cn的传感器数据sn，使用位置关系数据dl，通过基于坐标系的旋转的校正、变换的处理，得到表示以头部坐标系ch为基准的位置及方向等状态的传感器数据sh等数据。
[0098]
颈佩戴部1b在步骤s05中进行使用了颈部坐标系cn的传感器数据sn的显示控制以及使用了头部坐标系ch的传感器数据sh的显示控制的处理。颈佩戴部1b例如制作用于与头方向匹配的虚拟物体的显示的显示数据和用于与躯干方向匹配的虚拟物体的显示的显示数据，并发送给头佩戴部1a。
[0099]
头佩戴部1a在步骤s06中根据来自颈佩戴部1b的显示数据，在显示面5上显示各图像。即，头佩戴部1a依照以颈部坐标系cn为基准的显示数据来在与躯干方向匹配的位置显示图像，并且依照以头部坐标系ch为基准的显示数据来在与头方向匹配的位置显示图像。
[0100]
[颈佩戴部]
[0101]
图7示出颈佩戴部1b中的构成元素的安装例。在颈佩戴部1b中，在y方向上，在左右的壳体11(11l、11r)各自的内部，作为左右对称的配置，安装有控制电路701以及电池702。在壳体11中，在x方向上，在前侧配置有电池702，在后侧配置有控制电路701。控制电路701与安装有图2的处理器200、存储器220以及通信接口部230等各部的ic基板等部分对应。电池702与安装有主电池242的部分对应。
[0102]
某个构成元素至少配置于左右的壳体11或者后部的壳体12中的任意一个部位。或者，某个构成元素也可以在左右的壳体11中作为多个部分而分开地配置。另外，某个构成元素也可以在左右的壳体11中分开而被双重化。例如，处理器200配置于左右的控制电路701中的一方，在另一方的控制电路701中配置有另外的构成元素。例如，主电池242作为左右的电池702这2个部分而分开地配置，被双重化。也可以将一方的电池702用作现用，将另一方的电池702用作充电用。也可以将左右的各电池702设为可更换的结构。在该情况下，用户能够在仍然使用一方的电池702的情况下不关掉电源而更换另一方的电池702。另外，例如，测距传感器7在左右的壳体11中作为2个测距传感器而分开地配置。也可以对测距传感器7、其他传感器进行双重化，仅由左右的一方发挥功能。
[0103]
通过如本例子那样对于各构成元素的安装尽可能设为左右对称的结构，在hmd 1整体中取得左右的重量的平衡。即，使右侧壳体11r的重量与左侧壳体11l的重量大致相同。
另外，包括壳体12而在前后方向上也取得重量的平衡。由此，用户的hmd 1的佩戴感变得更良好。在将某个构成元素设为在左右的壳体11中双重化的冗余结构的情况下，得到可用性提高等效果。此外，不限于图7的配置，也可以例如在x方向在前侧配置控制电路701、在后侧配置电池702。关于麦克风8、扬声器9等的其他构成元素，也以左右取得重量的平衡的方式分别配置到左右的壳体11。
[0104]
hmd存在与高度功能化对应地功耗也增加的倾向。与其对应地，在安装电池的情况下存在必要的电池容量、重量也增加的倾向。因此，在实施方式1的例子中，通过在颈佩戴部1b中安装主电池242，谋求头佩戴部1a的重量降低。与此同时，通过在颈佩戴部1b的左右的壳体11中对称地配置相同重量的组件作为2个电池702，取得颈佩戴部1b的左右的重量的平衡。关于左右的重量的平衡，既可以是通过在左右配置相同的组件而取得左右的重量的平衡的结构，也可以是在某个构成元素(例如处理器200)与其他构成元素之间取得左右的重量的平衡的结构。由此，在hmd 1的整体中易于取得重量的平衡，佩戴时的颈佩戴部1b的位置偏移的原因也减少。
[0105]
[连接线]
[0106]
图8示出与hmd 1中的连接线4的佩戴等有关的结构例。(a)是第1结构例，是考虑了佩戴的便宜性的结构例。hmd 1具有左右的各个连接线4(4l、4r)。连接线4中的一方端在头佩戴部1a的壳体10的左右部分的中央附近连接到佩戴时的用户的比耳更靠跟前的位置的端子。连接线4中的另一方端连接到颈佩戴部1b的左右的壳体11的中央附近的位置的端子。连接线4成为通过用户的耳前而垂下的状态。间隔801是在y方向上头佩戴部1a的壳体10的左右的连接线4(4l、4r)的安装位置之间的距离。间隔802是在y方向上颈佩戴部1b的壳体11的左右的连接线4的安装位置之间的距离。在hmd 1中，显示面5相对于头的位置偏移影响显示性能。因此，这样，设为左右对称地通过2根连接线4连接头佩戴部1a和颈佩戴部1b的结构。由此，取得左右的重量的平衡，位置偏移的原因减少，所以是优选的。
[0107]
用户在佩戴hmd 1时，将颈佩戴部1b挂在颈/肩，将头佩戴部1a挂在头的眼前。用户在休息时等不利用头佩戴部1a的图像显示的情况下，也能够成为将头佩戴部1a从头摘下并放到胸前的状态。此外，在该结构例中，能够由用户对壳体的端子连接以及不连接连接线4，但也可以设为将连接线4固定地连接到壳体的方式。
[0108]
(b)是第2结构例。左右的各连接线4(4l、4r)中的一方端在头佩戴部1a的壳体10的左右部分的后端位置连接到佩戴时的用户的比耳更靠后的位置。连接线4中的另一方端连接到颈佩戴部1b的左右的壳体11的靠后的位置。连接线4成为通过用户的耳后而垂下的状态。间隔803以及间隔804同样地表示连接线4的安装位置之间的距离。
[0109]
连接线4的方案不限于图8的例子。在其他方案中，也可以将连接线4的另一方端连接到颈佩戴部1b的后部的壳体12，还可以不左右分开而集中为1根连接线4。
[0110]
关于连接线4的间隔，在(a)的第1结构例中，示出间隔801与间隔802大致相同的情况。在(b)的第2结构例中，示出间隔804比间隔803稍微宽的情况。
[0111]
关于hmd 1的壳体以及连接线4的间隔等的结构，各种方案都是可能的。也可以使头部侧的间隔801和颈部侧的间隔802相同。也可以使颈部侧的间隔802大于头部侧的间隔801。也可以使颈部侧的间隔802小于头部侧的间隔801。另外，上述间隔预先固定地设计，但作为其他方式，也可以通过例如将壳体设为具有灵活性、可挠性的结构、可变形的结构，使
得用户能够调节上述间隔。例如，在颈佩戴部1b中，也可以左右的壳体11由刚性的部件构成，后部的壳体12由弯曲的部件构成。用户能够与体格、服装、佩戴感等匹配地调节颈佩戴部1b的间隔802。另外，在调节间隔802时，hmd 1也可以使用例如测距传感器7或者其他传感器来测定此时的间隔802。对于上述间隔801、802、配置于hmd 1的壳体的各种传感器等构成元素之间的位置关系，为了实现hmd 1的功能，预先设定为设定值。在上述间隔802等被改变的情况下，上述设定值也被更新。
[0112]
颈佩戴部1b不限于弧形状，也可以是例如壳体11的颈前闭合的形状。将左右的壳体11设为棒状，但不限于此，也可以成为如肩垫那样接近平坦的形状。也可以将颈佩戴部1b设为例如如背心、工作服那样的衣服的形状。
[0113]
图9与图8关联地示出y方向上的关于hmd 1的壳体的左右的部分之间的间隔的结构例。图9示意地示出用户佩戴头佩戴部1a以及颈佩戴部1b的状态的正面。宽度w1表示头佩戴部1a的壳体10的左右的部分的y方向的宽度。宽度w2表示颈佩戴部1b的壳体11的左右的部分的y方向的宽度。(a)示出宽度w1和宽度w2是相同程度的情况。(b)示出宽度w2大于宽度w1的情况(w1《w2)。
[0114]
在hmd 1中，期望以从颈佩戴部1b的测距传感器7向头佩戴部1a的标记17的测距容易进行的方式设计测距传感器7以及标记17等的位置、各部的宽度等的尺寸。在(a)的情况下，从测距传感器7向上方测定标记17。在(b)的情况下，从测距传感器7向上方的稍稍倾斜方向测定标记17。在实施方式1中，考虑佩戴的便宜性、位置偏移原因的降低、测距的便宜性等，将颈部侧的宽度w2设为头部侧的宽度w1以上(w1≤w2)。也可以不限于此，在其他方式中，也可以设为颈部侧的宽度w2更小的结构(w1》w2)。
[0115]
此外，标记17既可以配置于壳体10的下朝向的面，也可以配置于横朝向的面。测距传感器7既可以配置于壳体11的上朝向的面，也可以配置于横朝向的面。作为变形例，在(a)中，也可以在从颈佩戴部1b的壳体11向左右的外侧延长地离开的位置901配置测距传感器7或者其他传感器等的部位。另外，也可以是由用户能够调节该延长的长度的方式。
[0116]
[分离结构例]
[0117]
图10示出总结了在实施方式1以及各变形例的hmd 1中在头佩戴部1a和颈佩戴部1b的上下部位分离地安装构成元素的几个结构例的表。
[0118]
首先，实施方式1中的结构如上述图2等所示，在颈佩戴部1b中设置有测距传感器7、位置姿势传感器70、主电池242、麦克风8以及扬声器9等，在头佩戴部1a中设置有相机6、显示设备150、子电池142等。位置姿势传感器70包括上述加速度传感器71、角速度传感器72、地磁传感器73以及gps接收器74，对于测距传感器7以及相机6分开考虑。颈佩戴部1b被固定到用户的躯干，所以该位置姿势传感器70检测用户的躯干的方向等状态。测距传感器7在通常的测距中测定颈佩戴部1b与周围的物体的距离(图5)。由相机6进行的外界的拍摄在与用户的视点接近且易于拍摄外界方面有利。因此，在实施方式1中，在位于比颈佩戴部1b高的位置的头佩戴部1a中设置相机6。
[0119]
接下来，在实施方式1的变形例1中，作为与实施方式1不同的结构点，对于相机6，也设置于颈佩戴部1b。由此，能够进一步降低头佩戴部1a的重量。此外，在变形例1中，相机6的图像是以颈部坐标系cn为基准的图像。因此，在希望得到以头部坐标系ch为基准的图像信息的情况下，也可以对相机6的图像进行使用了上述位置关系的校正、变换。变形例1重视
头佩戴部1a的重量降低，将大量的构成元素安装到颈佩戴部1b。
[0120]
接下来，在变形例2中，作为与实施方式1不同的结构点，在头佩戴部1a中与颈佩戴部1b的测距传感器7独立地将通常的测距用的测距传感器设置为第2测距传感器。外界的物体的测距在易于观察外界方面有利，所以在变形例2中，在更高的位置即头佩戴部1a中设置第2测距传感器。
[0121]
接下来，在变形例3中，作为与实施方式1不同的结构点，将位置姿势传感器70的一部分的传感器设置于头佩戴部1a，将另一部分的传感器设置于颈佩戴部1a。特别地，在头佩戴部1a中安装加速度传感器71以及角速度传感器72，在颈佩戴部1b中安装地磁传感器73以及gps接收器74。头部的旋转方向以及重力方向的检测的精度特别重要，所以在重视高度的功能的情况下，如变形例3那样，具有在头佩戴部1a中搭载传感器的优点。
[0122]
接下来，在变形例4中，虽然种类重复，但在颈佩戴部1b以及头佩戴部1a这两方中设置位置姿势传感器。特别地，在颈佩戴部1b中安装高性能的传感器作为主传感器，在头佩戴部1a中安装轻量的传感器作为子传感器。例如，hmd 1在通常时使用颈佩戴部1b的传感器来取得高精度的数据，在由于某种理由无法取得颈佩戴部1b的传感器数据的情况下，也可以取得头佩戴部1a的传感器数据。变形例4是抑制头佩戴部1a的重量并且重视高精度、可用性的结构。
[0123]
作为其他变形例，也可以不在颈佩戴部1b而在头佩戴部1a中设置麦克风8以及扬声器9等。当然还能够采用组合如上所述的各种构成的方式。
[0124]
[坐标系]
[0125]
以下，说明图5的头佩戴部1a的头部坐标系ch和颈佩戴部1b的颈部坐标系cn的坐标系的关系等。此外，在以下的说明中，坐标系统一为右手系。头部坐标系ch与颈部坐标系cn之间的坐标系的旋转能够以欧拉角、标准化四元数表示。以下，为了表示坐标系的旋转，使用标准化四元数。处理器200(特别是图3的数据处理部200b)进行包括这样的坐标系的旋转的计算。
[0126]
标准化四元数是指模(norm)为1的四元数，能够表示绕某个轴的旋转。表示将单位向量(n
x
,ny,nz)作为旋转轴的角度η的旋转的标准化四元数q成为下述的式1。
[0127]
式1：q＝cos(η/2)+n
x
sin(η/2)i+nysin(η/2)j+nzsin(η/2)k
[0128]
i、j、k是四元数的单位。朝向向量(n
x
,ny,nz)的朝向的情况的右旋的旋转是η为正的旋转方向。任意的坐标系的旋转能够以该标准化四元数表示。
[0129]
总结标记的用法。用sc(q)表示四元数q的实数部分。用q
*
表示四元数q的共轭四元数。用[
·
]定义将四元数q的模标准化为1的算子。在将q设为任意的四元数时，接下来的式2是算子[
·
]的定义。式2的右边的分母是四元数q的模。
[0130]
式2：[q]＝q/(qq
*
)
1/2
[0131]
接下来，用接下来的式3定义表达坐标点或者向量(p
x
,py,pz)的四元数p。
[0132]
式3：p＝p
x
i+pyj+p
zk[0133]
在本说明书中，只要没有特别说明，设为不是分量显示的、表示坐标点、向量的标记是四元数显示。另外，设为表示旋转的标记是标准化四元数。
[0134]
将向与单位向量n方向垂直的平面的向量的射影算子设为p
t
(n)。向量p的射影由接下来的式4表示。
[0135]
式4：p
t
(n)p＝p+nsc(np)
[0136]
设为将坐标点或者方向向量p1通过以四元数q表示的原点中心的旋转操作变换为坐标点或者方向向量p2。于是，方向向量p2能够用接下来的式5计算。
[0137]
式5：p2＝qp1q
*
[0138]
将以使单位向量n1与单位向量n2重叠的方式绕与包括n1和n2的平面垂直的轴旋转的标准化四元数设为r(n1,n2)。r(n1,n2)成为下述的式6。
[0139]
式6：r(n1,n2)＝[1-n2n1]
[0140]
接下来，说明头佩戴部1a的头部坐标系ch和颈佩戴部1b的颈部坐标系cn这2个坐标系的关系。在用户活动颈、头时，2个坐标系之间的位置关系发生变化。例如，从图5的(a)的状态变化为(b)的状态。实施方式1的hmd 1通过从颈佩戴部1b的测距传感器7不断进行由头佩戴部1a的标记17表示的特征点的测定，掌握2个坐标系之间的位置关系。
[0141]
头部坐标系ch中的测定点(对应的标记17)的坐标、换言之壳体10的形状等预先在设计上已知。将头部坐标系ch中的这3点的坐标值设为p
h0
、p
h1
、p
h2
。颈部坐标系cn中的3点的坐标值能够通过测距传感器7的测定而获知。将这3点的坐标值设为p
n0
、p
n1
、p
n2
。
[0142]
hmd 1首先计算用于匹配坐标系的方向的旋转。将3个测定点设为第1测定点、第2测定点、第3测定点。将向从第1测定点朝向第2测定点以及第3测定点的各方向的单位向量的头部坐标系ch中的表达设为n
h1
、n
h2
。同样地，将颈部坐标系cn中的表达设为n
n1
、n
n2
。具体而言，它们成为下述的式7。此外，得到朝向不同的2个方向向量即可，测定点的数量不限于3。
[0143]
式7：
[0144]nh1
＝[p
h1-p
h0
]
[0145]nh2
＝[p
h2-p
h0
]
[0146]nn1
＝[p
n1-p
n0
]
[0147]nn2
＝[p
n2-p
n0
]
[0148]
最初，在头部坐标系ch的表达中的旋转中，考虑使n
h1
与n
n1
重叠的旋转即旋转q
ta
。在此，旋转q
ta
设为下述的式8。
[0149]
式8：q
ta
＝r(n
h1
,n
n1
)
[0150]
接下来，通过该旋转q
ta
，将n
h1
、n
h2
被旋转后的方向设为n
a1
、n
a2
。该方向是下述的式9。
[0151]
式9：
[0152]na1
＝q
tanh1qta＊
＝n
n1
[0153]na2
＝q
tanh2qta＊
[0154]
由于是相同的方向之间的角度，所以n
a1
和n
a2
所成的角度等于n
n1
和n
n2
所成的角度。另外，3个测定点不在同一直线上，所以n
n1
和n
n2
所成的角度不是0。因此，以n
a1
即n
n1
为轴的旋转q
tb
被唯一地决定，能够使n
a2
与n
n2
重叠。具体而言，旋转q
tb
由下述的式10给出。
[0155]
式10：q
tb
＝r([p
t
(n
n1
)n
a2
],[p
t
(n
n1
)n
n2
])
[0156]
通过该旋转q
tb
，n
a1
和n
a2
被旋转为下述的式11的n
n1
和n
n2
。
[0157]
式11：
[0158]nn1
＝q
tbna1qtb＊
[0159]nn2
＝q
tbna2qtb＊
[0160]
重新用下述的式12定义旋转q
t
。该旋转q
t
是使颈部坐标系cn的方向与头部坐标系ch的方向匹配的头部坐标系ch中的旋转。
[0161]
式12：q
t
＝q
tbqta
[0162]
最后，求出坐标原点的关系。在将头部坐标系ch中的颈部坐标系cn的坐标原点设为o
nh
时，o
nh
由下述的式13给出。
[0163]
式13：o
nh
＝p
h0
—q
t*
p
n0qt
[0164]
根据以上，如果能够从颈佩戴部1b测定头佩戴部1a的特征点中的不在同一直线上的3点以上的特征点(对应的标记17)的位置，则能够求出颈部坐标系cn的方向与头部坐标系ch的方向的关系、即、上述位置关系。由此，hmd 1能够综合地使用头部坐标系ch和颈部坐标系cn。
[0165]
如果已知如上所述计算的头部坐标系ch与颈部坐标系cn的关系，则不论将位置姿势传感器等传感器配置到头佩戴部1a和颈佩戴部1b中的哪一个，都能够从一方的坐标系的值向另一方的坐标系的值相互变换。因此，包括上述位置姿势传感器70、具体而言加速度传感器71、角速度传感器72、地磁传感器73以及gps接收器74、相机6、以及测距传感器7的各种设备基本上可以安装到头佩戴部1a和颈佩戴部1b中的任一方。实施方式1的hmd 1是将上述设备中的至少一部分安装到颈佩戴部1b而不是头佩戴部1a的结构。由此，能够在使用了上述设备的高度的功能的同时降低头佩戴部1a的重量。
[0166]
[显示信息以及坐标系信息]
[0167]
图11示出颈佩戴部1b中的显示信息d21以及坐标系信息d22的结构例。在显示信息d21的db(数据库)中，包括显示目标信息表t01。在显示目标信息表t01中，针对显示于显示面5的每个显示目标，存储有目标id、显示坐标系、配置坐标以及配置方向等信息。显示坐标系能够从各坐标系选择。配置坐标以及配置方向是显示坐标系中的位置坐标以及方向。
[0168]
在坐标系信息d22的db中，包括坐标系信息表t02。在坐标系信息表t02中，针对各种坐标系中的每一个，存储有原点位置、正面方向等信息。在各种坐标系中，有世界坐标系(设为cw)、头部坐标系ch、颈部坐标系cn以及后述的惯性坐标系(设为ci)等。各坐标系的原点设为世界坐标系cw的原点g1、头部坐标系ch的原点g2(＝oh)、颈部坐标系cn的原点g3(＝on)、惯性坐标系ci的原点g4，分别具有以某个坐标系为基准的位置坐标。各坐标系的正面方向例如被表示为某1个轴的方向。
[0169]
[效果等]
[0170]
如上所述，根据实施方式1的hmd 1，通过分离型的结构，能够平衡性良好地实现高度的功能和重量降低，能够提高用户的使用性。
[0171]
作为变形例，在设为在颈佩戴部1b侧具备相机6的结构(图10的变形例1)的情况下，作为该相机6，也可以应用广角相机。广角相机是例如能够以180度以上的视场角进行拍摄的相机。hmd 1也可以从由该广角相机拍摄到的广角图像中判断并切取与头佩戴部1a的头方向对应的一部分的图像，将该切取出的图像用于以头方向为基准的图像显示控制。该结构特别在非透射型的显示面5的情况下有效。另外，也可以将该广角相机并用于通常的外界的拍摄用和位置关系的测定用。
[0172]
(实施方式2)
[0173]
使用图12说明本发明的实施方式2的hmd。以下，说明实施方式2等中的与实施方式1不同的结构部分。在实施方式2的hmd 1中，在头佩戴部1a中设置测距传感器7，在颈佩戴部1b中设置多个标记17。即，实施方式2中的颈佩戴部1b和头佩戴部1a的位置关系的测距相对于实施方式1成为相反的关系。hmd 1从头佩戴部1a的测距传感器7将颈佩戴部1b的多个标记17作为特征点进行测距，根据测距数据，计算颈佩戴部1b相对于头佩戴部1a的位置关系。hmd 1使用该位置关系，进行由头佩戴部1a的传感器检测到的状态的数据与由颈佩戴部1b的传感器检测到的状态的数据之间的校正、变换。该计算能够与实施方式1类似地实现。
[0174]
图12示出实施方式2的hmd 1的结构。在头佩戴部1a中，安装有测距传感器7、相机6以及显示设备150等。在颈佩戴部1b中，安装有位置姿势传感器70、电池(主电池242)、麦克风8以及扬声器9等。在本例子中，头佩戴部1a的测距传感器7使用通常的测距用和位置关系的测距用的并用类型。将该测距传感器7左右对称地作为2个测距传感器，配置于壳体10的前侧的左右端的附近，对大致位于下方的多个标记17进行测距。另外，在本例子中，在颈佩戴部1b的左右的壳体11中的每一个中，各配置有3个、合计6个标记17。向量v2是表示从头坐标系ch的原点oh观察的向颈坐标系cn的原点on的位置关系的向量。
[0175]
根据实施方式2的hmd 1，能够实现与实施方式1同样的效果。然而，以头佩戴部1a的重量的观点来看，如实施方式1那样在颈佩戴部1b中设置测距传感器7的结构有利。作为实施方式2的变形例，也可以在头佩戴部1a中独立地设置通常的测距用的第2测距传感器。也可以在颈佩戴部1b中设置该第2测距传感器。另外，作为变形例，也可以将相机6安装在颈佩戴部1b侧。
[0176]
(实施方式3)
[0177]
使用图13说明实施方式3的hmd。由于用户的服装等的影响，可能有无法使用测距传感器7光学地测定头佩戴部1a和颈佩戴部1b的位置关系的情况。在实施方式3中，示出在这样的情况下也能够测定位置关系的方式。
[0178]
图13示出实施方式3的hmd 1的结构。在该hmd 1中，作为与实施方式1不同的结构点，对于位置姿势传感器70，在头佩戴部1a、颈佩戴部1b中具有包括加速度传感器71以及地磁传感器73的传感器。
[0179]
首先，从颈佩戴部1b观察的头佩戴部1a的旋转中心位置根据个人而决定，是大致恒定的，所以将其取为固定位置。在hmd 1中，预先设定该位置。或者，在hmd 1中，设定能够通过测距传感器7等光学地测定其平均的旋转中心位置时的值。例如，如果将头佩戴部1a的旋转中心取为头部坐标系ch的坐标原点，则通过求出坐标系之间的方向的关系，就可以决定坐标系之间的关系。接下来，求出各坐标系的方向的关系。对于垂直方向的方向的关系，由于能够利用作为加速度传感器71的3轴加速度传感器测定重力加速度，所以能够根据该重力加速度的朝向的各坐标系中的测定值的差来求出。而且，对于头(对应的头部坐标系ch)和躯干(对应的颈部坐标系cn)中的水平面中的方向的差，能够使用设置于头佩戴部1a和颈佩戴部1b这双方的地磁传感器73求出双方的水平面中的方位的差。地磁传感器有时由于外界的影响而在方位的绝对值中产生偏移，但对于相对值而言能够比较稳定地求出。通过以上，能够与实施方式1类似地计算头部坐标系ch与颈部坐标系cn之间的方向的关系。
[0180]
如上所述，在实施方式3中，代替在实施方式1中说明的从3个测定点中的第1测定点朝向第2测定点以及第3测定点的各方向，使用各坐标系中的重力加速度的方向和地磁中
的例如北方向来计算坐标系之间的方向的关系。由此，在实施方式3中，即使在无法光学上测定头佩戴部1a和颈佩戴部1b的位置关系的状况的情况下，也能够推测位置关系。
[0181]
如上所述，根据实施方式3，以重视高度的功能的观点来看，得到与实施方式1同样的效果。作为实施方式3的变形例，也可以设为不具备测距传感器7的结构。
[0182]
以下也能够作为其他变形例。hmd 1可能成为暂时无法测定颈佩戴部1b和头佩戴部1a的位置关系的状况。在该情况下，hmd 1无法进行使用位置关系的变换，所以有无法进行以颈部坐标系cn为基准的图像的显示或者以头部坐标系ch为基准的图像的显示的情况。在该情况下，在hmd 1中，作为例外性对应处理，也可以进行不使用位置关系的显示，例如以头部坐标系ch为基准的图像的显示，或者以颈部坐标系cn为基准的图像的显示。hmd 1在之后能够再次测定位置关系的情况下，停止上述例外性对应处理，返回到原来的显示。
[0183]
(实施方式4)
[0184]
使用图14说明实施方式4。实施方式4的hmd是关于头佩戴部1a和颈佩戴部1b的供电安装无线供电功能而在头佩戴部1a与颈佩戴部1b之间进行无线通信的结构。
[0185]
图14示出实施方式4的hmd 1的结构例。连接线4由1根构成，通过与头佩戴部1a的壳体10的连接而形成环形形状。连接线4的一方端连接到头佩戴部1a的壳体10的例如左侧的部分的后端，与壳体10内的电源电路141(图2)连接。连接线4的另一方端连接到壳体10的例如右侧的部分的后端。该电源电路141包括无线供电的受电电路。
[0186]
连接线4中的中间的部分是与颈佩戴部1b的壳体12相接地配置的部分，安装有受电天线部4c。在壳体12中，安装有送电天线部12c。送电天线部12c与壳体11的电源电路241连接。该电源电路241包括无线供电的送电电路。在送电天线部12c以及受电天线部4c中，例如分别形成有线圈。在接近的送电天线部12c与受电天线部4c之间，通过电磁感应的作用而进行无线供电。此外，无线供电的方式没有限定。
[0187]
在头佩戴部1a的壳体10的例如右侧的部分中，安装有与无线通信接口对应的无线通信电路10c。在颈佩戴部1b的壳体11的一部分、例如右侧壳体11r的一部分中，安装有无线通信电路11c。该hmd 1通过在头佩戴部1a的无线通信电路10c与颈佩戴部1b的无线通信电路11c之间适当地进行无线通信，上下部位协作地实现功能。此外，无线通信用的天线也可以形成在连接线4、壳体12中。
[0188]
此外，关于连接线4和壳体12的连接部分，也可以设为能够由用户分离和固定的结构。连接线4是可挠性的，确保某种程度以上的长度作为富余，所以用户能够自由地活动颈、头。
[0189]
(实施方式5)
[0190]
使用图15说明实施方式5。实施方式5的hmd具有与上述显示控制有关的功能，示出与用户的头的状态和躯干的状态对应的图像的显示控制的例子。
[0191]
[显示控制]
[0192]
在以往技术例的hmd中，作为虚拟物体等的图像的显示方式，使用外界的世界坐标系和与头匹配的局部坐标系(在实施方式1中为头部坐标系ch)这2个基准。或者，如专利文献1的例子，还提出使用与头匹配的坐标系和与躯干匹配的坐标系(在实施方式1中为颈部坐标系cn)这2个基准。相对于此，实施方式5的hmd 1使用世界坐标系cw、头部坐标系ch以及颈部坐标系cn这3个基准全部，控制各坐标系中的图像显示。由此，该hmd 1实现高度的功
1的用户的视场整体5a的例子。在视场整体5a中，在中心有fov(field of view，视野)5b，作为实物的例子，有作业台5c上的作业对象物5d。视场整体5a是用户能够视觉辨认的范围整体。视场整体5a表示用户面向作业对象物5d站立、躯干以及脸也自然地面向正面时的视场整体。fov 5b表示在透射型的hmd 1中的显示面5中显示目标能够显示的范围、显示区域。点p1表示fov 5b的中心点。(a)是从用户的视点透过显示面5而看到作业对象物5d等的状态。
[0203]
此外，在非透射型的hmd的情况下，能够将视场整体5a作为显示区域而对显示目标进行显示，该情况下的fov 5b与位于用户的头以及两眼的正面的易于视觉辨认的范围的推测相当。在非透射型的显示面5的情况下，作业对象物5d等被显示为基于影像透视或模拟的与实物对应的虚拟物体。
[0204]
(b)示出对于(a)的视场整体5a以显示面5的fov 5b重叠显示虚拟物体等显示目标的例子，设为第1状态。实物以外的元素不论在透射型、非透射型中的哪一种方式的情况下，都是虚拟物体等显示目标(对应的图像)。在本例子中，作为显示目标，具有系统信息61、hmd菜单62、作业说明63以及作业用工具64。
[0205]
系统信息61是hmd 1的系统提供给用户的信息，例如有表示电波强度、时刻、电池剩余量等的状态的图像。另外，hmd菜单62是用于用户输入指示等的gui组件，例如是home(归位)按钮等虚拟物体。系统信息61以及hmd菜单62是以头部坐标系ch为基准的显示的例子，显示于fov 5b中的固定的位置。例如，系统信息61显示于fov 5b内的上边的区域，作为hmd菜单62的home按钮显示于fov 5b内的左下。系统信息61等即使在由于用户的活动而hmd 1的位置、方向变化的情况下，在视场整体5a以及fov 5b内也显示于相同的位置。
[0206]
作业说明63是用于对用户说明与作业对象物5d有关的作业的虚拟物体。作业说明63是以世界坐标系cw为基准的显示的例子，显示于作业对象物5d的附近的固定的位置。作业说明63即使在由于用户的移动等而hmd 1的位置、方向变化的情况下，也显示于世界坐标系cw内的相同的位置。
[0207]
作业用工具64是用于支援用户的作业的工具等虚拟物体。作业用工具64a显示传达作业的过程的动画、动漫等。作业用工具64b设置有用于操作的命令。作业说明63、作业用工具64例如由作业支援应用生成。作业用工具64是以颈部坐标系cn为基准的显示的例子，显示于与用户的躯干方向匹配的位置。作业用工具64在颈佩戴部1b和头佩戴部1a的位置关系发生了变化的情况下，在视场整体5a内的显示位置发生变化。以下，说明以颈部坐标系cn为基准的作业用工具64的显示的变化。
[0208]
图16示出作为从图15的第1状态变化后的状态的例子的第2状态。图16是通过用户的躯干的朝向保持原样且用户将头朝向斜下而使脸的正面朝向作业对象物5d的状态。在fov 5b的点p1处，有作业说明63。作业用工具64以视场基准而言向上方移动，完全脱离fov 5b。
[0209]
图17示出作为从图15的第1状态变化后的状态的例子的第3状态。图17是通过用户的躯干的朝向保持原样且用户将脸朝向左上方向而在视场整体5b内将作业用工具64向右下方向放下并将左侧的作业用工具64a收纳到fov 5b内的状态。在点p1处有作业用工具64a。
[0210]
图18示出作为从图15的第1状态变化后的状态的例子的第4状态。图18是用户不使脸的朝向相对于躯干变化而使躯干朝向左斜前的状态。在该情况下，作为以世界坐标系cw
为基准的显示目标的作业说明63在视场整体5a内向右移动。另一方面，作为以颈部坐标系cn为基准的显示目标的作业用工具64与躯干方向匹配地配置，所以在视场整体5a内未改变位置。这样的以颈部坐标系cn为基准的显示在例如用户一边移动一边使用相同的作业用工具64的情况等下是适当的。
[0211]
如上述例子那样，在实施方式5的hmd 1中，能够根据检测以及计算出的状态的数据，作为虚拟物体的显示控制的方式，选择以及并用以世界坐标系cw、头部坐标系ch以及颈部坐标系cn中的各坐标系为基准的虚拟物体的显示。特别地，在以颈部坐标系cn为基准的显示方式中，关于虚拟物体的配置位置，能够进行如追随用户以及hmd 1的移动但不追随头佩戴部1a以及头的方向的变化的显示。由此，能够进行与显示目标的种类、性质对应的极其细致的显示，能够适当地支援用户的作业等，便利性提高。
[0212]
[显示控制例(2)]
[0213]
图19～图20示出实施方式5中的第2显示控制例。图19示出在hmd 1的显示面5中在fov 5b内使用以头部坐标系ch为基准的方式显示多个应用图标66的例子。在本例子中，根据用户对上述hmd菜单62的home按钮的选择执行，hmd 1打开首页画面，在首页画面中并行地显示多个(在本例子中为8个)应用图标66。应用图标66是作为gui组件的虚拟物体的例子，是用于根据用户的选择执行来控制对应的应用的显示等的图标。hmd 1在通常时使用以头坐标系ch为基准在fov 5b内的固定的位置显示应用图标66的方式。通过用户对hmd菜单62的close(关闭)按钮的选择执行，返回到原来的显示状态即不显示应用图标66的状态。对于用户频繁地使用的应用图标66等虚拟物体，在这样显示在fov 5b内的固定的位置时，便利性高。
[0214]
此外，对于成为应用图标66的显示的妨害的显示目标，既可以暂时地停止显示，也可以在上层重叠显示应用图标66。另外，例如，也可以使用在fov 5b内在多个页面中的各页面中配置图标并受理基于hmd菜单62的1个页面改变按钮等的页面改变操作的方式。由此，能够增加能够在显示面5上综合性地显示的图标数量。
[0215]
而且，图20示出以颈部坐标系cn为基准显示应用图标66的例子。hmd 1与躯干方向匹配地在视场整体5a内并行地配置多个应用图标66。在fov 5b内，显示其中的一部分的应用图标66。通过用户原样地保持躯干的朝向且改变脸的朝向，能够改变显示于fov 5b内的应用图标66。例如，如果用户将脸朝向左上，则“a”的应用图标66进入到fov 5b内。这样，在以颈部坐标系cn为基准的显示方式中，通过改变头相对于躯干的朝向，能够在fov 5b内视觉辨认比以往更大量的应用图标66的全部。
[0216]
[显示控制例(3)]
[0217]
图21示出实施方式5中的第3显示控制例。而且，也可以使用以世界坐标系cw为基准的应用图标的配置方式。例如，特定的装置的操作用的应用在该装置的场所中使用的情形较多，所以在将该应用的虚拟物体配置到世界坐标系cw内的该装置的附近的位置时，便利性高。
[0218]
图21的(a)示出在视场整体5a内在世界坐标系cw内的作业台5c上的作业对象物5d的附近的固定的位置显示用于控制作业对象物5d的操作用的应用的应用图标67的例子。
[0219]
另外，此时，世界坐标系cw内的作为显示目标的应用图标67的配置也可以设为以用户所处的方向为基准的位置及朝向下的配置。另外，此时，也可以以不妨碍用户的作业的
方式在避开连接用户与作业对象物5d的作业部位的线上的位置配置应用图标67。在图21的(b)中，将该应用图标67的配置的例子表示为从铅直上方进行俯视得到的位置关系。单点划线的箭头的方向2101是连接用户以及hmd1的代表点与作业对象物5d的代表点的与头方向或者躯干方向对应的方向。虚线的箭头的方向2102是连接用户以及hmd 1的代表点与应用图标67的配置位置的方向。应用图标67的配置位置以不与作业对象物5d重叠的方式设为例如右邻。应用图标67的配置方向与方向2102匹配。
[0220]
[显示控制例(4)]
[0221]
图22示出实施方式5中的第4显示控制例。对于以上述各坐标系为基准的显示方式，既可以能够根据用户的指示、事先设定来选择，也可以hmd 1判断并选择。也可以能够针对每个对象的虚拟物体、每个种类、每个应用来选择显示方式。图22示出用于应用的显示的坐标系的设定例。图22是某个应用的属性(对应的虚拟物体)的显示，示出能够从头部坐标系ch、颈部坐标系cn以及世界坐标系cw选择并设定显示该应用的图标、工具等虚拟物体的坐标系的例子。
[0222]
另外，图23示出在虚拟物体上重叠显示表示显示坐标系的图像的例子。在图23中，在某个应用图标66中，在一部分中重叠显示表示显示坐标系的图像68。本例子的图像68是表示世界坐标系cw的图像，表示该应用图标66的显示坐标系为世界坐标系cw。既可以始终显示图像68，也可以在用户暂时选择了应用图标66的情况或输入了预定的指示的情况等下显示图像68。
[0223]
而且，也可以将表示该显示坐标系的图像68用作显示坐标系的控制按钮。hmd 1根据用户对图像68的选择执行，以在头部坐标系ch、颈部坐标系cn以及世界坐标系cw之间切换对应的虚拟物体的显示坐标系的方式进行设定。例如，图像68也可以是循环地切换3个坐标系的按钮。例如，应用图标66的图像68的选择状态表示对应的应用的启动时的显示坐标系。在应用图标66被选择执行的情况下，hmd 1在与此时的图像68的选择状态对应的显示坐标系的位置启动对应的应用。即，在该显示坐标系的位置配置作业用工具等虚拟物体。另外，该应用图标66的图像68的选择动作也可以使用于即时的显示坐标系的切换。例如，最初，应用图标66的图像68的状态是头部坐标系ch，如上述的图19的例子那样显示。接下来，通过用户对图像68的选择操作，将图像68的状态改变为颈部坐标系cn。此时，hmd1将该应用图标66被配置的坐标系以及位置改变为颈部坐标系cn内的位置。坐标系的改变能够根据上述的坐标系之间的关系来进行。
[0224]
图24的(a)示出在上述作业用工具64a的例子中虚拟物体的显示坐标系的切换的一个例子。本例子是根据用户对配置于虚拟物体的附近的按钮等虚拟物体的选择执行来进行显示坐标系的切换的例子。在作业用工具64a中，针对传达作业过程的动画等显示目标64a的区域，在邻接的位置、例如上边区域中显示能够进行显示坐标系的切换等操作的控制用的显示目标64b。在显示目标64b内，包括能够进行显示坐标系的切换操作的按钮64c、以
“‑”
表示的缩小按钮64d、以
“×”
表示的结束按钮64e。
[0225]
按钮64c是显示坐标系切换按钮，也可以与图23的图像68同样地设为循环的切换按钮。按钮64c包括表示头部坐标系ch、颈部坐标系cn以及世界坐标系cw中的各坐标系的图像(对应的按钮)。与当前选择的显示坐标系对应的图像例如由框包围而被强调显示。用户能够通过期望的显示坐标系的按钮的选择操作来切换该作业用工具64a的显示坐标系。
[0226]
作为显示坐标系切换的利用例，用户在某个场所将配置于世界坐标系cw的多个显示目标的显示坐标系改变为颈部坐标系cn或者头部坐标系ch。用户通过从该场所移动，能够搬运这些显示目标。然后，用户在移动后的场所例如使这些显示目标的显示坐标系返回到世界坐标系cw。由此，用户能够以较少的工夫来改变各显示目标的在世界坐标系cw内的位置。
[0227]
对于上述搬运时、短暂不注视也可以的显示目标，在缩小显示时能够有效利用显示空间。hmd 1根据用户的指示等，改变虚拟物体的显示尺寸。图24的(b)示出通过(a)的缩小按钮64d的操作将作业用工具64a缩小显示的例子。在控制用按钮的1个中，有以矩形表示的放大按钮64f，通过放大按钮64f的操作，能够使作业用工具64a返回到原来的状态。不限于缩小显示，还能够是变化为图标等方案。如以上所述，利用针对每个虚拟物体切换显示坐标系的功能，能够提高用户的便利性。
[0228]
[显示控制例(5)]
[0229]
图25示出实施方式5中的第5显示控制例。在不知道头佩戴部1a和颈佩戴部1b的位置关系的情况下，也可以设置用作颈部坐标系cn的代替的坐标系。在此，将该坐标系称为惯性坐标系ci。具体而言，该惯性坐标系ci是使世界坐标系cw的坐标原点追随头部坐标系ch(对应的头佩戴部1a)或者颈部坐标系cn(对应的颈佩戴部1b)的移动而构成的坐标系。例如，在某个地点，关于在从用户观察时配置于北的方向的惯性坐标系ci上的位置的显示目标，即使用户移动或者改变朝向，也始终相对于用户显示在北的方向的位置。
[0230]
这样的以惯性坐标系ci为基准的显示方式也是关于虚拟物体的配置位置而追随用户以及hmd 1的移动但不追随头佩戴部1a的朝向的变化这样的显示方式。具有在不知道用户的身体的正面方向(颈部坐标系cn的躯干方向)的情况下能够通过使用惯性坐标系ci将想要配置于用户的附近的虚拟物体配置到用户的周围的宽范围的方向等效果。该显示方式只要是能够测定世界坐标系cw的hmd就能够应用。
[0231]
hmd 1在例如由于某种原因暂时不知道头佩戴部1a和颈佩戴部1b的位置关系而不知道颈部坐标系cn的方向的情况下，将配置于颈部坐标系cn的显示目标的显示坐标系切换到惯性坐标系ci。hmd 1在再次获知颈部坐标系cn的方向的时间点，使该显示目标的显示坐标系从惯性坐标系ci返回到颈部坐标系cn。或者，hmd 1也可以根据用户的指示(例如与第4显示控制例同样的操作)来选择惯性坐标系ci作为对象的虚拟物体等的显示坐标系而进行切换。
[0232]
图25示出惯性坐标系ci的概念。最初，佩戴hmd 1的用户位于世界坐标系cw内的位置p01。用户的躯干以及头的方向例如是北朝向。在与北朝向对应的fov 25a内，可以看到虚拟物体251、252、253等。用(xi,yi,zi)表示惯性坐标系ci的3轴。轴zi与铅直方向对应，轴xi与北方向对应，轴yi与西方向对应。hmd 1以预定的契机将虚拟物体251等的显示坐标系从例如颈部坐标系cn改变为惯性坐标系ci。
[0233]
在位置p02示出以用户从位置p01移动并使头的朝向旋转的方式改变后的情况。头方向从例如北朝向向右侧旋转45度左右。惯性坐标系ci的原点从位置p01移动到位置p02。虚拟物体251等与惯性坐标系ci一起移动，从用户的位置p02原样地保持位置关系而配置在北方向的位置。在位置p02处的头方向的fov 25b内，看不到虚拟物体251而可以看到虚拟物体252。hmd 1以预定的契机使虚拟物体251等的显示坐标系从惯性坐标系ci返回到例如颈
部坐标系cn。如以上所述，通过导入新的坐标系，能够在各种条件下进行虚拟物体的显示控制，能够进一步提高用户的便利性。
[0234]
以上，根据实施方式具体地说明了本发明，但本发明不限于上述实施方式，能够在不脱离要旨的范围内进行各种改变。
[0235]
符号说明
[0236]1…
hmd，1a
…
头佩戴部，1b
…
颈佩戴部，2
…
操作器(遥控器)，3a
…
服务器，3b
…
pc，4
…
连接线，5
…
显示面，6
…
相机，7
…
测距传感器，8
…
麦克风，9
…
扬声器，10、11、12
…
壳体，14
…
操作输入部，17
…
标记。