头戴式显示器和图像显示系统的制作方法

1.本发明涉及在用户的头部佩戴来显示增强现实空间的图像的头戴式显示器和图像显示系统。


背景技术：

2.使用在用户的头部佩戴使用的头戴式显示器(head mounted display：hmd)，能够在显示器上显示增强现实图像(augmented reality，以下称为ar图像)的同时，透过显示器观看眼前的现实空间的物体。该hmd中，搭载了拍摄前方的物体的摄像机、测量到物体的距离的传感器、测定hmd的位置的传感器等多个传感器组，用该摄像机和传感器组取得的数据被用于生成ar图像。
3.作为hmd的节电对策，例如专利文献1中，记载了在不存在特定物体时降低摄像机的测定频度，节约消耗电力。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2018-67300号公报


技术实现要素：

7.发明要解决的课题
8.hmd进行的ar图像显示，是与现实的物体的位置对应地显示现实中不存在的虚拟的物体的图像，例如以在前方的桌子上放置了虚拟的花瓶的方式在显示器上叠加显示。该情况下，虚拟的花瓶是ar图像，为了将其叠加显示在前方的桌子上，需要用hmd中搭载的摄像机和传感器组，从前方图像中识别桌子，精度良好地检测桌子的大小、形状、位置等，使用检测数据运算要显示的花瓶的形状和位置。
9.进行这样的运算的前提是摄像机和传感器组正常工作、能够取得正确的检测数据。如果摄像机和传感器组中存在至少一个异常状态的，则难以生成正常的ar图像，不得不使图像显示停止。
10.但是，将hmd用于设备的维护检查作业等，用ar图像显示作业流程和调整值等的情况下，ar图像的显示因摄像机等的异常而突然停止时，会对维护检查作业造成较大的妨碍，要求避免这种情况的方法。
11.上述专利文献1等现有技术中，提出了各种hmd的节电对策，但对于使hmd本来的功能即ar图像的显示继续的方法并没有考虑。
12.鉴于上述课题，本发明的目的在于提供一种即使hmd中搭载的摄像机和传感器等发生异常也能够使本来的功能即ar图像的显示继续的hmd。
13.用于解决课题的技术方案
14.本发明为了解决上述课题而采用以下方法。由用户佩戴在头部来显示图像的头戴式显示器，包括：拍摄外景的摄像机；检测所述摄像机的动作异常的摄像机异常检测部；检
测外景中的物体的位置、距离和大小的传感器组；检测所述传感器组的动作异常的传感器异常检测部；供电的电池；生成图像的图像生成部；显示所生成的图像的显示器；和切换所述图像生成部的处理模式的模式切换部。
15.特征在于，所述图像生成部具有：ar高级处理模式，使用所述摄像机拍摄到的图像数据和所述传感器组检测出的检测数据来生成高精度的增强现实的图像(以下称为ar高级图像)；和ar简易处理模式，生成比所述ar高级图像简易的图像信息(以下称为ar简易图像)，所述模式切换部根据所述摄像机异常检测部或所述传感器异常检测部的检测结果来切换所述ar高级处理模式和所述ar简易处理模式。
16.例如，所述模式切换部基于所述摄像机异常检测部或所述传感器异常检测部的检测结果，在判断为所述摄像机或所述传感器组的动作发生异常的情况下，切换为所述ar简易处理模式。
17.发明效果
18.根据本发明，即使hmd中搭载的摄像机和传感器等发生异常，也能够使本来的功能即ar图像的显示继续，将对用户的妨碍限制在最小限度。
附图说明
19.图1是表示实施例1的hmd的结构的图。
20.图2是表示用户佩戴hmd的状态的外观图。
21.图3是表示模式切换动作的流程图。
22.图4是表示用户认证动作的流程图。
23.图5是表示工厂系统的图像作为检查对象物的例子的图。
24.图6a是表示ar高级图像的例子的图。
25.图6b是表示在检查对象物上叠加显示ar高级图像的状态的图。
26.图7a是表示ar简易图像的例子的图。
27.图7b是表示在检查对象物上叠加显示ar简易图像的状态的图。
28.图8是表示实施例2的图像显示系统的结构的图。
29.图9是表示在hmd与便携信息终端之间收发的数据的一例的图。
30.图10是表示用户佩戴hmd并与便携信息终端连接的状态的外观图。
31.图11a是表示模式切换动作的流程图(hmd方)。
32.图11b是表示模式切换动作的流程图(便携信息终端方)。
33.图12a是表示用户认证动作的流程图(便携信息终端方)。
34.图12b是表示用户认证动作的流程图(hmd方)。
具体实施方式
35.以下，使用附图说明本发明的头戴式显示器(hmd)的实施方式。以下说明中使用的ar图像指的是增强现实(augmented reality)图像。
36.实施例1
37.实施例1中，hmd100是与外部服务器200连接而进行ar图像的显示的结构。具体而言，举出对工厂系统的维护检查作业应用作为例子。检查者(用户)实际确认工厂系统的各
种检查场所，与其检查结果相应地进行维护作业(例如阀的开闭的调整等)。用户检查某一设备时，在用户佩戴的hmd100上显示用于辅助检查作业的ar图像。设想显示的ar图像不仅在hmd100内部生成，也从工厂系统的管理公司的外部服务器200获取信息并显示的情况。通过在hmd100上叠加显示要检查的具体的流程和调整数值等，用户能够进行正确且高效率的维护检查作业。
38.图1是表示实施例1的hmd100的结构的图，hmd100与外部服务器200连接。
39.hmd100的结构具有由cpu等构成的控制hmd100的动作的控制部110、显示ar图像数据等的显示器111、对显示器111投影图像的图像投影部112、拍摄前方的外景等的摄像机113、检测摄像机113的动作异常的摄像机异常检测部114、检测用摄像机113拍摄的物体的位置、距离、大小、和hmd100的位置、运动、角速度的距离传感器、位置(gps)传感器、加速度传感器、陀螺仪传感器等各种传感器组115、检测传感器组115的动作异常的传感器异常检测部116、为了使hmd100工作而供电的电池117、检测电池117的剩余电量的电池电量检测部118。
40.另外，hmd100具有生成高精度且高清的ar图像数据的ar高级处理部121、生成在显示器111上显示的文本文字和简单的标记和记号等简易的ar图像数据的ar简易处理部122，作为在显示器111上显示的图像生成部，并且具有切换ar高级处理部121和ar简易处理部122的动作的模式切换部120。以下，将ar高级处理部121执行的动作模式称为“ar高级处理模式”，将由此生成的图像数据称为“ar高级图像数据”，将ar简易处理部122执行的动作模式称为“ar简易处理模式”，将由此生成的图像数据称为“ar简易图像数据”。
41.进而，hmd100具有识别hmd100的使用者的用户认证部123、作为控制部110执行程序时的工作区域的ram124、由闪存等构成的存储部125、和经由网络150与外部服务器200之间进行数据收发的通信部130。
42.在存储部125中，保存了用于执行hmd100的基本动作和以下叙述的各种功能的程序126、hmd100中处理的图像数据、检测信号等信息数据127、用于识别hmd100的设备id和用于识别允许的用户的用户id128等。
43.另一方面，外部服务器200具有控制外部服务器200的动作的控制部210、响应来自hmd100的请求而生成ar图像数据的信息生成部211、保存维护检查用的信息的数据库212、与hmd100之间进行数据收发的通信部213。
44.图2是表示用户佩戴hmd100的状态的外观图。hmd100佩戴在用户的头部，处于隔着透射型的显示器111可以看见眼前的外景的状态。然后，通过用图像投影部112对显示器111投影显示ar图像，用户能够在眼前的外景上叠加了ar图像的状态下观看。另外，用在hmd100的左右设置的摄像机113拍摄眼前的外景，用于生成ar图像和显示定位等。
45.此处，对于用于生成ar图像的处理进行说明。使用由摄像机113得到的眼前的拍摄图像数据和由传感器组115取得的各种数据，通过复杂的运算处理计算出眼前的图像内的对象物的位置、大小、形状等。基于计算出的对象物的配置(三维坐标)，生成规定的ar图像数据，定位并叠加显示。即，为了显示ar图像，前提是可以正确地得到摄像机113和传感器组115的数据。
46.另外，因为佩戴hmd100的用户的头部能够改变方向，用摄像机113拍摄到的摄像机图像是随时都在变化的动态图像，所以必须与该动态图像对应地生成ar图像数据。为此，需
要用传感器组115随时检测佩戴hmd100的用户的头部如何运动，得知当时的hmd100与对象物的位置关系，与其相应地生成ar图像数据。即，ar图像处理中需要复杂且高速的运算处理。
47.接着，对于本实施例中的ar图像显示的模式切换动作进行说明。如上所述，生成高精度的ar图像数据(ar高级图像数据)的高级处理模式下，使用由摄像机113和传感器组115取得的信息。因此，摄像机113和传感器组115的动作发生异常时，不能正确计算出眼前的对象物的位置和距离、用户的头部的运动(加速度、旋转等)，难以生成正常的ar高级图像数据。在这样的情况下，切换为生成文本数据这样的简易的ar图像数据(ar简易图像数据)的简易处理模式。在简易处理模式下，因为不能求出对象物的位置和距离，所以在显示器内的规定的位置显示生成的ar简易图像。
48.进而，即使摄像机113和传感器组115的动作正常，生成ar高级图像数据也需要复杂且高速的运算处理，控制部(cpu)110和ar高级处理部121中消耗的电力大，所以要求具有电量大的电池117。但是，hmd100因为佩戴在用户的头部这样的性质，所以具有要使电池117尽可能小型、轻量化的要求。因此，在hmd100工作中可能发生电池117的功率对于生成ar高级图像数据不足的状况。在这样的情况下，与使ar高级处理模式继续而在途中图像显示中断相比，切换为消耗电力小的ar简易处理模式而不中断地生成ar简易图像数据，在对用户有利的观点上更好。基于以上方针，如下所述地进行ar图像显示中的模式切换动作。
49.图3是表示模式切换动作的流程图。以下，按步骤顺序进行说明。
50.s10：用摄像机异常检测部114和传感器异常检测部116判断摄像机113和传感器组115的动作是否正常。摄像机113和传感器组115的动作异常能够根据其检测值(输出值)表现出异常值、或者输出值不存在(零)等判断，能够通过使用每个传感器的自检功能而实现。正常的情况下(是)前进至s11，发生异常的情况下(否)前进至s14。
51.s11：用电池电量检测部118判断电池117的剩余电量。如果剩余电量充分(是)则前进至s12，如果剩余电量不足(否)则前进至s14。
52.s12：模式切换部120切换为ar高级处理部121执行的高级处理模式。然后，将生成ar高级图像数据所需的来自摄像机113的拍摄图像数据和来自传感器组115的各种传感器数据输入至ar高级处理部121。
53.s13：ar高级处理部121根据拍摄图像数据计算出对象物的位置和距离，根据传感器数据计算出hmd100的运动。基于该计算结果，基于存储部125内保存的程序126(应用程度)和信息数据127，生成ar高级图像数据。高级处理模式下，代替用户视点地，以对于摄像机拍摄的规定对象物叠加ar图像的方式进行定位。另外，高级处理模式下，对于摄像机113拍摄的动态图像，与其对应地随时生成ar高级图像数据。
54.s14：另一方面，s10中检测出异常的情况、或者s11中电池剩余电量不足的情况下，模式切换部120切换为ar简易处理部122执行的简易处理模式。该情况下，不使用来自摄像机113的拍摄图像数据和来自传感器组115的各种传感器数据。
55.s15：在显示器111上显示“ar简易处理”的消息，对用户通知。由此，用户可以得知已从ar高级图像切换为ar简易图像的显示。
56.s16：用ar简易处理部122，基于存储部125内保存的程序126(应用程序)和信息数据127，生成文本数据等ar简易图像数据。ar简易处理中，因为不使用对象物的位置和距离
的信息，所以生成的ar简易图像仅显示在显示器111内的规定位置。
57.s17：s13中用ar高级处理部121生成的ar高级图像数据或s16中用ar简易处理部122生成的ar简易图像数据，被图像投影部112投影显示于显示器111。之后，返回s10，反复上述处理，进行模式切换和ar图像的显示。
58.此处，s10的处理(摄像机和传感器组的异常判断)和s11的处理(电池的剩余电量的判断)的顺序也可以交换。另外，对于s10的处理(摄像机和传感器组的异常判断)，可以仅在工作开始时实施，之后省略。
59.另外，ar高级处理部121和ar简易处理部122、和模式切换部120的处理可以在控制部(cpu)110的内部进行，也可以在图像投影部112中执行模式切换部120。
60.本实施例的hmd100中，为了生成ar图像数据，也能够使用管理公司管理的外部服务器200中保存的信息。或者，也能够取得用外部服务器200生成的ar图像数据并用hmd100显示。这是因为在外部服务器200的数据库212中例如保存了用于维护检查的基准值等。因此，通过使用来自数据库212的信息生成ar图像数据，能够对用户提供信息量更多的高精度的ar图像。
61.但是，基于管理公司的基准进行的维护检查作业，应当仅限定于预先允许的特定的检查者(用户)。因此，本实施例的hmd100中，设置了识别其用户的用户认证部123。以下，基于用户认证功能识别用户，仅使允许的用户能够使用外部服务器200生成ar图像数据。
62.图4是表示用户认证动作的流程图。此处，作为用户认证部123执行的认证方法，按使用用户的虹膜图像的情况进行说明。被允许使用hmd100的用户的虹膜图像登记在存储部125的用户id128中。作为用户的认证方法，不限于此，也能够是使用脸部图像和指纹的方法、使用静脉图案的方法等。
63.s20：用hmd100中搭载的摄像机113从用户的脸部图像中拍摄虹膜图像。
64.s21：用用户认证部123判断拍摄到的虹膜图像是否已登记在存储部125的用户id128中。如果已登记(是)则前进至s22，如果未登记(否)则前进至s26。
65.s26：因为拍摄到的虹膜图像未登记，所以判断为未经允许的用户，用控制部110将hmd100锁定，成为不能工作的状态。
66.s22：如果拍摄到的虹膜图像已登记，则判断为允许的用户，将hmd100的设备id128、和s21中识别出的用户的id数据经由通信部130发送至管理hmd100的外部服务器200。
67.s23：在外部服务器200中，对从hmd100接收到的设备id和用户id与数据库212中登记的设备id和用户id进行对照。对照成功的情况下，将数据库212中保存的信息(例如用于维护检查的基准值等)或者用信息生成部211生成的ar图像数据发送至hmd100。
68.s24：hmd100基于从外部服务器200接收到的信息生成ar图像数据，显示在显示器111上。通过与从外部服务器200取得的信息相应地生成ar图像数据，能够显示信息量更多的ar图像。
69.s25：每隔一定间隔或一直判断hmd100是否被用户佩戴。这是为了确认由允许的用户持续使用hmd100。如果持续佩戴(是)则返回s23，继续与外部服务器200通信。如果并非持续佩戴(否)则存在用户变更的可能性，所以返回s20重新进行用户认证。
70.接着，对于显示器111上显示的ar图像(高级图像和简易图像)的具体例进行说明。
此处，对于将hmd100用于工厂系统的维护检查作业的情况进行说明。
71.图5示出了工厂系统的图像作为检查对象物的例子。即，这是用户隔着显示器111能够看到的检查对象物、或者用摄像机113拍摄的检查对象物的图像，是显示ar图像前的状态。工厂系统中，存在多个管道10a、10b、10c、和在管道10c上设置的仪表11和阀12。在仪表11上显示了管道10c的压力值。另外，从检查者(用户)到管道10a、10b、10c的距离不同。
72.图6a是ar高级处理部121生成的ar高级图像20的例子。ar高级图像20由在工厂的仪表11上叠加显示的箭头21和调整面板22的图像构成。这些图像是基于hmd100的存储部125中保存的维护检查用应用程序，用ar高级处理部121生成的。
73.图6b是表示在图5的检查对象物上叠加显示图6a的ar高级图像20的状态的图。在设置于作为检查对象物的管道10c仪表11上，用粗箭头21显示作为ar高级图像的要维护的调整值，在仪表11的旁边显示调整面板22。
74.另外，hmd100佩戴在检查者的头部，随着检查者的头部的摇动，hmd100也总是在摇动，结果，作为检查对象物的仪表11在显示器111内的位置也不规则地变动。ar高级图像21、22的生成中，与该运动对应地随时掌握变动的仪表11的位置，以与仪表11的位置一致的方式高速地进行定位。另外，对于显示的ar高级图像21、22的深度方向的距离，与到叠加至的仪表11的距离相应地进行定位，但为了使与视野内的其他物体的前后关系不产生矛盾，而在被物体遮挡的情况下对ar图像进行加工(称为遮挡(occlusion))。
75.图7a是ar简易处理部122生成的ar简易图像30的例子。ar简易图像30包括ar简易处理模式和异常检测的状况等对用户的通知信息31、和表示维护检查的内容的文本图像32。本例中，在文本图像32中示出了仪表11的基准值。
76.图7b是表示在图5的检查对象物上叠加显示图7a的ar简易图像30的状态的图。本例中，将生成的ar简易图像30显示在显示器111的左上。检查者通过确认ar简易图像30内的文本图像32(仪表的设定值)，能够有助于维护检查作业。
77.这样，根据实施例1，即使hmd100中搭载的摄像机113和传感器组115发生异常，也能够使本来的功能即ar图像的显示继续，能够将对维护检查作业的妨碍限制在最小限度。即，对ar高级图像和ar简易图像进行比较时，在辅助维护检查作业的观点上，ar简易图像的情况下正确性和效率性较差，但与hmd100停止显示动作的事态相比，对用户更有利。
78.实施例2
79.实施例2中，对于将hmd101与便携信息终端300连接、协作地生成ar图像的图像显示系统进行说明。即，实施例2中，hmd101生成ar简易图像数据，但对于ar高级图像数据，接收用便携信息终端300生成的数据并显示。由此，能够使hmd101的结构简化，提供廉价且轻量的装置。此处，设想智能手机作为便携信息终端300进行说明，但只要具有以下叙述的功能就能够应用。另外，也能够经由网络与进行ar高级图像处理的服务器连接。
80.图8是表示实施例2的图像显示系统的结构的图。另外，hmd101与便携信息终端300也与实施例1(图1)中叙述的外部服务器200连接。另外，图8中，对于进行与图1同样的动作的部分附加相同的附图标记，省略重复的说明。
81.关于hmd101的结构，具有用于与便携信息终端300之间收发数据的近距离通信部140。作为近距离通信部140，能够使用bluetooth(注册商标)和无线lan，但也可以是有线连接。经由近距离通信部140收发的数据是用hmd101的摄像机113拍摄到的拍摄图像数据、用
传感器组115取得的检测数据、和便携信息终端300生成的ar高级图像数据等。另外，实施例1(图1)中存在的ar高级处理部121，因为在便携信息终端300一方执行其功能，所以省略。控制部(cpu)110经由近距离通信部140控制与便携信息终端300之间的数据收发。
82.接着说明便携信息终端300的结构。便携信息终端300具有控制便携信息终端300的动作的控制部(cpu)310、用于与hmd101之间收发数据的近距离通信部340、显示图像的显示器311、控制显示器311的显示控制部312、摄像机313、检测便携信息终端300的状态(位置、加速度、旋转等)的传感器组315、接受用户的输入的触摸面板等操作输入部316、对便携信息终端300供电的电池317、检测电池317的剩余电量的电池电量检测部318、用于经由网络150与外部设备通信的通信部330。
83.进而，便携信息终端300具有生成ar高级图像数据的ar高级处理部321、识别便携信息终端300的用户的用户认证部323、作为控制部(cpu)310的工作区域的ram324、由闪存等构成的存储部325。在存储部325中，保存了用于执行便携信息终端300的基本动作和各种功能(应用程序)的程序326、便携信息终端300中处理的图像数据、检测信号等信息数据327、用于识别便携信息终端300的终端id和用于识别允许的用户的用户id328等。
84.图9是表示经由近距离通信部140、340在hmd101与便携信息终端300之间收发的数据的一例的图。
85.从hmd101对便携信息终端300发送的数据，有用于识别hmd101的设备id和用于识别用户的用户id128、摄像机113的拍摄图像数据、传感器组115和电池电量检测部118的检测数据(位置、距离、加速度、电池剩余电量等)、hmd101的动作模式(hmd101暂停、电源on等)。
86.从便携信息终端300对hmd101发送的数据，有用于识别便携信息终端300的终端id和关于cpu的处理能力的信息328、用ar高级处理部321生成的ar高级图像数据、便携信息终端300的连接信息(与hmd101的连接状况、与网络150的连接状况)、用电池电量检测部318得到的电池剩余电量、用户认证部323的认证结果、便携信息终端300的应用程序发出的通知(邮件接收、电话来电等)。
87.图10是表示用户佩戴图8的hmd101、与便携信息终端300连接的状态的外观图。hmd101佩戴在用户的头部，能够隔着透射型的显示器111观看眼前的外景。进而，在显示器111上叠加显示ar图像。便携信息终端300例如由用户持有，能够与hmd101进行近距离通信。并且，hmd101能够接收便携信息终端300生成的ar图像并显示在显示器111上。
88.接着，对于本实施例中的ar图像的模式切换动作进行说明。本实施例中，是hmd101与便携信息终端300协作生成ar图像的结构，模式切换动作也是确认相互的状况进行的。
89.图11a和图11b是表示本实施例中的模式切换动作的流程图。在图11a中示出hmd101一方的动作，在图11b中示出便携信息终端300一方的动作。
90.首先，用图11a从hmd101一方的动作开始说明。
91.s30：hmd101判断是否与便携信息终端300正常连接。例如，利用电连接的确认、有无设备间的数据传输的错误、相互的认证处理等来确认连接。如果成功确认连接(是)则前进至s31，如果未能确认(否)则前进至s37。
92.s31：判断摄像机113和传感器组115的动作是否正常。正常的情况下(是)前进至s32，发生异常的情况下(否)前进至s37。
93.s32：经由近距离通信部140、340判断便携信息终端300的电池317的剩余电量(电池电量检测部318的检测结果)。如果剩余电量充足(是)则前进至s33，如果剩余电量不足(否)则前进至s37。另外，作为除此以外的状况，在便携信息终端300已在进行其他处理而不能支持ar高级图像处理等情况下，也判断为否而前进至s37。
94.s33：模式切换部120切换为使用便携信息终端300生成ar高级图像的高级处理模式。
95.s34：将来自hmd101的摄像机113的拍摄图像数据和来自传感器组115的各种传感器数据经由近距离通信部140发送至便携信息终端300。
96.s35：便携信息终端300使用从hmd101接收到的数据，生成ar高级图像数据。对于该处理的详情，用图11b进行说明。
97.s36：经由近距离通信部140接收用便携信息终端300生成的ar高级图像数据。
98.s37：s30～s32中的任一者判断为否的情况下，中止与便携信息终端300的关于ar高级显示的协作动作，模式切换部120切换为ar简易处理部122执行的简易处理模式。简易处理模式的处理与实施例1(图3)的s14～s16相同。
99.s38：在显示器111上显示“ar简易处理”的消息，对用户通知。
100.s39：用ar简易处理部122生成ar简易图像数据(文本数据等)。
101.s40：将s36中从便携信息终端300接收到的ar高级图像数据或s39中用ar简易处理部122生成的ar简易图像数据显示在显示器111上。之后返回s30，反复上述处理，进行模式切换和ar图像的显示。
102.接着，用图11b对便携信息终端300一方的动作进行说明。
103.s41：便携信息终端300判断是否与hmd101正常连接。例如，与图11a(s30)同样地，确认有无设备间的数据传输的错误等。如果成功确认连接(是)则前进至s42，如果未能确认(否)则前进至s46。
104.s46：判断为没有正常连接，中止与hmd101的协作动作。
105.s42：用电池电量检测部318检测便携信息终端300的电池317的剩余电量，判断对于执行ar高级处理是否充足。如果充足(是)则前进至s43，如果不充足(否)则前进至s47。
106.s47：将电池剩余电量不足的信息经由近距离通信部340发送至hmd101。该信息被用于图11a的s32的判断。
107.s43：经由近距离通信部340从hmd101接收ar高级处理所需的数据。
108.s44：ar高级处理部321使用接收到的数据生成ar高级图像数据。ar高级图像数据的生成与实施例1(图3的s13)同样地进行。为此，使用存储部325内保存的程序(应用程序)326和信息数据327。
109.s45：将生成的ar高级图像数据经由近距离通信部340发送至hmd101。之后返回s41，反复上述处理。
110.本实施例中的ar图像(高级图像、简易图像)的显示例，与实施例1的图6a～图7b相同。
111.本实施例中，因为采用了hmd101与便携信息终端300协作地进行ar高级图像处理的结构，所以需要防止由未经允许的用户和设备进行的非法访问。于是，在相互认证了用户和设备被允许的基础上，使其能够收发摄像机拍摄图像和ar图像数据等重要数据。以下，对
于用户认证动作进行说明。
112.图12a和图12b是表示用户认证动作的流程图，图12a表示便携信息终端300一方的认证动作，图12b表示hmd101一方的认证动作。此处，作为用户认证的方法，按使用脸部图像的认证进行说明，但除此以外也能够应用使用指纹的方法、使用静脉图案的方法、使用虹膜图像的方法等。
113.首先，用图12a从便携信息终端300一方的动作开始说明。
114.s50：用便携信息终端300的摄像机313拍摄用户的脸部图像。
115.s51：用便携信息终端300的用户认证部323判断用户的脸部图像是否是便携信息终端300的用户id328中已登记的脸部图像。如果已登记(是)则前进至s52，未登记的情况下(否)前进至s55。
116.s52：便携信息终端300根据有无设备间的数据传输的错误等判断是否与hmd101正常连接。如果成功确认连接(是)则前进至s53，如果未能确认(否)则前进至s55。
117.s53：将便携信息终端300的终端id328经由近距离通信部340发送至hmd101。
118.s54：如果在hmd101一方成功确认便携信息终端300是已登记的终端，则开始便携信息终端300与hmd101的协作动作。
119.s55：用户不能使用便携信息终端300，中止与hmd101的协作动作。
120.接着，用图12b对于hmd101一方的动作进行说明。
121.s60：hmd101根据是否存在设备间的数据传输的错误等判断是否与便携信息终端300正常连接。如果成功确认连接(是)则前进至s61，如果未能确认(否)则前进至s67。
122.s61：用hmd101的摄像机113拍摄用户的虹膜图像。
123.s62：用用户认证部123判断拍摄到的虹膜图像是否已登记在存储部125的用户id128中。如果已登记(是)则前进至s63，如果未登记(否)则前进至s67。
124.s63：从便携信息终端300接收终端id328(对应于s53)。
125.s64：判断接收到的终端id328是否为s62中识别出的用户能够使用的终端。如果已登记(是)则前进至s65，如果未登记(否)则前进至s67。
126.s65：开始与便携信息终端300的协作动作。即，从hmd101对便携信息终端300发送生成ar高级图像数据所需的数据。结果，便携信息终端300生成ar高级图像数据，hmd101接收并显示生成的ar高级图像数据。
127.s66：判断hmd101是否被用户持续佩戴。如果持续佩戴(是)则返回s65，继续与便携信息终端300的协作动作。如果并非持续佩戴(否)，则存在用户变更的可能性，所以返回s61重新进行用户认证。
128.s67：hmd101将协作动作锁定，中止与便携信息终端300的协作动作。
129.这样，实施例2中，将hmd101与便携信息终端300连接的情况下，通过相互确认用户和设备id(终端id)，能够防止由非法的用户和设备进行的访问，能够构建在已登记的安全的用户/设备之间进行可靠性高的数据传输的图像显示系统。另外，在hmd101和便携信息终端300的认证处理时，相互交换设备(终端)的规格也是有效的。例如，通过交换hmd101的显示图像的分辨率和显示速度、便携信息终端300的cpu的处理速度和电池的剩余电量的信息等，更能够进行最优的图像处理。
130.另外，实施例2中，hmd101与便携信息终端300也经由网络150与外部服务器200连
接。由此，hmd101和便携信息终端300也能够与实施例1同样地，利用管理公司管理的外部服务器200中保存的信息和用外部服务器200生成的ar图像数据，生成ar图像数据。为此进行的用户认证也与实施例1同样地进行即可。
131.根据实施例2，采用了hmd101仅生成ar简易图像数据、用便携信息终端300生成ar高级图像数据的结构，所以能够使hmd101的结构简化，提供廉价且轻量的装置。
132.另外，本发明不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的全部结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。
133.附图标记说明
134.20：ar高级图像，30：ar简易图像，100、101：头戴式显示器(hmd)，110、310：控制部(cpu)，111、311：显示器，112：图像投影部，113、313：摄像机，114：摄像机异常检测部，115、315：传感器组，116：传感器异常检测部，117、317：电池，118、318：电池电量检测部，120：模式切换部，121、321：ar高级处理部，122：ar简易处理部，123、323：用户认证部，124、324：ram，125、325：存储部，126、326：程序，127、327：信息数据，128、328：设备(终端)id/用户id，130、330：通信部，140、340：近距离通信部，150：网络，200：外部服务器，211：信息生成部，212：数据库，300：便携信息终端，312：显示控制部。