头戴式显示器、头戴式显示器协作系统及其方法与流程

本发明涉及头戴式显示器(以下简记为“hmd”)的显示技术。

背景技术：

作为本技术领域的背景技术，专利文献1中公开了“根据从头戴式显示器取得的照相机图像、和头戴式显示器的佩戴者对照相机图像的注视点，计算佩戴者的注视点相对一次信息的位置信息，选择与该位置信息关联的二次信息并显示，并且，在佩戴者观察一次信息的情况下和佩戴者未观察一次信息的情况下，变更所显示的二次信息的显示方法(摘要摘录)”的系统。

另外，专利文献2中公开了“使用者能够视觉辨认虚像和外景的头部佩戴型显示装置具备：生成部，生成包括第1图像和头部佩戴型显示装置具有的第2图像的一览图像，该第1图像是与头部佩戴型显示装置连接的外部装置的显示图像；以及图像显示部，形成表示生成的一览图像的虚像(摘要摘录)”的系统。

现有技术文献

专利文献

专利文献1：国际公开第2017/104089号

专利文献2：日本特开2015-222891号公报

技术实现要素：

在专利文献1、2中，在hmd和外部显示装置进行通信连接后，在hmd中共享显示图像。因此，当在具有通信功能的便携信息终端以及hmd中应用上述现有技术的情况下，在确立了hmd和便携信息终端之间的链接时，便携信息终端的显示画面显示于hmd，所以即使在用户不期望时或不需要时，有时便携信息终端的画面也显示于hmd，存在利用上的不便。

本发明是鉴于上述实际情况而完成的，其目的在于提供一种在对于用户有用的定时将便携信息终端的画面显示于hmd、操作性良好的hmd与便携信息终端的协作技术。

为了解决上述课题，本发明具备权利要求书记载的结构。若例举其一个例子，提供一种头戴式显示器，其特征在于，具备：佩戴体，佩戴在使用者的头部；显示器，设置于所述佩戴体的所述使用者的眼睛前的位置；通信模块，在与便携信息终端之间进行通信连接；视觉辨认区域检测传感器，输出状态数据，该状态数据用于判断在经由所述佩戴体的所述使用者的视觉辨认区域中是否包括所述便携信息终端；以及控制装置，与所述显示器、所述通信模块以及所述视觉辨认区域检测传感器的每一个连接，所述控制装置根据所述状态数据判断在所述使用者的视觉辨认区域中是否包括所述便携信息终端，并对所述显示器进行显示控制以使得：在判断为在所述视觉辨认区域中未包括所述便携信息终端的情况下，在所述显示器中显示app画面，所述app画面显示由所述便携信息终端执行的实现特定的功能的应用软件的执行状态；在判断为在所述视觉辨认区域中包括所述便携信息终端的情况下，在所述显示器中不显示所述app画面。

根据本发明，能够提供在对于用户有用的定时将便携信息终端的画面显示于hmd、操作性良好的hmd与便携信息终端的协作技术。此外，通过以下的实施方式的说明进一步明确上述以外的课题、结构以及效果。

附图说明

图1是hmd协作系统的概要结构图。

图2是hmd的硬件结构图。

图3是hmd的软件结构图。

图4是便携信息终端的硬件结构图。

图5是便携信息终端的软件结构图。

图6是示出第1实施方式中的hmd协作系统的序列例子的图。

图7是示出第1实施方式的app画面显示控制处理的流程的流程图。

图8是示出视觉辨认区域和便携信息终端的位置关系(app画面不显示)的图。

图9是示出app画面不显示时的经由显示器的情景的图。

图10是示出视觉辨认区域和便携信息终端的位置关系(app画面显示)的图。

图11是示出app画面显示时的经由显示器的情景的图。

图12是示出第2实施方式的app画面显示开始条件的变化的图。

图13是示出出镜(frameout)后的再显示位置的图。

图14是示出第4实施方式中的hmd协作系统的序列例子的图。

图15是示出hmd的画面迁移的图。

(符号说明)

1：佩戴体；2：显示器；3：外侧照相机；4：内侧照相机；5：hmd控制装置；10：hmd；80：便携信息终端；100：hmd协作系统。

具体实施方式

以下，使用附图说明本发明的实施方式。在全部附图中，对同一结构附加同一符号而省略重复说明。

<第1实施方式>

第1实施方式是如下方式：对hmd和作为便携信息终端的智能手机进行通信连接，在便携信息终端未进入到佩戴hmd的使用者的视觉辨认区域的情况下，将便携信息终端的app画面显示于hmd。此处所称的“app画面”是指，显示有在便携信息终端上执行的应用软件的执行状态的画面。

图1是hmd协作系统100的概要结构图。hmd协作系统100构成为对hmd10和便携信息终端80进行无线通信连接。作为便携信息终端80图示出智能手机，也可以是平板终端、智能手表，只要是可便携的图像显示装置，则其种类没有限制。

hmd10主要具备佩戴体1、显示器2、外侧照相机3、内侧照相机4以及hmd控制装置5。

佩戴体1是用于维持在hmd10的使用者m(参照图8、图10)的头部佩戴hmd10的状态、保持其他hmd10的构件的部件。在图1中以眼睛镜形状图示出，但形状不限于此。

显示器2是具有透射性的液晶显示器，配置于佩戴体1的使用者m的眼睛前的位置。

在将佩戴体1的与使用者m的脸相对的一侧定义为内侧、将其相反侧定义为外侧的情况下，外侧照相机3是设置于佩戴体1的前表面外侧的搭载有ccd或cmos的照相机。外侧照相机3以在视角中包含使用者m的视觉辨认区域的位置以及朝向，设置于佩戴体1。

内侧照相机4是在佩戴体1的内侧以能够拍摄使用者m的眼睛睛的活动的位置以及朝向设置的搭载有ccd或cmos的照相机。

hmd控制装置5使用处理器、电路来构成，该处理器、电路进行与便携信息终端80的通信控制以及向显示器2的显示控制。在本实施方式中，以使用通用的计算机来执行用于实现本实施方式的hmd协作方法的功能的软件的结构为例子进行说明。

图2是hmd10的硬件结构图。

如图2所示，hmd10构成为通过系统总线102将hmd控制装置5、拍摄部120、语音部130、操作部140、通信模块150、传感器部160、扩展i/f170、显示部180彼此连接。

hmd控制装置5构成为包括：cpu(centralprocessingunit，中央处理单元)101、rom(readonlymemory，只读存储器)103、ram(randomaccessmemory，随机存取存储器)104、由hdd(harddiskdrive，硬盘驱动器)或具备闪存存储器等半导体存储器的ssd(solidstatedrive，固态硬盘)构成的存储设备110。

拍摄部120包括：外侧照相机3以及内侧照相机4；以及将各照相机的输出信号变换为图像信号的图像信号处理部121。

语音部130包括：用于输入语音的麦克风131；包括来自麦克风131的语音信号的噪声处理、放大处理的语音信号处理部132；以及播放来电音、语音的扬声器133。

操作部140包括操作按钮、操作开关，由hmd10的主电源的on/off按钮、音量拨盘等操作部件构成。各操作部件是受理使用者的操作而检测有输入操作的部件，具有作为操作检测传感器的功能。

通信模块150包括：用于连接到wi-fi(日本注册商标)、红外线通信等无线lam的无线lan通信部151；以及使用bluetooth(日本注册商标)等的近场无线通信部152。

传感器部160包括：gps(globalpositioningsystem，全球定位系统)161；用于感测旋转、朝向的变化的陀螺传感器162；用于测量方位的地磁传感器163；用于检测与倾斜或活动、振动或冲击有关的数据的加速度传感器164；用于感测hmd10的周边的明亮度的照度传感器165；接近传感器166；距离传感器167；以及视线检测传感器168。陀螺传感器162、加速度传感器164、视线检测传感器168在各实施方式中被用作检测使用者m的视觉辨认区域的视觉辨认区域检测传感器。

显示部180包括显示器2和显示控制部182，该显示控制部182用于生成向显示器2显示的显示用数据，并进行输出控制。

图3是hmd10的软件结构图。

rom103包括hmd10的基本动作程序103a和其他程序103b。基本动作程序103a包括hmd10的启动程序、在通常启动处理的中途显示的首页画面(参照图15的首页画面1501)的显示控制程序以及与便携信息终端80的通信程序。

ram104是cpu101在执行时载入存储于rom103、存储设备110的程序的区域。在各程序的执行中，在ram104中生成基本动作执行部104a、信息显示执行部104b以及临时存储区域104c。信息显示执行部104b包括：使便携信息终端80的app画面在hmd10中显示或者不显示的画面移动中间件(middleware)104b1；以及操作执行部104b2。

画面移动中间件104b1是在hmd10的显示器2中对app画面进行显示控制的程序。在本实施方式中构成为中间件，但也可以由在os(操作系统)上工作的后台(daemon)程序、驱动程序构成。另外，也可以代替画面移动中间件104b1，由与便携信息终端80的应用分别对应的在hmd10上动作的应用构成。

存储设备110储存各种信息数据存储区域110a、信息显示程序110b以及其他程序110c。后述画面移动标志(参照图7)既可以形成于各种信息数据存储区域110a，也可以形成于ram104的临时存储区域104c。另外，后述的将显示器2分割为多个小区域而管理的小区域管理数据也被存储于各种信息数据存储区域110a。

图4是便携信息终端80的硬件结构图。与hmd10的硬件结构相同的构成要素用同一名称表示，使用符号201～282进行图示。与hmd10的硬件结构不同的点在于：不具备设置于hmd10的视线检测传感器168的点；和具备用于将终端通信模块250连接到3g、4g线路的电话网通信部253的点。此外，便携信息终端80中的内侧照相机224是指：在便携信息终端80中设置于与设置终端显示器281的面相同的面(前表面)的所谓的可进行自拍的照相机，是设置在外侧照相机223的背面的照相机。

图5是便携信息终端80的软件结构图。与hmd10的软件结构的相同的构成要素用同一名称表示，使用符号201～210c进行图示。与hmd10的软件结构不同的点在于：未设置画面移动中间件104b1的点；和具备作为与hmd10协作而使app画面显示于hmd10的软件的移动对应app204d的点。移动对应app204d是安装于便携信息终端80的各个应用软件内的、具有使app画面显示于hmd10的功能的应用软件，可以是地图导航app、电子书app等，移动对应app的功能没有限定。在本实施方式中，使用移动对应app204d进行说明，但各个app也可以并不对应于画面移动，而是在便携信息终端80上执行画面移动中间件，使显示在便携信息终端80的终端显示器281上的画面显示于hmd10。

另外，移动对应app204d可以匹配便携信息终端80、hmd10的显示能力、利用场景而准备高分辨率的显示、低分辨率的显示，也可以准备详细显示、简略显示等。

hmd10和便携信息终端80也可以经由近场无线通信、无线lan连接。另外，既可以点对点地1对1通信，也可以经由云通信。

作为使app画面从便携信息终端80移动到hmd10的方案，也可以捕捉显示于便携信息终端80的终端显示器281的app画面并发送。在该情况下，移动静止图像。在捕捉画面的情况下，也可以定期地更新画面。另外，也可以便携信息终端80以及hmd10都预先储存移动对应app204d，不通过使移动对应app204d的动作协作来转送画面数据，而是使存储于hmd10的移动对应app204d和存储于便携信息终端80的移动对应app204d同步，将与终端显示器281的画面相同的内容的画面显示于hmd10的显示器2。进而，也可以通过流媒体等手段使视频显示从移动对应app204d移动到hmd10。

参照图6～图11，说明hmd协作系统100的处理的概要。图6是示出hmd协作系统100的处理的流程的流程图。图7是示出第1实施方式所涉及的app画面显示控制处理的流程的流程图。图8是示出视觉辨认区域和便携信息终端80的位置关系(app画面不显示)的图。图9示出app画面不显示时的经由显示器2的情景。图10是示出视觉辨认区域和便携信息终端80的位置关系(app画面显示)的图。图11示出app画面显示时的经由显示器2的情景。以下，依照图6的步骤顺序进行说明。

便携信息终端80以及hmd10都启动(s01、s02)。hmd10以及便携信息终端80既可以某一方先启动，也可以同时启动，在图6的说明中，设为便携信息终端80先启动。

从便携信息终端80对hmd10发出连接请求(s03)，链接确立(s04)。

在链接确立后，作为储存于便携信息终端80的应用软件的、便携信息终端80的移动对应app204d启动(s05)，移动对应app204d对hmd10发送表示移动对应app204d已启动的app启动通知(s06)。

接收到app启动通知的hmd控制装置5使储存于hmd10的画面移动中间件104b1启动(s07)。

画面移动中间件104b1使hmd10的外侧照相机3开始拍摄，外侧照相机3开始向hmd控制装置5输出图像(s08)。外侧照相机3由于视角包括hmd10的使用者的视觉辨认区域，所以在本说明中，外侧照相机3的拍摄区域虚拟为hmd10的使用者m的视觉辨认区域。

hmd控制装置5执行使显示器2显示app画面的处理(app画面显示控制处理)(s09)。在第1实施方式中，将外侧照相机3的图像中是否拍摄有便携信息终端80用作app画面的显示开始条件(触发)。

如图7所示，画面移动app104d1取入外侧照相机3的图像(s091)，执行识别图像的被摄体(目标)是否为便携信息终端80的图像识别处理(s092)。图像识别处理的具体的算法有若干种，例如，用外侧照相机3预先拍摄便携信息终端80的前表面，将通过该拍摄得到的前表面图像预先保持为训练数据。然后，可以对来自外侧照相机3的图像进行被摄体提取处理，执行被摄体和训练数据的图案匹配处理，如果一致度为预先决定的阈值以上，则判断为便携信息终端80是被摄体。如果使用前表面图像，则还能够执行处理以使得：当在外侧照相机3的图像中以颠倒的方式拍摄有便携信息终端80、或者便携信息终端80侧倒、被置于隐蔽处而便携信息终端80的部分被遮蔽的情况下，不识别为被摄体是便携信息终端80。

在判断为被摄体是便携信息终端80时(s093/“是”)时，即在判断为如图8所示在视觉辨认区域内有便携信息终端80时，hmd控制装置5将画面移动标志的值设定为“0”(s094)，在显示器2中不显示app画面。在该情况下，如图9所示，使用者m能够透过hmd10的显示器2视觉辨认便携信息终端80。因此，使用者m并非对显示于显示器2的app画面进行视觉辨认，而是经由显示器2直接视觉辨认显示于终端显示器281的app画面。

在判断为被摄体并非便携信息终端80(s093/“否”)时，即在判断为如图10所示在视觉辨认区域内无便携信息终端80时，hmd控制装置5将画面移动标志的值设定为“1”(s095)，在显示器2中显示app画面。在该情况下，如图11所示，使用者m对显示于显示器2的app画面进行视觉辨认。

在hmd10的显示器2显示app画面的过程中，便携信息终端80的终端显示器281的app画面可以不显示，也可以继续显示app画面。便携信息终端80使app画面显示或不显示、或者从显示迁移到休眠动作(设为不显示而使画面变暗的动作)的处理既可以通过便携信息终端80具有的画面控制功能执行，也可以使移动对应app204d具有画面控制功能。

在满足app画面控制处理的结束条件时(s096/“是”)，画面移动中间件104b1结束app画面控制处理。如果不满足app画面控制处理的结束条件(s096/“否”)，则返回到s091，反复从外侧照相机3取入图像。由此，只要在链接确立中不满足结束条件，则使用者m在佩戴hmd10而观察便携信息终端80时对便携信息终端80的实际的app画面进行视觉辨认，在将便携信息终端80挪离视觉辨认区域、例如放下把持便携信息终端80的手或者将便携信息终端80放入口袋或包时，在hmd10中显示app画面。

在满足app画面控制处理的结束条件时，既可以解除hmd10与便携信息终端80的链接，也可以维持链接而仅使画面移动中间件104b1结束。由此，在再次对hmd10发送移动对应app204d的启动通知时，能够立即开始app画面的移动显示。

结束条件例如既可以是检测到使画面移动中间件104b1或者移动对应app204d结束的操作，也可以是检测到便携信息终端80、hmd10的主电源断开(off)的操作。

在图6中，以便携信息终端80的移动对应app204d为“主”、以画面移动中间件104b1为“从”进行了说明，但也可以以画面移动中间件104b1为“主”、以移动对应app204d为“从”。或者，也可以使用两者都为“主”的通信控制方式。即，也可以在从画面移动中间件104b1对便携信息终端80发出连接请求而确立链接之后，从便携信息终端80向hmd10发送移动对应app204d的启动通知。

<第2实施方式>

第2实施方式的app画面的显示开始条件与第1实施方式不同。在第1实施方式中，作为显示开始条件，将外侧照相机3的图像中是否拍摄有便携信息终端80用作条件，也就是将使用者m的视觉辨认区域中是否包括便携信息终端80用作条件，但显示开始条件不限于此。图12是示出第2实施方式所涉及的app画面显示开始条件的变化的图。

在第2实施方式中，将以下条件用作app画面显示开始条件。

设定条件：已设为app画面自动显示于hmd10的显示器2的设定？(s0911)。如果已设为自动显示的设定，则在视觉辨认区域内未包括app画面的情况下，可以使app画面显示于显示器2。

操作条件：检测到进行了设置于hmd10的主体按钮操作、遥控器操作、利用手势等的用户操作？(s0912)。可以在操作检测传感器检测到用户的操作时，使app画面显示于显示器2。

体动条件：使用来自hmd10的陀螺传感器162和加速度传感器164的输出、从外侧照相机3和内侧照相机4输出的各图像来检测hmd10的活动，并将该活动虚拟为使用者的头部(头)的活动，从而判定是否检测到使用者的头部(头)的活动？(s0913)。关于体动条件，说明为在不显示状态下检测到头部的活动时迁移到显示的显示开始条件，但在显示有app画面的状态下检测到头部的活动时，由于有时为了观察便携信息终端80也活动头部，所以在这种情况下，也可以用作从显示迁移到不显示的条件。在来自陀螺传感器162的输出中包含的角速度、来自加速度传感器164的输出中包含的加速度是为了判断为活动头部而设定的预定的阈值以上的情况下，hmd控制装置5使app画面在显示器2中从显示迁移到不显示或者从不显示迁移到显示。另外，在使用图像的情况下，例如，也可以在前后不同的时间拍摄的图像的差分量是预定的阈值以上的情况下，判断为观察的场所发生变化、即为了观察其他场所而活动了头部，使app画面在显示器2中从显示迁移到不显示或者从不显示迁移到显示。在图12中，以体动检测前是不显示为前提而进行了图示。

视线条件：检测到视线脱离了便携信息终端80？(s0914)。对外侧照相机3的图像执行图像识别处理，检测在图像的哪个区域中显示有便携信息终端80。外侧照相机3、内侧照相机4以及显示器2被固定于佩戴体1，所以在显示器2中预先标定包含于外侧照相机3的图像的各图像内的位置(像素位置)与显示器2的显示位置之间的关系，生成/存储外侧照相机位置匹配数据。

另外，视线检测传感器168从由内侧照相机4拍摄的图像中检测使用者的眼睛并追踪眼睛的位置的变化，从而检测视线的活动。因为还关联对应有内侧照相机4的图像内的位置和显示器2的显示位置的关系，所以预先生成/存储将它们关联起来的内侧照相机对位数据。

而且，通过分别将外侧照相机3的图像(拍摄有便携信息终端80)和内侧照相机4的图像(拍摄有使用者的眼睛)与外侧照相机对位数据和内侧照相机对位数据进行对照，从而检测使用者m的视线脱离便携信息终端80的情况。而且，也可以在便携信息终端80包含于视觉辨认区域并且视线处于终端显示器2上的情况下，使app画面为不显示，在便携信息终端80未包含于视觉辨认区域并且视线未处于终端显示器2上的情况下，使app画面显示于显示器2。在该情况下，在原本视觉辨认区域中未包括便携信息终端80的情况下，也可以使app画面显示于显示器2。

如图12所示，画面移动中间件104b1在判断为满足设定条件(s0911)、操作条件(s0912)、体动条件(s0913)、视线条件(s0914)中的任意一个时(s0911～s0914/任意一个“是”)，将app画面显示标志的值设定为1(s0916)，结束处理。另一方面，在判断为不满足任何一个显示开始条件(s0911～s0914)时(s0911～s0914/全部“否”)，将app画面显示标志的值设定为0(s0915)，进入到判断是否满足app画面控制处理的结束条件的处理(s0917)。上述各显示开始条件是否满足的判定顺序不限定于图12的顺序。另外，在图12中，在满足任意一个的情况下进入到步骤s0916，但也可以构成为在满足至少一个、即满足各条件中的任意一个或者满足多个条件的组合的情况下进入到步骤s0916。

根据本实施方式，能够使用与在第1实施方式中说明的在视觉辨认区域内有无便携信息终端80不同的显示开始条件进行app画面的显示或者不显示的控制，所以能够提供符合使用目的、使用状况的操作环境，并且通过由使用者m进行条件设定，能够提供符合使用者m的喜好的操作环境。此外，在第2实施方式中，也可以将在视觉辨认区域内有无便携信息终端80组合为显示开始条件。

<第3实施方式>

第3实施方式是表示与app画面的显示位置有关的变化的实施方式。关于将app画面显示于hmd10的显示器2的哪个位置，考虑各种方案。以下进行列举。

(1)向设定位置的显示：可以将app画面显示于显示器2的例如右端这样的预先决定的位置。另外，也可以由hmd控制装置5预先存储在上次结束app画面显示控制处理(s09)时显示app画面的位置，在接着再次开始app画面显示控制处理(s09)时，使app画面显示于上次的结束位置。

(2)向与app的种类对应的位置的显示：可以根据移动对应app204d的种类预先决定显示于显示器2的哪个位置。例如，如果是地图导航app，则为了确保眼睛前的视野，可以在脱离视线中心的显示器2的右端或者左端显示app画面。另一方面，如果是电子书app，则在显示器2的中央显示app画面等以便于读写，可以根据移动对应app204d的功能，改变显示位置。

(3)视线追踪：也可以由视线检测传感器168根据内侧照相机4的图像持续监测使用者m的视线，并在显示器2和视线交叉的位置显示app画面。例如，在移动对应app204d是地图导航app的情况下，在佩戴着hmd10进行步行时，在视线上显示地图，容易进行导航表示的道路与实际的道路的辨识，容易理解导航信息。

(4)关于处于hmd10的视场内的便携信息终端80脱离视场后的再显示的位置：图13是示出出镜(frameout)后的再显示位置的图。在如图13所示外侧照相机3生成沿着时间系列的多个帧(frame)而拍摄视频的情况下，将形成构成视频的帧的外边缘的各边、显示器2的各边a、b、c、d以及显示器2的小区域1、2、3、4预先对应起来。小区域1、2、3、4分别是与各边a、b、c、d邻接的区域。画面移动中间件104b1可以取得在第1帧中拍摄到的便携信息终端80在其后拍摄的第2帧中穿过哪个边(外边缘)而出镜，并在与该边对应起来的显示器2的小区域内显示app画面。

例如如图13所示，在从外侧照相机3所拍摄的帧的上边出镜的情况下，使用者m看起来是从显示器2的边a出镜，所以app画面显示于小区域1。另外，在从外侧照相机3所拍摄的帧的底边出镜的情况下，使用者m看起来是从显示器2的边c出镜，所以app画面显示于小区域3。

另外，也可以取得便携信息终端80在即将要移动到显示器2以外之前显示的位置，并在该位置显示app画面。

(5)app画面的位置调整：也可以设置用于调整将app画面移动到hmd10中之后的显示位置的单元。例如，也可以构成为：当在便携信息终端80的终端显示器281上进行滑动操作时，hmd10的显示器2的app画面与滑动操作连动地改变显示器2内的显示位置。

根据本实施方式，能够根据使用用途、用户的喜好而调整app画面的显示位置，所以能够提供视觉辨认性更高的hmd协作系统100。

<第4实施方式>

第4实施方式涉及在启动移动对应app204d之后启动hmd10时的hmd首页画面的显示控制。图14是示出本实施方式中的hmd协作系统100的序列例子的图。图15是示出hmd10的画面迁移的图。

在hmd10进行通常启动的情况下，在显示器2中显示hmd10的首页画面1501，接下来显示与hmd10的处理有关的画面。

但是，在hmd协作系统100中，也可以如图14所示，在便携信息终端80启动后(s11)，移动对应app204d启动(s12)，在发出连接请求(s13)、发送移动对应app启动通知(s14)之后，在启动了hmd10的情况下(s15)，不显示首页画面1501，而从协作通知画面1502迁移到app画面显示中画面1503、或者app画面非显示中的待机画面1504。

即，在hmd启动(s15)中，在通常启动处理中，显示器2显示首页画面1501，但在收到移动对应app启动通知而hmd10启动的情况下，之后继续进行hmd10和便携信息终端80的协作处理，所以不显示首页画面1501，而确立链接(s16)，启动画面移动中间件104b1(s17)。画面移动中间件104b1也可以接收链接确立而显示协作通知画面1502，并开始利用外侧照相机3进行拍摄(s18)，并使处理进入到app画面显示控制处理(s19)。

在本实施方式中，设想如下使用场景：在操作便携信息终端80而开始使用移动对应app204d之后，由想要在hmd10中进行画面协作的使用者m启动hmd10，但在该情况下，使用者m期望更早地在hmd10中显示app画面。通过如上所述地不显示首页画面1501而显示协作通知画面1502，不会由于使使用者m看到不想看到的首页画面1501而造成不快感，能够缓和等待app画面的显示的期间的焦虑感。

进而，作为用于缓和焦虑感的处理，也可以将协作通知画面1502也跳过而显示app画面显示中画面1503。但是，在不满足app画面显示开始条件的情况下，将不显示app画面显示中画面1503，所以使用者m无法确认能否协作。因此，也可以在满足app画面显示开始条件的情况下，在hmd10的启动后立即显示app画面显示中画面1503，仅在不满足app画面显示开始条件的情况下显示协作通知画面1502。在该情况下，画面移动中间件104b1也可以构成为：在步骤s17中不显示协作通知画面1502，在通过app画面显示控制处理(s19)中的处理判断为在显示器2中不显示app画面的情况下，显示协作通知画面1502。

根据本实施方式，在hmd协作系统100中，在不需要的情况下不显示hmd10的首页画面，能够缓和使用者m的焦虑感而提高便利性。

上述各实施方式不用于限定本发明，在不脱离本发明的要旨的范围内存在各种变更方案，它们也属于本发明的技术范围。例如，可以任意地组合上述第1～第4实施方式。