图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序与流程

本发明涉及一种图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。

背景技术：

已知有如下技术，即，使佩戴在用户的头部的头戴式显示器(以下，称为hmd(headmounteddisplay))显示使用计算机图形的虚拟图像，而使用户识别由虚拟图像创造的虚拟现实空间、或将现实空间和虚拟空间融合的增强现实空间的技术。

例如，专利文献1记载有如下技术，即，使hmd显示排列有多个图像的图像一览，并将用户连续注视预定时间以上的图像播放显示在hmd的技术。在专利文献1中，通过搭载在hmd的摄像装置摄像用户的左眼，并基于该左眼的摄像图像感测用户的视线。

以往技术文献

专利文献

专利文献1：日本特开2014-143595号公报

技术实现要素：

发明要解决的技术课题

对图像的注视时间是表示用户对图像的关心度的重要指标。因此注视时间的信息的利用价值很高。然而，在专利文献1中，只播放显示有注视时间是预定时间以上的图像，没有达到有效地利用注视时间的信息。

本发明的目的在于提供一种能够有效地利用对图像的注视时间的信息的图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。

用于解决技术课题的手段

为了解决上述问题，本发明的图像显示系统具备佩戴在用户的头部的头戴式显示器、以及头戴式显示器的控制装置，该图像显示系统包括：显示控制部，其使头戴式显示器显示排列有多个图像的图像的一览；感测部，其感测用户对图像的视线；计时部，其基于视线的感测结果，对用户对图像的注视时间进行计时；信息接收部，其接收注视时间的信息；以及信息管理部，其将图像与注视时间的信息相关联地记录在存储部。

优选本发明的图像显示系统还包括选出部，其根据来自信息管理部的注视时间的信息，从多个图像中选出至少一个关心图像。

优选本发明的图像显示系统还包括相册制作部，其制作由多个图像中的一部分的图像组构成的电子相册，并在关心图像被选出的情况下，制作包括关心图像的电子相册。

优选显示控制部使头戴式显示器显示关心图像和电子相册，优选本发明的图像显示系统还包括追加指示接收部，其接收来自用户的关心图像向电子相册的追加指示，优选相册制作部根据追加指示而制作电子相册。

优选显示控制部使多个用户的每一个用户所佩戴的头戴式显示器显示一览。在此情况下，优选本发明的图像显示系统还包括：共享指示接收部，其接收用户的共享指示；以及模式切换部，其切换共享模式和非共享模式，在该共享模式中，在多个用户之间共享进行了共享指示的指示用户的视线所在的一览中的图像，即注视图像，在该非共享模式中，不在多个用户之间共享注视图像。

优选显示控制部在共享模式中使标记显示在一览中的注视图像，而在非共享模式中使标记显示在多个用户的每一个用户的视线所在的一览中的图像。

优选共享指示接收部接收用户通过说话语音作出的共享指示。

优选本发明的图像显示系统还包括评价部，其基于评价基准而将注视时间替换为用户对图像的关心度，并且优选信息管理部作为注视时间的信息记录关心度。

优选本发明的图像显示系统还包括播放指示接收部，其接收来自用户的图像的播放指示，并且显示控制部通过头戴式显示器使用户识别将现实空间和虚拟空间融合的增强现实空间，并根据播放指示而使图像播放显示于现实空间的实际对象物。

本发明的头戴式显示器的控制装置是佩戴在用户的头部的头戴式显示器的控制装置，其包括：显示控制部，其使头戴式显示器显示排列有多个图像的图像的一览；信息接收部，其接收所述用户对所述图像的注视时间的信息，该注视时间是由感测部感测所述用户对所述图像的视线并由计时部基于所述感测部的感测结果进行计时的时间；以及信息管理部，其将图像与注视时间的信息相关联地记录在存储部。

本发明的头戴式显示器的控制装置的工作方法是佩戴在用户的头部的头戴式显示器的控制装置的工作方法，其包括：显示控制步骤，使头戴式显示器显示排列有多个图像的图像的一览；信息接收步骤，接收所述用户对所述图像的注视时间的信息，该注视时间是由感测部感测所述用户对所述图像的视线并由计时部基于所述感测部的感测结果进行计时的时间；以及信息管理步骤，将图像与注视时间的信息相关联地记录在存储部。

本发明的头戴式显示器的控制装置的工作程序是佩戴在用户的头部的头戴式显示器的控制装置的工作程序，该控制装置的工作程序使计算机执行以下功能：显示控制功能，使头戴式显示器显示排列有多个图像的图像的一览；信息接收功能，接收所述用户对所述图像的注视时间的信息，该注视时间是由感测部感测所述用户对所述图像的视线并由计时部基于所述感测部的感测结果进行计时的时间；以及信息管理功能，将图像与注视时间的信息相关联地记录在存储部。

发明效果

根据本发明，因为对用户对显示在头戴式显示器的一览中的图像的注视时间进行计时并将图像与注视时间的信息相关联地记录，所以能够提供一种能够有效地利用对图像的注视时间的信息的图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序。

附图说明

图1是表示图像显示系统的图。

图2是头戴式显示器的外观立体图。

图3是表示用户使用头戴式显示器的情形的图。

图4是用来说明增强现实空间的形成的图。

图5是构成控制服务器的计算机的框图。

图6是表示控制服务器的cpu的结构的框图。

图7是表示使多个用户的每一个所佩戴的头戴式显示器显示对应的积蓄图像一览画面的情形的图。

图8是表示评价基准的图。

图9是表示图像关心度信息的图。

图10是表示选出条件的图。

图11是表示感测部的功能的图。

图12是表示信息接收部的功能的图。

图13是表示从文件夹选择画面向积蓄图像一览画面的显示迁移的图。

图14是表示从使标记显示在用户的视线所在的一览中的积蓄图像的状态的积蓄图像一览画面向播放显示画面的显示迁移的图。

图15是表示从关心图像一览画面向电子相册的阅览画面的显示迁移的图。

图16是表示从积蓄图像一览画面的显示开始到结束的处理过程的流程图。

图17是表示从关心图像的选出到电子相册的存储的处理过程的流程图。

图18是表示第二实施方式中的从关心图像一览画面向电子相册的阅览画面的显示迁移的图。

图19是表示第二实施方式中的指示接收部及相册制作部的功能的图。

图20是带视野摄像装置的头戴式显示器的外观立体图。

图21是表示在墙壁上播放显示播放显示画面的情形的图。

图22是表示第三实施方式的控制服务器的cpu的功能的图。

图23是表示第四实施方式的控制服务器的cpu的功能的图。

图24是表示在非共享模式中的各用户视觉辨认的积蓄图像一览画面的图。

图25是表示在共享模式中的各用户视觉辨认的积蓄图像一览画面的图。

图26是表示控制装置的另一例的图。

图27是表示控制装置的再一例的图。

具体实施方式

[第一实施方式]

在图1中，图像显示系统10具备hmd11、以及相当于hmd11的控制装置的控制服务器12。图像显示系统10使hmd11显示积蓄在控制服务器12的图像，并且用户13通过hmd11阅览图像。hmd11在各用户13的自己家14被使用。hmd11安装在用户13的头部。在此，头部是指在站立的状态下位于人体的颈部以上的部分，并是包括面部等的部分。控制服务器12设置在数据中心15。

hmd11经由网络16与控制服务器12互相可通信地连接。网络16是因特网或公用网络等wan(wideareanetwork：广域网)等。在网络16中，考虑到信息安全，构建vpn(virtualprivatenetwork：虚拟专用网络)，或者使用https(hypertexttransferprotocolsecure：超文本传输安全协议)等安全级别高的通信协议。

控制服务器12具有从未图示的用户13的摄影机器或个人计算机等接收图像并积蓄该图像，且向hmd11分发图像的功能。图像包括用户13通过摄影机器摄影的图像、或用户13经由因特网下载的图像等。图像能够通过将用来识别每个用户13的用户id(identificationdata：标识数据)、用来识别每个图像的图像id、或者摄影日期时间或获取日期时间、摄影场所(gps(globalpositioningsystem：全球定位系统)信息)或者因特网上的获取场所(url(uniformresourcelocator：网址))、用户13附加的关键词等作为检索词来检索。以下，将积蓄在控制服务器12的图像称为积蓄图像43(参照图3)。

在控制服务器12中集成管理有多个用户13的积蓄图像43。控制服务器12检索根据来自hmd11的分发指示的积蓄图像43，并且将所检索的积蓄图像43分发到分发指示的指示源的hmd11。

控制服务器12还具有控制hmd11的工作的功能。具体而言，具有如下功能，即，使hmd11显示具有积蓄图像43的一览44(参照图3)的积蓄图像一览画面45(参照图3)等的各种画面的功能、以及制作由多个积蓄图像43中的一部分的图像组构成的电子相册61(参照图6)的功能等。

在图1中，控制服务器12经由网络16与多个用户13的每一个所佩戴的多个hmd11连接。控制服务器12独立地控制这些多个hmd11的每一个的工作。

在图2中，hmd11由主体部25和带部26构成。主体部25在佩戴hmd11时位于用户13的眼前。带部26在佩戴hmd11时固定于用户13的头部的上半部。

主体部25具备保护框27、屏幕28、以及视线感测摄像装置29。保护框27具有覆盖用户13的整个双眼的护目镜形状，并由透明有色的玻璃或塑料形成。虽省略图示，但保护框27的与用户13的面部接触的部分贴附有聚氨酯泡沫。

屏幕28及视线感测摄像装置29配置在保护框27的内侧。屏幕28具有眼镜形状，并与保护框27同样由透明材料形成。通过该屏幕28和保护框27，用户13用肉眼视觉辨认现实空间rs(参照图4)。即，hmd11是透射式。

另外，在与用户13的眼睛相对的屏幕28的内表面，使用计算机图形的虚拟图像从投影部(未图示)被投影显示。如所周知，投影部由显示虚拟图像的液晶等显示元件、以及将显示在显示元件的虚拟图像向屏幕28的内表面投影的投影光学系统构成。虚拟图像在屏幕28的内表面反射而向用户13的眼睛入射。由此，用户13将虚拟图像作为虚拟空间vs(参照图4)上的虚像识别。

虚拟图像包括虚拟对象物，该虚拟对象物在增强现实空间ars(参照图3)中与存在于现实空间rs的实际对象物同样由用户13识别。虚拟对象物例如是积蓄图像一览画面45。

视线感测摄像装置29例如设置在安装hmd11时与用户13的左眉梢相对的主体部25的上部左端。视线感测摄像装置29例如是可见光摄像装置，并且以预定的帧率(例如，30帧/秒)摄像用户13的左眼。由视线感测摄像装置29摄像的图像(以下，称为摄像图像)85(参照图11)被依次发送到控制服务器12。

主体部25安装有臂30，并且臂30的前端安装有麦克风31。臂30可变更长度及朝向，由此能够调节麦克风31的位置。麦克风31拾取用来对控制服务器12进行各种指示的用户13的说话语音，并作为电信号输出。向控制服务器12的指示包括积蓄图像一览画面45的分发指示(参照图6及图13)、指示电子相册61的制作的相册制作指示(参照图6及图15)等。

主体部25连接有电缆32的一端。电缆32的另一端连接于路由器等网络设备。hmd11经由该电缆32与控制服务器12通信。此外，hmd11的通信也可以是无线通信而不是使用电缆32的有线通信。

带部26是具有几厘米左右的宽度的带状绳子，并由横带33和纵带34构成。横带33缠在用户13的两侧头部和后头部。纵带34缠在用户13的前头部、头顶部、以及后头部。这些横带33及纵带34安装有未图示的带扣，能够调节长度。

图3表示用户13在自己家14使用hmd11的情形。用户13面向自己家14的墙壁40站立，举起左手41。台42放在墙壁40的墙角。此外，在图3中省略了电缆32的图示。

用户13通过hmd11识别增强现实空间ars。增强现实空间ars中显示有具有积蓄图像43的一览44的积蓄图像一览画面45。如虚线所示，墙壁40及台42的大部分由积蓄图像一览画面45掩盖。另一方面，左手41不由积蓄图像一览画面45掩盖，而位于积蓄图像一览画面45的下方。

图4表示增强现实空间ars的构成。用户13通过hmd11的屏幕28和保护框27视觉辨认墙壁40、左手41、以及台42所存在的现实空间rs。另外，用户13通过屏幕28的内表面视觉辨认积蓄图像一览画面45所存在的虚拟空间vs。由此，用户13识别将现实空间rs和虚拟空间vs融合的增强现实空间ars。

积蓄图像一览画面45的显示位置被固定于虚拟空间vs内的预定位置。由此，在增强现实空间ars中，积蓄图像一览画面45一直以相同的大小显示在相同的位置上。此外，积蓄图像一览画面45以外的各种画面的显示位置也同样地被固定于虚拟空间vs内的预定位置。

在图5中，控制服务器12具备存储装置50、存储器51、cpu(centralprocessingunit：中央处理器)52、以及通信部53。它们通过数据总线54互相连接。

存储装置50是内置在控制服务器12内的、或者通过电缆或网络被连接的硬盘驱动器、或连接安装有多个该硬盘驱动器的磁盘阵列。在存储装置50中，存储有操作系统等的控制程序、各种应用程序、以及附带在这些程序中的各种信息等。

存储器51是用于cpu52执行处理的工作存储器。cpu52通过将存储在存储装置50中的程序向存储器51加载而根据程序执行处理，统一地控制控制服务器12的各部。通信部53经由网络16进行与hmd11之间的各种信息的通信。

在图6中，存储装置50中存储有工作程序60。工作程序60是用来使构成控制服务器12的计算机作为hmd11的控制装置发挥功能的应用程序。存储装置50中除了存储有工作程序60以外，还存储有积蓄图像43、电子相册61、评价基准62、图像关心度信息63、以及选出条件64。积蓄图像43、电子相册61、以及图像关心度信息63根据每个用户13以用户id区别存储。

当工作程序60被起动时，cpu52与存储器51等协作，作为摄像图像获取部70、语音识别部71、指示接收部72、感测部73、计时部74、评价部75、信息接收部76、信息管理部77、选出部78、相册制作部79、以及显示控制部80发挥作用。

摄像图像获取部70获取从hmd11的视线感测摄像装置29以预定的帧率依次发送的摄像图像85。摄像图像获取部70将所获取的摄像图像85输出到感测部73。

语音识别部71基于来自hmd11的麦克风31的用户13的说话语音的电信号，识别说话语音的内容。语音识别部71将作为说话语音的内容的识别结果的语音信息输出到指示接收部72。

指示接收部72接收来自语音识别部71的以语音信息表示的各种指示。指示接收部72在指示是积蓄图像一览画面45的分发指示的情况下，将其输出到信息管理部77。另外，指示接收部72在指示是指示电子相册61的制作的相册制作指示的情况下，将其输出到相册制作部79。指示接收部72所接收的指示除了包括这些分发指示、相册制作指示以外，还包括积蓄图像43的播放指示(参照图14)、积蓄图像一览画面45的显示的结束指示(参照图16)、电子相册61的保存指示(参照图17)等。

感测部73基于来自摄像图像获取部70的摄像图像85，感测用户13对一览44中的积蓄图像43的视线感测部73将作为视线的感测结果的视线信息输出到计时部74、信息接收部76、以及显示控制部80。

计时部74对用户13对一览44中的积蓄图像43的注视时间进行计时。计时部74将所计时的注视时间输出到评价部75。

评价部75基于评价基准62，将来自计时部74的注视时间替换为用户13对积蓄图像43的关心度。评价部75将所替换的关心度作为注视时间的信息输出到信息接收部76。

信息接收部76具有接收来自感测部73的视线信息、以及来自评价部75的关心度的信息接收功能。另外，信息接收部76从显示控制部80接收表示多个积蓄图像43的一览44中的配置的布局信息(参照图12)。信息接收部76基于来自显示控制部80的布局信息，将来自感测部73的视线信息转换为积蓄图像43的图像id。信息接收部76将所转换的图像id和来自评价部75的关心度输出到信息管理部77。

信息管理部77具有管理存储在存储装置50中的各种信息的信息管理功能。作为该信息管理功能的一环，信息管理部77将来自信息接收部76的图像id与关心度相关联地作为图像关心度信息63记录在存储装置50中。即，存储装置50相当于存储部。

另外，信息管理部77从存储装置50读出图像关心度信息63，并将所读出的图像关心度信息63与选出条件64一起传送到选出部78。

信息管理部77根据来自指示接收部72的积蓄图像一览画面45的分发指示，从存储装置50读出积蓄图像43。并且，将所读出的积蓄图像43传送到显示控制部80。另外，信息管理部77将评价基准62传送到评价部75。

信息管理部77从相册制作部79接收电子相册61，将其存储在存储装置50。另外，信息管理部77将由未图示的积蓄图像获取部从用户13的摄影机器或个人计算机等获取的积蓄图像43存储在存储装置50中。信息管理部77例如将积蓄图像43分为每摄影日期时间或获取日期时间的文件夹90(参照图13)而存储。

选出部78根据来自信息管理部77的图像关心度信息63及选出条件64，从一览44中的多个积蓄图像43选出至少一个关心图像100(参照图15)。选出部78将所选出的关心图像100输出到相册制作部79及显示控制部80。

相册制作部79制作由多个积蓄图像43中的一部分的图像组构成的电子相册61。相册制作部79在由选出部78选出关心图像100且从指示接收部72接收相册制作指示的情况下，制作包含关心图像100的电子相册61。相册制作部79将所制作的电子相册61输出到信息管理部77及显示控制部80。

显示控制部80具有使hmd11显示积蓄图像一览画面45等的各种画面的显示控制功能。例如，显示控制部80基于来自信息管理部77的积蓄图像43，根据布局信息而生成积蓄图像一览画面45。显示控制部80将所生成的积蓄图像一览画面45输出到分发指示的指示源的hmd11。另外，显示控制部80将布局信息输出到信息接收部76。此外，布局信息与评价基准62等同样存储在存储装置50中。

这些各部70～80独立地控制多个用户13的每一个所佩戴的多个hmd11的每一个。例如，摄像图像获取部70获取来自多个用户13的每一个所佩戴的多个hmd11的摄像图像。另外，例如，如图7所示，显示控制部80生成对应于用户13a所佩戴的hmd11a的积蓄图像一览画面45a、以及对应于用户13b所佩戴的hmd11b的积蓄图像一览画面45b。并且，将积蓄图像一览画面45a显示在hmd11a，将积蓄图像一览画面45b显示在hmd11b。积蓄图像一览画面45a的一览44a中的积蓄图像43a是用户13a的，积蓄图像一览画面45b的一览44b中的积蓄图像43b是用户13b的，互相不同。

在图8中，评价基准62表示注视时间与关心度的对应关系。注视时间0秒是指用户13的视线一次也没有被投到的情况，与最低的关心度1相对应。以后，注视时间1秒以上且少于10秒与关心度2、注视时间10秒以上且少于20秒与关心度3、注视时间20秒以上且少于30秒与关心度4分别相对应。并且，注视时间30秒以上与最高的关心度5相对应。评价部75根据该评价基准62而将注视时间替换为关心度。例如，在来自计时部74的注视时间是8秒的情况下，评价部75将关心度2输出到信息接收部76。

在图9中，图像关心度信息63将积蓄图像43的图像id与作为注视时间的信息的关心度相关联地记录。在图9中，示出用户id“u001”的用户13的图像关心度信息63。例如，图像id“p003”与关心度5相关联，“p004”与关心度1相关联。根据该图像关心度信息63，能够把握用户13对多个积蓄图像43的每一个的关心度。

在图10中，选出条件64中例如登录有“关心度4以上”。即，该选出条件64是作为关心图像100选出关心度4以上的积蓄图像43的内容。因此，在图像关心度信息63是图9的例子的情况下，选出部78作为关心图像100至少选出关心度4以上的图像id“p003”、“p005”的积蓄图像43。此外，在没有满足选出条件64的积蓄图像43的情况下，当然选出部78不选出关心图像100。

在图11中，感测部73解析来自摄像图像获取部70的摄像图像85，识别用户13的左眼的内眦86和虹膜87的位置。并且，基于动点的虹膜87相对于参考点的内眦86的位置，感测用户13的视线的位置lsp位于虚拟空间vs中的一览44中的多个积蓄图像43的各显示区域88的哪一个。对各显示区域88附加有用来区别的编号。感测部73将感测为用户13的视线的位置lsp所在的显示区域88的编号作为视线信息输出。在图11中，示出感测为视线的位置lsp位于编号1的显示区域88的情况。

计时部74在从感测部73输入表示相同的显示区域88的视线信息期间，对该显示区域88的注视时间进行计时。例如，在视线的位置lsp位于编号1的显示区域88期间，对编号1的显示区域88的注视时间进行计时。并且，在视线的位置lsp从编号1的显示区域88例如移动到编号2的显示区域88的情况下，结束对编号1的显示区域88的注视时间的计时，而开始对编号2的显示区域88的注视时间的计时。

计时部74在显示积蓄图像一览画面45的期间中，在视线的位置lsp暂时离开后再次返回的情况下，也对该显示区域88的注视时间进行计时。因此，注视时间是在显示积蓄图像一览画面45的期间中视线的位置lsp所在的累积时间。在视线的位置lsp再次返回的情况下，也可以判断为用户13的关心度更高，将注视时间设为1.5倍等加权。此外，在视线信息示出显示区域88以外的位置的情况下，计时部74对注视时间不进行计时。

在图12中，从显示控制部80输出到信息接收部76的布局信息是表示显示在各显示区域88的积蓄图像43的图像id的信息。信息接收部76从该布局信息获取对应于来自感测部73的视线信息所示的显示区域88的积蓄图像43的图像id。并且，将所获取的图像id输出到信息管理部77。在图12中，示出视线信息所示的显示区域88是编号1，且输出对应于编号1的显示区域88的积蓄图像43的图像id“p001”的情况。

对用户13赋予了对控制服务器12的访问限权。显示控制部80首先使hmd11显示对控制服务器12的访问认证画面。在访问认证画面中，显示询问用户id及密码的消息。用户13说出自己的用户id及密码。该说话语音由麦克风31转换为电信号，由语音识别部71识别内容，并且由指示接收部72作为语音信息接收。并且，在未图示的认证部中，核对说话语音的用户id及密码与预先登录的用户id及密码，进行访问认证。

在访问认证后，如图13的箭头上方示图所示，显示控制部80使hmd11显示文件夹选择画面93，该文件夹选择画面93具有积蓄图像43的文件夹90的一览91及催促选择文件夹90的消息92。用户13说出想要显示一览44的文件夹90的名称。指示接收部72作为积蓄图像一览画面45的分发指示接收该文件夹90的名称的说话语音由语音识别部71识别的语音信息。显示控制部80根据该分发指示，生成如箭头下方示图所示的积蓄图像一览画面45，将其显示在分发指示的指示源的hmd11。在图13中，示出发出了“2016年6月”的文件夹90内的积蓄图像43的积蓄图像一览画面45的分发指示的情况。

如图14的箭头上方示图所示，显示控制部80基于来自感测部73的视线信息，使标记95显示在用户13的视线所在的一览44中的积蓄图像43中。标记95是围绕用户13的视线所在的积蓄图像43(由视线信息表示的显示区域88)的矩形状的边框。在图14中，示出编号1的显示区域88由视线信息表示且图像id“p001”的积蓄图像43中显示有标记95的状态。

在显示有该标记95的状态下，当用户13说出“播放”时，指示接收部72作为播放指示接收该“播放”的说话语音由语音识别部71识别的语音信息。即，指示接收部72作为播放指示接收部发挥作用。如箭头下方示图所示，显示控制部80使hmd11显示显示有标记95的积蓄图像43的播放显示画面96。在播放显示画面96中，显示显示有标记95的积蓄图像43的全尺寸的放大图像97。

另外，如图15的箭头上方示图所示，在结束积蓄图像一览画面45的显示之后，显示控制部80使hmd11显示具有选出部78所选出的关心图像100的一览101的关心图像一览画面102。在关心图像100的下部，显示表示用户13对该关心图像100的关心度的星号103。另外，在一览101的下部，显示询问电子相册61的制作的消息104。在图15中，示出图像id“p003”、“p005”、“p010”的积蓄图像43作为关心图像100被选出的情况。

在显示出该关心图像一览画面102的状态下，当用户13说出“制作相册”时，指示接收部72作为相册制作指示接收该“制作相册”的说话语音由语音识别部71识别的语音信息。相册制作部79制作包含显示在关心图像一览画面102中的关心图像100的电子相册61。

显示控制部80从相册制作部79接收电子相册61，如箭头下方示图所示，使hmd11显示电子相册61的阅览画面105。显示控制部80以模仿纸质相册的方式显示电子相册61。

在图15中，例示出混合有大尺寸的关心图像100和小尺寸的积蓄图像43的电子相册61。此外，也可以只使用关心图像100来制作电子相册61，简言之，只要至少一个关心图像100包含在电子相册61内即可。另外，也可以不接收相册制作指示，在积蓄图像一览画面45的显示结束后，自动地制作包含关心图像100的电子相册61。

在电子相册61的下部，显示询问电子相册61的保存的消息106。在阅览画面105中，当用户13例如说出“保存相册”时，指示接收部72作为相册保存指示接收该“保存相册”的说话语音由语音识别部71识别的语音信息。信息管理部77将电子相册61存储在存储装置50。

以下，参照图16及图17的流程图对通过上述结构的作用进行说明。首先，用户13将hmd11佩戴在头部。然后，经由访问认证画面访问控制服务器12。

在访问认证后，在hmd11显示图13的箭头上方示图所示的文件夹选择画面93。在显示有该文件夹选择画面93的状态下，当由用户13说出想要显示一览44的文件夹90的名称时，该说话的语音信息作为积蓄图像一览画面45的分发指示由指示接收部72接收。接着，如图13的箭头下方示图所示，在hmd11中显示积蓄图像一览画面45(图16的步骤s100、显示控制步骤)。

在显示积蓄图像一览画面45的同时，开始由摄像图像获取部70获取视线感测摄像装置29的摄像图像85。摄像图像85被从摄像图像获取部70输出到感测部73。

在感测部73中，如图11所示，基于摄像图像85感测用户13对一览44中的积蓄图像43的视线(步骤s110)。作为该视线的感测结果的视线信息被输出到计时部74、信息接收部76、以及显示控制部80。

在计时部74，对用户13对一览44中的积蓄图像43的注视时间进行计时(步骤s120)。这些步骤s100～s120的各处理直到由用户13指示结束积蓄图像一览画面45的显示(步骤s130中的yes)为止反复继续。此外，结束指示例如通过说出“结束显示”等来进行。

在积蓄图像一览画面45的显示结束后，注视时间被输出到评价部75，且在评价部75被替换为关心度(步骤s140)。关心度被输出到信息接收部76。

在信息接收部76，接收来自感测部73的视线信息、以及来自评价部75的关心度(步骤s150、信息接收步骤)。如图12所示，视线信息被转换为积蓄图像的图像id。图像id及关心度被输出到信息管理部77。

图像id及关心度由信息管理部77作为图像关心度信息63相关联地记录在存储装置50(步骤s160、信息管理步骤)。

在记录图像关心度信息63之后，图像关心度信息63及选出条件64从信息管理部77被传送到选出部78。在选出部78，从一览44中的多个积蓄图像43中选出关心图像100(图17的步骤s200)。关心图像100被输出到相册制作部79及显示控制部80。

在hmd11中，显示图15的箭头上方示图所示的关心图像一览画面102(步骤s210)。在显示有该关心图像一览画面102的状态下，当由用户13说出“制作相册”时，该说话的语音信息作为相册制作指示由指示接收部72接收(在步骤s220中的yes)。相册制作指示被输出到相册制作部79。

在从指示接收部72接收到相册制作指示的情况下，在相册制作部79制作包含关心图像100的电子相册61(步骤s230)。电子相册61被输出到信息管理部77及显示控制部80。

在hmd11中，显示图15的箭头下方示图所示的电子相册61的阅览画面105(步骤s240)。在显示有该阅览画面105的状态下，当由用户13说出“保存相册”时，该说话的语音信息作为相册保存指示由指示接收部72接收(步骤s250中的yes)。根据该相册保存指示，由信息管理部77将来自相册制作部79的电子相册61存储在存储装置50中(步骤s260)。

此外，在由用户13说出“不制作”等来发出与相册制作指示相反的指示的情况下(步骤s220中的no)，结束处理。另外，在由用户13说出“不保存”等来发出与相册保存指示相反的指示的情况下(步骤s250中的no)，也同样结束处理。

因为对用户13对积蓄图像一览画面45的一览44中的积蓄图像43的注视时间进行计时，并将积蓄图像43的图像id与作为注视时间的信息的关心度相关联地作为图像关心度信息63记录，所以能够有效地利用对积蓄图像43的注视时间的信息，例如根据图像关心度信息63而选出关心图像100，制作包含关心图像100的电子相册61等。

因为根据来自信息管理部77的图像关心度信息63而由选出部78选出关心图像100，所以用户13只要随着关心阅览积蓄图像一览画面45即可，而无需进行从一览44中的积蓄图像43选出自己关心的图像的作业。因此，能够提高用户13的便利性。

因为在相册制作部79制作包含关心图像100的电子相册61，所以能够简单地制作强烈地反映了用户13对积蓄图像43的关心度的电子相册61。

因为在评价部75将注视时间替换为关心度，并将所替换的关心度作为注视时间的信息记录，所以能够将注视时间的信息简单化。因此，还能够将关心图像100的选出条件64简略化。

此外，也可以不将注视时间替换为关心度，而是作为注视时间的信息记录注视时间本身。在此情况下，对于选出条件64，例如可设定为注视时间20秒以上等。也可以作为选出条件64事先设定关心图像100的选出数量，从注视时间长的图像按顺序选出关心图像100，当所选出的关心图像100达到选出数量时停止选出。

或者，也可以设置用户13主体地选出关心图像100的gui(graphicaluserinterface：图形用户界面)，计算出由gui选出的关心图像100和根据电子相册61的页数等而决定的预计选出数之间的差分，由选出部78只选出不够的张数。通过该结构，在用户13选出想要登载在电子相册61中的图像的作业中，能够补助地选出用户13的关心高的图像。因此，能够在沿袭优先考虑用户13的意图的以往的电子相册的制作过程的同时，高效率地选出用户13不会感到不舒服且关心的图像。

另外，此时也可以构成为，与用户13自己利用gui选择的图像类似的图像即使其注视时间比较长且满足选出条件64，也由选出部78作为关心图像100不选出。将计算出图像的类似度的周知的图像解析技术用于类似的图像的判定。或者，也可以根据图像的摄影日期时间的近似度而判定。

例如，在用户13从连续摄影多次同一被摄体而得到的多个图像中选出一个图像的情况下，有可能一边比较多个图像一边选出。在此情况下，如上所示，优选从关心图像100的候选排除类似的图像，以免将多个同一被摄体的图像、类似的构图的图像等选入关心图像100。

[第二实施方式]

在上述第一实施方式中，例示出在由选出部78选出关心图像100时重新制作包含关心图像100的电子相册61的情况，但在已经有电子相册61的情况下，当然可以考虑由用户13提出想要对该已有的电子相册61追加关心图像100的要求。于是，在图18及图19所示的第二实施方式中，对已有的电子相册61追加关心图像100。此外，以下，将已有的电子相册61称为电子相册61e。

在第二实施方式中，显示控制部80在积蓄图像一览画面45的显示结束后，使hmd11显示图18的箭头上方示图所示的关心图像一览画面110。在关心图像一览画面110中，除了显示与上述第一实施方式的图15所示的关心图像一览画面102相同的一览101以外，还显示询问是否将关心图像100向电子相册61e追加的消息111、以及图标方式的电子相册61e。

使关心图像一览画面110显示电子相册61e的过程如下。首先，信息管理部77从存储装置50读出电子相册61e。在有多个电子相册61e的情况下，信息管理部77读出最新的电子相册61e。信息管理部77将所读出的电子相册61e传送到相册制作部79及显示控制部80。显示控制部80使来自信息管理部77的电子相册61e显示在关心图像一览画面110。

在显示有该关心图像一览画面110的状态下，当用户13说出“追加”时，如图19所示，指示接收部72作为向电子相册61e的关心图像100的追加指示接收该“追加”的说话语音由语音识别部71识别的语音信息。即，在第二实施方式中，指示接收部72作为追加指示接收部发挥作用。

在图19中，指示接收部72将追加指示输出到相册制作部79。相册制作部79根据来自指示接收部72的追加指示，将来自选出部78的关心图像100追加到来自信息管理部77的电子相册61e，制作电子相册61。相册制作部79将所制作的电子相册61输出到显示控制部80。此外，在图19中，仅示出说明所需的指示接收部72、相册制作部79，省略了感测部73或计时部74等其他部的图示。

与上述第一实施方式的图15的箭头下方示图所示的情况相同地，如图18的箭头下方示图所示，显示控制部80使hmd11显示来自相册制作部79的电子相册61的阅览画面105。以后的电子相册61的存储等的处理因为与上述第一实施方式相同，所以省略其说明。

如上所述，因为接收来自用户13的向电子相册61e的关心图像100的追加指示，并根据追加指示而制作电子相册61，所以无需每次在选出关心图像100时制作电子相册61，能够减少电子相册61的数量。因此，容易整理电子相册61、乃至积蓄图像43。

此外，在有多个电子相册61e的情况下，也可以构成为用户13能够选择追加关心图像100的电子相册61e。另外，也可以追加编辑电子相册61e的功能，例如统合多个电子相册61e而制作一个电子相册61，删除对电子相册61e追加的关心图像100，或变更关心图像100的布局(大小、贴附位置)等。

[第三实施方式]

在上述第一实施方式中，如图14所示，根据显示有标记95的积蓄图像43的播放指示，使hmd11显示具有放大图像97的播放显示画面96。但是，播放显示画面96的显示位置与其他画面同样地固定在虚拟空间vs内的预定位置。于是，在图20～图22所示的第三实施方式中，将具有放大图像97的播放显示画面96播放显示在现实空间rs的实际对象物中。

在图20中，在第三实施方式的hmd115，除了设置有上述第一实施方式的hmd11的各部以外，还设置有视野摄像装置116。视野摄像装置116例如当佩戴hmd115时设置在与用户13的眉间相对的主体部25的上部中央。视野摄像装置116以预定的帧率(例如30帧/秒)摄像与用户13通过hmd115识别的增强现实空间ars大致相同的视野。视野摄像装置116将所摄像的图像(以下，称为视野图像)121(参照图22)依次发送到控制服务器12。

如图21所示，在第三实施方式中，自己家14的墙壁上40贴附有标志117。标志117例如是在正方形的框上描绘有黑白色的规则图案和可识别上下左右的识别线的薄片。标志117表示现实空间rs中的播放显示画面96的出现位置。即，贴附有标志117的墙壁40相当于播放显示积蓄图像43的现实空间rs的实际对象物。

在此情况下，用户13如图14所示通过说出“播放”来进行显示有标记95的积蓄图像43的播放指示。然后，如虚线箭头所示，将视线的位置lsp与标志117对齐。如此一来，如增强现实空间ars所示，能够视觉辨认显示在以标志117为中心的预定区域的播放显示画面96。

在图22中，在第三实施方式中，除了上述第一实施方式的图6所示的各部70～80(未图示)以外，还将视野图像获取部118、标志检测部119、以及画面编辑部120构建于cpu52。

视野图像获取部118获取从hmd115的视野摄像装置116以预定的帧率依次发送的视野图像121。视野图像获取部118将所获取的视野图像121输出到标志检测部119。

在用户13的视线的位置lsp放置于标志117的情况下，在视野图像121中如图所示拍摄有标志117。标志检测部119使用周知的图像识别技术来识别视野图像121内的标志117。并且，检测出构成视野图像121内的标志117的正方形的边的长度、角度、能够识别上下左右的识别线所描述的位置，基于这些和对应信息122，检测出hmd115(用户13的眼睛)相对于标志117的三维位置。标志检测部119将所检测出的位置的信息(以下，称为位置信息)输出到画面编辑部120。

位置信息例如是以标志117的中心为原点的三维空间中的hmd115的位置坐标。另外，对应信息122是用来求出以标志117的中心为原点的三维空间中的hmd115的位置坐标的计算公式。该计算公式例如以构成视野图像121内的标志117的正方形的边的长度、角度、能够识别上下左右的识别线所描述的位置作为变数。此外，以标志117的中心为原点的三维空间是指以标志117的中心为原点且以放置有标志117的平面(在此情况下，墙壁40)为xy平面，并以与放置有标志117的平面垂直的轴(在此情况下，水平轴)为z轴的三维空间。

画面编辑部120根据来自标志检测部119的位置信息而编辑基于从信息管理部77接收的显示有标记95的积蓄图像43而成的播放显示画面96。更详细而言，画面编辑部120以成为从位置信息所表示的hmd115的位置观看时的朝向及大小的方式，对播放显示画面96进行旋转处理及放大缩小处理。画面编辑部120将所编辑的播放显示画面96输出到显示控制部80。

因为在画面编辑部120基于位置信息编辑播放显示画面96，所以例如当用户13接近标志117时，随着接近而放大显示播放显示画面96。与此相反，当用户13远离标志117时，随着远离而缩小显示播放显示画面96。即，播放显示画面96的显示根据hmd115(用户13)与标志117的三维位置关系而变更。

如上所述，因为将播放显示画面96(积蓄图像43)播放显示在现实空间rs的实际对象物中，所以用户13能够在自己喜欢的地方投影播放显示画面96来欣赏。

此外，播放显示播放显示画面96的现实空间rs的实际对象物不限于上述例子的墙壁40。例如，可以是天花板或桌子，也可以是纸质相册，也可以是相框。另外，也可以不使用标志117，而采用使播放显示画面96出现在所设定的特定的实际对象物的方法。在此情况下，利用图像识别技术识别在视野图像121中拍摄的特定的实际对象物，将所识别的特定的实际对象物视为标志117，并使播放显示画面96显示在特定的实际对象物上。

此外，在上述第一实施方式中例示出透射式hmd11，但在使用第三实施方式的hmd115那样的带视野摄像装置116的hmd的情况下，也可以使用如下非透射式hmd，即，使虚拟图像与从视野摄像装置116输出的视野图像121重叠而投影显示在屏幕28的内表面的非透射式hmd。

[第四实施方式]

如图7所示，显示控制部80能够使多个用户13的每一个所佩戴的hmd11显示积蓄图像一览画面45。在图7中，设为对应于多个用户13的hmd11的各积蓄图像一览画面45是互相不同的内容，但当然也可以使多个用户13的hmd11显示相同内容的积蓄图像一览画面45。

在使多个用户13的hmd11显示相同内容的积蓄图像一览画面45的情况下，设为例如使用因特网电话功能等，通过利用麦克风31转换为电信号的说话语音，在位于远程位置的多个用户13能够进行沟通的状态。由此，能够在多个用户13之间愉快地交谈的同时阅览积蓄图像43。

在这样的情形中，有时有一个用户13想与其他用户13共享自己关心的积蓄图像43。于是，在图23～图25所示的第四实施方式中，容易在多个用户13之间共享积蓄图像43。

在图23中，在第四实施方式，除了上述第一实施方式的图6所示的各部70～80(指示接收部72以外未图示)以外，还将模式切换部125构建于cpu52中。指示接收部72接收“这个图像”的用户13通过说话语音作出的共享指示。即，在第四实施方式中，指示接收部72相当于共享指示接收部。指示接收部72将共享指示输出到模式切换部125。

模式切换部125切换共享模式和非共享模式。共享模式是在多个用户13之间共享进行了共享指示的用户13的视线所在的一览44中的积蓄图像43的模式。另一方面，非共享模式是不在多个用户13之间共享用户13的视线所在的积蓄图像的模式。以下，将进行了共享指示的用户13称为指示用户，将指示用户的视线所在的一览44中的积蓄图像43称为注视图像。

模式切换部125通常将模式设定为非共享模式，在接收来自指示接收部72的共享指示时将模式切换为共享模式。模式切换部125从切换为共享模式经过预定时间(例如30秒)之后，将模式自动地返回到非共享模式。模式切换部125将该模式的信息(以下，称为模式信息)输出到显示控制部80。

在来自模式切换部125的模式信息是共享模式的情况下，显示控制部80在所有的用户13的积蓄图像一览画面45中使标记95显示在注视图像。另一方面，在来自模式切换部125的模式信息是非共享模式的情况下，显示控制部80使标记95显示在多个用户13的每一个的视线所在的一览44中的积蓄图像43。

图24及图25表示用户13a和13b这两个人通过hmd11a和hmd11b阅览相同内容的积蓄图像一览画面45a和45b的情况。图24是非共享模式的情况，图25是共享模式的情况。用户13a和13b例如处于通过因特网电话功能等能够通过说话语音互相沟通的状态。此外，分别对积蓄图像43、一览44、以及积蓄图像一览画面45附加“a”、“b”而便于区别，但是这些是完全相同的内容。

在非共享模式的情况的图24中，用户13a的视线的位置lsp-a位于图像id“p001”的积蓄图像43a。另一方面，用户13b的视线的位置lsp-b位于图像id“p009”的积蓄图像43b。因此，在积蓄图像一览画面45a中，在图像id“p001”的积蓄图像43a显示有标记95a，而在积蓄图像一览画面45b中，在图像id“p009”的积蓄图像43b显示有标记95b。

在图25中，当用户13a说出“这个图像”时，指示接收部72作为共享指示接收该说话语音由语音识别部71识别的语音信息。并且，模式切换部125将模式从图24的非共享模式切换为共享模式。如此一来，在积蓄图像一览画面45b中，显示在图像id“p009”的积蓄图像43b的标记95b被移动到图像id“p001”的积蓄图像43b。在经过预定时间之后，自动地返回到图24的非共享模式的状态。在此情况下，用户13a相当于指示用户，图像id“p001”的积蓄图像43相当于注视图像。

如上所述，因为具有接收用户13的共享指示而在多个用户13之间共享进行了共享指示的指示用户的视线所在的注视图像的共享模式，并在共享模式中使标记95显示在注视图像，所以能够容易在多个用户13之间共享注视图像。

另外，因为切换共享模式和非共享模式，所以能够只在一个用户13希望与其他用户13共享注视图像时切换为共享模式。因此，可防止一个用户13的注视图像轻率地被其他用户13知道，从而能够保护用户13的隐私。

因为共享指示是通过“这个图像”等用户13的简单的说话语音来进行的，所以能够无需向其他用户13详细地说明注视图像的特征(拍摄的人物的名字、风景的地名、或颜色、物体的配置等)即可共享注视图像。另外，因为从切换为共享模式经过预定时间之后将模式自动地返回到非共享模式，所以用户13无需进行返回到非共享模式的指示，并且也不会发生如下情况，即，由于忘记返回到非共享模式而导致无意之中自己的视线被其他用户13知道的情况。

在图24及图25中，将用户13设为用户13a、13b两个人，但用户13也可以是两个人以上。另外，在图24中，例示出在非共享模式中各用户13a、13b阅览相同内容的积蓄图像一览画面45a、45b的情况，但本发明不限于此。在非共享模式中，各用户13也可以阅览不同内容的积蓄图像一览画面45。在此情况下，在切换为共享模式时，使其他用户13的hmd11显示与指示用户正在阅览的积蓄图像一览画面45相同的内容的积蓄图像一览画面45。

此外，共享指示不限于用户13的说话语音。例如，也可以接收通过用户13的手的手势来进行的共享指示。在此情况下，使用图20所示的带视野摄像装置116的hmd115。并且，由视野摄像装置116摄像用户13的手的手势，利用图像识别技术检测出视野图像121中拍摄的手势。另外，例如，通过使用电视电话功能等，预先设定能够在多个用户13之间视觉辨认其他用户13的手势的状态。作为共享指示的手势，例如，可采用伸出食指指向前方的手势、或者“共享”这一手语等。

不仅共享指示，积蓄图像一览画面45的分发指示、电子相册61的相册制作指示、或对电子相册61e的关心图像100的追加指示等其他指示也可以是通过用户13的手的手势来进行的指示而不是通过说话语音的指示。例如，作为追加指示的手势，可采用如下拖放的手势，即，在图18的箭头上方示图所示的显示有关心图像一览画面110的状态下，用手指选择关心图像100并使其移动到图标方式的电子相册61e的拖放的手势。

另外，关于积蓄图像43的播放指示，也可以采用专利文献1所记载的、播放显示用户连续注视预定时间以上的图像的技术。

进而，也可以使用户13把持操作部来接收来自该操作部的各种指示。

评价基准62不限于上述第一实施方式所例示出的。例如，也可以将关心度设定为高中低的三阶段而非设定为1～5的五阶段。另外，也可以采用用户13可以定制评价基准62的方式，例如变更注视时间的秒数等。选出条件64也同样地，也可以采用用户13可以定制的方式，例如将关心度4以上变更为关心度3以上等。

积蓄图像一览画面45的分发指示或电子相册61的相册制作指示等指示的说话语音的语句也不限于上述各实施方式所例示出的。另外，也可以采用用户13可以定制的方式。例如，将相册制作指示的“相册制作”变为“制作相册”，或将共享指示的“这个图像”变为“这个”。

也可以将积蓄图像一览画面45与关心图像一览画面102或110统合。具体而言，也可以在积蓄图像一览画面45中与积蓄图像43的一览44排列地显示关心图像100的一览101。另外，也可以在积蓄图像一览画面45中显示图18所示的图标方式的电子相册61e。因为通过将积蓄图像一览画面45与关心图像一览画面102或110统合，画面的显示迁移减少，所以能够将外观简洁化。

hmd11不限于如上述各实施方式那样用护目镜形状的保护框27覆盖用户13的整个双眼且将带部26固定于用户13的头部的类型。也可以使用具有钩挂用户13的耳朵的镜腿、接触于内眦下部的鼻托、保持屏幕的镜框等眼镜类型的hmd。

视线感测摄像装置29也可以不安装在hmd11上。只要至少能够摄像用户13的眼球的动作，对视线感测摄像装置29的设置位置没有限制。此外，图20所示的视野摄像装置116也可以不安装在hmd115上。因此，视野摄像装置116也可以不是摄像与用户13通过hmd115识别的增强现实空间ars相同的视野的装置。

在上述第一实施方式中，作为视线感测摄像装置29使用可见光摄像装置，并基于摄像图像85中拍摄的虹膜87相对于内眦86的位置而感测用户13的视线，但本发明不限于此。也可以作为视线感测摄像装置29使用红外线摄像装置，以参考点为角膜反射，以动点为瞳孔来感测用户13的视线。

也可以通过hmd11使用户13识别将现实空间rs的信息遮断而仅通过虚拟图像创造的虚拟现实空间，而非上述各实施方式的增强现实空间ars。

在上述各实施方式中，使控制服务器12具有hmd11的控制装置的功能，但本发明不限于此。例如，如图26所示，用户13所拥有的个人计算机130也可以具有控制装置的功能的全部或一部分。例如，个人计算机130具有除了信息接收部76及信息管理部77以外的功能。在此情况下，由控制服务器12和个人计算机130构成控制装置。另外，将视线信息、关心度、布局信息、电子相册61等从个人计算机130发送到控制服务器12，并将积蓄图像43、图像关心度信息63、选出条件64等从控制服务器12发送到个人计算机130。

或者，如图27所示，可以使用户13可佩戴在腰部等处来携带的移动计算机135具有控制装置的功能。在此情况下，具有控制装置的功能的移动计算机135也可以不是图26所示的市售的个人计算机130，而是专用于图像显示系统10的专用制品。此外，也可以在hmd11本身搭载控制装置的功能。在此情况下，hmd11本身成为控制装置。

或者，也可以使与控制服务器12不同的网络服务器具有积蓄及分发图像的功能，并且控制服务器12也可以专用于除了积蓄及分发图像的功能以外的功能。进而，也可以是设置在自己家14内的本地服务器而非控制服务器12等的网络服务器具有控制装置的功能。

如上所述，构成本发明的控制装置的计算机的硬件结构可以进行各种变形。以处理能力和可靠性的提高为目的，也可以由作为硬件分离的多个计算机构成控制装置。例如，使三个计算机分散地具有：摄像图像获取部70、感测部73、以及计时部74的功能；评价部75、信息接收部76、信息管理部77、选出部78、相册制作部79、以及显示控制部80的功能；以及语音识别部71及指示接收部72的功能。在此情况下，由三个计算机构成控制装置。

如上所述，计算机的硬件结构可以根据处理能力、安全性、可靠性等所要求的性能而适当地变更。另外，不限于硬件，对于工作程序60等应用程序也同样，以确保安全性和可靠性为目的，当然可以进行双重化，或者分散地存储在多个存储装置。

此外，作为设置在控制装置的部，至少包括信息接收部76、信息管理部77、以及显示控制部80即可。例如，语音识别部71、感测部73、计时部74也可以设置在hmd11而不设置在控制装置。

hmd11的使用环境不限于自己家14。只要可以与控制装置连接即可，既可以是用户13的外出目的地的建筑物内，也可以是室外。

在上述各实施方式中，例如，摄像图像获取部70、语音识别部71、指示接收部72、感测部73、计时部74、评价部75、信息接收部76、信息管理部77、选出部78、相册制作部79、显示控制部80、视野图像获取部118、标志检测部119、画面编辑部120、模式切换部125等进行各种处理的处理部(processingunit：处理单元)的硬件结构是如下所示的各种处理器(processor)。

在各种处理器中，包括cpu、可编程逻辑器件(programmablelogicdevice：pld)、专用电路等。cpu如所周知是执行软件(程序)而作为各种处理部发挥功能的通用处理器。pld是fpga(fieldprogrammablegatearray：现场可编程逻辑门阵列)等的在制造后可变更电路结构的处理器。专用电路是asic(applicationspecificintegratedcircuit：专用集成电路)等的具有为了执行特定的处理而设计成专用的电路结构的处理器。

一个处理部既可以由这些各种处理器中之一构成，又可以由同种或异种的两个以上的处理器的组合(例如，多个fpga的组合、或cpu与fpga的组合)构成。另外，也可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第一，有由一个以上的cpu与软件的组合构成一个处理器，且该处理器作为多个处理部发挥功能的方式。第二，有如以芯片上系统(systemonchip：soc)等为代表，使用由一个ic芯片实现包括多个处理部的系统整体的功能的处理器的方式。如上所述，各种处理部作为硬件结构使用一个以上的上述各种处理器而构成。

另外，这些各种处理器的硬件结构，更具体而言，是组合半导体元件等电路元件而成的电路(circuitry)。

根据上述记载，能够把握以下附录1所记载的图像显示系统、以及附录2所记载的头戴式显示器的控制装置。

[附录1]

一种图像显示系统，其具备佩戴在用户的头部的头戴式显示器、以及所述头戴式显示器的控制装置，所述图像显示系统包括：

显示控制处理器，其使所述头戴式显示器显示排列有多个图像的图像一览；

感测处理器，其感测所述用户对所述图像的视线；

计时处理器，其基于所述视线的感测结果，对所述用户对所述图像的注视时间进行计时；

信息接收处理器，其接收所述注视时间的信息；以及

信息管理处理器，其将所述图像与所述注视时间的信息相关联地记录在存储部。

[附录2]

一种头戴式显示器的控制装置，该头戴式显示器佩戴在用户的头部，所述控制装置包括：

显示控制处理器，其使所述头戴式显示器显示排列有多个图像的图像一览；

信息接收处理器，其接收所述用户对所述图像的注视时间的信息，该注视时间是由感测部感测所述用户对所述图像的视线并由所述计时部基于所述感测部的感测结果进行计时的时间；以及

信息管理处理器，其将所述图像与所述注视时间的信息相关联地记录在存储部。

本发明也可以适当地组合上述各种实施方式和各种变形例。例如，也可以复合地进行第一实施方式和第二实施方式、或第三实施方式和第四实施方式。另外，不限于上述各实施方式，当然也可以在不脱离本发明的要旨的范围内采用各种结构。另外，本发明不但涉及程序，而且还涉及存储程序的存储介质。

符号说明

10图像显示系统

11、11a、11b、115头戴式显示器(hmd)

12控制服务器(控制装置)

13、13a、13b用户

14自己家

15数据中心

16网络

25主体部

26带部

27保护框

28屏幕

29视线感测摄像装置

30臂

31麦克风

32电缆

33横带

34纵带

40墙壁

41左手

42台

43、43a、43b积蓄图像

44、44a、44b积蓄图像一览

45、45a、45b积蓄图像一览画面

50存储装置

51存储器

52cpu

53通信部

54数据总线

60工作程序

61、61e电子相册

62评价基准

63图像关心度信息

64选出条件

70摄像图像获取部

71语音识别部

72指示接收部(追加指示接收部、共享指示接收部、播放

指示接收部)

73感测部

74计时部

75评价部

76信息接收部

77信息管理部

78选出部

79相册制作部

80显示控制部

85摄像图像

86内眦

87虹膜

88显示区域

90文件夹

91文件夹一览

92、104、106、111消息

93文件夹选择画面

95、95a、95b标记

96播放显示画面

97扩大图像

100关心图像

101关心图像一览

102、110关心图像一览画面

103星号

105电子相册的阅览画面

116视野摄像装置

117标志

118视野图像获取部

119标志检测部

120画面编辑部

121视野图像

122对应信息

125模式切换部

130个人计算机(控制装置)

135移动计算机(控制装置)

ars增强现实空间

rs现实空间

vs虚拟空间

lsp、lsp-a、lsp-b视线的位置

s100～s160、s200～s260步骤