图像提供系统的制作方法

本发明涉及图像提供系统，特别涉及利用头戴式显示器的影像显示技术。

背景技术：

以往开始就一直在开发着利用头戴式显示器的影像显示系统。并且，还开发着在这种头戴式显示器进行视线检测来进行基于视线的输入的技术(例如参照专利文献1)。

利用头戴式显示器，不仅能够单人欣赏影像，也能够多人同时欣赏同一影像。

现有技术文献

专利文献

专利文献1：日本特开2012-32568号公报

然而，与像一般的电影欣赏一样多人同时欣赏显示于同一屏幕上的影像的情况相比，用各自不同的头戴式显示器欣赏影像的情况难于与他人共享影像。并且，管理利用各头戴式显示器的多个用户存在难度。

技术实现要素：

鉴于上述问题，本发明的目的在于提供一种能够在多个头戴式显示器显示影像且能够管理多个用户的图像显示系统。

本发明一实施方式的图像提供系统将多个头戴式显示系统与服务器相连接，服务器包括：第一通信控制部，向所连接的头戴式显示系统发送图像数据；生成部，与图像数据对应地生成与从头戴式显示系统发送的与用户视线有关的信息相对应的新的图像数据，并向第一通信控制部输出；头戴式显示系统包括：显示部，用于显示从服务器供给的图像数据；检测部，用于对察看显示于显示部的图像数据的用户的视线进行检测；第二通信控制部，向服务器发送与检测部所检测出的视线有关的信息。

生成部可生成图像数据中包含与多个头戴式显示系统所检测出的视线有关的信息的图像数据，第一通信控制部可发送包含视线的图像数据。

多个头戴式显示系统中的至少一个可为主系统，其他头戴式显示系统为客户系统，生成部可生成图像数据中包含与多个客户系统所检测出的视线有关的信息的图像数据，第一通信控制部可向主系统发送包含与视线有关的信息的图像数据。

主系统还可包括输入部，输入部从用户接收请求生成追加了与包含在图像数据中的视线相对应的信息的图像数据的请求输入，主系统的第二通信控制部可向服务器发送输入于输入部的请求信号，生成部可生成与从主系统发送的请求信号相对应的新的图像数据。

生成部可以只追加与从多个头戴式显示系统之中选择的头戴式显示系统所检测出的视线有关的信息来生成新的图像数据。

服务器还可包括分类部，分类部按照将图像数据中视线的位置满足预定的条件的用户分为一个群组的方式将多个用户分类，生成部可对应每个属于被分类部分类的群组的用户生成图像数据。

服务器还可包括抽取部，抽取部用于抽取视线凝视位置与目标位置不同的用户，生成部可生成用于将被抽取部抽取的用户引导至目标位置的图像数据。

请求信号可包含与所分类的用户的群组有关的群组信息，生成部可生成包含群组信息的图像数据。

请求信号可包含用于引导视线的引导信息，生成部可生成包含引导信息的图像数据。

并且，本发明一实施方式的服务器作为与多个头戴式显示系统相连接的利用于图像提供系统的服务器，包括：第一通信控制部，向所连接的头戴式显示系统发送图像数据；生成部，与上述图像数据对应地生成与从头戴式显示系统发送的与用户视线有关的信息相对应的新的图像数据，并向第一通信控制部输出。

并且，本发明一实施方式的图像提供方法作为用于服务器和多个头戴式显示系统相连接的图像提供系统中的图像提供方法，包括如下步骤：服务器向所连接的头戴式显示系统发送图像数据的步骤；头戴式显示系统显示从服务器供给的图像数据的步骤；头戴式显示系统对察看显示于显示部的图像数据的用户的视线进行检测的步骤；头戴式显示系统向服务器发送与所检测出的视线有关的信息的步骤；服务器生成和与从头戴式显示系统发送的用户视线有关的信息相对应的新的图像数据并发送给头戴式显示系统的步骤。

并且，本发明一实施方式的图像提供程序使图像提供服务器与多个头戴式显示系统相连接的图像提供系统实现如下的步骤：服务器向所连接的头戴式显示系统发送图像数据的步骤；与上述图像数据相对应地生成与从头戴式显示系统发送的用户视线有关的信息相对应的新的图像数据，并发送给头戴式显示系统的步骤。

根据本发明，能够在多个头戴式显示器显示影像，并管理多个用户。

附图说明

图1为表示第一实施方式的图像提供系统的简图。

图2的(a)部分为表示第一实施方式的图像提供系统的服务器的结构的块图，图2的(b)部分为表示第一实施方式的图像提供系统的头戴式显示系统的结构的块图。

图3为表示用户装戴第一实施方式的头戴式显示器的样子的外观图。

图4为示意性地表示第一实施方式的头戴式显示器的图像显示系统的大致外观的立体图。

图5为示意性地表示第一实施方式的头戴式显示器的图像显示系统的光学结构的图。

图6为说明用于检测第一实施方式的头戴式显示系统的视线方向的校准的示意图。

图7为表示用户的眼角膜的位置坐标的示意图。

图8为说明第一实施方式的图像提供系统的服务器的处理的流程图。

图9为说明第一实施方式的图像提供系统的头戴式显示系统的处理的流程图。

图10的(a)部分至图10的(c)部分为显示于第一实施方式的图像提供系统的头戴式显示系统的画面数据的一例。

图11为说明第一实施方式的图像提供系统的服务器的再一处理的流程图。

图12的(a)部分、图12的(b)部分为显示于第一实施方式的图像提供系统的头戴式显示系统的画面数据的再一例。

图13为说明第一实施方式的图像提供系统的服务器另一处理的流程图。

图14的(a)部分至图14的(c)部分为显示于第一实施方式的图像提供系统的头戴式显示系统的画面数据另一例。

图15的(a)部分至图15的(c)部分为显示于第一实施方式的图像提供系统的头戴式显示系统的画面数据的还一例。

图16为表示第二实施方式的图像提供系统的简图。

图17的(a)部分至图17的(c)部分为显示于第二实施方式的图像提供系统的主系统的画面数据的一例。

图18为说明第二实施方式的图像提供系统的主系统的处理的流程图。

图19的(a)部分为表示服务器的电路结构的块图，图19的(b)部分为表示头戴式显示系统的电路结构的块图。

图20为表示第三实施方式的头戴式显示系统的结构的块图。

图21的(a)部分、图21的(b)部分为说明第三实施方式的头戴式显示系统的处理的流程图。

图22的(a)部分、图22的(b)部分为显示于第三实施方式的头戴式显示系统的可视化的一例。

图23的(a)部分至图23的(c)部分为显示于第三实施方式的头戴式显示系统的可视化的另一例。

图24表示第四实施方式的影像显示系统，是影像显示系统结构的块图。

图25表示第四实施方式的影像显示系统，是表示影像显示系统的动作的流程图。

图26表示第四实施方式的影像显示系统，是影像显示系统所显示的影像处理前的影像显示例的说明图。

图27表示第四实施方式的影像显示系统，影像显示系统所显示的影像处理状态的影像显示例的说明图。

附图标记的说明

i、ii：图像提供系统

1、1b：头戴式显示系统

1c：影像显示系统

100：头戴式显示器

110：通信界面

103：红外线光源(照明部)

118：第三通信控制部

121：显示部

122：红外线发射部

123：图像处理部

124：拍摄部

130：图像显示系统(影像输出部)

132：声音输出部(扬声器)

200：视线检测装置

20：中央处理器

201：第二通信控制部

202：检测部

203：图像生成部

204：图像输出部

201b：通信控制部

202b：检测部

203b：分析部

204b：计时器

206b：属性取得部

207b：生成部

208b：输出部

213：视线检测部

214：影像生成部

215：声音生成部

21：存储装置

p2：视线检测程序

p3：数据生成程序

22：通信界面

23：输入装置

24：输出装置

400：服务器

40：中央处理器

401：第一通信控制部

402：生成部

403：分类部

404：抽取部

41：存储装置

p1：图像提供程序

42：通信界面

具体实施方式

本发明的图像提供系统、服务器、图像提供方法以及图像提供程序用于管理向多个头戴式显示器提供的图像。下面，利用附图对本发明的各实施方式进行说明。此外，在以下说明中，相同结构标注相同的附图标记，并省略说明。

第一实施方式

如图1所示，第一实施方式的图像提供系统i中，服务器400和多个头戴式显示系统1(1a～1c)经由网络500相连接。

服务器

服务器400如图2的(a)部分所示，是一种包含中央处理器(cpu)40、存储装置41以及通信界面(通信i/f)42等的信息处理装置。服务器400的存储装置41用于存储图像数据d1及图像提供程序p1。服务器400向头戴式显示器100提供图像数据d1。此时，借助图像提供程序p1的运行，中央处理器40利用第一通信控制部401、生成部402、分类部403以及抽取部404执行处理。

图像数据d1不限于静态图像数据，也可以是动态图像数据。在以下说明中，假设图像数据d1为动态图像数据，具体为包含声音数据的影像数据。

第一通信控制部401经由通信界面42向所连接的头戴式显示系统1发送图像数据。例如，第一通信控制部401发送存储于存储装置41的图像数据411。或者，第一通信控制部401发送由生成部402生成的图像数据。

生成部402与对应于第一通信控制部401所发送的图像数据从头戴式显示系统1发送的用户视线相对应地生成新的图像数据，并向第一通信控制部401输出。

例如，生成部402在存储于存储装置41中的图像数据411中追加基于从多个头戴式显示系统1接收的视线数据的图像而生成新的图像数据。在追加视线数据时，生成部402可追加从各头戴式显示系统1接收的所有视线数据而生成新的图像数据。或者，生成部402也可以只追加从所选择的一部分头戴式显示系统1接收的视线数据而生成新的图像数据。

并且，生成部402可在存储于存储装置41中的图像数据411中追加基于被后文中的分类部403分类的群组的数据的图像而生成新的图像数据。在追加群组数据时，可对应每个群组生成新的图像数据。即，生成部402对应每个群组生成不同的图像数据，以向各头戴式显示系统1提供用于所属群组的图像数据。

进而，生成部402可在存储于存储装置41中的图像数据411中对被后文中的抽取部404分类的用户追加基于引导数据的图像而生成新的图像数据。基于引导数据的图像用于将用户引导至图像中的目标位置，即应当能看见的位置。具体地，基于引导数据的图像利用在目标位置显眼地配置的图标(例如，箭头或写着“注意”的弹窗)、框等表示。

分类部403将视线数据满足预定条件的用户分类成群组。分类部403的分类方法例如可参考以下方法。

1.利用视线数据的分类

(1)凝视同一客体的用户的群组

分类部403可将视线在同一客体上的用户分类为同一群组。此时，分类部403不仅可抽取视线在对象的客体上的用户，还可抽取视线在离某一点(例如，对象的客体中心点)处于预定的距离内的用户。并且，分类部403可抽取视线离对象的客体处于预定距离内的用户。

(2)视线在预定范围内的群组

分类部403可将视线在预定范围内的用户分类为同一群组。例如，分类部403可将用户群组分类成视线在图像中心的群组、视线在图像右侧的群组等。此时，分类部403还可将视线在预定距离内的用户分类为同一群组。

(3)通过聚类处理分类的群组

分类部403可对利用视线信息确认的凝视坐标位置进行聚类，并对各群组的用户进行分类。

(4)视线在同一区域的群组

分类部403可预先将图像分割为多个区域，并将视线在同一区域的用户分类为同一群组。

(5)其他

并且，如上所述，在与视线相对应地对用户群组进行分类的情况下，除了用户视线在同一时刻满足上述关系的用户之外，还可将在预定期间满足上述关系的用户分类为同一群组。具体地，在上述例(1)中，即使观看对象的客体的时刻不完全一致，也可将在特定期间内将对象的客体观看规定时间以上的用户分类为同一群组。例如，可将在显示特定图像的3分钟内至少凝视对象的客体15秒钟以上的用户分类为同一群组。

2.利用视线数据及用户的行动的分类

并且，分类部403除了利用视线数据之外，还可像下文一样利用用户的行动进行群组分类。

(1)用户的动作

分类部403可将视线满足上述的预定条件的同时在该时间点采取了特定行动的用户分类为同一群组。例如，可将除了视线满足预定条件之外向右摆动头的用户分类为同一群组。并且，可将除了视线满足预定条件之外左右摆动的用户分类为同一群组。由此，能够将感情和想法相似的用户分类为同一群组。至于用户的行动，例如，在头戴式显示器100中可通过陀螺仪传感器等传感器检测出，并从头戴式显示系统1向服务器400发送。

(2)用户的信号输入

分类部403能够将视线满足上述预定条件的同时在该时间点输入预定的操作信号的用户分类为同一群组。例如，向头戴式显示系统1提供的图像为视频授课的图像的情况下，可将利用操作信号针对疑问输入同一答案的用户分类为同一群组。由此，能够将想法相同的用户分类为要进行群组作业等的群组。并且，例如，向头戴式显示系统1提供的图像为视频游戏的图像的情况下，可将利用操作信号进行了向同一方向移动角色的操作的用户分类为同一群组。由此，能够将想法相同的用户分类为群组。这里利用的操作信号在头戴式显示系统1中利用输入装置23进行输入，并发送给服务器400。

(3)用户的行动历史

分类部403能够将视线满足上述预定条件的同时过去采取了预定的行动的用户分类为同一群组。作为过去的行动，例如有参加活动、输入操作信号等。例如，向头戴式显示系统1提供的图像为视频授课的图像的情况下，能够将过去视听过特定讲座的用户或者未视听过的用户分类为同一群组。由此，能够将具备特定知识的用户或者不具备特定知识的用户分类为要进行群组作业等的群组。并且，例如，向头戴式显示系统1提供的图像为视频游戏的图像的情况下，能够将过去采取了同一行动的用户分类为同一群组。由此，能够将想法相同的用户分类为群组。在这里，例如，用户的行动历史作为行动历史数据存储在服务器400的存储装置中。该行动历史数据可由用于确认用户过去采取过的行动、未采取过的行动的接通断开标志等构成。

抽取部404抽取视线所凝视的位置与目标位置不同的用户。例如，抽取部404抽取视线位置与预先设定的目标位置的坐标相隔预定距离的用户。并且，抽取部404除了利用视线数据之外，还可利用用户行动来抽取用户。作为用户行动，如上所述，有用户的动作、用户的信号输入、用户的行动历史等。

头戴式显示系统

各头戴式显示系统1(1a～1c)包括头戴式显示器100(100a～100c)和视线检测装置200(200a～200c)。

如图2的(b)部分所示，视线检测装置200包括中央处理器20、存储装置21、通信界面22、输入装置23以及输出装置24。存储装置21中存储有视线检测程序p2。通过运行视线检测程序p2，中央处理器20利用第二通信控制部201、检测部202、图像生成部203以及图像输出部204执行处理。在这里的说明中，通信界面22经由网络500用于与服务器400之间的通信之外，还可以利用于与头戴式显示器100之间的通信，在各通信中还可利用其他接口。

第二通信控制部201经由通信界面22接收从服务器400发送的图像数据。并且，第二通信控制部201经由通信界面22向服务器400发送检测部202所检测出的视线数据。

检测部202对察看显示于显示部121的图像数据的用户的视线进行检测。

图像生成部203例如通过在下文中利用图6说明的方法来生成显示于头戴式显示器100的图像。

图像输出部204经由通信界面22向头戴式显示器输出从服务器接收的图像数据。

并且，头戴式显示器100包括通信界面110、第三通信控制部118、显示部121、红外线发射部122、图像处理部123、拍摄部124等。

图4为说明实施方式的头戴式显示系统1的结构的块图。如图4所示，头戴式显示系统1的头戴式显示器100包括通信界面(i/f)110、第三通信控制部118、显示部121、红外线发射部122、图像处理部123以及拍摄部124。

显示部121具有将从第三通信控制部118传输的图像数据显示于图像显示组件108的功能。作为图像数据，显示部121显示测试图像。并且，显示部121将从图像生成部203输出的标记图像显示于图像显示组件108的指定的坐标。

红外线发射部122控制红外线光源103，向用户的右眼或左眼发射红外线。

图像处理部123根据需要对拍摄部124所拍摄的图像进行图像处理，并传输给第三通信控制部118。

拍摄部124利用摄影机116对包含从各个眼睛反射的近红外线的图像进行拍摄。并且，拍摄部124对包含凝视图像显示组件108所显示的标记图像的用户的眼睛的图像进行拍摄。拍摄部124将拍摄得到的图像传输给第三通信控制部118或图像处理部123。

图3为示意性地表示实施方式的头戴式显示系统1的大致外观的图。如图3所示，头戴式显示器100装戴在用户300的头部进行使用。

视线检测装置200检测出装戴了头戴式显示器100的用户的右眼及左眼中的至少一个的视线方向，并确认用户的焦点，即，用户在显示于头戴式显示器的三维图像中凝视着的部位。并且，视线检测装置200还可发挥作为用于生成头戴式显示器100所显示的影像的影像生成装置的功能。虽然没有限制，但举例而言，视线检测装置200为桌上型的游戏机、便携式游戏机、pc、平板电脑、智能手机、平板手机、视频播放器、电视机等能够再生影像的装置。视线检测装置200以无线或有线的方法与头戴式显示器100相连接。在图3所示的例子中，视线检测装置200以无线的方法与头戴式显示器100相连接。视线检测装置200与头戴式显示器100之间的无线连接可利用例如已知的wi-fi(注册商标)或蓝牙(bluetooth，注册商标)等无线通信技术实现。虽然没有限制，但作为一例，头戴式显示器100与视线检测装置200之间的影像的传输依据miracast(商标)或wigig(商标)、whdi(商标)等标准执行。并且，也可使用除此之外的通信技术，例如，可利用声波通信技术或光传输技术。

此外，图3示出的是头戴式显示器100和视线检测装置200为不同装置的情况。但是，视线检测装置200可内置于头戴式显示器100。

头戴式显示器100包括框体150、装戴件160以及头戴式耳机170。框体150用于收纳如图像显示组件等用于提供给用户300影像的图像显示系统或未图示的wi-fi模块或蓝牙(bluetooth，注册商标)模块等无线传输模块。装戴件160用于将头戴式显示器100装戴在用户300的头部。装戴件160例如由带子、有伸缩性的带等实现。若用户300利用装戴件160装戴头戴式显示器100，框体150则配置于覆盖用户300的眼睛的位置。因此，若用户300装戴头戴式显示器100，则用户300的视界被框体150遮挡。

头戴式耳机170用于输出视线检测装置200所再生的影像的声音。头戴式耳机170可以不固定于头戴式显示器100。即使在用户300利用装戴件160装戴了头戴式显示器100的状态下，也能够自由装卸头戴式耳机170。此外，头戴式耳机170不是必要结构。

图4是示意性地表示实施方式的头戴式显示器100的图像显示系统130的大致外观的立体图。更具体地，图4为表示实施方式的框体150之中的与装戴了头戴式显示器100时的用户300的眼角膜302相向的区域的图。

如图4所示，当用户300装戴了头戴式显示器100时，左眼用凸透镜114a将处于与用户300的左眼的眼角膜302a相向的位置。同样，当用户300装戴了头戴式显示器100时，右眼用凸透镜114b将处于与用户300的右眼的眼角膜302b相向的位置。左眼用凸透镜114a和右眼用凸透镜114b分别由左眼用透镜支持部152a和右眼用透镜支持部152b夹持。

以下说明书中，除了要特别区分左眼用凸透镜114a和右眼用凸透镜114b的情况之外，皆简单地表示成“凸透镜114”。同样，除了要特别区分用户300的左眼的眼角膜302a和用户300的右眼的眼角膜302b的情况之外，皆简单地表示成“眼角膜302”。左眼用透镜支持部152a和右眼用透镜支持部152b也是一样地，除了要特别区分的情况之外，皆表示成“透镜支持部152”。

在透镜支持部152设有多个红外线光源103。为了避免说明复杂，图4中，将对用户300的左眼的眼角膜302a发射红外线的红外线光源统称为红外线光源103a，将对用户300的右眼的眼角膜302b发射红外线的红外线光源统称为红外线光源103b。下面，除了要特别区分红外线光源103a和红外线光源103b的情况之外，皆简单地表示成“红外线光源103”。在图4所示的例子中，左眼用透镜支持部152a具有6个红外线光源103a。同样，右眼用透镜支持部152b也具有6个红外线光源103b。像这样，通过将红外线光源103配置于用于夹持凸透镜114的透镜支持部152，而不是直接配置于凸透镜114，更容易安装红外线光源103。由于透镜支持部152通常由树脂等构成，因而比由玻璃等构成的凸透镜114更容易进行用于安装红外线光源103的加工。

如上所述，透镜支持部152是一种用于夹持凸透镜114的部件。因此，设在透镜支持部152的红外线光源103配置于凸透镜114的周围。此外，在这里说明的是对每只眼睛发射红外线的红外线光源103为6个，但并不仅限于此数目，只要有至少一个对应于各眼睛的红外线光源即可，设置两个以上会更好。

图5为示意性地表示实施方式的框体150所收纳的图像显示系统130的光学结构的图，是从左眼侧的侧面所看到的图5中所示的框体150的情况的图。图像显示系统130包括红外线光源103、图像显示组件108、光学装置112、凸透镜114、摄影机116以及第三通信控制部118。

红外线光源103是一种能够发射近红外(700nm～2500nm程度)的波长谱带的光的光源。一般而言，近红外线为用户300的肉眼无法察觉的不可见光的波长谱带的光。

图像显示组件108显示用于提供给用户300的图像。图像显示组件108所显示的图像由服务器400内的生成部402或视线检测装置200内的图像生成部203生成。此外，也可由生成部402及图像生成部203生成图像。图像显示组件108例如可由已知的液晶显示器(lcd，liquidcrystaldisplay)或有机电致发光显示器(organicelectro-luminescencedisplay)等实现。

当用户300装戴了头戴式显示器100时，光学装置112配置于图像显示组件108与用户300的眼角膜302之间。光学装置112具有让图像显示组件108所生成的可见光能穿过而将近红外线则反射的性质。光学装置112具有反射特定波长谱带的光的特征，例如有透明的平板或热反射镜、棱镜等。

相对于光学装置112而言，凸透镜114配置于图像显示组件108的相反侧。换言之，当用户300装戴了头戴式显示器100时，凸透镜114配置于光学装置112与用户300的眼角膜302之间。即，当用户300装戴头戴式显示器100时，凸透镜114配置于与用户300的眼角膜302相向的位置。

凸透镜114汇聚穿过光学装置112的图像显示光。因此，凸透镜114具有当作将图像显示组件108所生成的图像放大后提供给用户300的图像放大部的功能。此外，为了方便说明，图5中仅示出了一个凸透镜114，但凸透镜114也可以是结合各种透镜所组成的透镜组，或者，也可以是一面为曲面、而另一面为平面的单凸透镜。

多个红外线光源103配置于凸透镜114周围。红外线光源103向用户300的眼角膜302发射红外线。

虽未图示，实施方式的头戴式显示器100的图像显示系统130具有两个图像显示组件108，而能够独立地生成用于提供给用户300的右眼的图像和用于提供给左眼的图像。因此，实施方式的头戴式显示器100能够分别提供右眼用视差图像和左眼用视差图像给用户300的右眼和左眼。由此，实施方式的头戴式显示器100能够对用户300提示具有层次感的立体影像。

如上所述，光学装置112可让可见光穿过，而将近红外线加以反射，或反射特定频率的光。由此，图像显示组件108所发射的图像光穿过光学装置112而到达用户300的眼角膜302。并且，由红外线光源103所发射而在凸透镜114的内部的反射区域被反射的红外线到达用户300的眼角膜302。

到达用户300的眼角膜302的红外线被用户300的眼角膜302反射而再度射向凸透镜114的方向。此红外线穿过凸透镜114，而被光学装置112反射。摄影机116具有用以滤除可见光的滤光片，而拍摄被光学装置112反射的近红外线。即，摄影机116为近红外摄影机，其对由红外线光源103所发射而在用户300的眼睛处被眼角膜反射的近红外线进行拍摄。

此外，虽未图示，实施方式的头戴式显示器100的图像显示系统130可具有两个摄影机116，即，用于拍摄包含被右眼反射的红外线的图像的第一拍摄部和用于拍摄包含被左眼反射的红外线的图像的第二拍摄部。由此，能够取得用于检测出用户300的右眼和左眼双眼的视线方向的图像。

第三通信控制部118将摄影机116所拍摄的图像输出到用于检测用户300的视线方向的视线检测装置200。具体地，第三通信控制部118经由通信界面110将摄影机116所拍摄的图像发送给视线检测装置200。至于具有当作视线方向检测部的功能的检测部202，将在下文中进行详细说明，可通过视线检测装置200的中央处理器(cpu，centralprocessingunit)所运行的影像显示程序实现。此外，头戴式显示器100具有中央处理器或存储器等计算资源的情况下，头戴式显示器100的中央处理器也可运行用于实现视线方向检测部的程序。

虽然以下将详细说明，在摄影机116所拍摄到的图像中，由在用户300的眼角膜302处被反射的近红外线而来的亮点以及包含以近红外线的波长谱带所观测到的用户300的眼角膜302的眼睛的影像将被拍到。

如上所述，在根据本实施方式的影像显示系统130之中，虽然主要就用以提供给用户300的左眼的影像的结构加以说明，但用以提供给用户300的右眼的影像的结构也与上述相同。

接着，对实施方式的视线方向的检测进行说明。

图6是说明用于检测出实施方式的视线方向的校准的示意图。用户300的视线方向的检测通过由视线检测装置200内的检测部202对由摄影机116拍摄到且由第三通信控制部118向视线检测装置200输出的影像进行分析的方式而加以实现。

图像生成部203生成如图6所示的点q1至点q9的9个点(标记图像)，并使头戴式显示器100的图像显示组件108加以显示。视线检测装置200依照点q1至点q9的顺序让用户300凝视各点。此时，用户300被要求保持脖子不动而尽可能地仅借助眼球的移动去凝视各点。摄影机116对包含用户300凝视着点q1至点q9这9个点时的用户300的眼角膜302的图像进行拍摄。

图7为说明用户300的眼角膜302的位置坐标的示意图。视线检测装置200内的检测部202分析摄影机116所拍摄的图像来检测出源于红外线的亮点105。当用户300仅借助眼球的移动而凝视着各点时，则即使用户凝视着任一点的情况，亮点105的位置被认为并不会变动。如此一来，检测部202会以检测出的亮点105为基准在摄影机116所拍摄的图像中设定出二维坐标系306。

检测部202再通过分析摄影机116所拍摄到的图像来检测出用户300的眼角膜302的中心p。这可通过例如霍夫变换、边缘抽取处理等已知的图像处理技术而加以实现。由此，检测部202能够取得所设定的二维坐标系306中的用户300的眼角膜302的中心p的坐标。

图6中，将图像显示组件108所显示的显示画面之中设定的二维坐标系中的点q1至点q9的坐标分别显示为q1(x1，y1)^t、q2(x2，y2)^t……，q9(x9，x9)^t。各坐标是以，例如位在各点的中心的像素为编号。此外，将用户300凝视着点q1至点q9时的用户300眼角膜302的中心p分别显示为点p1至点p9。此时，分别将二维坐标系306之中的点p1至点p9的坐标显示为p1(x1，y1)^t、p2(x2，y2)^t、……、p9(z9，y9)^t。此外，t表示向量或矩阵的转置。

现在，将大小为2×2的矩阵m定义成以下的公式(1)。

[公式1]

此时，如果矩阵m满足以下公式(2)，则矩阵m为将用户300的视线方向投影到图像显示组件108所显示的图像面的矩阵。

pn＝mqn(n＝1，……，9)(2)

如果详细地写出上述公式(2)，将如以下公式(3)。

[公式2]

如果改变公式(3)的型态的话，则可得到以下的公式(4)。

[公式3]

在此，如果进行以下的替换，

[公式4]

则可得到以下公式(5)。

y＝ax(5)

公式(5)中，因为向量y的元素是检测部202使图像显示组件108所显示的点q1至点q9的坐标，故为已知。并且，因为矩阵a的元素是用户300的眼角膜302的顶点p的坐标，因此也能够取得。由此，检测部202能够取得向量y及矩阵a。此外，将转换矩阵m的元素排列而成的向量的向量x为未知。因此，在向量y与矩阵a为已知时，推算矩阵m的问题为求出未知的向量x的问题。

如果公式的数目(即，检测部202在校准时提供给用户300的点q的数目)比未知数的数目(即向量x的元素数4)多的话，则公式(5)为优势判定问题。在公式(5)所示的例子中，因为公式的数目为9个，所以是优势判定问题。

将向量y和向量ax的误差向量作为向量e。即，e＝y-ax。此时，代表向量e的元素的平方和为最小的意义的最佳的向量xopt可由以下公式(6)求得。

xopt＝(a^ta)^-1a^ty(6)

其中，「-1」表示反矩阵。

检测部202利用所求得的向量xopt的元素来构成公式(1)的矩阵m。由此，根据公式(2)，检测部202利用用户300的眼角膜302的顶点p的坐标的矩阵m，可推算出用户300的右眼存在凝视图像显示组件108所显示的动态图像上的何处。在这里，检测部202还从头戴式显示器100接收用户的眼睛和图像显示组件108之间的距离信息，并根据该距离信息来修正推算出的用户所凝视的坐标值，其中，根据用户的眼睛与图像显示组件108之间的距离来推算出凝视位置时产生的偏差视作误差范围，可忽视。由此，检测部202能够计算出链接图像显示组件108上的右眼的凝视点和用户的右眼的眼角膜的顶点的右眼视线向量。同样地，检测部202能够计算出链接图像显示组件108上的左眼的凝视点和用户的左眼的眼角膜的顶点的左眼视线向量。此外，能够只利用单眼的视线向量确认二维平面上的用户的凝视点，通过取得双眼的视线向量还能够取得用户的凝视点的立体方向的信息。视线检测装置200能够通过这种方法来确认用户的凝视点。此外，这里说明的凝视点的确认方法仅为一例，也可利用本实施方式中示出的方法以外的方法来确认用户的凝视点。

在图像中显示用户的视线信息的例子

利用图8及图9对在图像中显示用户的视线信息的情况的一个处理例子进行说明。图8为表示服务器400的处理的流程图。

首先，服务器400向经由网络500相连接的各头戴式显示系统1发送存储于存储装置41中的图像数据d1(步骤s01)。

之后，服务器400从各头戴式显示系统1接收察看了图像数据d1的用户的视线数据(步骤s02)。

并且，服务器400生成包含所接收的各头戴式显示系统1的视线数据的新的图像数据(步骤s03)。

接着，服务器400将新的图像数据发送给各头戴式显示系统1(步骤s04)。

服务器400继续进行步骤s02至步骤ss04的处理，直到接收结束请求(步骤s05)。

图9为表示头戴式显示系统1的处理的流程图。头戴式显示系统1一从服务器400接收图像数据(步骤s11)，就显示所接收的图像数据(步骤s12)。

然后，头戴式显示系统1检测出察看所显示的图像数据的用户的视线数据(步骤s13)。

之后，头戴式显示系统1将所检测出的视线数据发送给服务器400(步骤s14)。

头戴式显示系统1反复进行步骤s11至步骤s14の的处理，直到接收结束请求(步骤s15)。

图10的(a)部分是服务器400在步骤s01中发送且头戴式显示系统1在步骤s12显示的图像的一例。

并且，图10的(b)部分是包含视线数据的图像的一例。这是包含头戴式显示系统1在步骤s13检测出视线数据且在步骤s03生成的视线数据的图像数据。在这里是将用户的视线数据作为识别符a～k追加到图像数据的一例。

进而，图10的(c)部分是包含视线数据的图像的再一例。图10的(b)部分是包含察看同一图像数据的所有用户即识别符a～k的11人的视线的例子。对此，图10的(c)部分为只包含一部分用户的视线的图像数据的例子。

服务器400的生成部402在生成包含视线数据的图像数据的情况下，可如图10的(b)部分所示地生成包含所有用户的视线的图像数据。并且，生成部402可如图10的(c)部分所示地生成包含一部分用户的视线的图像数据。。

由视线信息将用户编组的例子

利用图11对利用用户的视线信息来将用户编组的情况的一处理例进行说明。图11为表示服务器400的处理的流程图。

首先，服务器400向经由网络500相连接的各头戴式显示系统1发送存储于存储装置41中的图像数据d1(步骤s21)。

之后，服务器400从各头戴式显示系统1接收察看了图像数据d1的用户的视线数据(步骤s22)。

然后，服务器400抽取视线满足预定条件的用户(步骤s23)。例如，服务器400如上所述地抽取视线在同一客体上的群组、视线在预定范围内的群组、通过聚类处理分类的群组、视线在同一区域的群组等。此时，作为抽取条件，服务器400除了利用用户的视线之外还可利用用户的行动。

服务器400对应每个所抽取的用户生成群组(步骤s24)。根据抽取条件和用户的视线数据，群组的数目或包含在各群组的用户的数目不同。

然后，服务器400生成在步骤s22接收的各头戴式显示系统1的视线数据和在步骤s24生成的群组数据在内的新的图像数据(步骤s25)。

接着，服务器400将新的图像数据发送给各头戴式显示系统1(步骤s26)。

服务器400继续进行步骤s22～步骤s26的处理，直到接收结束请求(步骤s27)。

这种情况下的头戴式显示系统1的处理与利用图9进行的上述处理相同。此外，包含群组数据的新的图像数据例如像包含于图12的(a)部分中的一样，用户的识别符对应每个群组予以区分。

具体地，在图12的(a)部分所示的例子中，群组1中包含识别符c、h的用户。群组2中包含识别符d、e、j的用户。群组3中包含识别符f、k的用户。群组4中包含识别符a、b的用户。群组5中包含识别符g、i的用户。

引导视线信息不同的用户的例子

利用图13对用户的视线与目标位置不同的情况，将视线引导至目标位置的情况的一处理例进行说明。图13为表示服务器400的处理的流程图。

首先，服务器400向经由网络500相连接的各头戴式显示系统1发送存储于存储装置41中的图像数据d1(步骤s31)。

之后，服务器400从各头戴式显示系统1接收察看了图像数据d1的用户的视线数据(步骤s32)。

其次，服务器400抽取视线在目标位置以外的用户(步骤s33)。例如，服务器400抽取视线从目标位置的坐标脱离预定距离的位置的用户。此时，作为抽取条件，服务器400除了利用用户的视线之外，还可利用用户的行动。

服务器400生成包含引导数据的新的图像数据(步骤s34)。

接着，服务器400将新的图像数据发送给各头戴式显示系统1(步骤s35)。

服务器400继续进行步骤s32至步骤s25的处理，直到接收线束请求(步骤s26)。

这种情况下的头戴式显示系统1的处理与利用图9进行的上述处理相同。例如，如图12的(b)部分所示，包含在图像数据中的引导数据指示目标位置，是一种记号或符号等。例如，作为记号的一例，可例举点。此外，在图12的(b)部分示出的例子中，用虚线包围的部分为目标位置。

图14的(a)部分至图14的(c)部分为显示引导数据的图像的再一例。在图14的(a)部分示出的例子中，图像中根据引导数据附有包含目标位置(虚线部分)和用户的视点(h部分)的标记f1。该标记f1以目标位置为中心如图14的(b)部分及图14的(c)部分所示地渐渐变小，来引导用户的视线。此外，标记f1的形状不限定于图14的(a)部分至图14的(c)部分所示的形状。

图15的(a)部分至图15的(c)部分为显示引导数据的图像的另一例。图在15的(a)部分所示的例子中，图像中根据引导数据附有包含用户的视点(h部分)的标记f2。该标记f2通过以从用户的视点朝向目标位置(虚线部分)渐渐变大的方式移动来引导用户的视线。图15的(b)部分为标记f2移动过程中的图像例。并且，图15的(c)部分为标记f2移动至目标位置的图像例。此外，在图15的(b)部分中，虚线圆表示图15的(a)部分的标记f2的位置。并且，在图15的(c)部分中，虚线圆表示图15的(a)部分的标记f2的位置及图15(b)的标记f2的位置。

并且，为了指示目标位置而显示的记号或符号可以以预定的时间间隔闪烁，或者改变大小以达到闪烁效果。通过记号或符号的闪烁或大小变化，用户能够容易把握目标位置。

根据具有上述结构的第一实施方式的图像提供系统i，在向多个用户的头戴式显示器提供图像数据的情况下，能够提供与用户的视线数据相对应地生成的图像数据。例如，能够在图像数据中包含与视线数据相对应的群组数据、引导数据。由此，利用图像提供系统i，能够管理多个用户。

第二实施方式

如图16所示，第二实施方式的图像提供系统ii、服务器400连接有至少一台作为主终端的头戴式显示系统1x(以下，根据需要称作“主终端1x”)和作为客户系统的多个头戴式显示系统1(1a～1c)。

第二实施方式的图像提供系统ii中，能够由主终端1x的输入装置23指定群组。或者，在图像提供系统ii中，能够根据主终端1x的检测部202所检测出的视线数据来指定群组。进而，在图像提供系统ii中，由主终端1x引导用户的视线。

服务器

第二实施方式的图像提供系统ii的服务器400的结构也与在上述中利用图2的(a)部分说明的服务器400相同。此外，第二实施方式的图像提供系统ii中，能够在主终端1x进行群组分类或用户视线的引导。因此，服务器400的分类部403或抽取部404不是必要结构。

并且，图像提供系统ii的服务器400的生成部402能够生成包含从头戴式显示系统1提供的群组数据或引导数据的新的图像数据。

头戴式显示系统

第二实施方式的图像提供系统ii的头戴式显示系统1的第二通信控制部201经由通信界面22将经由视线检测装置200的输入装置23输入的群组数据或引导数据与检测部202所检测出的视线数据一同提供给服务器400。此外，主系统1x的视线检测装置200x和服务器400可一体构成。

利用图16及图17对主终端1x的处理进行说明。图17是在主终端1x显示的图像的一例。并且，图18是说明主终端1x的处理的流程图。

如图18所示，主终端1x从服务器400接收图像数据(步骤s41)。并且，主终端1x显示所接收的图像数据(步骤s42)。

在这里，取得用户的视线数据之前，在主终端1x中如图17的(a)部分所示地显示不包含视线数据的图像。并且，在取得用户的视线数据之后，在主终端1x中如图17的(b)部分所示地显示包含用户的视线数据(例如，用户的识别符)的图像。

之后，若对显示图像输入群组指定(步骤s43中为“是”)，则主终端1x向服务器400发送包含该群组数据的请求信号(步骤s44)。请求信号用于请求生成包含作为与视线相对应的信息的群组数据的图像数据。在这里，请求信号可对应每个群组请求生成图像数据。该群组的指定例如可利用鼠标、触控面板等输入装置23进行输入。具体地，如图17的(c)部分所示，可通过输入装置23包围用户的识别符来指定群组。或者，例如能够由检测部202检测出利用主终端1x的用户的视线来指定群组。具体地，如图17的(c)部分所示，利用主终端1x的用户察看显示部121所显示的图像，并移动视线，使得视线包围图像中的识别符，从而指定群组。

并且，若经由输入装置23对显示图像输入引导数据(步骤s45中“是”)、主终端1x则向服务器400发送包含该引导数据的请求信号(步骤s46)。该请求信号用于请求生成包含用于引导视线的引导数据的图像数据。

主终端1x继续进行步骤s41至步骤s46的处理，直到接收线束请求(步骤s26)。

根据具有上述结构的第二实施方式的图像提供系统ii，向多个用户的头戴式显示器提供图像数据的情况下，能够提供与用户的视线数据相对应地生成的图像数据。例如，图像数据中能够包含与视线数据相对应的群组数据、引导数据。由此，利用图像提供系统ii，能够管理多个用户。

上述实施方式的视线检测所用的方法仅为一例，利用上述头戴式显示器100及视线检测装置200的视线检测方法并不限定于此。

首先，在上述实施方式中，以将作为不可见光发射近红外线的红外线光源设置多个的例子进行了说明，但是向用户的眼睛发射近红外线的方法不限定于此。例如，作为构成头戴式显示器100的图像显示组件108的像素，可采用设置发出近红外线的子像素的像素的结构，并使这些发出近红外线的子像素选择性地发光，来向用户的眼睛发射近红外线。亦或，作为图像显示组件108的替代，头戴式显示器100可包括网膜投影显示器，并利用该网膜投影显示器进行显示，在向用户的网膜投影的图像之中包含发出近红外线色的像素，从而发射近红外线。无论是图像显示组件108，还是网膜投影显示器，发出近红外线的子像素可定期变更。

并且，在上述实施方式中示出的视线检测的算法不限定于上述实施方式中示出的方法，只要能够实现视线检测，其他算法也均可使用。

在上述实施方式中说明的是图像提供系统的各处理通过由服务器400、头戴式显示器100及び视线检测装置200的中央处理器运行图像提供程序等来执行并实现。另一方面，在服务器400、头戴式显示器100以及视线检测装置200中，作为中央处理器的替代，还可利用由集成电路(ic，integratedcircuit)芯片、大规模集成电路(lsi，largescaleintegration)、现场可编程门阵列(fieldprogrammablegatearray)、复杂可编程逻辑组件(complexprogrammablelogicdevice)等形成的逻辑电路(硬件)或专用电路实现各处理。并且，这些电路可由一个或多个集成电路实现，也可由一个集成电路实现上述实施方式中示出的多个功能部的功能。lsi根据集成度的不同而可分别称为vlsi、超级lsi、特级lsi等。

即，如图19的(a)部分所示，服务器400可由通信界面42、具有第一通信控制电路401a、生成电路402a、分类电路403a以及抽取电路404a的控制电路40a以及存储图像数据411及图像提供程序p1的存储装置41构成。第一通信控制电路401a、生成电路402a、分类电路403a及び抽取电路404a由图像提供程序p1控制。各个功能与在上述实施方式中示出的名称相同的各个部分相同。

并且，如图19的(b)部分所示，头戴式显示器100可由通信界面110、第三通信控制电路118a、显示电路121a、红外线发射电路122a、图像处理电路123a、拍摄电路124a构成。各个功能与在上述实施方式中示出的名称相同的各个部分相同。

进而，如图19的(b)部分所示，视线检测装置200可由包括第二通信控制电路201a、检测电路202a、图像生成电路203a以及图像输出电路204a的控制电路20a、存储视线检测程序p2的存储装置21、通信界面22、输入装置23、输出装置24构成。第二通信控制电路201a、检测电路202a、图像生成电路203a以及图像输出电路204a由视线检测程序p2控制。各个功能与在上述实施方式中示出的名称相同的各个部分相同。

并且，作为上述存储装置21、41，可使用“非暂时性的有形的介质”，例如磁带、磁盘、半导体存储器、可程序化的逻辑电路等。并且，上述检测程序可经由能够传输上述检测程序的任意的传输介质(通信网络或广播波等)向上述处理器供给。本发明中，上述影像显示程序还可通过由电子格式的传送所具体执行的嵌埋于载波之中的数据信号的格式加以实现。

此外，上述程序例如可通过actionscript语言、javascript语言(注册商标)、python、ruby等脚本语言、c语言、c++、c#、objective-c、java(注册商标)等编译语言、汇编语言、暂存器转换层(rtl，registertransferlevel)等进行安装。

第三实施方式

图20为说明第三实施方式的头戴式显示系统1b的结构的块图。如图20所示，头戴式显示系统1b的头戴式显示器100包括通信界面(i/f)110、通信控制部118、显示部121、红外线发射部122、图像处理部123以及拍摄部124。

通信控制部118经由通信界面110与视线检测装置200控制通信。通信控制部118将从拍摄部124或图像处理部123传输的用于视线检测的图像数据发送给视线检测装置200。并且，将通信控制部118从视线检测装置200发送的图像数据或标记图像传输给显示部121。图像数据之一例是用于显示测试的数据。并且，图像数据还可以是用于显示三维图像的由右眼用视差图像和左眼用视差图像构成的视差图像对。

显示部121具有将从通信控制部118传输的图像数据显示于图像显示组件108的功能。显示部121将测试图像作为图像数据显示。并且，显示部121将从影像生成部222输出的标记图像显示于图像显示组件108的指定的坐标。

红外线发射部122控制红外线光源103，向用户的右眼或左眼发射红外线。

图像处理部123根据需要对拍摄部124所拍摄的图像进行图像处理并传输给通信控制部118。

拍摄部124利用摄影机116拍摄包含被各只眼睛反射的近红外线的图像。并且，拍摄部124拍摄包含凝视图像显示组件108中所显示的标记图像的用户的眼睛的图像。拍摄部124将拍摄得到的图像传输给通信控制部118或图像处理部123。

并且，如图20所示，视线检测装置200是包括中央处理装置(cpu)20、用于存储图像数据211以及数据生成程序p3的存储装置21、通信界面22、操作按钮、键盘或触控面板等输入装置23、显示器或打印机等输出装置24的信息处理装置。视线检测装置200通过运行存储在存储装置21中的数据生成程序p3来使中央处理器20利用通信控制部201b、检测部202b、分析部203b、计时器204b、操作取得部205b、属性取得部206b、生成部207b以及输出部208b执行处理。

图像数据211是显示于头戴式显示器100的数据。图像数据211可以是二维图像，也可以是三维图像。并且，图像数据211可以是静态图像，也可以是动态图像。

例如，图像数据211为视频游戏的动态图像数据。图像数据211为视频游戏的图像时，显示图像根据用户输入的操作信号而变。并且例如，图像数据211为电影的动态图像。图像数据211可根据用户的操作从所连接的外部的服务器装置等(未图示)购买。

通信控制部201b经由通信界面22控制与头戴式显示器100之间的通信。

检测部202b检测出用户的视线并生成视线数据。

分析部203b利用视线数据来分析用户的视线。在这里，分析部203b根据需要利用从计时器204b、操作取得部205b、属性取得部206b输入的数据。

当图像数据211为游戏的动态图像数据时，计时器204b测量用户的玩游戏时间。并且，计时器204b将计时数据输出给分析部203b。例如，计时器204b测量游戏的开始到结束(游戏通关)为止的达成时间。在这里，用户玩多次同一个游戏的情况下，计时器204b测量第一次游戏开始到结束为止的达成时间。并且例如，计时器204b测量玩游戏的总时间。在这里，用户玩多次同一个游戏的情况下，计时器204b将多次玩的时间的总计作为总的玩游戏时间(总时间)进行测量。

操作取得部205b输入与图像数据211的显示相关地输入的各种操作信号。并且，操作取得部205b将与操作信号有关的数据输出给分析部203b。例如，图像数据211为游戏数据时，取得该游戏期间执行的用户操作的信息。在这里，用户操作除了是利用输入按钮输入的操作或基于声音信号输入的操作之外，还可以与能够被检测部202b检测出的视线的移动相对应的操作。

属性取得部206b取得利用图像数据211的用户的属性数据。并且，属性取得部206b将所取得的数据输出给分析部203b。属性数据例如是与用户的性別、年龄、职业等有关的数据。例如，该属性数据可在头戴式显示系统1连接在管理服务器等且用户登录该管理服务器的情况下从其登录信息取得。或者，也可以事先在视线检测装置200的存储装置21存储好用户的属性数据。

生成部207b生成包含检测部202b的检测结果、分析部203b的分析结果的可视化数据。例如，分析部203b分析特定视线的情况下，生成部207b生成包含图像和利用与该图像相对应的视线确认的数据(表示坐标的点或视线的轨迹)的可视化数据。可视化数据可以是热图数据、利用图表表示分析结果的数据等。在这里，图像数据为动态图像数据时，可视化数据可包括用于确认图像中的用户的视点和图像数据中的一图像的时间轴之间的关系的时间轴显示部。并且，利用棒图等显示由分析部所分析的结果时，可生成包含棒图的数据作为可视化数据。

输出部208b将生成部207b所生成的可视化数据输出给输出装置24等。

此外，在上述的视线检测装置200的各个部件中，分析部203b、计时器204b、操作取得部205b、属性取得部206b以及生成部207b能够用外部的服务器等信息处理装置实现。并且，用外部的信息处理装置实现这些处理部203b～207b的情况下，信息处理装置包括用于取得由头戴式显示系统1的检测部202b检测出的视线数据的取得部，分析部203b利用从该取得部取得的视线数据进行数据的分析处理。

可视化数据生成处理1

利用图21的(a)部分所示的流程图对在头戴式显示系统1b生成并输出可视化数据的情况的处理进行说明。

头戴式显示系统1b首先显示对象的图像数据211(步骤s51)。

头戴式显示系统1b一显示图像，就检测出察看所显示的图像数据211的用户的视线(步骤s52)。

并且，头戴式显示系统1b一检测出用户的视线，就分析检测出的用户的视线(步骤s53)。

头戴式显示系统1b一分析视线，就生成可视化数据(步骤s54)。

头戴式显示系统1b输出所生成的可视化数据(步骤s55)。

在这里，图20中示出了一台视线检测装置200连接有一台头戴式显示器100的例子，但是，也可以是一台视线检测装置200连接有多台头戴式显示器100。在这种情况下，由于在头戴式显示器100显示图像数据211并从各个用户检测出视线数据，因而反复多次步骤s01及步骤s02的处理。并且，利用从多个用户检测出的视线数据来反复步骤s53至步骤s55的处理。

图22的(a)部分及图22的(b)部分为将某一静态图像显示规定时间的情况下利用多个用户的视线数据生成的可视化数据的一例。在图22的(a)部分所示的例子是包含各用户的视线的轨迹s1～s4的可视化数据w1。并且，图22的(b)部分所示的例子是表示包含用户凝视了预定时间以上的位置的棒图的可视化数据w2。

图23的(a)部分至图23的(c)部分是显示动态图像的情况下利用用户的视线数据生成的可视化数据的一例。图23的(a)部分及图23的(b)部分是具有表示动态图像的进展状况的时间滑块t的可视化数据w3。在图23的(a)部分和图23的(b)部分，首先显示图23的(a)部分的图像，之后显示图7的(b)部分的图像。在这里，图23的(a)部分及图23的(b)部分中，黑圈部分为用户视线的位置。

可视化数据生成处理2

利用图21的(b)部分所示的流程图对在头戴式显示系统1b生成并输出可视化数据的情况下处理进行说明。

头戴式显示系统1b取得用户的视线数据(步骤s61)。

并且，头戴式显示系统1b一取得用户的视线数据，就对所取得的用户的视线进行分析(步骤s62)。

头戴式显示系统1b一分析视线，就生成可视化数据(步骤s63)。

头戴式显示系统1b输出所生成的可视化数据(步骤s64)。

该步骤s11至步骤s14的处理不仅可以在头戴式显示系统1b执行，还可以在包括用于取得检测部202b所检测出的结果的取得部、分析部203b、计时器204b、操作取得部205b、属性取得部206b以及生成部207b等的外部的服务器等信息处理装置执行。

图像数据211为视频游戏的数据时，分析部203b例如能够分析以下(1-1)至(1-6)的内容。

(1-1)视线移动至目标位置为止的用户视点

对用户视线移动至目标位置为止的用户的视线的轨迹或用户视线移动至目标位置为止所需时间进行分析。用户视线移动至目标位置为止所需时间例如能够根据从计时器204b输入的时间确认。由此，例如，能够容易把握搜索图像中的目标位置。并且，生成部207b生成用户视线移动至目标位置为止所需时间的图表作为可视化数据。

并且，通过搜集并分析多个用户的数据，分析部203b能够对用户容易找到目标位置的图像数据的倾向进行分析。进而，通过一并分析用户属性，分析部203b能够分析出视线移动至目标位置为止所需时间和用户属性的倾向。用户属性从属性取得部206b输入。

(1-2)视线偏离目标位置的用户视点

用户视线不在目标位置的情况下，分析部203b对该时间点的用户的视线的坐标(视点)进行分析。由此，能够在显示图像中确认用户被何处吸引入迷。例如，生成部207b生成用户的视点的坐标作为可视化数据。

并且，通过收集并分析多个用户的数据，分析部203b能够分析出用户容易入迷的图像数据的倾向。进而，通过一并分析用户属性，分析部203b能够分析出容易入迷的用户属性的倾向。用户属性从属性取得部206b输入。

(1-3)视线偏离目标位置情况的原因

用户视线不在目标位置的情况下，分析部203b求得在直到达到该状态为止的预定时间内显示的图像中的用户视线的轨迹。由此，能够预测在达到某一状态为止显示的图像中用户被吸引入迷的原因。例如，生成部207b生成用户的视点的轨迹作为可视化数据。

并且，通过收集并分析多个用户的视线的轨迹，分析部203b能够容易分析用户容易入迷的图像数据。进而，通过一并分析用户属性，分析部203b还能够分析出容易入迷的用户的倾向。

(1-4)初始画面中的用户的注意位置

分析部203b检测出游戏的初始画面中的用户视线的坐标。由此，分析部203b分析出用户在初始画面中注意何处。即，分析部203b通过分析出初始画面中的注意场所，能够把握初始画面中的吸引用户的场所。例如，生成部207b生成用户的视点的坐标作为可视化数据。

并且，通过收集并分析多个用户的视线数据，分析部203b能够分析吸引多个用户的图像结构。进而，通过一并分析用户属性，分析部203b能够各图像结构吸引的用户倾向。

进而，通过一并分析用户的总的玩游戏时间，分析部203b能够分析出容易吸引用户的数据和针对游戏的用户的感兴趣程序的倾向。例如，大多情况下，总的玩游戏时间长的用户大多属于喜欢对象游戏的用户，总的玩游戏时间短的用户大多属于对对象游戏不感兴趣的用户。由此，例如，通过一并分析出吸引用户的数据和该用户的玩游戏时间，能够分析出对游戏感兴趣的用户和不感兴趣的用户的视点的不同。用户的总的玩游戏时间从计时器204b输入。

(1-5)执行确认操作的用户的倾向

分析部203b检测出玩游戏时执行确认操作的用户的视线的坐标(视点)。由此，能够确认执行各操作的用户的兴趣或注意。该操作可以是与玩游戏的相关的操作，也可以是其他操作。分析部203b从操作取得部205b接收与操作的执行有关的数据。例如，生成部207b生成用户视点的坐标作为可视化数据。

例如，通过确认与玩游戏有关的操作和执行该操作时的用户视频，能够把握用户的操作和视线之间的关系。作为用户的操作，例如在得分型游戏的情况下，可以是进行了取得高分的操作的用户的视线。并且，作为除了玩游戏之外的操作，例如可以是在游戏中购买内容物的操作。例如，能够分析出购买内容物的用户究竟是对哪一点感兴趣，来确认用户在什么样的游戏进行中购买内容物或购买内容物多的用户喜欢的图像结构。

并且，通过收集并分析多个用户的视线的数据和与操作的执行有关的数据，分析部203b能够分析出用户的操作和图像数据之间的关联。进而，能够一并分析用户属性，分析部203b还能够分析出执行各操作的用户的倾向。

进而，通过一并分析出用户的总的玩游戏时间，分析部203b能够分析出执行确认操作的用户和用户对用户游戏的感兴趣程度的倾向。例如，例如，大多情况下，总的玩游戏时间长的用户大多属于喜欢对象游戏的用户，总的玩游戏时间短的用户大多属于对对象游戏不感兴趣的用户。由此，例如，能够分析出对游戏感兴趣的用户和不感兴趣的用户执行确认操作的关系。

(1-6)用户的等级

分析部203b在进行(1)～(4)的分析时，如果是能够根据通过游戏取得的得分等求得用户的等级的游戏，还可考虑该等级。即，对应每个用户等级，分析出视线偏离目标位置的用户视点、视线偏离目标位置的情况的原因、初始画面中的用户的注意位置、执行确认操作的用户的倾向。

当图像数据211为电影数据时，例如能够分析出以下的(2-1)～(2-3)的内容。

(2-1)用户的注意位置

分析部203b检测出图像中的用户视线的坐标(视点)。由此，能够在显示图像中确认用户被何处吸引。并且，通过收集并分析多个用户的数据，能够确认吸引多个用户的图像的结构。

(2-2)用户的属性

分析部203b除了分析上述(2-1)的用户的注意位置之外，还一并分析用户的属性。由此，还能够一并分析出喜欢各图像的结构的用户属性的倾向。该用户属性从属性取得部206b输入。

(2-3)内容物的购买历史

分析部203b分析上述(2-1)的用户的注意位置及(2-2)用户属性的同时，还一并分析用户购买电影内容物的购买历史。作为购买历史，例如可例举电影内容物的价格、在线购买的情况下，则是购买日期等。由此，还能够一并分析出与购买内容物有关的倾向。

像这样，分析部203b分析出特定用户的视点、用户的多个视点的倾向。

第四实施方式

图24是第四实施方式的影像显示系统1c的头戴式显示器100和视线检测装置200的块图。

头戴式显示器100作为电路部件，除了包括红外线光源103、图像显示组件108(以下称作“显示器108”)、摄影机116以及通信界面110之外，还包括控制部(中央处理器)150、存储器151、红外线发射部122、显示部121、拍摄部124、图像处理部123、倾斜度检测部156。

另一方面，视线检测装置200包括控制部(中央处理器)20、存储装置21、通信界面22、视线检测部213、影像生成部214、声音生成部215、。

通信界面110是一种具有能够与视线检测装置200的通信界面22执行通信的功能的通信界面。通信界面110通过有线通信或无线通信与通信界面22执行通信。此外，可使用的通信标准的例子如上所述。通信界面110将从拍摄部124或图像处理部123传输的用于视线检测的影像数据发送给通信界面22。并且，通信界面110将从视线检测装置200发送的影像数据或标记图像传输给显示部121。作为从视线检测装置200发送的影像数据的一例，是一种如上所述的pv等用于显示包含一人以上的人的影像的动态图像等的数据。并且，影像数据可以是用于显示三维影像的由右眼用视差影像和左眼用视差影像构成的视差影像对。

控制部140利用存储在存储器151中的程序来控制电路部件。由此，头戴式显示器100的控制部140可根据存储在存储器151中的程序来运行用于实现视线方向检测功能的程序。

存储器151除了存储用于使头戴式显示器100发挥功能的程序之外，根据需要还能够暂时性地存储由摄影机116拍摄得到的图像数据等。

红外线发射部122控制红外线光源103的亮灯状态，从红外线光源103向用户300的右眼或左眼发射近红外线。

显示部121具有将由通信界面110传输的影像数据显示于显示器108的功能。作为影像数据，显示部121显示包含一人以上的人物的图像，如：偶像群组等的宣传视频(pv)、各种演唱会等的实时视频、脱口秀等各种演讲视频等。并且，显示部121将由影像生成部214输出的标记图像显示于显示部121的指定的坐标。

拍摄部124利用摄影机116拍摄包含被用户300的左右眼反射的近红外线的图像。并且，拍摄部124拍摄后文中的凝视显示于显示器108的标记图像的用户300的亮点图像以及前眼部图像。拍摄部124将拍摄提到的图像数据传输给通信界面110或图像处理部123。

图像处理部123根据需要对拍摄部124所拍摄的图像进行图像处理并传输给通信界面110。

针对头戴式显示器100的倾斜度，倾斜度检测部156例如根据来自加速度传感器或陀螺仪传感器等倾斜传感器157的检测信号来计算出用户300的头部的倾斜度作为头戴式显示器100的倾斜度。倾斜度检测部156依次计算出头戴式显示器100的倾斜度，并将作为其计算结果的倾斜度信息传输给通信界面110。

控制部(中央处理器)210通过存储在存储装置21中的程序来执行上述的视线检测。控制部210根据存储在存储装置21的程序来控制影像生成部214及声音生成部215。

存储装置21是一种用于存储视线检测装置200的动作所需的各种程序或数据的记录介质。存储装置21例如可通过，硬盘驱动器(harddiscdrive)、固态硬盘(solidstatedrive)等实现。存储装置21与影像数据相对应地存储与影像中的各出场人物相对应的显示器108的外面上的位置信息或各出场人物的声音信息。

通信界面22是一种具有与头戴式显示器100的通信界面110执行通信的功能的通信界面。如上所述，通信界面22通过有线通信或无线通信与信接口110执行通信。通信界面22将用于显示包含由影像生成部214传输的一人以上的人物的影像的影像数据或用于校准的标记图像等发送给头戴式显示器100。并且，将凝视头戴式显示器100传输的由拍摄部124拍摄的标记图像的用户300的亮点图像、观看根据由影像生成部214输出的影像数据显示的影像的用户300的前眼部图像、由倾斜度检测部156计算出的倾斜度信息传输给视线检测部213。并且，通信界面22访问外网(例如，因特网)来取得在影像生成部214指定的动态图像网页的影像信息，并传输给影像生成部214。并且，通信界面22将由声音生成部215传输的声音信息直接或经由通信界面110发送给头戴式耳机170。

视线检测部213对由摄影机116拍摄的前眼部图像进行分析来检测出用户300的视线方向。具体地，从通信界面22接收用于用户300的右眼的视线检测的影像数据，来检测出用户300的右眼的视线方向。视线检测部213利用下文中的方法来计算出表示用户300的右眼的视线方向的右眼视线向量。同样，从通信界面22接收用于用户300的左眼的视线检测的影像数据来计算出表示用户300的左眼的视线方向的左眼视线向量。然后，利用计算出的视线向量来确认用户300正在凝视的显示于显示部121的影像的部位。视线检测部213将确认的凝视点传输给影像生成部214。

影像生成部214生成要显示于头戴式显示器100的显示部121的影像数据，并传输给通信界面22。影像生成部214生成用于校准视线检测的标记图像，并与其显示坐标位置一同传输给通信界面22，并发送给头戴式显示器100。并且，影像生成部214与视线检测部213所检测出的用户300的视线方向相对应地生成变更了影像的显示状态的影像数据。至于影像的显示状态的变更方法，将在下文中详细说明。影像生成部214基于视线检测部213所传输的凝视点，来判定用户300是否正在凝视的特定的一人，正在凝视着特定的一人的情况下，确认这人是何种人物。

在视线检测部213检测出的用户300的视线方向上，在显示器108正在输出的影像中存在一人以上的人物的情况下，声音生成部215确认该人物并使与特定人物相对应地从头戴式耳机170输出的声音的输出状态不同于其他声音来生成用户300能够识别的声音数据。

例如，声音生成部215调高特定人物的声音，以使特定人物的声音大小大于其他声音大小。或者，调小特定人物以外的声音，从而生成用户300能够识别的声音数据。

并且，声音生成部215除了将特定人物的声音大小设为大于其他声音大小之外，例如还能够进行变调、加快或延缓节拍、将声音强调等附加功能附加到声音数据。声音生成部215还能够在宣传视频(pv)等的间奏中将演奏等的音乐弱音化等附加功能附加到声音数据。此外，虽会在下文中详细说明，但利用声音生成部215在间奏中将音乐弱音化的情况下，影像生成部214还可以附加放慢影像以能够慢慢欣赏特定人物的编舞等的附加功能。

影像生成部214能够根据用户300的视线方向来以使包含特定人物的至少一部分的预定区域的影像比预定区域以外的影像更容易引起注意的方式生成影像数据。例如，给特定人物以外添加烟雾等强调效果、移动特定人物使其位于显示器108的中央，例如，附加推摄脸部或乐器等的特定人物的一部分等附加功能。并且，例如，在近年来的宣传视频等中，即使是相同的乐曲，也通过不同的出场人物、拍摄风景或场所(不局限于天然或人工)、编舞或服装等来组合多个模式构成一个乐曲。因此，即使是相同旋律部分，也能够选择不同的影像模式。因此，例如，能够附加切换成特定人物多数出场的影像模式或者特定人物在移动时追尾等附加功能。

数据

在这里，对具体的影像数据进行说明。例如，就偶像群组等的宣传视频而言，通常分别进行影像的拍摄或制作和声音(歌唱及演奏)的录音。

此时，无论歌唱是全员唱的部分还是个人唱的部分(独唱部分)，都按个人进行。由此，声音或演奏是能够按个人确认的，因此可作为已知信息利用。

另一方面，关于影像，也有全员在户外拍摄或在工作室全员拍摄的情况和个人拍摄的情况，最终通常会进行背景加工等图像处理。由此，通过与声音合体(关联)，影像与时间轴之间的关系也可以用作已知的信息。并且，画面上的各个人因编舞等而移动时，相对于预先设定的画面大小(纵横比)，例如以脸部为基准与时间轴相对应的位置也能够容易视为已知的信息。

由此，在上述的显示器108的显示画面，针对影像的各个人(出场人物)，能够将声音(演奏)和位置关联到时间轴来组合进影像数据，或者作为与影像数据相对应的表格方式的表演者数据。

由此，控制部210在通过视线检测部213检测出用户300的视线位置时，能够利用其xy坐标和时间表格来确认用户300集中观看影像中的谁。

动作

接着，根据图25的流程图对影像显示系统1c的动作进行说明。此外，在以下说明中，视线检测装置200的控制部210将包含声音数据的影像数据从通信界面22向通信界面110发送。

步骤s71

在步骤s71中，控制部140使显示部121及声音输出部132工作，使显示器108显示输出影像，并使头戴式耳机170的声音输出部132输出声音，并转移到步骤s72。

步骤s72

在步骤s72中，控制部210根据摄影机116所拍摄的图像数据，由视线检测部213检测出用户300在显示器108上的凝视点(视线位置)，并确认其位置。

步骤s73

在步骤s73中，控制部210判定用户300是否凝视特定的一人。具体地，即使影像中的人按时序列采取移动等动作，控制部210判定按时间轴变化的所检测出的凝视点的xy坐标轴的变化以最初确认的xy坐标轴为起点在预定时间(例如，2秒钟)内是否均与沿着时间表格的影像上的xy坐标轴一致，从而判定用户300是否凝视特定的一人。在控制部210判定为正在凝视特定的一人的情况下(“是”)，转移到步骤s4。在控制部210未判定为正在凝视特定的一人的情况下(“否”)，转移到步骤s78。此外，在特定的一人未移动的情况下，上述确认顺序也是相同的。

步骤s74

在步骤s74中，控制部210确认用户300正在凝视的人，转移到步骤s75。

步骤s75

步骤s75中，控制部210确认特定人的声音数据，转移到步骤s76。

步骤s76

在步骤s76中，控制部210使声音生成部215生成特定人的声音数据和其他人(无所谓包不包括演奏)的声音数据，并将生成后的新声音数据从通信界面22发送给通信界面110，转移到步骤s7。由此，例如，用户300正在凝视的人的歌唱音的音量最终以大于其他人的歌唱音的音量的状态从头戴式耳机170输出。此外，声音生成部215通过只调高用户300正在凝视的人的歌唱音的音量，或相反地只调低用户300正常凝视的人以外的歌唱音的音量，来使特定人的声音相对于其他人的声音突显出来，以让用户300能够容易地识别特定的一人的歌唱。

步骤s77

在步骤s77中，控制部210实际上与述步骤s76的路径并行地，使影像生成部214生成能够识别用户300正在凝视的人的新的影像数据，并将生成后的新的影像数据从通信界面22向通信界面110发送，转移到步骤s7。由此，在显示器108，例如，从图26所示的通常的影像显示状态变成如图27所示，特定人(例如在中心位置唱歌的女性)的影像不变，而其他周围人的影像以模糊状态显示。即，影像生成部214执行以使预定区域(中心位置的女性)的影像比预定区域以外的影像更容易引起注意的方式新生成影像数据的强调处理。

步骤s78

在步骤s78中，控制部210判定影像数据的再生是否结束。在控制部210判定为影像数据的生成结束的情况下(“是”)，结束该路径。在控制部210未判定为影像数据的生成结束的情况下(“否”)，返回到步骤s2，之后重复上述的各路径，直到影像数据的再生结束为止。由此，用户300例如想凝视强调状态的影像输出的情况下，仅中止对正在凝视的特定人的凝视，就能够判定为未凝视特定的一人(步骤s73中“否”)，而中止强调显示或声音控制。

总结

像这样，视线检测部213所检测出的用户300的视线方向上从显示器108输出的影像中存在一人以上的人物的情况下，影像显示系统1c能够使声音生成部215确认该人物并与特定人物相对应地使从声音输出部132输出的声音(包含乐器演奏等)的输出状态不同于其他声音的输出状态来生成利用者能够容易识别的声音数据。

例如，在喜欢的偶像群组之中，将自己推荐的成员的歌声的音量最终大于其他成员的歌声的音量，以使自己推荐的成员的歌声比其他成员的歌声突显出来。

由此，用户300能够容易识别出哪个声音是要推荐的成员的歌声(部分)，而更能够享受宣传视频的视听效果。

并且，特定人物不限定于偶像群组的成员等，也可以将演唱会的实时视频中的乐队的演奏者等作为对象。

在这种情况下，确认该演奏者，并调高该演奏音(例如，主音吉他声或贝司吉他声)的音量的话，就能够作为用于学习采取了何种弹奏方法或排列的资料。

此时，如上述的宣传视频制作，不仅是分别收录影像和声音的情况，即使是同步收录影像和声音，在视频編集时只要能够确认所使用的麦克，就能够容易将影像和声音关联起来。并且，就算未使用麦克，由于乐器和声音有固定的频率等，因而只要将人物和样品声音(编译码器等)以表格方式进行数据库化，就能够将影像上的人物和声音对应起来。

此外，影像数据中，由于可适用于多个人物出场的影像全部，例如各种话剧、歌剧或脱口秀等各种讲演等以影像化的状态包含多个出场人物的全部，因而特别有益于声音混杂的情况。

像这样，能与现实的利用方式相对应地改变输出，能够提供普及率。

在这里，声音生成部215作为提供基于用户300的声音的识别性的方法采取如下等方法。

·调高特定人物的声音的音量

·特定人物的声音的音量支持不变，调低其他人物的声音的音量。

并且，声音生成部215还可以附加一些附功能，例如：在像上文一样使特定人物的声音的音量最终高于其他人物的声音的音量的状态下，特定地变调或全部变调、改变节拍、进行声音强调等。

进而，如流行音乐一样有间奏的情况下，在间奏中，声音生成部215还可将声音(乐器声等)弱音化。由此，利用影像生成部214的功能，能够并用影像协调，如放慢再生特定人物的编舞(舞蹈)影像等，从而能够利用于学习特定人物的编舞的情况。

并且，除了基于声音生成部215的声音控制之外并用影像生成部214的情况下，例如，可根据视线检测部213所检测出的用户300的视线方向，将包含特定人物的一部分的预定区域的影像变更为比预定区域以外的影像更容易凝视的显示状态。

作为除了基于声音生成部215的声音控制之外并用影像生成部214的情况下的具体例子，如上述的图7所示，除了使特定人物整个作为预定区域以比其他区域强调的显示状态之外，还可切换成以下状态：

·特定人物的影像未显示于画面上的中央附近的情况下，将特定人物移动到外面上的中央附近

·推摄特定人物的脸部或乐器演奏者的手根的乐器(弹奏样子等)

·同一曲存在多个影像模式的情况下，能够转换成特定人物出场的影像数据(摄影机)的状态。

补充

此外，影像显示系统不限定于上述实施方式，也可通过其他方法实现。以下对该例子进行说明。

(1)上述实施方式中，示出了使用宣传视频或实时视频等影像且包含并用的现实空间上的映像的例子，但也可适用于在虚拟现实空间内显示疑似人物、乐器或譜面等的情况。

(2)在上述实施方式中说明的是使特定人物的声音最终高于其他声音，例如，特定人物不是所谓主唱的情况下，可以替换主唱的声音，呈现出宛如主唱的效果。

(3)在上述实施方式中，为了检测出用户300的视线，作为拍摄用户300的眼睛的方法，拍摄的是被波长控制部件等光学装置112反射的影像，但也可以不通过光学装置112，而直接拍摄用户300的眼睛。

(4)上述实施方式中的视线检测方法仅为一个例子，基于上述头戴式显示器100及视线检测装置200的视线检测方法不局限于此。

首先，示出的是将作为不可见光发射近红外线的红外线发射部设置多个的例子，但向用户300的眼睛发射近红外线的方法不限于此。例如，对于构成头戴式显示器100的显示器108的像素，可设置具有发出近红外线的子像素的像素，并使这些发出近红外线的子像素选择性地发光，来向用户300的眼睛发射近红外线。亦或，作为图像显示组件108的替代，头戴式显示器100可包括网膜投影显示器，并利用该网膜投影显示器进行显示，在向用户300的网膜投影的图像之中包含发出近红外线色的像素，从而发射近红外线。无论是图像显示组件108，还是网膜投影显示器，发出近红外线的子像素可定期变更。

并且，在上述实施方式中示出的视线检测的算法不限定于上述实施方式中示出的方法，只要能够实现视线检测，其他算法也均可使用。

(5)在上述实施方式中示出了根据是否存在用户30凝视预定时间以上的人物来变更特定人物的声音状态的例子。在该处理中，进而，还能够追加以下处理。即，利用拍摄部124拍摄用户300的眼睛，视线检测装置200确认用户300的瞳孔的移动(睁开程度变化)。并且，视线检测装置200还可包括与瞳孔的睁开程度相对应地确认用户300的感情的感情确认部。并且，影像生成部214可与感情确认部确认的感情相对应地变更声音。更具体地，例如，用户300的瞳孔睁大的情况下，判定为用户300看见的人物采取了喜欢的表情或编舞，而推测出用户300对此人感兴趣。并且，声音生成部215在显示采取了与用户300感兴趣的表情或编舞的影像相同倾向的影像的情况(例如，相对于乐曲的第一次高潮旋律的第二次高潮旋律)下，通过将特定人物的声音的音量调高为成与其他人物的声音的音量之差变大，从而能够促进包含引起用户300兴趣的影像的强调效果。同样，影像生成部214能够更加强调此时的影像(例如加浓周围的晕染)。

(6)上述实施方式中示出了与基于声音生成部215变更声音状态的同时基于影像生成部214进行强调等显示状态变更的例子，至于显示状态的变更，例如可替换成网上销售与凝视的偶尔相关联的工具或其他pv的cm影像。

其他适用例

本发明的图像提供系统中，服务器还可包括分类部，分类部按照将图像数据中视线的位置满足预定的条件的用户分为一个群组的方式将多个用户分类，生成部可对应每个属于被分类部分类的群组的用户生成图像数据。

并且，图像提供系统中，服务器还可包括抽取部，抽取部用于对视线凝视位置与目标位置不同的用户，上述生成部可生成用于将被抽取部抽取的用户引导至目标位置的图像数据。

并且，图像提供系统中，请求信号可包含与所分类的用户的群组有关的群组信息，生成部可生成包含群组信息的图像数据。

并且，图像提供系统中，请求信号可包含用于引导视线的引导信息，生成部可生成包含引导信息的图像数据。

本发明的服务器为与多个头戴式显示系统相连接的利用于图像提供系统的服务器，包括：第一通信控制部，向所连接的头戴式显示系统发送图像数据；生成部，与上述图像数据对应地生成与从上述头戴式显示系统发送的与用户视线有关的信息相对应的新的图像数据，并向上述第一通信控制部输出。

本发明的图像提供方法作为用于服务器和多个头戴式显示系统相连接的图像提供系统中的图像提供方法，包括如下步骤：服务器向所连接的头戴式显示系统发送图像数据的步骤；头戴式显示系统显示从服务器供给的图像数据的步骤；头戴式显示系统检测对察看显示于显示部的图像数据的用户的视线进行检测的步骤；头戴式显示系统向服务器发送与所检测出的视线有关的信息的步骤；服务器生成和与从头戴式显示系统发送的用户视线有关的信息相对应的新的图像数据并发送给头戴式显示系统的步骤。

本发明的图像提供程序使服务器与多个头戴式显示系统相连接的图像提供系统实现如下的步骤：服务器向所连接的头戴式显示系统发送图像数据的步骤；与上述图像数据相对应地生成与从头戴式显示系统发送的用户视线有关的信息相对应的新的图像数据，并发送给头戴式显示系统的步骤。

本发明的头戴式显示器可包括用于显示图像的显示部、用于检测出目视显示于显示部的图像的用户的视线数据的检测部、生成与检测出的1个以上的用户的视线数据相对应的可视化数据的生成部。

并且，头戴式显示系统的生成部可生成包含利用检测部所检测出的视线数据确认的用户视点的坐标位置在内的可视化数据。

并且，头戴式显示系统还可包括如下的分析部，分析部利用检测部所检测出的视线数据来对目视显示于显示部的图像的用户的多个视点的倾向进行分析，生成部可生成包含分析部的分析结果的可视化数据。

并且，头戴式显示系统还可包括如下的分析部，在检测部检测出的视线数据中，在显示于显示部的图像中的预定的目标位置不存在用户的视线的情况下，分析部分析用户的视点，生成部可生成包含分析部的分析结果的可视化数据。

并且，头戴式显示系统还可包括如下的分析部，在检测部检测出的视线数据中，在显示于显示部的图像中的预定的目标位置不存在用户的视线的情况下，分析部对显示该图像为止的预定时间的用户视线的轨迹进行分析，生成部可生成包含分析部的分析结果的可视化数据。

并且，用于在头戴式显示系统中显示图像的图像数据为视频游戏的动态图像数据，还包括测量游戏的达成时间的计时器，分析部可对利用计时器测量的达成时间和用户的视线进行分析。

并且，头戴式显示系统的分析部针对用户的视线数据，对应每个利用达成时间确认的等级分析用户的视线。

并且，头戴式显示系统中，用于显示图像的图像数据为与用户输入的操作信号相对应地变更图像的视频游戏的动态图像数据，分析部可分析游戏开始时的用户的视线。

并且，头戴式显示系统还可包括用于测量用户玩该游戏的总时间的计时器，分析部可对利用计时器测量的总时间在预定范围时间的用户的视线进行分析。

并且，头戴式显示系统中，用于显示图像的图像数据是与用户输入的操作信号相对应地显示图像变更的视频游戏的动态图像数据，可包括用于取得在游戏过程中由用户执行了预定操作的信息的操作取得部，在操作取得部取得预定操作的执行的情况下，分析部可分析用户的视线。

并且，头戴式显示系统中，预定操作可以是购买内容物的操作。

并且，头戴式显示系统中，用于显示图像的图像数据为动态图像数据，还可包括用于取得用户属性的属性取得部。分析部对应每个属性对检测部检测出的视点的倾向进行分析，生成部可生成包含利用分析部所分析出的视点确认的数据的可视化数据。

并且，头戴式显示系统中，用于显示图像的图像数据为用户购买的图像数据，分析部可对应每个属性及图像数据的价格来对检测部所取得的视频的倾向进行分析。

并且，头戴式显示系统的生成部可生成在图像中追加了检测部所取得的用户的视点的位置的数据作为可视化数据。

并且，头戴式显示系统中，用于显示图像的图像数据为动态图像数据，可视化数据可包含将图像数据中的各用户的视点和图像数据的时间轴之间的关系确认的时间轴显示部。

并且，头戴式显示系统的生成部可生成追加了包含分析部所分析的结果的棒图的可视化数据。

并且，头戴式显示系统还可包括用于输出所生成的可视化数据的输出部。

本发明的数据显示方法可包括如下步骤：在显示部显示图像的步骤；检测出目视显示于显示部的图像的用户的视线数据的步骤；生成与检测出的1个以上的用户的视线数据相对应的可视化数据的步骤。

本发明的数据生成程序可使头戴式显示系统实现如下的功能：在显示部显示图像的显示功能；检测出目视显示于显示部的图像的用户的视线数据的检测功能；生成与检测出的1个以上的用户的视线数据相对应的可视化数据的生成功能。

本发明的影像显示系统包括：影像输出部，用于输出包含一人以上的人物的影像；声音输出部；用于输出包含与一人以上的人物相对应的声音的声音；照明部，用于向利用者的前眼部发射包含不可见光的照明光；拍摄部，用于拍摄包含利用者的前眼部的前眼部图像；视线检测部，用于分析眼部图像来检测出利用者的视线方向；声音生成部，在视线检测部检测出的利用者的视线方向上影像输出部正在输出的影像中存在一人以上的人物的情况下，确认该人物并使与特定人物相对应地从上述声音输出部输出的声音的输出状态不同于其他声音的输出状态来生成利用者能够识别的声音数据。

并且，影像显示系统的声音生成部能够将特定人物的声音大小调高成大于其他声音的大小，来生成利用者能够识别的声音数据。

并且，影像显示系统的声音生成部除了将特定人物的声音大小调高成大于上述其他声音的大小之外，还可附加附加功能。

并且，影像显示系统还可具有如下的影像生成部，在视线检测部所检测出的利用者的视线方向上上述影像输出部正在输出的影像中不存在上述一人以上的人物的情况下，影像生成部确认该人物并将包含特定人物的至少一部分的预定区域的影像变更为比上述预定区域以外的影像更容易凝视的显示状态。

并且，影像显示系统的影像输出部可设置于利用者装戴于头部的头戴式显示器。

并且，本发明的影像表示方法可包括：影像输出步骤，输出包含一人以上的人物的影像；声音输出步骤，输出包含与一人以上的人物相对应的声音的声音；照明步骤，向利用者的前眼部发射包含不可见光的照明光；拍摄步骤，拍摄包含利用者的前眼部的前眼部图像；视线检测步骤，分析前眼部图像来检测出利用者的视线方向；声音生成步骤，在视线检测步骤检测出的利用者的视线方向上正在输出的影像中存在一人以上的人物的情况下，确认该人物并使与特定人物相对应地从上述声音输出部输出的声音的输出状态不同于其他声音的输出状态来生成利用者能够识别的声音数据。

并且，本发明的影像显示程序使计算机执行以下功能：影像输出功能，输出包含一人以上的人物的影像；声音输出功能，输出包含与一人以上的人物相对应的声音的声音；照明功能，向利用者的前眼部发射包含不可见光的照明光；拍摄功能，拍摄包含利用者的前眼部的前眼部图像；视线检测功能，分析前眼部图像来检测出利用者的视线方向；声音生成功能，通过视线检测功能检测出的利用者的视线方向上正在输出的影像中存在一人以上的人物的情况下，确认该人物并使与特定人物相对应地从上述声音输出部输出的声音的输出状态不同于其他声音的输出状态来生成利用者能够识别的声音数据。

产业上的可利用性

本发明可利用于头戴式显示器。