适应于环境的头戴式显示装置的制作方法

本发明涉及一种头戴式显示装置、其控制方法以及计算机程序。

背景技术：

近年来，已知作为安装在头部上的显示装置的头戴式显示装置。头戴式显示装置也被称为头戴式显示器(hmd)，并且包括允许用户在用户佩戴hmd的状态下观看外部场景的透视型hmd。透视型hmd使用布置在用户眼睛前面的光学系统等反射由诸如液晶面板的光学调制元件产生的图像光，从而与用户的视野区域中的外部场景(真实图像)一起显示作为虚拟图像的图像(例如，ptl1)。

引用列表

专利文献

ptl1：jp-a-2010-139901

技术实现要素：

技术问题

到目前为止，已经提出了除了显示图像的功能之外还具有各种功能的透视型hmd。上述各种功能包括使用摄像机的拍摄功能，输出声音的功能等。存在的问题是，尚未充分检查这些功能是否可以随时操作。另外，在相关技术的头戴式显示装置中，需要提高用户的便利性，提高检测准确度，防止诸如偷拍的恶意使用，装置结构的紧凑化，降低成本，节约资源，制造便利化等。

问题的解决方案

本发明的一些方面的优点是解决上述问题的至少一部分，并且本发明可以实现为以下形式。

(1)本发明的一个方面涉及一种透射型头戴式显示装置。头戴式显示装置包括：图像显示单元，其显示图像以允许佩戴头戴式显示装置的用户在视觉上识别图像，并且能够透过外部场景；使用环境确定单元，其确定头戴式显示装置的使用环境；以及处理控制单元，其根据所确定的使用环境来改变内置于头戴式显示装置中的预定功能的至少一部分。根据该方面的头戴式显示装置，可以根据佩戴在用户上的头戴式显示装置的使用环境来改变内置于头戴式显示装置中的预定功能的至少一部分。因此，根据使用环境执行改变，例如内置于头戴式显示装置中的预定功能的至少一部分的抑制或扩展。因此，根据该方面的头戴式显示装置，可以容易地实现与使用环境对应的功能。

(2)在根据本方面的头戴式显示装置中，使用环境可以是由头戴式显示装置的移动改变的使用环境。根据透射型头戴式显示装置，用户可以在佩戴头戴式显示装置的同时自由地移动，因此使用环境是可改变的。因此，根据该方面的头戴式显示装置，可以容易地实现与可改变的使用环境对应的功能。

(3)根据本方面的头戴式显示装置还可以包括执行图像捕获的图像捕获单元，并且所述使用环境确定单元可以基于由所述图像捕获单元获得的捕获图像来确定使用环境。图像捕获单元包括在头戴式显示装置中，因此图像捕获范围与用户的头部的移动相关联地移动。因此，可以根据由图像捕获单元获得的捕获图像容易地检测使用环境的变化。

(4)在根据本方面的头戴式显示装置中，在由图像捕获单元获得的捕获图像中包含用于识别特定使用环境的标记时，使用环境确定单元可以确定特定使用环境。根据该方面的头戴式显示装置，可以通过捕获标记的图像而容易地检测使用环境的变化。

(5)在根据本方面的头戴式显示装置中，使用环境确定单元可以基于来自外部无线通信终端的信号来确定使用环境。根据该方面的头戴式显示装置，可以容易地检测使用环境。

(6)在根据本方面的头戴式显示装置中，预定功能可以是使用摄像机单元执行远距拍摄的远距拍摄功能。根据该方面的头戴式显示装置，可以抑制或扩展使用摄像机单元的远距拍摄功能。因此，可以容易地根据使用环境执行对远距拍摄模式的改变。

(7)在根据本方面的头戴式显示装置中，使用环境可以至少包括体育场中的特定座位环境，并且当使用环境确定单元确定特定座位环境时，处理控制单元可以启动远距拍摄功能以使用摄像机单元执行远距拍摄。根据该方面的头戴式显示装置，在体育场内的特定座位环境中自动执行远距拍摄，因此用户可以自由地再现通过远距拍摄记录的捕获图像。因此，可以增加在体育场内的特定座位环境中的用户便利性。

(8)根据本方面的头戴式显示装置还可以包括擦除单元，其在检测到头戴式显示装置到体育场外的移动时，擦除通过远距拍摄记录的捕获图像。根据该方面的头戴式显示装置，可以防止在体育场内的特定的座位环境中拍摄的拍摄图像被带出体育场。

(9)在根据本方面的头戴式显示装置中，在使用环境确定单元确定预定使用环境时，处理控制单元可以获得预定数据并且将数据存储在存储单元中；并且在使用环境确定单元确定与预定使用环境分离时，在预定使用环境中存储在存储单元中的预定数据被擦除。根据该方面的头戴式显示装置，可以在预定数据与预定使用环境分离时擦除在预定使用环境中存储的预定数据。因此，根据该方面的头戴式显示装置，可以将预定数据的使用范围限制为在预定使用环境下，从而可以实现安全性的提高。

(10)在根据本方面的头戴式显示装置中，预定功能可以是在图像显示单元上显示预定信息的信息呈现功能。根据该方面的头戴式显示装置，可以抑制或扩展在图像显示单元上显示预定信息的信息呈现功能。因此，可以容易地执行适合于该场合的信息呈现。

(11)在根据本方面的头戴式显示装置中，使用环境可以至少包括剧院中的特定座位环境，并且当使用环境确定单元确定特定座位环境时，处理控制单元可以将关于剧院中正表演的节目的导引信息显示为预定信息。根据该方面的头戴式显示装置，在向戏剧中的特定的座位环境转移的情况下，可以通过图像显示向用户呈现关于剧院中正表演的节目的导引信息。因此，可以容易地呈现关于戏剧的信息。

(12)在根据本方面的头戴式显示装置中，使用环境可以至少包括电影院中的特定座位环境，并且当使用环境确定单元确定特定座位环境时，处理控制单元可以将字幕显示为预定信息。根据该方面的头戴式显示装置，在向电影院的特定的座位环境转移的情况下，可以通过图像显示向用户呈现正在放映的电影的字幕。因此，可以容易地呈现关于字幕的信息。

(13)在根据本方面的头戴式显示装置中，电影院中的特定座位环境可以包括第一坐标环境和第二坐标环境，并且处理控制单元可以在使用环境确定单元确定第一座位环境时显示以第一语言书写的字幕；并且可以在使用环境确定单元确定第二座位环境时处理控制单元显示以不同于第一语言的第二语言书写的字幕。根据该方面的头戴式显示装置，可以在向电影院的第一座位环境转移的情况下接收以第一语言书写的字幕；并且可以在向电影院的第二座位环境转移的情况下接收以第二语言书写的字幕。因此，可以容易地根据座位环境改变字幕的语言。

(14)在根据本方面的头戴式显示装置中，使用环境可以至少包括需要高级别的安全性的安全环境，并且处理控制单元可以在使用环境确定单元确定安全环境时允许执行预定应用；并且可以在使用环境确定单元确定不是安全环境时处理控制单元禁止执行预定应用。根据该方面的头戴式显示装置，在向需要高级别的安全性的安全环境转移的情况下允许执行预定应用；在没有处于安全环境的情况下禁止执行预定应用。因此，可以容易地根据安全环境改变对预定应用的执行的允许及禁止。

(15)在根据本方面的头戴式显示装置中，使用环境可以是公共场所。根据该方面的头戴式显示装置，可以在公共场所的情况下改变预定功能的至少一部分。

(16)在根据本方面的头戴式显示装置中，当使用环境确定单元确定公共场所时，处理控制单元可以禁止根据预定应用使用图像传感器装置进行图像捕获。根据该方面的头戴式显示装置，可以在公共场所的情况下禁止使用图像传感器装置进行图像捕获。

(17)根据本方面的头戴式显示装置还可以包括：存储单元，其存储操作程序和预定应用程序；预定装置，其能够通过由操作程序实现的预定功能来进行操作；以及装置控制单元，其通过专有地使用预定功能来驱动预定装置。根据该方面的头戴式显示装置，可以通过装置控制单元专有地使用预定装置。也就是说，预定应用程序在不经过装置控制单元的情况下不能使用预定装置。因此，可以通过限制装置控制单元的使用来增加对社会的适应性。

上述本发明的各个方面中的多个构成元件中的所有构成元件并非是必要的，并且为了解决上述问题中的一部分或全部问题，或者为了实现本说明书中描述的一部分或全部效果，多个构成元件中的一些构成元件可以被适当地改变、删除、用其他新的组成元互换，以及从其限制内容中部分地删除。此外，为了解决上述问题中的一部分或全部问题，或者为了实现本说明书中描述的一些或全部效果，可以将包括在上述本发明的一个方面中的一部分或全部技术特征与包括在上述本发明的另一方面中的一部分或全部技术特征相组合，因此可以被视为本发明的独立方面。

例如，本发明的一个方面可以被实现为以下装置，其具有包括图像显示单元、使用环境确定单元和处理控制单元的三个组成元件中的一个或更多个或全部组成元件。也就是说，该装置可以包括图像显示单元或者可以不包括图像显示单元。另外，该装置可以包括使用环境确定单元或者可以不包括使用环境确定单元。此外，该装置可以包括处理控制单元或者可以不包括处理控制单元。例如，图像显示单元可以被配置为显示图像，以允许佩戴头戴式显示装置的用户在视觉上识别图像，并且能够透过外部场景。使用环境确定单元可以确定例如头戴式显示装置的使用环境。处理控制单元可以例如根据所确定的使用环境来改变内置于头戴式显示装置中的预定功能的至少一部分。这种装置可以被实现为例如头戴式显示装置，但是也可以实现为除头戴式显示装置之外的装置。根据该方面，可以解决以下各种问题中的至少一个：诸如提高用户的便利性，提高检测准确度，防止偷拍等恶意使用，装置结构的紧凑化，降低成本，节约资源，制造便利化。头戴式显示装置的每个方面的上述技术特征中的一些技术特征或全部技术特征可应用于该装置。

可以以除了头戴式显示装置之外的各种形式来实现本发明。例如，本发明可以以以下形式实现：诸如显示装置、头戴式显示装置以及控制显示装置的方法，以及头戴式显示系统、显示装置、用于实现头戴式显示系统和显示装置的计算机程序、用于在其上记录计算机程序的记录介质以及包括计算机程序并在载波内实现的数据信号。

附图说明

[图1]图1是示出根据第一实施方式的头戴式显示装置(hmd)的示意性构造的图。

[图2]图2是示出hmd的构造的功能框图。

[图3]图3是示出用户在视觉上识别的虚拟图像的示例的图。

[图4]图4是示出hmd的平台的图。

[图5]图5是示出根据第一实施方式的用于观看足球赛的门票的图。

[图6]图6是示出当通过他或她的眼睛转向用于观看足球赛的门票而读取二维条码时用户在视觉上识别的信息的示例的图。

[图7]图7是示出观看辅助例程的细节的流程图。

[图8]图8是示出当再现捕获的运动图像时由用户在视觉上识别的信息的示例的图。

[图9]图9是示出根据第二实施方式的hmd的使用模式的图。

[图10]图10是示出根据第二实施方式的欣赏辅助例程的细节的流程图。

[图11]图11是示出根据第三实施方式的hmd的使用模式的图。

[图12]图12是示出根据第三实施方式的欣赏辅助例程的细节的流程图。

[图13]图13是示出根据第四实施方式的hmd的使用模式的图。

[图14]图14是示出根据本发明的第五实施方式的hmd的使用模式的图。

[图15]图15是示出根据本发明的第六实施方式的由hmd执行的社会适应支持例程的流程图。

[图16]图16是示出公共厕所的图。

[图17]图17是示出列车中的优先座位的图。

[图18]图18是示出根据本发明的第七实施方式的hmd的平台的图。

[图19a]图19a是示出根据修改示例的hmd的外部构造的图。

[图19b]图19b是示出根据修改示例的hmd的外部构造的图。

具体实施方式

a.第一实施方式

a-1.头戴式显示装置的构造

图1是示出根据第一实施方式的头戴式显示装置的示意性构造的图。头戴式显示装置100是安装在头上的显示装置，也被称为头戴式显示器(hmd)。hmd100是光透射型头戴式显示器，其允许用户直接地在视觉上识别虚拟图像以及在视觉上识别外部场景，并且在该实施方式中用于观看比赛(例如，足球)。

hmd100包括：图像显示单元20，其允许用户在图像显示单元安装在用户的头部上的状态下在视觉上识别虚拟图像；以及控制图像显示单元20的控制单元(控制器)10。

图像显示单元20是安装在用户的头部上的安装体，并且在该实施方式中具有眼镜形状。图像显示单元20包括右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学图像显示部26以及左光学图像显示部28。右光学图像显示部26和左光学图像显示部28被布置成当用户佩戴图像显示单元20时分别位于用户的右眼和用户的左眼的前面。右眼光学图像显示部26的一端和左光学图像显示部28的一端在当用户佩戴图像显示单元20时在与用户的眉间对应的位置处彼此连接。

右保持部21是被设置成从作为右光学图像显示部26的另一端的端部er延伸到当用户佩戴图像显示单元20时与用户的颞区对应的位置的部件。类似的，左保持部23是从作为左光学图像显示部28的另一端的端部el延伸到当用户佩戴图像显示单元20时与用户的颞区对应的位置的部件。右保持部21和左保持部23以眼镜的镜腿(眼镜腿)的方式将图像显示单元20保持在用户的头部上。

右显示驱动部22设置在右保持部21的内侧，换句话说，当用户佩戴图像显示单元20时面向用户的头部的一侧。此外，左显示驱动部24设置在左保持部23的内侧。在下文中，将通过将右保持部21和左保持部23称为“保持单元”而不对两者进行区分来给出描述。类似地，将通过将右显示驱动部22和左显示驱动部24称为“显示驱动部”而不对两者进行区分以及通过将右光学图像显示部26和左光学图像显示部28称为“光学图像显示单元”而不对两者进行区分来给出描述。

显示驱动部包括液晶显示器(在下文中，称为“lcd”)241和242，投影光学系统251和252等(参见图2)。稍后将详细描述显示驱动部的构造。作为光学构件的光学图像显示部包括导光板261和262(参见图2)以及光控制板。导光板261和262由透光树脂材料等形成，并且将从显示驱动部输出的图像光引导到用户的眼睛。光控制板是具有薄板形状的光学元件，并且被设置为覆盖图像显示单元20的前面(与用户的眼睛相对的侧)。光控制板保护导光板261和262，并且防止导光板261和262的损坏、污垢的附着等。另外，光控制板的透光率被调整，因此可以通过调整进入用户的眼睛的外部光的量来调整虚拟图像的视觉识别的容易度。同时，可以省略光控制板。

图像显示单元20还包括用于将图像显示单元20连接到控制单元10的连接单元40。连接单元40包括连接到控制单元10的主软线48，主软线48所分出的右软线42和左软线44，以及设置在分支点处的连接构件46。右软线42连接到右显示驱动部22，左软线44连接到左显示驱动部24。连接构件46设置有用于与耳机插头30连接的插孔。右耳机32和左耳机34从耳机插头30延伸。

图像显示单元20和控制单元10通过连接单元40执行各种信号的传输。主软线48的与连接构件46相对的端部以及控制单元10设置有彼此配合的各自的连接器(未示出)，因此控制单元10和图像显示单元20通过主软线48的连接器与控制单元10的连接器的配合而彼此连接或者主软线48的连接器与控制单元10的连接器的解配而彼此断开。例如，可以采用金属线缆或光缆作为右软线42、左软线44和主软线48。

控制单元10是用于控制hmd100的装置。控制单元10包括照明部12、触摸板14、十字键16和电源开关18。照明部12根据其发光模式通知hmd100的操作状态(例如，电源的接通/断开)。例如，可以使用发光二极管(led)作为照明部12。触摸板14检测触摸板14的操作表面上的接触操作并且基于检测内容输出信号。可以采用诸如静电型、压力检测型或光学型的各种类型的触摸板作为触摸板14。十字键16检测与水平和垂直方向对应的按压操作，并且基于检测内容输出信号。电源开关18检测开关滑动操作，从而切换hmd100的电源的状态。

图2是示出hmd100的构造的功能框图。控制单元10包括输入信息获取单元110、存储单元120、电源130、无线通信单元132、gps模块134、cpu140、接口180和发送单元(tx)51和52，并且上述单元通过图中未示出的总线彼此连接。

输入信息获取单元110基于例如触摸板14、十字键16和电源开关18的操作输入来获取信号。存储单元120由rom、ram、dram、硬盘等构成。

电源130向hmd100的诸单元供电。可以使用诸如锂聚合物电池和锂离子电池等的二次电池可以作为电源130。此外，代替二次电池，可以使用一次电池或燃料电池，并且可以通过以无线方式接收电力来执行操作。此外，可以从太阳能电池和电容器接收电力。无线通信单元132根据诸如无线lan、蓝牙(注册商标)或ibeacon(注册商标)的预定无线通信标准与另一装置进行无线通信。gps模块134接收来自gps卫星的信号，从而检测其自身的当前位置。

cpu140通过读出并执行存储在存储单元120中的计算机程序而用作操作系统(os)150、图像处理单元160、显示控制单元162、使用环境确定单元164、处理控制单元166、声音处理单元170和ibeacon处理单元172。

图像处理单元160基于通过接口180和无线通信单元132输入的内容(视频)生成信号。图像处理单元160通过经由连接单元40将生成的信号提供给图像显示单元20来控制图像显示单元20。提供给图像显示单元20的信号根据模拟形式的情况或数字形式的情况而变化。在模拟形式的情况下，图像处理单元160生成并发送时钟信号pclk、垂直同步信号vsync、水平同步信号hsync和图像数据data。具体地，图像处理单元160获取包括在内容中的图像信号。通常，所获取的图像信号例如在运动图像的情况下是由每秒30帧图像构成的模拟信号。图像处理单元160从所获取的图像信号中分离诸如垂直同步信号vsync或水平同步信号hsync的同步信号，并且通过pll电路等生成时钟信号pclk。图像处理单元160使用a/d转换电路等将从其分离同步信号的模拟图像信号转换为数字图像信号。图像处理单元160针对每个帧将转换的数字图像信号存储在存储单元120内的dram中，作为rgb数据的图像数据data。

另一方面，在数字形式的情况下，图像处理单元160生成并发送时钟信号pclk和图像数据data。具体地，当内容具有数字形式时，与图像信号同步地输出时钟信号pclk，因此不需要生成垂直同步信号vsync和水平同步信号hsync以及对模拟图像信号进行a/d转换。同时，图像处理单元160可以对存储在存储单元120中的图像数据data执行图像处理，诸如分辨率转换处理、各种色调校正处理(诸如亮度和色度的调整)及梯形失真校正处理。

图像处理单元160分别通过发送单元51和52发送生成的时钟信号pclk、垂直同步信号vsync和水平同步信号hsync以及存储在存储单元120内的dram中的图像数据data。同时，通过发送单元51发送的图像数据data也被称为“用于右眼的图像数据data1”；并且通过发送单元52发送的图像数据data也被称为“用于右眼的图像数据data2”。发送单元51和52用作用于控制单元10与图像显示单元20之间的串行传输的收发器。

显示控制单元162生成用于控制右显示驱动部22和左显示驱动部24的控制信号。具体地，显示控制单元162响应于控制信号通过分别使用右lcd控制单元211控制控制右lcd241的驱动的开启/关闭、使用右背光控制单元201控制右背光221的驱动的开启/关闭、使用左lcd控制单元212控制左lcd242的驱动的开启/关闭、使用左背光控制单元202控制左背光222的驱动的开启/关闭等来控制通过右显示驱动部22和左显示驱动部24执行的图像光的生成和发射。显示控制单元162分别通过发送单元51和52发送用于右lcd控制单元211和左lcd控制单元212的控制信号。类似地，显示控制单元162发送用于右背光控制单元201和左背光控制单元202的控制信号。

使用环境确定单元164确定通过安装在用户的头部上的hmd100的移动而改变的移动环境。处理控制单元166改变内置于hmd100中的各种功能中的预定功能的至少一部分。预定功能可以是一个功能或多个功能，但在第一实施方式中是一个功能。稍后将详细描述使用环境确定单元164和处理控制单元166。

声音处理单元170获取包括在内容中的声音信号，放大所获取的声音信号，并且将所获取的声音信号提供给连接到连接构件46的右耳机32内的扬声器(图中未示出)以及左耳机34内的扬声器(图中未示出)。例如，当采用杜比(dolby)(注册商标)系统时，对声音信号进行处理，并且右耳机32和左耳机34分别输出例如具有改变的频率的不同的声音。

ibeacon处理单元172通过使用ibeacon(注册商标)技术从设置在hmd100外部的蓝牙低功耗(ble)终端接收信号，从而获得ble终端和hmd100之间的距离。

接口180是用于将用作内容提供源的各种外部设备oa连接到控制单元10的接口。外部设备oa的示例包括个人计算机pc、移动电话终端、游戏终端等。接口180的示例可以包括usb接口、微型usb接口、用于存储卡的接口等。

图像显示单元20包括右显示驱动部22、左显示驱动部24、作为右光学图像显示部26的右导光板261、作为左光学图像显示部28的左导光板262、外部场景图像捕获摄像机61(也参见图1)以及九轴传感器66。

外部场景图像捕获摄像机61设置在当用户佩戴图像显示单元20时与用户的眉间对应的位置。为此，外部场景图像捕获摄像机61在用户将图像显示单元20佩戴在他或她的头上的状态下沿用户面对的方向捕获外部场景图像作为外部场景。外部场景图像捕获摄像机61是单目摄像机，但是可以是立体摄像机。同时，在本实施方式中，外部场景图像捕获摄像机61具有远视功能，因此可以在远视模式下执行图像捕获。远视功能可以是使用光学变焦或数字变焦的功能。此外，也可以使用通过usb连接的外部摄像机等来代替外部场景图像捕获摄像机61。

九轴传感器66是检测加速度(三轴)、角速度(三轴)和地磁(三轴)的运动传感器，并且在该实施方式中设置在与用户的右眼镜腿对应的位置处。九轴传感器66设置在图像显示单元20中，因此当图像显示单元20安装在用户的头部上时九轴传感器66检测用户的头部的移动。根据检测到的用户的头部的运动来指定图像显示单元20的方向。

右显示驱动部22包括接收单元(rx)53、右背光(bl)控制单元201和用作光源的右背光(bl)221、右lcd控制单元211和用作显示元件的右lcd241，以及右投影光学系统251。同时，右背光控制单元201、右lcd控制单元211、右背光221和右lcd241也统称为“图像光生成单元”。

接收单元53用作用于执行控制单元10与图像显示单元20之间的串行传输的接收器。右背光控制单元201基于输入的控制信号来驱动右背光221。右背光221是诸如led或电致发光(el)等的发射体。右lcd控制单元211基于通过接收单元53输入的时钟信号pclk、垂直同步信号vsync、水平同步信号hsync和用于右眼的图像数据data1来驱动右lcd241。右lcd241是其中多个像素以矩阵形式设置的透射型液晶面板。右lcd241通过驱动在布置成矩阵的像素位置处的液晶并改变通过右lcd241的光的透射率来将从右背光221发射的照射光调制成表现图像的有效图像光。

右投影光学系统251由准直透镜构成，该准直透镜将从右lcd241发射出的图像光形成为平行状态的光束。作为右光学图像显示部26的右导光板261将从右投影光学系统251输出的图像光引导到用户的右眼re，同时沿预定光路反射图像光。光学图像显示部可以使用任何方法，只要其使用图像光在用户的眼睛的前面形成虚像即可，并且可以使用例如衍射光栅或可以使用半透明反射膜。同时，在本说明书中，来自hmd100的图像光的发射也被称为“图像的显示”。

左显示驱动部24具有与右显示驱动部22相同的构造。也就是说，左显示驱动部24包括接收单元(rx)54、左背光源(bl)控制单元202和用作光源的左背光(bl)222、左lcd控制单元212和用作显示元件的左lcd242以及左投影光学系统252。类似于右lcd241，左lcd242通过驱动在布置成矩阵的像素位置处的液晶并改变通过左lcd242的光的透射率来将从右lcd41发射的照明光调制成表现图像的有效图像光。尽管在本实施方式中采用背光系统，但是可以使用前光系统或反射系统来发射图像光。

图3是示出用户在视觉上识别的虚拟图像的示例的图。在图3中，示出了用户的视野vr。如上所述，hmd100的被引导到用户的双眼的图像光束分别形成在用户的视网膜上，因此用户在视觉上识别虚拟图像(图像)vi。在图3的示例中，虚拟图像vi是hmd100的os的待机图像。此外，用户通过右光学图像显示部26和左光学图像显示部28在视觉上识别外部场景sc。以这种方式，本实施方式的hmd的用户可以观看虚拟图像vi和相对于视野vr的其中显示虚拟图像vi的部分在虚拟图像vi后面的外部场景sc。另外，用户可以相对于视野vr1的其中不显示虚拟图像vi的部分通过光学图像显示部直接观看外部场景sc。

a2.hmd的平台

图4是示出hmd100的平台的图。在本文中使用的术语“平台”是指安装在hmd100中的操作应用所需的基础的硬件资源、os、中间件等的集合。本实施方式的平台500包括应用层510、框架层520、库层530、内核层540和硬件层550。在层510至550中，包括在平台500中的硬件资源、os、中间件等在概念上被分成层。os150(图2)的功能由框架层520、库层530和内核层540实现。同时，在图4中，将不示出在描述中不必要的组成元件。

应用层510是用于在os150上执行预定处理的应用软件的集合。在下文中，包括在应用层510中的每个应用软件也将被称为“应用(app)”或“应用(application)”。应用层510包括预先安装在hmd100中的应用和由hmd100的用户安装的应用。

在图4的示例中，应用层510包括观看辅助应用511、游戏应用512、摄像机应用513、代码读取器应用514等。观看辅助应用511提供适于在大型体育场(体育场)观看的观看辅助功能。游戏应用512提供游戏功能。摄像机应用513提供拍摄功能。

框架层520是对应用层510的应用软件通用的基本程序结构和配备有功能集的程序的集合。在该实施方式中，包括图像处理单元框架521、显示控制单元框架522、声音处理单元框架523、ibeacon处理单元框架524等。图像处理单元框521实现图像处理单元160(图2)的功能。显示控制单元框522实现显示控制单元162(图2)的功能。声音处理单元框架523实现声音处理单元170(图2)的功能。ibeacon处理单元框架524实现ibeacon处理单元172(图2)的功能。

库层530是被配置为组件的一组库软件，使得可以从另一程序(例如，应用层510的应用)使用用于实现特定功能的程序。在下文中，包括在库层530中的每个库软件也将被称为“库”。库不能被独立地执行，而是以从另一程序调用的方式执行库。

在图4的示例中，库层530包括显示器库533、音频库534、传感器库535、摄像机库536、超文本标记语言(html)库537等。显示器库533驱动右lcd241和左lcd242(图2)。音频库534驱动内置于右耳机32和左耳机34(图2)中的声音集成电路(ic)。传感器库535驱动九轴传感器66(图2)，使用九轴传感器66获取检测值，并将检测值处理为要提供给应用的信息。摄像机库536驱动外部场景图像捕获摄像机61(图2)，使用外部场景图像捕获摄像机61获取检测值，并且从检测值生成外部场景图像。html库537分析以用于网页描述的语言书写的数据，由此计算用于屏幕显示的字符和图像的布置。

内核层540是配备有os150的基本功能的程序的集合。内核层540管理软件(库层530)与硬件(硬件层550)之间的通信，并且用作软件(库层530)与硬件(硬件层550)之间的中介器。

在图4的示例中，内核层540包括用于右lcd241和左lcd242的lcd驱动器541、用于声音ic的声音ic驱动器542、用于九轴传感器66的传感器驱动器543以及用于内置于外部场景图像捕获摄像机61中的图像传感器的图像传感器驱动器544。

硬件层550是嵌入在hmd100中的真实硬件资源。在该实施方式中使用的短语“硬件资源”指的是连接到hmd100并嵌入在hmd100中的装置。也就是说，硬件资源包括：内部连接到hmd100的母板的装置(例如，九轴传感器66的传感器装置、摄像机61的图像传感器装置或触摸板14的传感器装置)；以及通过接口180外部连接到hmd100的装置(例如，外部运动传感器装置或外部usb装置)。

在图4的示例中，硬件层550包括作为右lcd241和左lcd242的lcd装置551、声音ic装置552、九轴传感器66的传感器装置553和外部场景图像捕获摄像机61的图像传感器装置554。

在图4中由虚线包围的库、驱动器和设备具有对应关系，因此彼此协作地操作。例如，传感器库535、传感器驱动器543和传感器装置553彼此协作地进行，以便实现九轴传感器66的功能。也就是说，可以说库层530的传感器库535和内核层540的传感器驱动器543是使应用使用传感器设备553作为硬件资源(硬件层550)的程序(软件)。同时，为了使得可以将传感器装置553用作一个硬件资源，可以采用向传感器装置553分配多个库的配置。

另一方面，在图4中，例如，库层530的html库537不具有与硬件资源的对应关系，并且不依赖于硬件资源。以这种方式，嵌入在hmd100中并且不依赖于硬件资源的程序(软件)在该实施方式中也被称为“软件资源”。作为软件资源，假设了包括在包括框架层520、库层530和内核层540的层中的各种程序。

a-3.观看门票和应用启动的方法

图5是示出根据本实施方式的用于观看足球赛的门票的图。在用于观看足球赛的门票tc上印有场地名称c1、指示座位位置的座位信息c2、二维条码(qrcord)(注册商标)c3等。在二维条码c3中编码和记录有用于启动观看辅助应用511(图4)的启动信息(在下文中，称为“观看辅助应用启动信息”)和座位信息。

佩戴hmd100的用户在体育场内启动代码读取器应用514，并且将他或她的眼睛转向在入场时出示的门票tk。代码读取器应用514通过输入信息获取单元110接收选择设置在hmd100的待机图像(参见图3)中的[代码读取器]图标ic的预定操作来启动。执行代码读取器应用514的hmd100使用外部场景图像捕获摄像机61来执行图像捕获。当二维条码被包括在获得的捕获图像中时，hmd将二维条码恢复为原始信息，并显示原始信息。也就是说，当二维条码被包括在捕获图像中时，cpu140在图像显示单元20上显示被编码为二维条码的信息。

图6是示出当通过他或她的眼睛转向用于观看足球赛的门票而读取二维条码c3时用户在视觉上识别的信息的示例的图。图6示出用户的视野vr1。如图所示，视野vr1包括体育场内的外部场景sc1。另外，条码信息显示区域ar1被设置为叠加在外部场景sc1上。条码信息显示区域ar1包括作为二维条码511的原始信息的观看辅助应用启动信息d1和座位信息d2。

用户使用触摸板14或十字键16执行选择观看辅助应用启动信息d1的预定操作。输入信息获取单元110接收预定操作，因此hmd100可以启动观看辅助应用511(图4)。具体地，hmd100通过跟踪写在观看辅助应用启动信息d1中的url来安装观看辅助应用，并且启动所安装的观看辅助应用511(图4)。同时，观看辅助应用511可以被配置成被预先嵌入。在本实施方式中，二维条码511被配置为写在用于观看足球赛的门票tc上。替代地，二维条码可以被配置成预先贴在体育场中的每个座位上。也就是说，也可以采用如下配置：将具有与每个座位相对应的座位信息d2的二维条码贴在每个座位上。

a-4.使用观看辅助应用进行处理

图7是示出了观看辅助例程的细节的流程图。观看辅助例程是基于观看辅助应用511的处理例程，由hmd100的cpu140执行。观看辅助例程通过接收到观看辅助应用511的启动而开始被执行。同时，在观看辅助应用511一旦被安装在hmd100中之后，可以通过直接而不是从门票tc向观看辅助应用511给出执行指令来开始执行观看辅助例程。

当处理开始时，cpu140首先将通过读取二维条码511所获得的上述编码座位信息d2存储在存储单元120(图2)的预定区域中(步骤s110)。同时，当启动观看辅助应用511却未读取二维条码c3时，可以使用触摸板14或十字键16输入座位信息d2。

随后，cpu140确定由座位信息d2确定的座位是否包括在体育场的上层区域中(步骤s120)。上层区域是预先设置在体育场的上层侧的区域。在该实施方式中，在步骤s120中确定座位是否包括在上层区域中，使得可以向包括在上层区域中的观众提供特殊服务。在步骤s120中，当确定由座位信息d2确定的座位不包括在上层区域中时，cpu140终止观看辅助例程。

另一方面，当在步骤s120中确定由座位信息d2确定的座位包括在上层区域中时，cpu140使用gps模块134检测hmd100的当前位置(步骤s140)，并且确定当前位置是否位于进行足球比赛的体育场内(步骤s150)。在此，当确定当前位置位于体育场内时，cpu140开启外部场景图像捕获摄像机61的远视功能，从而开始图像捕获(步骤s160)。同时，在图像捕获期间，所捕获的运动图像被存储在存储单元120中(步骤s170)。此外，在图像捕获期间，重复执行步骤s140和步骤s150的处理，以及当在步骤s150中确定hmd100的当前位置位于体育场内时，通过步骤s160和步骤s170连续执行图像捕获。

如上所述，外部场景图像捕获摄像机61可以沿着用户面向的方向捕获外部场景的图像。为此，根据hmd100，可以沿着用户面向的方向自动地远距拍摄比赛的状态。同时，hmd100可以在远距拍摄当中使用单独提供的再现应用来再现所捕获的内容，即，存储在存储单元120中的所捕获的运动图像。

图8是示出了当再现所捕获的运动图像时由用户视觉上识别的信息的示例的图。图8示出了用户的视野vr2。如图中所示出的，视野vr2包括体育场内的外部场景sc2。另外，再现区域ar2被显示为叠加在外部场景sc2上。再现区域ar2包括以上述远视模式捕获的所捕获的运动图像。

当在图7的步骤s150中确定hmd100的当前位置不在体育场内，即，hmd100移动到体育场外部时，cpu140行进至步骤s130的处理，以删除在步骤s170中存储在存储单元120中的所捕获的运动图像。之后，cpu140终止观看辅助例程。

同时，观看辅助例程中的步骤s110和步骤s120的处理对应于使用环境确定单元(图2)，以及步骤s160和步骤s170的处理对应于处理控制单元(图2)。

根据如上所述被配置的第一实施方式的hmd100，当体育场内的使用环境位于上层区域的座位环境中时，以远视模式自动捕获用户面向的方向上的状态。为此，用户可以通过在诸如由于位于上层处“不能看到”和“希望再次看到比赛”的情况下再现图像来再次观看自动远距拍摄和存储的所捕获的运动图像。因此，根据hmd100，可以容易地实现适合于上层区域的座位环境的拍摄功能。另外，可以提高上层区域的座位环境中的用户便利性。另外，在离开体育场的情况下删除所捕获的图像，因此可以防止所捕获的图像被带出体育场。

作为上述第一实施方式的修改示例，当确定hmd100已经移动到体育场外部时，可以采用锁定所捕获的运动图像的再现的配置，而不是删除所捕获的运动图像的配置。在体育场外部进行锁定，因此可以禁止在体育场外部再现上述所捕获的运动图像，而在返回体育场时可以再现过去所捕获的运动图像。另外，作为第一实施方式的另一个修改示例，可以采用以下配置：在图7中删除步骤s110和步骤s120的处理。根据该修改示例，可以在体育场内的任意位置进行远距拍摄，并且在移动到体育场外部时删除其所捕获的图像。同样，在该修改示例中，可以采用其中锁定所捕获的运动图像的再现的配置而不是其中删除所捕获的运动图像的配置。

b.第二实施方式

图9是示出了根据本发明的第二实施方式的hmd的使用模式的图。根据第二实施方式的hmd600与根据第一实施方式的hmd100的不同之处在于该hmd包括歌剧欣赏辅助应用，而这两个实施方式在其他方面彼此相同。同时，在下文将通过用在第一实施方式中所使用的附图标记和符号表示与第一实施方式中的部分相同的部分来给出描述。如图所示，根据第二实施方式的hmd600在表演歌剧的剧院内使用。歌剧欣赏辅助应用从例如要使用的剧院的主页下载并预先安装在hmd600中。

ble终端610被布置在剧院中最后面座位的背面，并且从ble终端610输出ibeacon信号。ibeacon信号至少存储距ble终端610的距离。当佩戴hmd600的用户进入剧院时，用户首先启动歌剧欣赏辅助应用

图10是示出了欣赏辅助例程的细节的流程图。该欣赏辅助例程是基于歌剧欣赏辅助应用的处理例程，由hmd600的cpu140执行。在欣赏辅助例程中，使用ibeacon处理单元172(图2)。

当处理开始时，hmd600的cpu首先确定是否已经检测到来自ble终端670的ibeacon信号(步骤s210)。cpu140重复执行步骤s210的处理，直到检测到ibeacon信号，并且当在步骤s210中确定检测到信号时确定所检测到的信号中存储的距离是否小于预定值(例如，7m)(步骤s220)。进行距离是否小于预定值的确定，以确定佩戴hmd600的用户的座位是否包括在剧院的后侧的预定范围内。也就是说，确定距离是否小于预定值包括确定hmd600的使用环境是否位于后排座位的座位环境中。在此，当确定距离不小于预定值时，cpu140将该处理返回至步骤s210。

当在步骤s220中确定距离小于预定值时，cpu140假设hmd600的使用环境已经转移至后排座位的环境而锁定应用层510中所包括的声音处理单元框架523和摄像机应用513(图4)(步骤s230和步骤s240)。由于声音处理单元框架523负责来自hmd600的声音的整体输出，因此通过锁定声音处理单元框架523，来自hmd600的声音的输出完全被消除(静音)。

另一方面，使用外部场景图像捕获摄像机61的拍摄功能还被包括在使用除了摄像机应用516以外应用层510中还包括的另一应用的标记识别处理(第一实施方式中的识别二维条码的处理等)。在该实施方式中，禁止使用摄像机应用516的图像捕获，而不禁止(即，允许)根据标记识别处理的图像捕获。也就是说，在该实施方式中，禁止能够用于偷拍目的的使用摄像机应用516的图像捕获，而允许不能用作偷拍的根据标记识别处理的图像捕获。同时，作为修改示例，可以通过锁定库层530中所包括的摄像机库536来完全禁止图像捕获

在执行步骤s240之后，cpu140开始显示导引信息(步骤s250)。也就是说，cpu140开始显示导引信息图像显示单元20。如图9中所示，用户视野vr3包括剧院内部的外部场景sc3，并且导引信息显示区域ar3被显示成叠加在外部场景sc3上。导引信息显示区域ar3包括导引信息gi。导引信息gi是诸如表演法、历史背景和所表演的歌剧(表演作品)的精彩部分的详细信息。在该实施方式中，hmd600从启动时间开始检测表演的开始，并且根据表演时间顺序地改变导引信息显示区域ar3中所包括的多条导引信息。在该实施方式中，采用了以下配置：导引信息显示区域ar3被布置在与视野vr3的中心偏移的位置处。由此，用户可以在不妨碍预定内容的视觉识别的情况下观看导引信息gi。虽然在执行了步骤s250之后终止欣赏辅助例程，但是继续所开始的导引信息的显示，直到表演结束。

同时，欣赏辅助例程中的步骤s210和步骤s220的处理对应于使用环境确定单元，并且步骤s230至步骤s250的处理对应于处理控制单元。作为处理控制单元，可以采用其中仅执行步骤s230至步骤s250的处理中的任一处理的配置，或者可以采用其中执行其中任意两个处理的配置，而不是其中执行步骤s230至步骤s250的所有处理的配置。

根据如上所述被配置的第二实施方式的hmd600，当剧院内的使用环境位于后排座位的座位环境中时，可以观看正在表演的歌剧的导引信息连同视觉上被识别为外部场景sc3的表演内容。在剧院(特别是大型剧院)内的后排座位的座位环境中，视觉上要识别的目标很远，因此目标在视野vr中的比例变得校小。因此，能够充分获得在视野vr中仅显示导引信息gi的空间。因此，根据hmd600，可以容易地实现适合于后排座位的座位环境的显示功能。另外，可以提高后排座位的座位环境中的用户便利性。

c.第三实施方式

图11是示出了根据本发明的第三实施方式的hmd的使用模式的图。根据第三实施方式的hmd700与根据第一实施方式的hmd100的不同之处在于该hmd包括电影欣赏辅助应用，而这两个实施方式在其他方面彼此相同。同时，在下文将通过用在第一实施方式中所使用的附图标记和符号表示与第一实施方式中的部分相同的部分来给出描述。如图所示，根据第三实施方式的hmd700用于电影院中。电影欣赏辅助应用从例如要使用的电影院的主页下载并预先安装在hmd700中。

第一ble终端710被布置在电影院的第一位置处而第二ble终端720被布置在电影院中的不同于第一位置的第二位置处。从ble终端710和720分别输出ibeacon信号。ibeacon信号至少包括识别ble终端710和720的ble终端识别号格式以及距ble终端710和720的距离。当佩戴hmd700的用户进入电影院时，用户首先启动电影欣赏辅助应用。

图12是示出了欣赏辅助例程的细节的流程图。该欣赏辅助例程是基于电影欣赏辅助应用的处理例程，由hmd700的cpu140执行。在欣赏辅助例程中，使用ibeacon处理单元172(图2)。

当处理开始时，hmd700的cpu首先确定是否已经检测到来自两个ble终端710和720中的至少一个的ibeacon信号(步骤s310)。cpu140重复执行步骤s310的处理，直到检测到ibeacon信号，并且当在步骤s310中确定检测到信号时确定所检测到的信号中存储的距离是否小于预定值(例如，5m)(步骤s320)。同时，当检测到多个ibeacon信号时，存储有短距离的信号被认为是“所检测到的信号”。进行距离是否小于预定值的确定，以确定烧灼hmd700的用户的座位是包括在以布置有第一ble终端710的第一位置为中心以预定值为半径的第一范围e1中还是包括在以布置有第二ble终端720的第二位置为中心以预定值为半径的第二范围e2中。也就是说，确定该距离是否小于预定值包括确定hmd700的使用环境是被包括在第一范围e1中还是被包括在第二范围e2中。在此，当确定距离不小于预定值时，cpu140将该处理返回至步骤s310。

当在步骤s320中确定距离小于预定值时，cpu140假定hmd700的使用环境已经转移成被包括在第一范围e1或第二范围e2中的环境而锁定应用层510中所包括的声音处理单元框架523和摄像机应用513(图4)(步骤s330和步骤s340)。步骤s330和步骤s340与第二实施方式的步骤s230和步骤s240(图10)相同。

在执行步骤s330之后，cpu140开始显示与所检测到的信号中存储的ble终端识别号对应的语言的字幕(步骤s350)。在该实施方式中，预先确定在电影院内的第一范围e1中以日语显示字幕而在电影院内的第二范围e2中以中文显示字幕。为此，在步骤s350中，当所检测到的信号中存储的ble终端识别号指示第一ble终端710时，开始以日语显示字幕，而当所检测到的信号中存储的ble终端识别号指示第二ble终端720时，开始以中文显示字幕。虽然在执行步骤s350之后终止欣赏辅助例程，但是继续所开始的字幕的显示，直到该放映结束。

同时，欣赏辅助例程中的步骤s310和步骤s320的处理对应于使用环境确定单元，并且步骤s330至步骤s350的处理对应于处理控制单元。作为处理控制单元，可以采用其中仅执行步骤s330至步骤s350的处理中的任一处理的配置，或者可以采用其中执行其中任意两个处理的配置，而不是在其中执行步骤s330至步骤s350的所有处理的配置。

根据如上所述被配置的第三实施方式的hmd700，当电影院中的使用环境位于第一范围e1的座位环境中时，可以观看日语字幕连同作为外部场景sc4被发送并且视觉上被识别的屏幕sr。此外，当电影院中的使用环境为第二范围e2的座位环境时，可以观看中文字幕连同作为外部场景sc5被发送并且视觉上被识别的屏幕sr。因此，根据hmd700，可以根据座位环境容易地改变字幕语言。另外，可以提高座位环境中的用户便利性。

d.第四实施方式

图13是示出了根据本发明的第四实施方式的hmd的使用模式的图。根据第四实施方式的hmd800与根据第一实施方式的hmd100的不同之处在于该hmd包括应用执行限制应用，而这两种实施方式在其他方面彼此相同。根据第四实施方式的hmd800用于包括要求高级安全性的安全室820的办公室810中。ble终端830被布置在安全室820的中间。当ble终端830和hmd800之间的距离被设置成小于预定值(例如，5m)，则认为佩戴hmd800的用户进入安全室820。根据应用执行限制应用，当确定距ble终端830的距离小于预定值时，hmd800允许执行预定应用程序并允许连接到预定网络。另一方面，当确定距ble终端830的距离等于或大于预定值时，或者当不能检测到来自ble终端830的ibeacon信号时，则禁止预定应用程序的执行并且禁止到预定网络的连接。

根据如上所述被配置的第四实施方式的hmd800，根据使用环境是否在要求高级安全性的安全环境中允许或禁止预定应用的执行和到预定网络的连接。因此，根据hmd800，可以根据安全环境容易地在允许和禁止预定应用的执行之间切换以及在允许和禁止到预定网络的连接之间切换。同时，在该实施方式中，采用了其中允许或禁止预定应用的执行和到预定网络的连接两者的配置。替代地，可以采用其中执行预定应用的执行和到预定网络的连接中的仅一个的配置。

e.第五实施方式

图14是示出了根据本发明的第五实施方式的hmd的使用模式的图。根据第五实施方式的hmd900与根据第一实施方式的hmd100的不同之处在于该hmd包括无线通信限制应用，而这两种实施方式在其他方面彼此相同。根据第五实施方式的hmd900用于要求限制(禁止)无线通信的空间，例如医院910。由于顾虑通过wi-fi、无线lan等的无线通信导致医疗仪器的错误操作，所以在医院中要求限制无线通信。

医院910包括诊断室912和等候室914。ble终端930被设置在诊断室912的中间。当ble终端930和hmd900之间的距离被设置成小于预定值(例如，5m)时，视为佩戴hmd900的用户从等候室914进入诊断室912。根据无线通信限制应用，当hmd900确定距ble终端930的距离小于预定值时，cpu禁止通过wi-fi、无线lan等连接到无线通信。另一方面，当确定距ble终端930的距离等于或大于预定值时，或者当不能检测到来自ble终端930的ibeacon信号时，cpu允许连接至无线通信。

根据如上所述被配置的第五实施方式的hmd900，当使用环境是要求限制无线通信的环境时，禁止通过wi-fi无线lan等连接至无线通信，而当使用环境不是上述环境时，允许连接至无线通信。因此，根据hmd900，可以根据使用环境容易地在允许连接至无线通信与禁止连接至无线通信之间切换。

f.第六实施方式

图15是示出了由根据本发明的第六实施方式的hmd执行的社会适应支持例程的流程图。社会适应支持例程是为了使hmd适应社会而开发的程序。根据第六实施方式的hmd与根据第一实施方式的hmd100的不同之处在于该社会适应支持例程由cpu执行，而这两种实施方式在其他方面彼此相同。该社会适应支持例程通过在启动hmd之后每次中断预定时间而重复被执行。

当处理开始时，hmd的cpu首先使用外部场景图像捕获摄像机61执行图像捕获(步骤s400)，并且确定在获得的所捕获的图像中是否包括公共厕所中的性别标记(步骤s410)。此外，cpu确定在获得的所捕获的图像中是否包括优先座位标记(步骤s420)。

图16是示出了公共厕所1010的图。性别标记1020被附着在公共厕所1010的入口附近，作为用于指示公共厕所的标志。

图17是示出了火车中的优先座位1110的图。优先座位标记1120附着在优先座位1110的附近，作为用于指示优先座位的标志。

用于指示公共场所的大量标记的图像图案被预先存储在hmd的存储单元中。在图15的步骤s410中，通过使用图像图案的图像图案识别来确定在所捕获的图像中是否包括作为标志的公共厕所的性别标记。在步骤s420中，通过图像图案识别来确定在所捕获的图像中是否包括作为标志的优先座位标记。

当在图15的步骤s410中确定在所捕获的图像中包括公共厕所的性别标记时，cpu锁定摄像机应用(步骤s430)。步骤s430的处理与第二实施方式中的步骤s240(图10)的处理相同。禁止使用摄像机应用516的图像捕获，而不禁止根据标记识别处理的图像捕获。也就是说，在步骤s430中，禁止能够用于偷拍的使用摄像机应用516的图像捕获，而允许不能用作偷拍的根据标记识别处理的图像捕获。在执行步骤s430之后，社会适应支持例程暂时终止。

当在步骤s420中确定在所捕获的图像中包括优先座位标记时，cpu禁止通过wi-fi、无线lan等连接至无线通信(步骤s440)。在执行步骤s440之后，社会适应支持例程暂时终止。

当在步骤s410中确定不包括公共厕所中的性别标记并且在步骤s420中确定不包括优先座位标记时，社会适应支持例程实际上暂时终止。

同时，当在步骤s430中锁定摄像机应用时或当在步骤s440中禁止连接至无线通信时，基于在其处确定包括性别标记或优先座位标记的点的预定范围被设置为应用区域。当通过gps模块134检测到hmd移动到应用区域外部时，取消步骤s430或步骤s440的限制。

根据如上所述被配置的第六实施方式的hmd，可以禁止在公共厕所中使用摄像机应用516的图像捕获，以及禁止在火车中的优先座位附近通过wi-fi、无线lan等连接至无线通信。

虽然在第六实施方式中将公共厕所和优先座位示为公共场所，但是也可以将该实施方式应用于诸如医院、飞机内部、餐馆、电影院、学校、图书馆和博物馆的各种公共场所。为了检测到公共场所的转移，在该实施方式中，确定在所捕获的图像中是否包括指示公共场所的标记。然而，也可以基于来自例如ibeacon(注册商标)的无线通信终端的信号来确定使用环境。此外，到公共场所的转移可以基于诸如led或电灯泡的光信息、声音检测位置信息、gps信息等来检测。

g.第七实施方式。

图18是示出了根据本发明的第七实施方式的hmd的平台的图。该图与第一实施方式的图4相同。图18与图4的不同之处在于根据第七实施方式的hmd的平台包括中间件515。中间件515包括社会适应支持处理器516。社会适应支持处理器516执行第六实施方式中的社会适应支持例程(图15)。也就是说，根据该实施方式的hmd包括执行社会适应支持例程的社会适应支持处理器516作为中间件。社会适应支持处理器516是本发明的配置中所包括的“装置控制单元”的从属概念。

图像传感器装置554是使用摄像机应用513可操作的装置，摄像机应用513通过社会适应支持程序的步骤s430(图15)被锁定。也就是说，图像传感器装置554、图像传感器驱动器544和摄像机库536具有对应关系并且因此彼此协作地操作。特别地，在该实施方式中，图像传感器装置554被配置成仅由图像传感器驱动器544和摄像机库536驱动，并且被配置成不被其他驱动器和库驱动。另外，图像传感器驱动器544和摄像机库536被配置成能够由社会适应支持处理器516专有地使用。也就是说，图像传感器驱动器544和摄像机库536被配置成在不使用社会适应支持处理器516的情况下不可用。

摄像机应用513可以通过社会适应支持处理器516将图像传感器装置554用作硬件资源。换句话说，能够使用图像传感器装置554而不通过社会适应支持处理器516的唯一应用是摄像机应用513。

根据如上所述被配置的第七实施方式的hmd，类似于第六实施方式，可以禁止在公共厕所中使用摄像机应用516的图像捕获以及禁止在火车中的优先座位附近通过wi-fi、无线lan等连接至无线通信。因此，可以使hmd适应社会。在该实施方式中，当不使用社会适应支持处理器516时，不能执行使用图像传感器装置554的图像捕获。因此，限制社会适应支持处理器516的规范的公开，从而可以仅使用由对其公开该规范的人开发的特定摄像机应用513来捕获外部场景的图像。例如，保证适应社会的标记被附加到配备有摄像机应用513的hmd，因此佩戴hmd的人周围的人可以安全地生活。因此，可以使hmd进一步适应社会。

同时，在该实施方式中，采用了其中社会适应支持处理器516排他地使用图像传感器驱动器544和摄像机库536的配置，但是可以采用其中社会适应支持处理器排他地使用诸如wi-fi或无线lan的无线通信模块的配置。

h.修改示例

同时，本发明不限于上述第一至第四实施方式及其修改示例，并且可以在不偏离本发明的范围的情况下以各种模式来实现。例如，可以进行以下修改。

h-1.修改示例1

使用环境的差异如下。

[1]地理差异，例如国家、省、辖区、城市和行政区。

[2]例如体育场、剧院、艺术博物馆、博物馆、电影院、音乐厅、研究所、公司、百货商店、工厂、学校、医院、高速公路、体育馆、建筑工地、动物园、植物园或公园的特定机构的内部或外部。在这种情况下，可以对体育场和剧院进行内部与外部之间的区分的确定。可以在诸如xx艺术博物馆的特定机构作为目标的情况下执行确定。

[3]例如沙丘、沼泽、海滩或山脉的特定区域的内部或外部。在这种情况下，可以对沙丘和沼泽进行内部与外部之间的区分的确定。可以在诸如xx沼泽的特定机构作为目标的情况下执行确定。

[4]例如飞机、火车、船舶或车辆的特定运输工具的内部或外部。在这种情况下，可以对飞机和火车进行内部与外部之间的区分的确定。可以在特定运输工具作为目标的情况下执行确定。

[5]上述[2]至[4]中的每一个的内部的特定位置。例如，第一实施方式至第四实施方式适用于这种情况。

[6]用户的五官(视觉、听觉、嗅觉、味觉和触觉)在用户所位于的地方感觉到的，例如照明强度、温度、湿度、噪声水平以及环境声音、气味、风量、风向、雪或雨的要素的差异可以被识别为使用环境的差异。使用环境的差异可以通过五官感觉不到的环境要素例如低频声音、红外线量、紫外线量、无线电波强度或磁场强度来识别。

[7]可以通过统计方法或非统计方法预先区分使用环境的差异。例如，该差异可以通过用户所位于的地方的安全性(可以通过犯罪率、事故率、损坏率等来标记)的差异、便利性(可以通过到车站的距离、便利店的数量、到学校的距离等)的差异以及社会性(公共场所、私人空间或它们之间的中间空间)的差异来区别。这种区别可以预先被标记，以与位置信息相关联，或者可以每次通过例如因特网的网络来获取。

具体地，可以通过采用其中当检测到至诸如火车内部、汽车内部和飞机内部等的公共场所的转移时锁定摄像机应用516的配置来实现防止偷拍。例如，当检测到到公司的移动时，可以允许用于业务用途的应用程序的执行。例如，在诸如飞机内部的环境下，可以采用其中禁止使用移动电话和无线lan作为干扰无线电波基站而可以使用较少影响飞机中的电子装置的蓝牙和ibeacon的配置。例如，当通过gps等检测到hmd的使用环境为特定国家时，可以改变根据国家确定的功能。例如，可以改变hmd中的使用语言，以改变例如在hmd中显示的长度和质量的使用单位以及改变hmd的无线装置的输出限制。

h-2修改示例2

使用环境的确定如下。

[1]基于所捕获的图像进行确定

<1>根据所捕获的外部场景直接进行确定的方法。例如，使用成像匹配来确定建筑物的外部形状、风景和场景。

<2>使用所捕获的外部场景中包括的标记进行确定的方法。标记包括条形码、二维条码(注册商标)、具有特定形式的标志牌、特定符号(例如，诸如“禁止图像捕获”和“禁止闪光”的符号)、标记、字符串等。另外，标记可以是陆地或机构中的固定对象(标志牌、路面标记等)，或者可以是可以容易地安装或携带的标记(宣传画、海报等)

<3>不仅根据外部场景而且还根据诸如操作中的内窥镜图像的特定的所捕获的图像进行确定。使用特定的所捕获的图像中包括的标记进行确定的方法

[2]使用所记录的声音进行确定

<1>通过分析声音来确定海滩、城镇等

<2>基于声音中所包括的特定模式进行确定。正在播放的音乐、听得见的频段的信标等。

[3]基于例如无线电波或磁场的信号进行确定。例如，无线lan、蓝牙和ibeacon。

h-3.修改示例3

预定功能修改如下。

[1]拍摄功能

可以使用拍摄静止图像的功能替代如第一实施方式中所描述的拍摄运动图像的功能。另外，可以如第一实施方式中所描述地使用远距拍摄功能，或者可以使用例如红外拍摄功能和全景拍摄功能的各种类型的拍摄功能。在上面所描述的第一实施方式中，执行驱动的开启和关闭之间的切换作为对使用摄像机的拍摄功能的修改。替代地，可以执行改变分辨率、在红外拍摄的开启和关闭之间切换、在视频功能的开启和关闭之间切换、在彩色和单色之间切换、在连续拍摄的开启和关闭之间切换、分割拍摄的开启和关闭之间切换、存储格式(原始数据)的切换、所捕获的图像的存储的可能性和不可能性之间切换、所捕获的图像的密码的应用的切换以及各种滤光器拍摄操作之间切换。也就是说，除了拍摄功能的开启和关闭之外，拍摄功能可以部分地停止并且可以部分地被激活。例如，当检测到至公共场所的转移时，可以限制摄像机的分辨率。例如，可以将通常具有1200万像素的摄像机的功能降低成不能识别人的面部的水平的具有300000像素的功能。

[2]声音记录功能

可以使用声音记录功能替代在第一实施方式中所描述的记录功能。例如，在音乐厅的使用环境中，可以禁止声音记录功能。另外，作为对声音记录功能的修改，可以执行麦克风的开启和关闭之间的切换、声音记录功能本身的开启和关闭之间的切换、存储和不存储记录声音的声音之间的切换、应用和不应用密码之间的切换等。

[3]声音功能

在上述第二实施方式和第三实施方式中，声音处理单元框架523作为处理控制单元被锁定以抑制使用声音功能。替代地，可以采用抑制声音的输出电平(即，降低音量)的配置。例如，可以采用促进声音输出程度(即，增加音量)的配置。也就是说，除了开启和关闭拍摄功能之外，可以部分地停止以及可以部分地激活拍摄功能。此外，对声音功能的修改可以应用于例如寄存器的改变、比特率的改变(am广播波、高质量等)、杜比的开启和关闭之间的切换、可用声源(合成器、声音合成)的数量和类型的改变、立体声和非立体声之间的切换以及右侧或左侧与右侧和左侧之间的切换的各种切换操作。

[4]信息指示功能

作为信息呈现功能，在上述第二实施方式中显示导引信息，在上述第三实施方式中显示字幕，并且执行是否执行显示与是否不执行显示之间的切换。替代地，可以采用改变显示能力的配置。例如，可以执行使用右显示驱动部22和左显示驱动部24的双目显示和使用其中的任一个的单目显示之间的切换、分辨率的改变、3d显示和2d显示之间的切换、彩色和单色之间的切换、透射率的改变、显示亮度的改变、运动图像帧的数量的改变、显示语言的改变等。此外，可以执行广告显示的开启和关闭之间的切换。另外，作为其中抑制信息呈现功能的配置，可以采用其中抑制预定功能的使用的配置，例如其中减少要显示的导引信息量的配置。此外，例如，可以采用其中促进信息呈现功能的使用的配置，例如其中增加要显示的导引信息量的配置。

[5]对将hmd与外部相关联的功能的修改

例如，作为对通信功能的修改，可以执行通信功能的开启和关闭之间的切换、通信速度的改变、通信距离的改变、连接目的地网络的范围的改变、自动连接的可能性和不可能性之间的切换等。此外，可以执行蓝牙或ibeacon的打开和关闭之间的切换、蓝牙的多链路的可能性和不可能性之间的切换、rf标签读取功能的开启和关闭之间的切换、存储器的访问范围的改变、访问外部存储器的可能性和不可能之间的切换、库或驱动器的访问范围的改变等。此外，可以执行各种传感器的开启和关闭之间的切换。

除了上述[1]至[5]之外，要修改的预定功能还包括各种功能。另外，对功能的修改包括开启、关闭、抑制、促进、部分停止和部分激活。此外，对功能的修改还包括功能的添加和移除等。

h-4.修改示例4

在上述实施方式中，作为修改功能的方法，改变应用层510中所包括的要素(例如，摄像机应用516)，以及改变框架层520中所包括的要素(例如，声音处理单元框架523)。替代地，可以改变库层530中所包括的要素，可以改变内核层540中所包括的元素，或者可以改变硬件层550中所包括的元素。

h-5.修改示例5

在上述实施方式中，hmd的使用环境是由hmd的移动改变的使用环境。替代地，可以使用通过hmd附近的变化而改变的使用环境，而不管hmd的移动如何。例如，可以检测季节的转换，并且在夏季基于图像显示单元20的显示亮度可以比在冬季的显示亮度增加。

h-6.修改示例6

在上述第七实施方式中，采用了其中能够使用图像传感器装置554的应用由社会适应支持处理器516限制的配置。另一方面，作为修改示例，可以采用以下配置：提供设置有旋转型或滑动型透镜盖机制的外部场景图像捕获摄像机，透镜盖可打开且可关闭，以及能够使用透镜盖机制的应用由社会适应支持处理器限制。根据该修改示例，通过在从外部观察时确认镜头盖的打开或关闭，可以确定外部场景图像捕获摄像机61是否正在工作，从而使周围的人能够安全地生活，并且装备有社会适应支持处理器的hmd保证周围的人安全地生活。

h-6.修改示例7

在上述第七实施方式及其修改示例中，作为公共场所中的修改功能，采用了以下配置：禁止使用外部场景图像捕获摄像机61的图像捕获和通过wi-fi、无线lan等的无线通信。另一方面，作为修改示例，可以采用以下配置：执行通过使面部部分模糊来执行图像捕获的图像捕获限制。此外，可以采用以下配置：禁止与生物体例如除了面部之外的指纹或虹膜的认证相关的获取。另外，作为公共场所中的修改功能，也可以使用上述[1]拍摄功能、[2]声音记录功能、[3]声音功能、[4]信息指示功能和[5]使hmd与外部相关联的功能。

h-8.其他修改示例

在上述实施方式中，已经举例说明了头戴式显示器的配置。然而，可以在不偏离本发明的范围的情况下定义头戴式显示器的任何配置，以及例如，每个部件可以被添加、删除、改变等。

在上述实施方式中，控制单元和图像显示单元的组成元件的分配仅是示例，并且可以采用各种方面。例如，可以采用以下方面：(i)在控制单元中安装例如cpu的处理功能和存储器，以及在图像显示单元中仅安装显示功能的方面；(ii)在控制单元和图像显示单元两者中安装例如cpu的处理功能和存储器的方面，(iii)一体地形成控制单元和图像显示单元的方面(例如，图像显示单元包括控制单元并且用作眼镜型可穿戴计算机的方面)，(iv)使用智能手机或便携式游戏机代替控制单元的方面，以及(v)其中控制单元和图像显示单元被配置成彼此通信并且以无线方式被供电，从而移除连接单元(代码)的方面。

在上述实施方式中，为了描述的方便，控制单元包括发送单元，以及图像显示单元包括接收单元。然而，上述实施方式的发送单元和接收单元都具有双向通信功能，因此可以用作发送和接收单元。另外，例如，图2中示出的控制单元通过有线信号传输路径连接至图像显示单元。然而，控制单元和图像显示单元可以通过例如无线lan、红外通信或蓝牙(注册商标)的无线信号传输路径彼此连接。

例如，可以任意改变在上述实施方式中所描述的控制单元和图像显示单元的配置。具体地，例如，可以采用以下配置：从控制单元移除触摸板并使用仅十字键进行操作。另外，控制单元可以包括例如操作杆的另一操作接口。另外，控制单元可以被配置成连接至诸如键盘或鼠标的装置从而接收来自键盘或鼠标的输入。另外，例如，不仅可以获取使用触摸板或十字键的操作输入，而且可以获取使用脚踏开关(由用户的脚来操作的开关)的操作输入。例如，图像显示单元可以设置有例如红外传感器的眼睛注视检测单元，以检测用户的眼睛注视，并且可以获取根据与眼睛注视的移动相关联的命令的操作输入。例如，可以使用摄像机来检测用户的手势，并且可以获取根据与手势相关联的命令的操作输入。当检测到手势时，可以将用户的指尖、佩戴在用户手指上的戒指、用户的手中保持的医疗设备等用作检测移动的标记。当可以获取使用脚踏开关或眼睛注视的操作输入时，即使在用户难以释放他或她的手的操作中，输入信息获取单元也可以从用户获取操作输入。

图19a和图19b是示出了根据修改示例的hmd的外部配置的图。在图19a的示例中，图像显示单元20x包括右光学图像显示部26x而不是右光学图像显示部26，并且包括左光学图像显示部28x而不是左光学图像显示部28。右光学图像显示部26x和左光学图像显示部28x被形成为小于上述实施方式中的光学构件，并且当安装hmd时被设置在用户的右眼和左眼的斜上侧。在19b的示例中，图像显示单元20y包括右光学图像显示部26y而不是右光学图像显示部26，并且包括左光学图像显示部28y而不是左光学图像显示部28。右光学图像显示部26y和左光学图像显示部28y被形成为小于上述实施方式中的光学构件，并且当安装hmd时被布置在用户的右眼和左眼的斜下侧。如上所述，光学图像显示部仅需被设置在用户的眼睛附近。另外，可以使用任意尺寸的光学构件形成光学图像显示部，并且可以在以下方面中实现hmd：光学图像显示部仅覆盖用户眼睛的一部分，换言之，光学图像显示部不完全覆盖用户的眼睛。

例如，头戴式显示器是双目型透射头戴式显示器，但也可以是单目型头戴式显示器。另外，头戴式显示器可以被配置为非透射头戴式显示器，在用户佩戴头戴式显示器的状态下，通过该非透射头戴式显示器阻挡外部场景的透射。

例如，已经给出了以下描述：例如图像处理单元的功能单元、显示控制单元和声音处理单元通过cpu将存储在rom或硬盘中的计算机程序扩展到ram上并执行该程序来实现。然而，这些功能单元可以使用被设置成用于实现这些功能的专用集成电路(asic)来配置。

例如，在上述实施方式中，图像显示单元被配置为像眼镜那样被安装的头戴式显示器，但也可以是常见的平面显示装置(液晶显示装置、等离子体显示装置、有机el显示装置等)。同样在这种情况下，控制单元和图像显示单元之间的连接可以是通过有线信号传输路径的连接，或者可以是通过无线信号传输路径的连接。因此，也可以将控制单元用作常见的平面显示装置的遥控器。

此外，作为图像显示单元，可以采用例如像诸如帽子那样被佩戴的图像显示单元等的其他形状的图像显示单元，而不是像眼镜那样被佩戴的图像显示单元。另外，作为耳机，可以采用耳挂型或头戴型，或者可以省略耳机。另外，图像显示单元可以被配置为被安装在例如汽车或飞机的交通工具中的平视显示器(hud)。另外，图像显示单元可以被配置为内置于诸如例如头盔等的身体保护工具中的头戴式显示器。

例如，在上述实施方式中，使用背光、背光控制单元、lcd、lcd控制单元和投影光学系统来配置显示驱动部。然而，上述方面仅仅是示例。显示驱动部可以包括用于实现其他类型的部件连同这些部件或代替这些部件的部件。例如，显示驱动部可以被配置为包括有机电致发光(el)显示器、有机el控制单元和投影光学系统。例如，显示驱动部可以使用数字微镜器件(dmd)等替代lcd。例如，显示驱动部可以被配置成包括：包括用于产生rgb彩色光束的彩色光源和中继透镜的信号光学调制单元；包括mems反射镜的扫描光学系统；以及驱动上述单元和系统的驱动控制电路。以这种方式，即使当使用有机el、dmd和mems反射镜时，“显示驱动部中的发射区域”仍然是图像光实际上从显示驱动部发射的区域，并且每个装置(显示驱动部)中的发射区域以与上述实施方式相同的方式被控制，因此可以获得与上述实施方式相同的效果。另外，例如，显示驱动部可以被配置成包括朝向用户的视网膜发射的强度取决于像素信号的一个或多个激光器。在这种情况下，“显示驱动部中的发射区域”是指其中指示图像的激光束实际上从显示驱动部发射的区域。激光器(显示驱动部)中的激光束的发射区域以与上述实施方式中相同的方式被控制，因此可以获得与上述实施方式相同的效果。

本发明不限于上述实施方式或修改示例，并且可以在不偏离本发明的精神的范围内使用各种配置来实现。例如，与发明内容中所描述的相应方面的技术特征对应的实施方式以及修改示例中的技术特征可以被适当地交换或组合，以解决上述问题中的部分或全部问题或实现上述效果中的部分或全部效果。另外，如果在本说明书中没有将技术特征描述为必要特征，则可以根据需要删除技术特征。

附图标记列表

10：控制单元(控制器)

12：照明部

14：触摸板

16：十字键

18：电源开关

20：图像显示单元

21：右保持部

22：右显示驱动部

23：左保持部

24：左显示驱动部

26：右光学图像显示部

28：左光学图像显示部

30：耳机插头

32：右耳机

34：左耳机

40：连接单元

42：右软线

44：左软线

46：连接构件

48：主软线

51：发送单元

52：发送单元

53：接收单元

54：接收单元

61：外部场景图像捕获摄像机

100：头戴式显示装置(hmd)

110：输入信息获取单元

120：存储单元

130：电源

132：无线通信单元

140：cpu

160：图像处理单元

162：显示控制单元

164：使用环境确定单元

166：处理控制单元

170：声音处理单元

180：接口

201：右背光控制单元

202：左背光控制单元

211：右lcd控制单元

212：左lcd控制单元

221：右背光

222：左背光

241：右lcd

242：左lcd

251：右投影光学系统

252：左投影光学系统

261：右导光板

262：左导光板

500：平台

510：应用层

511：观看辅助应用

512：游戏应用

513：摄像机应用

514：代码读取器应用

516：社会适应支持处理器

520：框架层

530：库层

533：显示器库

534：音频库

535：传感器库

536：摄像机库

537：库

540：内核层

542：声音ic驱动器

543：传感器驱动器

544：图像传感器驱动器

550：硬件层

552：声音ic装置

553：传感器装置

554：图像传感器装置

600、700、800、900：头戴式显示装置(hmd)

610、710、720：ble终端

810：办公室

820：安全室

830：ble终端

910：医院

912：诊断室

914：等候室

930：ble终端

1010：公共厕所

1020：性别标记

1110：优先座位

1120：优先座位标记