头部佩戴型显示装置及其控制方法、以及记录介质与流程

文档序号:15382245发布日期:2018-09-08 00:09阅读:174来源:国知局
本发明涉及头部佩戴型显示装置及其控制方法、以及记录介质。
背景技术
::以往,头部佩戴型显示装置被称作hmd(headmounteddisplay),能够使将hmd佩戴于头部的使用者观察图像。使用者通过一边观察由hmd显示的图像一边进行作业,能够有效地进行作业。此外,hmd的操作主要使用控制器进行,因此每次进行操作时操作控制器很不方便。因此,提出了能够通过直观操作进行信息输入的hmd(例如,参照专利文献1)。专利文献1公开组装于眼镜型透射型显示器上的一体型的佩戴型计算机。该佩戴型计算机通过使佩戴了透射型显示器装置的使用者通过在眼前张开手进行提示来调用输入画面,通过用另一只手来指点或者弯曲张开的手的手指来选择菜单。专利文献1:日本特开2001-312356号公报但是,透射型hmd使图像与通过显示部而目视的外界重叠,但在图像光的光比外界光强的情况下,有时被图像光遮挡而使外界的可视性下降。因此,还考虑有避开使用者的手而显示图像或者使图像光的亮度小于外界光的亮度的对策。但是,如果每次进行操作时变更图像的显示位置或者变更图像光的光量,则使用者有时会觉得麻烦。技术实现要素:本发明的目的在于在维持图像的可视性的状态下使使用者识别指示体的状态。为了解决上述课题,本发明的头部佩戴型显示装置具有:显示部,其佩戴于使用者的头部,以所述使用者能够目视外景的方式显示图像;拍摄部;操作检测部,其根据所述拍摄部的拍摄图像,检测指示体的操作;以及控制部,其根据所述操作检测部检测的操作来控制所述显示部的图像,在所述操作检测部从所述拍摄部的拍摄图像中检测出所述指示体的情况下,所述控制部利用所述显示部进行显示对象的显示,该显示对象表示所述指示体的位置和形状中的至少任意一个。根据本发明,在根据拍摄部的拍摄图像检测出所述指示体的情况下,利用显示部显示表示指示体的位置和形状中的至少任意一个的显示对象。因此,即使在显示部正显示图像的情况下,也能够在维持该图像的可视性的状态下使使用者识别指示体的位置或者形状。此外,在本发明中,所述显示部与所述使用者目视的外景重叠地显示所述图像,所述拍摄部拍摄包含所述使用者目视的外景的至少一部分的范围,所述控制部使得所述显示对象显示在与所述使用者在外景中目视所述指示体的位置对应的位置上。根据本发明,能够将显示对象显示到在与使用者在外景中目视指示体的位置对应的位置上。因此,能够利用所显示的显示对象的位置,来识别指示体的位置。此外,在本发明中,所述显示部构成为能够使外部光透过,该头部佩戴型显示装置具有透射率调整部,该透射率调整部调整透过所述显示部的外部光的透射率,所述控制部根据由所述透射率调整部调整的外部光的透射率,切换所述显示对象的显示和不显示。根据本发明,根据外部光的透射率,切换了显示对象的显示和不显示。因此,利用透射率调整部较低抑制外部光的透射率,在外界的可视性下降的情况下,通过显示显示对象,能够使使用者识别指示体的状态。此外,在本发明中,所述控制部根据所述显示部显示的所述图像的尺寸,切换所述显示对象的显示和不显示。根据本发明,在判定为显示部显示的图像的尺寸较大、外界的可视性下降的情况下,能够显示显示对象。此外,在本发明中,所述操作检测部根据所述拍摄部的拍摄图像,检测组合了所述指示体和与所述指示体不同的副指示体的操作。根据本发明,能够通过结合了指示体和副指示体的操作来控制显示部的图像。此外,在本发明中,所述控制部与所述指示体的部位或者表示所述指示体的形状的所述显示对象的部位对应地显示确定所述控制部能够执行的处理的图像,根据由所述操作检测部检测的所述副指示体相对于所述指示体或者所述显示对象的指示位置来判定所选择的部位,执行与所判定的所述部位对应的处理。根据本发明,通过变更副指示体相对于指示体或者显示对象的指示位置,能够进行确定与指示体或者显示对象的部位对应的处理的图像的选择。此外,能够执行与所选择的确定处理的图像对应的处理。此外,在本发明中,所述控制部使确定处理的所述图像与所述指示体或者表示所述指示体的形状的所述显示对象重叠地显示、或者在所述指示体或者所述显示对象的周围显示确定处理的所述图像。根据本发明,能够使确定处理的图像与指示体或者显示对象重叠、或者显示在指示体或者显示对象的周围。因此,能够通过组合了指示体和副指示体的操作,容易进行确定处理的图像的选择。此外,在本发明中,所述显示对象是由所述拍摄部拍摄的所述使用者的手的图像、或者表示所述手的轮廓的一部分或者全部的图像。根据本发明,能够显示使用者的手的图像或者表示手的轮廓的一部分或者全部的图像,作为显示对象。因此,即使在无法通过显示部显示的图像观察到使用者的手的情况下,也能够使使用者识别手的图像或者手的轮廓,使用者能够执行使用手的操作。此外,在本发明中,所述控制部切换地执行操作模式和设定模式,在该操作模式下,执行与通过所述操作检测部检测的操作而选择的所述指示体或者所述显示对象的部位对应的处理,在该设定模式下,设定与所述指示体或者所述显示对象的部位对应的处理。根据本发明,通过具有设定模式,能够变更与手或者手的图像的部位对应的处理。此外,通过具有操作模式,能够使头部佩戴型显示装置执行与指示体或者显示对象的部位对应的处理。为了解决上述课题,本发明是一种计算机可读记录介质,其存储有程序,该程序其由搭载于头部佩戴型显示装置上的计算机来执行,该头部佩戴型显示装置具有:显示部,其佩戴于使用者的头部,以所述使用者能够目视外景的方式显示图像;拍摄部;以及控制部,其控制所述显示部所显示的图像,其中,该程序使所述计算机执行以下步骤:根据所述拍摄部的拍摄图像来检测指示体:以及在从所述拍摄图像中检测出所述指示体的情况下,利用所述显示部显示表示所述指示体的位置和形状中的至少任意一个的显示对象。根据本发明,在根据拍摄部的拍摄图像检测出所述指示体的情况下,利用显示部显示表示指示体的位置和形状中的至少任意一个的显示对象。因此,即使在显示部正显示图像的情况下,也能够在维持该图像的可视性的状态下使使用者识别指示体的位置或者形状。为了解决上述课题,本发明是一种头部佩戴型显示装置的控制方法,该头部佩戴型显示装置具有:显示部,其佩戴于使用者的头部,以所述使用者能够目视外景的方式显示图像;拍摄部;以及控制部,其控制所述显示部所显示的图像,其特征在于,该头部佩戴型显示装置的控制方法具有以下步骤:根据所述拍摄部的拍摄图像来检测指示体;以及在从所述拍摄图像中检测出所述指示体的情况下,利用所述显示部显示表示所述指示体的位置和形状中的至少任意一个的显示对象。根据本发明,在根据拍摄部的拍摄图像检测出所述指示体的情况下,利用显示部显示表示指示体的位置和形状中的至少任意一个的显示对象。因此,即使在显示部正显示图像的情况下,也能够在维持该图像的可视性的同时使使用者识别指示体的位置或者形状。附图说明图1是示出hmd的外观结构的说明图。图2是示出图像显示部的光学系统的结构的图。图3是从使用者的头部侧观察图像显示部时的主要部分立体图。图4是构成hmd的各部的框图。图5是控制部和存储部的框图。图6是示出显示在显示区域上的图像的图。图7是示出显示在显示区域上的图像的图。图8是示出显示在显示区域上的图像的图。图9是示出显示在显示区域上的图像的图。图10是示出显示在显示区域上的图像的图。图11是示出显示在显示区域上的图像的图。图12是示出显示在显示区域上的图像的图。图13是示出hmd的动作的流程图。图14是示出hmd的动作的流程图。标号说明10:控制装置;12:led指示器;19:振动器;20:图像显示部(显示部);22:右显示单元;24:左显示单元;30:耳机;32:右耳机;34:左耳机;40:连接线;61:照相机;63:麦克风;65:照度传感器;100:hmd(头部佩戴型显示装置);110:操作部;111:6轴传感器;113:磁传感器;115:gps接收部;117:通信部;118:存储器;120:控制器基板;121:非易失性存储部;122:存储部;123:设定数据;124:内容数据;125:词典数据;130:电源部;132:电池;134:电源控制电路;140:主处理器;143:os;145:图像处理部;147:显示控制部;149:检测控制部(操作检测部);150:控制部;151:选择控制部(控制部);180:语音编解码器;182:语音接口;184:外部连接器;186:外部存储器接口;188:usb连接器;192:传感器集线器;194:fpga;196:接口;211:接口;213:接收部;215:eeprom;221:oled单元;227:右电子遮光件(透射率调整部);228:遮光件驱动部;229:液晶面板;231:接口;233:接收部;235:6轴传感器;237:磁传感器;241:oled单元;247:左电子遮光件(透射率调整部);248:遮光件驱动部;249:液晶面板;301:对应显示图像;302:一览显示图像;303:指针;305、306:手/指图像;310:功能显示图像。具体实施方式图1是示出应用了本发明的实施方式的hmd(头部佩戴型显示装置)100的外观结构的说明图。hmd100是具有如下部件的显示装置:图像显示部20(显示部),其在被佩戴于使用者的头部的状态下,以能够使使用者目视外景的方式显示图像;以及控制装置10,其控制图像显示部20。如图1所示,控制装置10具有扁平的箱形的外壳10a(也称作壳体或者主体),在外壳10a中具有后述的各部。在外壳10a的表面设置有受理使用者的操作的各种操作按钮11、开关、触控板14等。通过由使用者对它们进行操作,控制装置10作为hmd100的控制器发挥作用。图像显示部20是佩戴于使用者的头部的眼镜形状的佩戴体,构成为能够使外部光透过。图像显示部20在具有右保持部21、左保持部23和前部框架27的主体上具有右显示单元22、左显示单元24、右导光板26和左导光板28。右保持部21和左保持部23分别从前部框架27的两端部朝后方延伸,如眼镜的镜腿(腿)那样将图像显示部20保持于使用者的头部。这里,设前部框架27的两端部中的、在图像显示部20的佩戴状态下位于使用者的右侧的端部为端部er、位于使用者的左侧的端部为端部el。右保持部21设置成从前部框架27的端部er延伸至在图像显示部20的佩戴状态下与使用者的右侧头部对应的位置。左保持部23设置成从端部el延伸至在图像显示部20的佩戴状态下与使用者的左侧头部对应的位置。右导光板26和左导光板28设置于前部框架27。右导光板26在图像显示部20的佩戴状态下位于使用者的右眼的眼前,使右眼目视图像。左导光板28在图像显示部20的佩戴状态下位于使用者的左眼的眼前,使左眼目视图像。前部框架27具有将右导光板26的一端和左导光板28的一端相互连结起来的形状,在使用者佩戴图像显示部20的佩戴状态下,右导光板26和左导光板28的连结位置对应于使用者的眉间。前部框架27可以设置右导光板26与左导光板28的连结位置处的、在图像显示部20的佩戴状态下与使用者的鼻子抵接的鼻接触部。在该情况下,能够通过鼻接触部、以及右保持部21和左保持部23,将图像显示部20保持于使用者的头部。此外,可以将在图像显示部20的佩戴状态下与使用者的后头部接触的带(省略图示)与右保持部21以及左保持部23连结,在该情况下,能够利用带将图像显示部20保持于使用者的头部。右显示单元22是涉及基于右导光板26的图像的显示的单元,设置于右保持部21,在佩戴状态下位于使用者的右侧头部的附近。左显示单元24是涉及基于左导光板28的图像的显示的单元,设置于左保持部23,在佩戴状态下位于使用者的左侧头部的附近。另外,还将右显示单元22和左显示单元24统一简称作“显示驱动部”。本实施方式的右导光板26和左导光板28是由透光性的树脂等形成的光学部,例如由棱镜构成。右导光板26和左导光板28将右显示单元22和左显示单元24输出的图像光引导至使用者的眼睛。图像显示部20将右显示单元22和左显示单元24分别生成的图像光引导至右导光板26和左导光板28,利用该图像光使使用者目视虚像,由此,显示图像。在外部光从使用者的前方透过右导光板26和左导光板28而入射到使用者的眼睛的情况下,构成虚像的图像光和外部光入射到使用者的眼睛,虚像的观察性受外部光的强度影响。因此,例如将右电子遮光件227和左电子遮光件247(图4)配置于前部框架27,能够调整虚像的观察的容易度。右电子遮光件227和左电子遮光件247相当于本发明的“透射率调整部”。照相机61配设于图像显示部20的前部框架27。照相机61优选拍摄使用者在佩戴了图像显示部20的状态下目视的外景方向,设置于前部框架27的前表面上的、不遮挡透过右导光板26和左导光板28的外部光的位置。在图1的例子中,照相机61配置于前部框架27的端部er侧。照相机61也可以配置于端部el侧,也可以配置于右导光板26与左导光板28的连结部。照相机61相当于本发明的“拍摄部”。照相机61是具有ccd或cmos等摄像元件和摄像镜头等的数字照相机,本实施方式的照相机61是单反照相机,但也可以由立体照相机构成。照相机61拍摄hmd100的表侧方向、换言之、佩戴hmd100的状态下的使用者的视野方向的至少一部分的外景(实际空间)。在另外的表达方式中,可以说照相机61能够拍摄与使用者的视野重叠的范围或者方向,拍摄使用者注视的方向。照相机61的视场角的宽度能够适当设定,但在本实施方式中,如后所述,包含使用者通过右导光板26和左导光板28目视的外界。更优选照相机61的拍摄范围设定成能够拍摄可透过右导光板26和左导光板28目视到的使用者的视野的整体。照相机61依照控制部150(图5)具备的检测控制部149的控制,执行拍摄,将拍摄图像数据输出到检测控制部149。图2是示出图像显示部20具备的光学系统的结构的主要部分俯视图。在图2中为了说明方便,示出使用者的左眼le和右眼re。如图2所示,右显示单元22和左显示单元24构成为左右对称。作为使使用者的右眼re目视图像的结构,右显示单元22具有发出图像光的oled(organiclightemittingdiode)单元221、以及右光学系统251,该右光学系统251具有引导oled单元221发出的图像光l的透镜组等。图像光l被右光学系统251引导至右导光板26。oled单元221具有oled面板223、以及驱动oled面板223的oled驱动电路225。oled面板223是矩阵状地配置通过有机电致发光而进行发光并分别发出r(红)、g(绿)、b(蓝)的色光的发光元件而构成的自发光型显示面板。oled面板223将各包含1个r、g、b的元件的单位作为1个像素而具有多个像素,由配置成矩阵状的像素形成图像。oled驱动电路225依照控制部150(图5)的控制,执行oled面板223具备的发光元件的选择和向发光元件的通电,使oled面板223的发光元件发光。oled驱动电路225通过粘接等固定于oled面板223的背面即发光面的里侧。oled驱动电路225例如可以由驱动oled面板223的半导体器件构成,安装在固定于oled面板223的背面的基板上(省略图示)。另外,oled面板223可以是矩阵状地配置发出白色光的发光元件、重叠地配置与r、g、b的各色对应的滤色器的结构。此外,也可以使用除了分别发射r、g、b的色光的发光元件以外还具有发出w(白色)光的发光元件的wrgb结构的oled面板223。右光学系统251具有使从oled面板223射出的图像光l成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光l入射到右导光板26。在右导光板26的内部,在引导光的光路中形成有反射图像光l的多个反射面。图像光l在右导光板26的内部经过多次反射而被引导至右眼re侧。在右导光板26上形成有位于右眼re的眼前的半反射镜261(反射面)。图像光l在半反射镜261上反射,从右导光板26朝向右眼re射出,该图像光l在右眼re的视网膜上成像,使使用者目视图像。此外,左显示单元24具有发出图像光的oled单元241、以及左光学系统252作为使使用者的左眼le目视图像的结构,左光学系统252具有引导oled单元241发出的图像光l的透镜组等。图像光l被左光学系统252引导至左导光板28。oled单元241具有oled面板243、以及驱动oled面板243的oled驱动电路245。oled面板243是与oled面板223同样构成的自发光型显示面板。oled驱动电路245依照控制部150(图5)的控制,执行oled面板243具备的发光元件的选择和向发光元件的通电,使oled面板243的发光元件发光。oled驱动电路245通过粘接等固定于oled面板243的背面即发光面的里侧。oled驱动电路245例如可以由驱动oled面板243的半导体器件构成,安装在固定于oled面板243的背面的基板上(省略图示)。左光学系统252具有使从oled面板243射出的图像光l成为平行状态的光束的准直透镜。利用准直透镜而成为平行状态的光束的图像光l入射到左导光板28。左导光板28是形成有反射图像光l的多个反射面的光学元件,例如是棱镜。图像光l在左导光板28的内部经过多次反射而被引导至左眼le侧。在左导光板28上形成有位于左眼le的眼前的半反射镜281(反射面)。图像光l在半反射镜281上反射,从左导光板28朝向左眼le射出,该图像光l在左眼le的视网膜上成像,使使用者目视图像。根据该结构,hmd100作为透视型的显示装置发挥作用。即,半反射镜261反射的图像光l和透过了右导光板26的外部光ol入射到使用者的右眼re。此外,半反射镜281反射的图像光l和透过了左导光板28的外部光ol入射到左眼le。这样,hmd100使在内部处理后的图像的图像光l与外部光ol重叠地入射到使用者的眼睛,对使用者而言,透过右导光板26和左导光板28观察到外景,与该外景重叠地目视由图像光l形成的图像。半反射镜261、281是反射右显示单元22和左显示单元24分别输出的图像光而取出图像的图像取出部,能够称作显示部。另外,也将左光学系统252和左导光板28统称作“左导光部”,将右光学系统251和右导光板26统称作“右导光部”。右导光部和左导光部的结构不限于上述的例子,只要使用图像光在使用者的眼前形成虚像,则能够使用任意的方式,例如可以使用衍射光栅,也可以使用半透过反射膜。此外,图像显示部20具有右电子遮光件227和左电子遮光件247。右电子遮光件227具有遮光件驱动部228(图4)和液晶面板229。左电子遮光件247具有遮光件驱动部248(图4)和液晶面板249。右电子遮光件227的液晶面板229设置于右导光板26的前表面侧、即与使用者的头部侧相反的一侧。如图2所示,与右导光板26隔开距离地配置液晶面板229。这是由于在将液晶面板229贴合到右导光板26时,有可能阻碍图像光l在右导光板26中的全反射。左电子遮光件247的液晶面板249设置于左导光板28的前表面侧、即与使用者的头部侧相反的一侧。如图2所示,与左导光板28隔开距离地配置液晶面板249。此外,还能够将液晶面板229和249与右导光板26和左导光板28重叠地配置。在该情况下,需要将折射率比右导光板26和左导光板28的折射率低的材料贴合于右导光板26和左导光板28的全反射面。液晶面板229和249是矩阵状地配置多个像素的透射型液晶面板。液晶面板229和249由tn(twistednematic:扭曲向列)液晶、宾主液晶、pdlc(polymerdispersedliquidcrystal:聚合物分散液晶)等构成。另外,也可以替代液晶面板229和249,而设置电致变色、气致变色。液晶面板229和249通过供给电压的增减,使从外部引导至使用者的眼睛re的外部光的透射率按照像素单位增减。关于本实施方式的右电子遮光件227和左电子遮光件247,在无供给电压的状态下,外部光的透射率成为100%,在供给电压为最大的状态下,外部光的透射率为0%(切断)。返回到图1,控制装置10和图像显示部20利用连接线40连接起来。连接线40以能够拆装的方式与设置于壳体10a的下部的连接器(省略图示)连接,从左保持部23的前端与设置于图像显示部20的内部的各种电路连接。连接线40可以具有传输数字数据的金属缆线或者光纤缆线,具有传输模拟信号的金属缆线。在连接线40的中途设置有连接器46。连接器46是连接立体声迷你插头的插座,连接器46和控制装置10例如用传输模拟语音信号的线连接。在图1所示的结构例中,具有构成立体声耳机的右耳机32和左耳机34以及麦克风63的耳机30与连接器46连接。例如,如图1所示,麦克风63配置成使麦克风63的集音部朝向使用者的视线方向而采集语音,将语音信号输出到语音接口182(图4)。麦克风63例如可以是单声道麦克风,也可以是立体声麦克风,也可以是具有定向性的麦克风,也可以是无定向性的麦克风。控制装置10具有操作按钮11、led指示器12、触控板14、上下键15、切换开关16和电源开关18作为使用者操作的被操作部。这些被操作部配置于外壳10a的表面。操作按钮11包含用于进行与控制装置10执行的操作系统(以下,简记作os)143(图5)的操作等的菜单键、起始键、返回键等,尤其包含这些键或开关中的通过按压操作而移位的键或开关。led指示器12与hmd100的动作状态对应地点亮或者闪烁。上下键15用于从右耳机32和左耳机34输出的音量的增减的指示输入、以及图像显示部20的显示的明亮度的增减的指示输入。切换开关16是切换与上下键15的操作对应的输入的开关。电源开关18是切换hmd100的电源的接通/断开的开关,例如由滑动开关构成。触控板14具有检测接触操作的操作面,根据针对操作面的操作而输出操作信号。操作面的检测方式未限定,能够采用静电式、压力检测式、光学式等。对触控板14的接触(触摸操作)例如利用沿着操作面埋设的触摸传感器(省略图示)来检测。图3是从使用者的头部侧观察图像显示部20时的主要部分立体图。该图3是图像显示部20与使用者的头部接触的一侧、换言之使用者的右眼re和左眼le可观察到的一侧。如果换另一说法,则能够观察到右导光板26和左导光板28的背侧。另外,在图3中省略连接线40的图示。在图3中,能够将对使用者的右眼re照射图像光的半反射镜261和对左眼le照射图像光的半反射镜281看作大致四边形的区域。此外,包含半反射镜261、281的右导光板26和左导光板28的整体如上所述使外部光透过。因此,使用者可透过右导光板26和左导光板28的整体而目视外景,在半反射镜261、281的位置处目视矩形的显示图像。照相机61配置于图像显示部20的右侧的端部,拍摄使用者的双眼朝向的方向,即对使用者来说拍摄前方。照相机61的光轴设为包含右眼re和左眼le的视线方向的方向。使用者在佩戴了hmd100的状态下可观察的外景不限于无限远。例如,在使用者用双眼注视位于使用者的前方的对象物的情况下,从使用者到对象物的距离多数为30cm~10m左右,更多为1m~4m左右。因此,可以针对hmd100确定通常使用时的从使用者到对象物的距离的上限和下限的标准。该标准可以通过调査或实验求出,也可以由使用者设定。在通常使用时的到对象物的距离相当于所设定的上限的标准的情况和相当于下限的标准的情况下,照相机61的光轴和视场角优选设定为将该对象物包含在视场角中。一般而言,人的视野角设为水平方向大概200度、垂直方向大概125度,其中的信息接受能力优异的有效视野为水平方向30度、垂直方向20度左右。并且,可迅速且稳定地观察到人注视的注视点的稳定注视视野设为水平方向60~90度、垂直方向45度~70度左右。在该情况下,在注视点为图6的对象物ob时,以视线rd、ld为中心,水平方向30度、垂直方向20度左右是有效视野。此外,水平方向60~90度、垂直方向45度~70度左右为稳定注视视野,水平方向大约200度、垂直方向大约125度为视野角。并且,能够将使用者透过右导光板26和左导光板28而目视的实际的视野称作实际视野(fov:fieldofview)。在图1和图2所示的本实施方式的结构中,实际视野相当于使用者透过右导光板26和左导光板28而目视的实际的视野。实际视野比视野角和稳定注视视野窄,比有效视野宽。照相机61的视场角c优选能够拍摄比使用者的视野大的范围,具体而言,更优选视场角c至少比使用者的有效视野大。此外,更优选视场角c比使用者的实际视野大。进一步优选视场角c比使用者的稳定注视视野大,最优选视场角c比使用者的双眼的视野角大。照相机61也可以是具有所谓广角镜头作为摄像镜头、能够拍摄较大的视场角。广角镜头中可以包含称作超广角镜头、准广角镜头的镜头,可以是单焦点镜头,也可以是变焦镜头,也可以是照相机61具备由多个镜头构成的镜头组的结构。图4是示出构成hmd100的各部的结构的框图。控制装置10具有主处理器140,该主处理器140执行程序而控制hmd100。存储器118以及非易失性存储部121与主处理器140连接。此外,作为输入装置,触控板14以及操作部110与主处理器140连接。此外,作为传感器类,6轴传感器111、磁传感器113以及gps115与主处理器140连接。此外,通信部117、语音编解码器180、外部连接器184、外部存储器接口186、usb连接器188、传感器集线器192以及fpga194与主处理器140连接。这些作为与外部的接口发挥作用。主处理器140安装于控制装置10内置的控制器基板120上。除了主处理器140以外,在控制器基板120上还可以安装有存储器118、非易失性存储部121等。在本实施方式中,6轴传感器111、磁传感器113、gps115、通信部117、存储器118、非易失性存储部121、语音编解码器180等安装于控制器基板120上。此外,也可以是在控制器基板120上安装有外部连接器184、外部存储器接口186、usb连接器188、传感器集线器192、fpga194和接口196的结构。在主处理器140执行程序的情况下,存储器118构成临时存储执行的程序和被处理的数据的工作区。非易失性存储部121由闪存和emmc(embeddedmultimediacard:嵌入式多媒体卡)构成。非易失性存储部121存储主处理器140执行的程序、以及主处理器140通过执行程序而处理的各种数据。操作部110包含按钮11和触控板14。触控板14具有操作面(省略图示)。触摸传感器13和led显示部17。触摸传感器13检测对触控板14的触摸操作,确定检测出的触摸操作的操作位置。触控板14将表示所确定的触摸操作的操作位置的操作信号输出到主处理器140。6轴传感器111是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器111可以采用对上述的传感器进行了模块化的imu(inertialmeasurementunit)。磁传感器113例如是3轴的地磁传感器。gps(globalpositioningsystem)接收部115具有未图示的gps天线,接收从gps卫星发送的无线信号,检测控制装置10的当前位置的坐标。6轴传感器111、磁传感器113和gps接收部115依照预先指定的采样周期,将检测值输出到主处理器140。或者,6轴传感器111、磁传感器113和gps接收部115根据主处理器140的请求,在由主处理器140指定的时刻,将检测值输出到主处理器140。通信部117与外部设备之间执行无线通信。通信部117具备天线、rf电路、基带电路、通信控制电路等而构成,或者由将这些合并而成的设备构成。通信部117例如进行依据bluetooth(注册商标)、无线lan(包含wi-fi(注册商标))等标准的无线通信。语音接口182是输入输出语音信号的接口。在本实施方式中,语音接口182包含设置于连接线40的连接器46(图1)。语音编解码器180与语音接口182连接,进行经由语音接口182而输入输出的语音信号的编码和解码。此外,语音编解码器180可以具有进行从模拟语音信号向数字语音数据的转换的a/d转换器、以及进行其相反的转换的d/a转换器。例如,本实施方式的hmd100利用右耳机32和左耳机34输出语音,用麦克风63进行集音。语音编解码器180将主处理器140输出的数字语音数据转换为模拟语音信号,经由语音接口182输出。此外,语音编解码器180将输入到语音接口182的模拟语音信号转换为数字语音数据,输出到主处理器140。外部连接器184是连接与主处理器140通信的外部装置的连接器。例如,在将外部装置与主处理器140连接、进行主处理器140执行的程序的调试或hmd100的动作的日志的收集的情况下,外部连接器184是连接该外部装置的接口。外部存储器接口186是能够连接可移动型的存储器设备的接口,例如包含存储卡插槽和接口电路,该存储卡插槽安装卡型记录介质而能够进行数据的读取。该情况下的卡型记录介质的尺寸、形状、标准没有限制,能够适当进行变更。usb连接器188具有依据usb标准的连接器和接口电路,能够将usb存储器设备、智能手机、计算机等连接起来。usb连接器188的尺寸或形状、适合的usb标准的版本能够适当选择和变更。此外,hmd100具有振动器19。振动器19具有电机、以及偏心的转子(均省略图示),依照主处理器140的控制,产生振动。例如在检测到针对操作部110的操作的情况、hmd100的电源接通/断开的情况等下,hmd100按照规定的振动模式,利用振动器19产生振动。传感器集线器192以及fpga194经由接口(i/f)196,连接图像显示部20。传感器集线器192取得图像显示部20具备的各种传感器的检测值,输出到主处理器140。此外,fpga194执行在主处理器140与图像显示部20的各部之间收发的数据的处理、以及经由接口196的传输。图像显示部20的右显示单元22和左显示单元24分别与控制装置10连接。如图1所示,在hmd100中,连接线40与左保持部23连接,与该连接线40相连的布线铺设于图像显示部20内部,右显示单元22以及左显示单元24分别与控制装置10连接。右显示单元22具有显示单元基板210。在显示单元基板210上安装有与接口196连接的接口(i/f)211、接收经由接口211从控制装置10输入的数据的接收部(rx)213、以及eeprom215(存储部)。接口211将接收部213、eeprom215、oled单元221、照相机61、照度传感器65、led指示器67、压电传感器217以及遮光件驱动部228与控制装置10连接。eeprom(electricallyerasableprogrammablerom)215以能够供主处理器140读取的方式存储各种数据。eeprom215例如存储与图像显示部20具备的oled单元221、241的发光特性或显示特性相关的数据、与右显示单元22或者左显示单元24具备的传感器的特性相关的数据等。这些数据通过hmd100的工厂出货时的检查而生成,写入eeprom215中,在出货后,主处理器140可利用eeprom215的数据进行处理。照相机61依照经由接口211而输入的信号执行拍摄,将拍摄图像数据或者表示拍摄结果的信号输出到控制装置10。如图1所示,照度传感器65设置于前部框架27的端部er,配置成接收来自佩戴图像显示部20的使用者的前方的外部光。照度传感器65输出与受光量(受光强度)对应的检测值。如图1所示,在前部框架27的端部er处,led指示器67配置于照相机61的附近。led指示器67在照相机61正在拍摄时点亮,通知处于拍摄中。压电传感器217例如设置于右保持部21、且在图像显示部20被佩戴于使用者的头部的状态时与使用者的耳朵抵接的位置。在图像显示部20被佩戴于使用者的头部且使用者的耳朵与压电传感器217抵接时,压电传感器217将表示检测到接触的信号输出到控制装置10。遮光件驱动部228依照主处理器140来控制向右电子遮光件227供给的电压,使右电子遮光件227的外部光的透射率按照像素单位增减。接收部213经由接口211接收由主处理器140发送的数据。在接收到oled单元221显示的图像的图像数据的情况下,接收部213将接收到的图像数据输出到oled驱动电路225(图2)。左显示单元24具有显示单元基板230。在显示单元基板230上安装有与接口196连接的接口(i/f)231、以及接收经由接口231而从控制装置10输入的数据的接收部(rx)233。此外,在显示单元基板230上安装有6轴传感器235和磁传感器237。接口231将接收部233、6轴传感器235、磁传感器237、压电传感器239以及遮光件驱动部248与控制装置10连接。6轴传感器235是具有3轴加速度传感器和3轴陀螺仪(角速度)传感器的运动传感器(惯性传感器)。6轴传感器235可以采用对上述的传感器进行了模块化的imu(inertialmeasurementunit)。磁传感器237例如是3轴的地磁传感器。压电传感器239例如设置于左保持部23、且在图像显示部20被佩戴于使用者的头部的状态时与使用者的耳朵抵接的位置。在图像显示部20被佩戴于使用者的头部且使用者的耳朵与压电传感器239抵接时,压电传感器239将表示检测到接触的信号输出到控制装置10。遮光件驱动部248依照主处理器140来控制向左电子遮光件247供给的电压,使左电子遮光件247的外部光的透射率按照像素单位增减。接口211和231与传感器集线器192连接。传感器集线器192依照主处理器140的控制,进行各传感器的采样周期的设定和初始化。传感器集线器192对应于各传感器的采样周期,执行向各传感器的通电、控制数据的发送、检测值的取得等。此外,传感器集线器192在预先设定的时刻,将右显示单元22和左显示单元24具备的各传感器的检测值输出到主处理器140。传感器集线器192可以具有如下功能:对应于针对主处理器140的输出的时刻,临时保持各传感器的检测值。此外,传感器集线器192可以具有如下功能:对应于各传感器的输出值的信号形式或者数据形式的差异,转换为统一的数据形式的数据,输出到主处理器140。此外,fpga194依照主处理器140的控制,使向led指示器67的通电开始和停止,对应于hmd照相机61开始和结束拍摄的时刻,使led指示器67点亮或者闪烁。控制装置10具有电源部130,利用从电源部130供给的电力进行动作。电源部130具有可充电的电池132、以及电源控制电路134,该电源控制电路134进行电池132的剩余量的检测和向电池132的充电的控制。电源控制电路134与主处理器140连接,将电池132的剩余量的检测值或者电压的检测值输出到主处理器140。此外,可以根据电源部130供给的电力,从控制装置10向图像显示部20供给电力。此外,也可以构成为主处理器140可控制从电源部130向控制装置10的各部和图像显示部20的电力的供给状态。hmd100可以具有连接作为内容的供给源的各种外部设备的接口(省略图示)。例如,可以是usb接口、微型usb接口、存储卡用接口等支持有线连接的接口,也可以由无线通信接口构成。该情况下的外部设备是向hmd100供给图像的图像供给装置,使用了个人计算机(pc)、移动电话终端、便携型游戏机等。在该情况下,hmd100能够输出基于从这些外部设备输入的内容数据的图像或语音。图5是构成控制装置10的控制系的存储部122和控制部150的功能框图。图5所示的存储部122是由非易失性存储部121(图4)构成的逻辑性的存储部,可以包含eeprom215。此外,主处理器140执行程序,利用程序与硬件的协作,形成控制部150、以及控制部150具有的各种功能部。控制部150、以及构成控制部150的各功能部例如由主处理器140、存储器118和非易失性存储部121构成。控制部150利用存储部122存储的数据来执行各种处理,控制hmd100。存储部122存储由控制部150处理的各种数据。存储部122存储设定数据123、内容数据124和词典数据125。设定数据123包含hmd100的动作涉及的各种设定值。例如,在设定数据123中包含作为后述的功能显示图像310而显示的功能的设定数据和使功能显示图像310显示的手指的设定数据等。此外,在控制部150控制hmd100时使用参数、矩阵式、运算式、lut(lookuptable)等的情况下,可以将它们包含在设定数据123中。内容数据124是包含通过控制部150的控制而由图像显示部20显示的图像或影像的内容的数据,包含图像数据或者影像数据。此外,内容数据124可以包含语音数据。此外,内容数据124可以包含多个图像的图像数据,在该情况下,这些多个图像不限定于同时显示在图像显示部20上的图像。此外,内容数据124可以是如下的双向型的内容:在利用图像显示部20显示内容时,利用控制装置10受理使用者的操作,控制部150执行与受理的操作对应的处理。在该情况下,内容数据124可以具有在受理操作的情况下显示的菜单画面的图像数据、用于确定与菜单画面中包含的项目对应的处理等的数据等。词典数据125存储用于确定预先设定的手或手指的形状或位置(以下,称作手势语)的信息。作为用于确定手势语的信息,在词典数据125中包含表示手势语的各形状中的手指的位置或形状等的数据。控制部150具有os143、图像处理部145、显示控制部147、检测控制部149和操作控制部151的功能。检测控制部149相当于本发明的“操作检测部”,操作控制部151相当于本发明的“控制部”。os143的功能是存储部122存储的控制程序的功能,其他hmd控制部150的各部是在os143上执行的应用程序的功能。图像处理部145根据图像显示部20所显示的图像或者影像的图像数据,生成向右显示单元22和左显示单元24发送的信号。在图像处理部145生成的信号中包含垂直同步信号、水平同步信号、时钟信号、模拟图像信号等。此外,图像处理部145可以根据需要,进行将图像数据的分辨率转换为适于右显示单元22和左显示单元24的分辨率的分辨率转换处理。此外,图像处理部145可以执行调整图像数据的亮度或彩度的图像调整处理、根据3d图像数据生成2d图像数据或者根据2d图像数据生成3d图像数据的2d/3d转换处理等。在执行了这些图像处理的情况下,图像处理部145根据处理后的图像数据,生成用于显示图像的信号,经由连接线40发送到图像显示部20。图像处理部145除了由主处理器140执行程序而实现的结构以外,还可以由与主处理器140不同的硬件(例如,dsp(digitalsignalprocessor))构成。显示控制部147生成控制右显示单元22和左显示单元24的控制信号,利用该控制信号控制右显示单元22和左显示单元24各自的图像光的生成和射出。具体而言,显示控制部147控制oled驱动电路225、245,执行oled面板223、243的图像显示。显示控制部147根据图像处理部145输出的信号,进行由oled驱动电路225、245在oled面板223、243上描绘的时刻的控制、以及oled面板223、243的亮度控制等。检测控制部149控制照相机61,使照相机61生成拍摄图像数据。生成的拍摄图像数据临时存储到存储部122中。检测控制部149从存储部122读出拍摄图像数据,根据读出的拍摄图像数据来检测指示体的操作。本实施方式检测使用者的手或手指(以下,将手和手指统称作手/指)作为指示体。在检测控制部149检测的操作中包含拍摄图像数据所拍摄的使用者的手/指的形状或位置。检测控制部149根据拍摄图像数据,检测拍摄了手/指的区域(以下,称作拍摄区域)。例如,检测控制部149例如通过肌肤颜色提取处理从拍摄图像数据中提取肌肤颜色区域,通过阈值处理,将提取出的肌肤颜色区域的像素值与预先设定的阈值进行比较来检测手/指区域。此外,检测控制部149可以通过边缘检测处理来提取手/指区域的轮廓,将提取出的轮廓的凹凸的特征点与预先登记为词典数据125的各手势语的特征点进行比较,由此进行手/指的形状或位置、左手或右手的判定。检测控制部149将检测出的信息作为检测信息输出到操作控制部151。在检测信息中包含表示手/指区域的范围(水平方向的范围、垂直方向的范围)的范围信息或表示各手指的位置(例如,指尖的位置)的位置信息。范围信息或位置信息例如是表示以拍摄图像数据的左上方为原点、水平方向为x轴方向、垂直方向为y轴方向的坐标系中的坐标的信息。此外,在检测信息中包含表示手/指的形状的信息、或表示检测出的手/指区域是左手的手/指还是右手的手/指的信息。此外,在未根据拍摄图像数据检测出拍摄了使用者的手/指的图像的情况下,检测控制部149将表示未检测出手/指的信息作为检测信息输出到操作控制部151。从检测控制部149向操作控制部151输入检测信息或拍摄图像数据。在检测出预先设定的成为触发的操作的情况下,操作控制部151判定是否使显示区域da显示显示对象。在判定为需要显示显示对象的情况下,操作控制部151使显示区域da显示显示对象。在显示对象中包含由照相机61拍摄出的使用者的手/指的图像、或操作控制部151生成的表示手/指区域的全部或者一部分的轮廓的轮廓图像。本实施方式的操作控制部151显示从照相机61的拍摄图像数据剪切出的手/指区域的图像,作为显示对象。显示区域da是图像显示部20可显示图像的区域。具体而言是配置有图3所示的半反射镜261、281的区域。半反射镜261、281是反射从oled面板223、243射出的图像光l并使其入射到右眼re、左眼le的部件。因此,配置有半反射镜261、281的区域对应于显示区域da。在本实施方式中,说明使用者将一只手的手掌向使用者的脸的方向展开的操作作为成为触发的操作的情况。即,在根据照相机61的拍摄图像数据检测出使用者的手的图像且打开手掌的状态的图像的情况下,操作控制部151判定为检测出成为触发的操作。将拍摄了手掌而不是手背的情况设定为触发是因为,在佩戴了图像显示部20的使用者使用手进行作业时,使用者的手背被照相机61拍摄的可能性较高。即,用于防止违反使用者的意图而显示显示对象。除此以外,还能够设定按压了操作部110的操作按钮11的情况或使用者将头部朝上下(点头)或者左右(摇头)运动的情况作为预先设定的触发。下面,将被照相机61拍摄并识别为成为操作控制部151所预先设定的触发的操作的手称作“第1手”。第1手可以是使用者的左手,也可以是右手。第1手相当于本发明的“指示体”。在检测出成为触发的操作时,操作控制部151例如判定右电子遮光件227和左电子遮光件247是否正在驱动,判定是否显示显示对象。在右电子遮光件227和左电子遮光件247处于驱动状态的情况下,将透过图像显示部20的外界光的透射率抑制得较低,到达使用者的眼睛的外界光的比例下降。因此,佩戴了图像显示部20的使用者难以观察外界。此外,在右电子遮光件227和左电子遮光件247处于驱动状态的情况下,图像显示部20显示动态图像或静态图像(将动态图像和静态图像统一称作显示图像)的可能性较高。通过在图像显示部20中将外界光的透射率抑制得较低,图像显示部20显示的显示图像的图像光的可视性升高。在由图像显示部20显示显示图像的状态的情况下,将外界的可视性抑制得较低,使用者有时无法看到自己的手。因此,操作控制部151使显示对象显示于显示区域da,检测使用者针对显示对象的操作。此外,在由图像显示部20显示的图像的亮度低于外界光的亮度的情况或存在于外界的物体与图像显示部20显示的图像的颜色类似度较高的情况下,操作控制部151可以显示显示对象。能够利用照相机61检测外界光的亮度。此外,也可以在hmd100中另行设置光传感器。此外,操作控制部151可以根据处于驱动状态的右电子遮光件227和左电子遮光件247的透射率,设定是否使显示区域da显示显示对象的判定。例如,在右电子遮光件227和左电子遮光件247的透射率为预先设定的透射率以下的情况下,操作控制部151将外界光的透射率抑制得较低,判定为处于使用者难以观察外界的状态。在该情况下,操作控制部151使显示对象显示于显示区域da。此外,在由图像显示部20显示显示图像的情况下,操作控制部151可以判定为使显示对象显示于显示区域da。如上所述,在图像显示部20显示了显示图像的状态下,外界的可视性下降。因此,在显示区域中显示了显示图像的情况下,操作控制部151判定为使显示对象显示于显示区域da。此外,在显示区域da中显示了显示图像的情况下,操作控制部151可以根据显示区域da中的显示图像的位置或尺寸来判定是否显示显示对象。例如,在显示区域da的4个角中的任意一个处较小地显示了显示图像的情况下,即使在显示了显示图像的状态下,使用者也能够观察外界。因此,在显示区域da所显示的显示图像的尺寸小于预先设定的尺寸的情况或显示图像的显示位置比包含显示区域da中央的预先设定的区域靠外侧的情况下,操作控制部151不显示显示对象。与此相反,在显示图像的尺寸为预先设定的尺寸以上的情况或在包含显示区域da中央的预先设定的区域内显示显示图像的情况下,显示显示对象。在判定为显示显示对象的情况下,操作控制部151根据从检测控制部149输入的检测信息,从拍摄图像数据剪切第1手的手/指区域的图像数据。操作控制部151利用图像显示部20显示剪切出的手/指区域的图像数据,作为手/指图像305。手/指图像305相当于本发明的“显示对象”。此外,操作控制部151可以根据从检测控制部149输入的检测信息,生成表示手/指区域的轮廓的轮廓图像,利用图像显示部20显示所生成的轮廓图像。该轮廓图像可以是表示手/指区域的整体的轮廓的图像,也可以是表示手/指区域的一部分(例如,仅手指或仅手掌)的轮廓的图像。此外,在图像显示部20显示了显示图像(例如,动态图像或静态图像)的情况下,作为操作控制部151要使得显示的显示对象的手/指图像305可以以不与该显示图像重叠的方式显示在显示区域da上。此外,在以一部分或者全部与图像显示部20显示的显示图像重叠的方式显示手/指图像305的情况下,可以使手/指图像305的明亮度比显示图像亮,在显示图像为动态图像的情况下,可以停止动态图像的再现。此外,操作控制部151显示手/指图像305或轮廓图像的显示区域da的位置是与在拍摄图像数据中拍摄的使用者的手/指的位置对应的位置。通过操作控制部151预先执行的校准,将显示区域da上的坐标与照相机61的拍摄图像上的坐标对应起来。例如,操作控制部151将由图像显示部20预先设定的标记显示到显示区域da的预先设定的位置上。使用者识别由图像显示部20显示的标记,使手的指尖对准所显示的标记的位置,按压操作部110的操作按钮11等。在受理了操作按钮11的按压操作时,控制部150使照相机61执行拍摄,取得照相机61的拍摄图像数据。检测控制部149根据所取得的拍摄图像数据来检测手/指区域,确定拍摄图像数据上的指尖的位置。操作控制部151根据由检测控制部149确定的指尖的位置,将显示标记的显示区域da上的坐标与表示所确定的指尖的位置的拍摄图像数据上的坐标对应起来。此外,操作控制部151一边变更显示标记的位置一边多次进行上述的处理,生成将拍摄图像数据上的坐标转换为显示区域da上的坐标的转换参数。图6~图12是示出显示在显示区域da上的图像的图。图6~图12示出将从拍摄图像数据中剪切出的手/指图像305显示在显示区域da上的状态。此外,还在显示区域da上显示显示图像,但省略显示图像的图示。在使第1手的手/指图像305显示于显示区域da时,操作控制部151与该手/指图像305的手指等对应地显示功能显示图像310。功能显示图像310是显示信息的图像,该信息确定功能。此外,功能是指由控制部150执行应用程序而实现的功能。在应用程序例如是显示图像的显示程序的情况下,在功能中包含暂停、停止、再现、回放、快进等。功能显示图像310相当于本发明的“确定处理的图像”。图6~图8示出使功能显示图像310与第1手的图像对应地显示的状态。确定功能显示图像310所显示的功能的信息例如可以是显示了功能的名称(功能名称)的图像,也可以是与功能对应的编号或字母等识别信息。在使用编号等识别信息作为确定功能的信息的情况下,另行显示表示功能与识别信息的对应关系的图像(以下,称作对应显示图像)301即可。例如,图6中示出在左手图像的大拇指的指尖(部位)处显示功能a的图像作为功能名称、在食指的指尖(部位)处显示功能b的图像作为功能名称、在中指的指尖(部位)处显示功能c的图像作为功能名称的状态。此外,示出在左手的图像的无名指的指尖(部位)处显示功能d的图像作为功能名称、在小拇指的指尖(部位)处显示功能e的图像作为功能名称的状态。此外,图7示出使作为功能显示图像310的识别编号的图像与左手的图像的各手指(部位)对应地显示的状态。此外,图8示出使作为功能显示图像310的字母的图像与左手的图像的手掌且各手指的根部(部位)对应地显示的状态。功能显示图像310的显示位置不限于图6~图8所示的显示位置,只要为使用者的手或者手的图像上即可。此外,即使是与手或者手的图像分离的位置,只要能够识别出与手的部位对应即可。此外,在显示区域da中不显示显示对象的情况下,操作控制部151根据从检测控制部149输入的检测信息,在与第1手的各手指的指尖对应的位置处显示功能显示图像310。在本实施方式中,对使显示功能显示图像310显示于第1手的指尖的情况进行说明,但与显示第1手的图像的情况同样,显示功能显示图像310的位置可以是手指上,也可以是手掌上。图9是示出功能的选择方法的图。使用者在如图6~图8所示使第1手的手掌朝向使用者的状态下,如图9所示进行将另一只手(以下,称作第2手)的手指重叠到功能显示图像310上的操作(以下,称作选择操作)。第2手相当于本发明的“副指示体”。图9示出在第1手的图像的各手指的指尖处显示了分别显示有1~5的5个识别编号的5个功能显示图像310的状态。使用者将作为第2手的右手的手指重叠到与想选择的功能对应的识别编号的功能显示图像310上并进行选择操作。在本实施方式中,对第1手是左手、第2手是右手的情况进行说明,但也可以设右手为第1手、左手为第2手。此外,可以根据使用者与手的距离来设定第1手和第2手。例如,也可以设到使用者(即,图像显示部20的照相机61)的距离较远的手为第1手、到使用者的距离较近的手为第2手。到图像显示部20的照相机61的距离能够根据拍摄图像数据中所拍摄的手的大小来判定。此外,可以在hmd100的图像显示部20中设置距离传感器,利用该距离传感器分别求出到使用者的左手和右手的距离。此外,可以设照相机61为立体照相机,使用照相机61拍摄的2张拍摄图像数据,根据三角测量的原理来检测到各手的距离。与第1手的情况同样,操作控制部151从拍摄图像数据中剪切第2手的手/指区域的图像数据。操作控制部151利用图像显示部20显示剪切出的手/指区域的图像数据,作为手/指图像306。在第1手的手/指图像305和功能显示图像310显示在显示区域da上时,操作控制部151对检测控制部149指示照相机61的拍摄。在从操作控制部151输入了指示时,检测控制部149使照相机61执行拍摄。而且,检测控制部149根据拍摄出的拍摄图像数据,检测手/指区域的范围、各手指的位置、手/指的形状、手/指区域是左手还是右手等,将检测出的信息作为检测信息输出到操作控制部151。操作控制部151根据从检测控制部149输入的检测信息,判定由使用者选择出的功能显示图像310。被识别为成为触发的操作的第1手的位置是固定的。因此,关于检测控制部149检测的第1手的位置,未检测出变动或者仅检测出规定范围内的变动。操作控制部151判定是否在与拍摄图像数据中拍摄到的第2手的指尖的位置对应的显示区域da的位置处显示有功能显示图像310。在与检测出第2手的指尖的拍摄图像数据的位置对应的显示区域da的位置处未显示有功能显示图像310的情况下,操作控制部151判定为未选择功能显示图像310。此外,在与检测出第2手的指尖的拍摄图像数据的位置对应的显示区域da的位置处显示有功能显示图像310的情况下,操作控制部151判定为选择了与该位置所显示的功能显示图像310对应的功能。在选择了功能显示图像310时,操作控制部151使所选择的功能显示图像310闪烁。此外,操作控制部151可以将所选择的功能显示图像310的显示颜色变更为与其他功能显示图像310的显示颜色不同的颜色,或者将所选择的功能显示图像310的明亮度变更为与其他功能显示图像310的明亮度不同的明亮度。通过使功能显示图像310闪烁、或者变更显示颜色、或者变更图像的明亮度,能够向使用者通知判定为被选择的功能显示图像310。在由第2手选择出的功能的功能显示图像310未闪烁的情况下,使用者再次进行将第2手的手指重叠到功能显示图像310上的选择操作。此外,在所选择的功能的功能显示图像310闪烁的情况下,为了确定选择操作,使用者使第1手的形状变化成预先设定的形状。为了确定选择操作,使用者将作为第1手的左手的形状变更为预先设定的形状。例如,在成为触发的操作中,使在打开的状态下被识别的手掌成为闭合状态(即,石头),或者使食指和中指的2根手指成为竖起的状态(所谓剪子)。该手的形状是预先设定的形状,能够由使用者任意变更。图10示出将手闭合的状态作为预先设定的形状。操作控制部151向检测控制部149指示照相机61的拍摄,根据从检测控制部149输入的检测信息,判定第1手的形状是否变化为预先设定的形状。检测控制部149或者操作控制部151参照存储部122的词典数据125,判定第1手的形状是否变化为预先设定的形状。在判定为第1手的形状变化为预先设定的形状的情况下,操作控制部151判定为确定了选择操作,向显示控制部147或者图像处理部145指示与闪烁的功能显示图像310对应的功能的执行。操作控制部151具有操作模式和设定模式作为动作模式。操作模式是如下模式:显示与第1手或者第1手的图像的指尖对应的功能显示图像310,执行通过第2手的选择操作而选择的功能显示图像310表示的功能。设定模式是变更与第1手或者第1手的图像的指尖对应的功能显示图像310的模式。图11和图12是用于说明设定模式的图。在输入了预先设定的操作时,操作控制部151使功能显示图像310显示于第1手或者第1手的图像的指尖,该功能显示图像310表示对各手指所设定的功能。此外,操作控制部151在显示区域da上还显示图像(以下,称作一览显示图像)302,该图像302显示了控制部150可执行的功能、即不与第1手的手指对应的功能的一览。图11是示出显示区域da的图,且是示出在第1手或者第1手的图像的指尖处显示对应的功能显示图像310的状态的图。此外,对应显示图像301和一览显示图像302显示在图11所示的显示区域da上。使用者利用第2手来操作触控板14,使指针303移动到显示有想选择的功能名称的位置处。在使指针303移动到显示有想选择的功能名称的位置处时,使用者以与使指针303移动时不同的按压力较强地按压触控板14的操作面。由此,选择显示在指针303的位置上的功能名称。图12示出选择了功能k的状态。接着,使用者使第2手的手指在触控板14上移动,使指针303移动至变更对应的功能的功能显示图像310的显示位置处。这时,如图12所示,选择的功能名的图像也伴随指针303的移动而移动(拖动操作)。在使表示功能名称的图像移动至想变更功能的功能显示图像310的显示位置时,使用者使第2手的手指远离触控板14,进行拖放操作。通过该拖放操作,与由使用者选择出的功能显示图像310对应的功能变更为与被使用者选择的功能名称的图像对应的功能。在图12所示的例子中示出与显示了“5”的编号的功能显示图像310对应的功能从功能e变更为功能k的情形。图13是示出控制部150的动作的流程图。控制部150使照相机61执行拍摄,从存储部122读出由照相机61拍摄出的拍摄图像数据。控制部150判定在所读出的拍摄图像数据中是否拍摄了第1手的图像,判定是否输入了成为触发的操作(步骤s1)。这里检测的第1手的图像是拍摄了手掌的图像,可以是左手的图像,也可以是右手的图像。在未从拍摄图像数据中检测出第1手的图像的情况下(步骤s1/否),控制部150等待至检测出第1手的图像。此外,在检测出第1手的图像的情况下(步骤s1/是),控制部150判定右电子遮光件227和左电子遮光件247是否处于驱动状态(步骤s2)。在判定为右电子遮光件227和左电子遮光件247未处于驱动状态的情况下(步骤s2/否),控制部150根据拍摄图像数据,确定第1手的各手指的位置。然后,控制部150使与各手指对应的功能显示图像310显示于所确定的第1手的各手指的指尖处(步骤s4)。此外,在判定为右电子遮光件227和左电子遮光件247处于驱动状态的情况下(步骤s2/是),控制部150从拍摄图像数据剪切作为拍摄了第1手的手/指区域的图像的手/指图像305。控制部150使剪切出的手/指图像305显示在显示区域da上,作为显示对象(步骤s3)。然后,控制部150使与各手指对应的功能显示图像310显示在手/指图像305的各手指的指尖处(步骤s4)。接着,控制部150使照相机61执行拍摄,判定在照相机61的拍摄图像数据中是否拍摄了第2手的图像(步骤s5)。在未拍摄第2手的图像的情况下(步骤s5/否),控制部150判定是否从使功能显示图像310显示在显示区域da起经过了预先设定的时间(步骤s10)。在未经过预先设定的时间的情况下(步骤s10/否),控制部150返回到步骤s5的判定,判定在拍摄图像数据中是否拍摄了第2手的图像。此外,在判定为经过了预先设定的时间的情况下(步骤s10/是),控制部150删除显示区域da所显示的功能显示图像310的显示(步骤s11),返回到步骤s1的判定。此外,在拍摄图像数据中拍摄了第2手的图像的情况下(步骤s5/是),控制部150判定显示在与拍摄图像数据中拍摄到的第2手的指尖对应的显示区域da的显示位置上的功能(步骤s6)。接着,控制部150使照相机61执行拍摄,判定是否从照相机61的拍摄图像数据中检测出第1手的图像且预先设定的形状的图像(步骤s7)。例如,控制部150判定是否拍摄了闭合状态的第1手。在判定为拍摄图像数据中未拍摄预先设定的形状的第1手的图像的情况下(步骤s7/否),控制部150判定是否经过了预先设定的时间(步骤s9)。在未经过预先设定的时间的情况下(步骤s9/否),控制部150返回到步骤s7的判定,判定是否拍摄了预先设定的形状的图像(步骤s7)。此外,在判定为经过了预先设定的时间的情况下(步骤s9/是),控制部150删除显示在显示区域da上的功能显示图像310的显示,返回到步骤s1的判定。此外,在从拍摄图像数据中检测出预先设定的形状的第1手的图像的情况下(步骤s7/是),控制部150判定为选择了在步骤s6中判定出的与功能显示图像310对应的功能。控制部150通知显示控制部147或者图像处理部145,使得执行该选择出的功能(步骤s8)。图14是示出功能变更操作的步骤的流程图。首先,控制部150判定是否受理了预先设定的操作(步骤s21)。该操作可以是针对操作部110的操作按钮11的操作,也可以是使用者使头部朝上下(点头)或者左右(摇头)运动的操作。在未受理预先设定的操作的情况下(步骤s21/否),控制部150等待至受理预先设定的操作。此外,在受理预先设定的操作的情况下(步骤s21/是),控制部150判定右电子遮光件227和左电子遮光件247是否处于驱动状态(步骤s22)。在右电子遮光件227和左电子遮光件247未处于驱动状态的情况下(步骤s22/否),控制部150确定拍摄图像数据中拍摄到的第1手的各手指的位置。然后,控制部150使与各手指对应的功能显示图像310显示在所确定的第1手的各手指的指尖处,并且显示一览显示图像,该一览显示图像显示了可执行的功能的一览(步骤s24)。此外,在判定为右电子遮光件227和左电子遮光件247处于驱动状态的情况下(步骤s22/是),控制部150从拍摄图像数据中剪切作为第1手的手/指区域的图像的手/指图像305。控制部150使显示区域da显示剪切出的手/指图像305作为显示对象。此外,控制部150使与各手指对应的功能显示图像310显示在手/指图像305的各手指的指尖处,并且显示一览显示图像302,该一览显示图像302显示了控制部150可执行的功能的一览(步骤s24)。接着,控制部150判定是否检测出针对触控板14的拖动操作(步骤s25)。在未检测出拖动操作的情况下(步骤s25/否),控制部150等待至检测出拖动操作。此外,在检测出拖动操作的情况下(步骤s25/是),控制部150将表示通过该拖动操作而选择出的功能名称的图像的显示位置变更为与拖动操作的操作位置对应的位置(步骤s26)。接着,控制部150判定是否检测出拖放操作(步骤s27)。在未检测出拖放操作的情况下(步骤s27/否),控制部150返回到步骤s26的处理,将表示功能名称的图像的显示位置变更为与拖动操作的操作位置对应的位置。此外,在检测出拖放操作的情况下(步骤s27/是),控制部150判定与显示在所拖放的位置上的功能显示图像310对应的功能。然后,控制部150将与功能显示图像310对应的功能变更为通过拖放操作而选择出的功能名称的功能(步骤s28)。接着,控制部150判定是否受理了被设定为结束操作的操作(步骤s29)。例如,在按压操作部110的操作按钮11的按压操作设定为结束操作的情况下,控制部150判定是否检测出该操作按钮11的按压操作。在检测出操作按钮11的按压操作的情况下(步骤s29/是),控制部150结束该处理流程。此外,在未检测出操作按钮11的按压操作的情况下(步骤s29/否),控制部150返回到步骤s25,再次开始拖动操作的检测。如以上所说明那样,本实施方式具有图像显示部20、照相机61、检测操作控制部149和选择操作控制部151。图像显示部20被佩戴于使用者的头部,以使用者能够目视外景的方式显示图像。检测操作控制部149根据照相机61的拍摄图像,检测手的操作。选择操作控制部151根据检测操作控制部149检测的操作,控制图像显示部20的图像。此外,在从照相机61的拍摄图像中检测出手的情况下,选择操作控制部151使图像显示部20显示手的图像,该手的图像表示手的位置和形状中的至少任意一个。因此,即使在图像显示部20显示图像的情况下,也能够在维持该图像的可视性的状态下使使用者识别手的位置或者形状。此外,图像显示部20与使用者观察的外景重叠地显示图像,照相机61拍摄包含使用者观察的外景的至少一部分的范围。操作控制部151使手的图像显示在与使用者在外景中观察手的位置对应的位置上。因此,能够利用所显示的手的图像,使使用者识别手的位置。此外,在本发明中,图像显示部20具有右电子遮光件227和左电子遮光件247,该右电子遮光件227和左电子遮光件247构成为能够使外部光透过,调整透过图像显示部20的外部光的透射率。操作控制部151根据右电子遮光件227和左电子遮光件247的外部光的透射率,切换手的图像的显示和不显示。因此,在利用右电子遮光件227和左电子遮光件247将外部光的透射率抑制得较低且外界的可视性下降的情况下,通过显示手的图像,能够使使用者识别手的状态。此外,操作控制部151根据图像显示部20显示的图像的尺寸,切换手的图像的显示和不显示。因此,在判定为图像显示部20显示的图像的尺寸较大且外界的可视性下降的情况下,能够显示手的图像。此外,检测控制部149根据照相机61的拍摄图像,检测组合了左手和右手的操作。因此,能够通过组合了左手和右手的操作,控制图像显示部20的图像。此外,操作控制部151与手的部位或者手的图像的部位对应地显示功能显示图像310,该功能显示图像310确定操作控制部151可执行的处理。操作控制部151判定根据由检测控制部149检测的第2手(右手)相对于第1手(左手)或者第1手(左手)的图像的指示位置而选择出的部位,执行与所判定的部位对应的处理。因此,通过变更第2手相对于第1手或者第1手的图像的指示位置,能够选择与第1手或者第1手的图像的部位对应的功能显示图像310。此外,hmd100能够执行与所选择的功能显示图像310对应的处理。此外,操作控制部151使功能显示图像310与手或者手的图像重叠地显示,或者使功能显示图像310显示在手或者手的图像的周围。因此,能够容易进行基于组合左手和右手的操作的功能显示图像310的选择。此外,手的图像是由照相机61拍摄的使用者的手的图像或者表示手的轮廓的一部分或者全部的图像。因此,即使在由于图像显示部20显示的图像而无法观察使用者的手的情况下,也能够使使用者识别手的图像或者手的轮廓,使用者能够执行使用手的操作。此外,在本发明中,操作控制部151切换并执行操作模式和设定模式,在该操作模式下,执行与通过检测控制部149检测的操作而选择出的手或者手的图像的部位对应的功能,在该设定模式下,设定与手或者手的图像的部位对应的功能。因此,能够利用设定模式来变更与手或者手的图像的部位对应的功能。此外,能够通过操作模式使hmd100执行与手或者手的图像的部位对应的处理。上述的实施方式是本发明的优选实施方式。另外,本发明不限于上述的实施方式,能够在不脱离本发明的主旨的范围内以各种方式来实施。例如,上述的实施方式对使用使用者的手作为指示体的情况进行了说明,但指示体不限定于使用者的手。例如,可以使用配置于使用者的手腕的钟表或带等作为指示体。此外,也可以替代用作显示对象的第1手的图像,使用事先登记并存储在存储部122中的使用者的脸部照片或全身照片。此外,上述的实施方式根据照相机61的拍摄图像,判定使用者的手的位置和形状。作为其他例,使使用者的手或手腕佩戴具有加速度传感器或陀螺仪传感器等传感器的可佩戴终端,向hmd100发送该可佩戴终端检测的加速度或角速度。hmd100可以根据从可佩戴终端接收到的加速度或角速度的信息来检测使用者的手的位置,变更显示对象的显示位置。此外,可以是如下结构:根据搭载于hmd100上的照相机61的拍摄图像以及从可佩戴终端接收到的加速度或角速度的信息,检测使用者的手的位置。此外,也可以是如下结构:搭载应变传感器等传感器,使用利用该传感器来监视手/指的运动的手套,来识别使用者的手/指的形状。此外,在上述的实施方式中,对使用使用者的双手来选择功能的情况进行了说明。除此以外,还可以构成为能够仅使用使用者的左手或者右手中的一只手来执行处理。例如,使功能显示图像310与各手指对应地显示在手掌的手指的根部处。使用者通过弯曲等使想选择的功能的功能显示图像310对应的手指运动。控制部150根据照相机61的拍摄图像数据来检测该手指的运动,判定所选择的手指。而且,控制部150变更判定为被选择的手指的颜色,或者变更显示位置。在被判定为选择了hmd100的手指正确的情况下,使用者使打开状态的手进行闭合(成为石头的形状)动作,确定选择操作。此外,在上述的实施方式中,对显示表示指示体形状的手/指图像305、306作为显示对象的情况进行了说明,但也可以利用指针等显示指示体的位置。例如,在根据照相机61的拍摄图像数据而检测出指示体时,使指针显示到与拍摄图像数据上的指示体的检测位置对应的显示区域da的位置处。此外,可以显示表示拍摄图像数据上的指示体的检测位置的图像作为辅助图像。此外,还能够中途调换设定为第1手的手和设定为第2手的手。例如,在根据照相机61的拍摄图像数据而判定为右手比左手更接近照相机61(左手比右手离得远)的情况下,控制部150将左手设定为第1手,将右手设定为第2手。控制部150使功能显示图像310与设定为第1手的左手的手/指图像305的手指对应地显示。此外,控制部150根据由照相机61依次拍摄的拍摄图像数据,按照固定间隔判定使用者的左手和右手相对于照相机61的距离。在判定为左手比右手更接近照相机61(右手比左手离得远)的情况下,控制部150变更第1手和第2手的设定,将右手设定为第1手,将左手设定为第2手。而且,控制部150以使与左手的手/指图像305的手指对应地显示的功能显示图像310对应于右手的手/指图像305的手指的方式显示功能显示图像310。此外,在上述的实施方式中,对使用使用者的左右手作为指示体和副指示体的情况进行了说明,但指示体不限于使用者的手。例如,作为指示体,可以使用前端分支为多个的棒状物体。在该情况下,可以预先将用作指示体的物体的形状或颜色作为指示体的信息登记到存储部122中。此外,作为手/指图像305、306或功能显示图像310的颜色,可以显示存在于外界的物体且与手/指图像305、306或功能显示图像310重叠的物体的颜色的补色。例如,在使手/指图像305、306或功能显示图像310显示在显示区域da上的情况下,控制部150根据照相机61的拍摄图像数据,判定与手/指图像305、306或功能显示图像310重叠的区域的颜色(在包含多个颜色的情况下,是面积最大的颜色)。控制部150将手/指图像305、306或功能显示图像310加工为判定出的颜色的补色,显示在显示区域da上。此外,在使手/指图像305、306或功能显示图像310显示在显示区域da上的情况下,控制部150可以对手/指图像305、306或功能显示图像310施加这些轮廓线并进行显示。例如,作为施加到手/指图像305、306或功能显示图像310的轮廓线的宽度的设定,事先准备2种。在将右电子遮光件227和左电子遮光件247的透射率设定为比预先设定的阈值高的值的情况下,控制部150将宽度较细的轮廓线施加到手/指图像305、306或功能显示图像310。此外,在使右电子遮光件227和左电子遮光件247的透射率低于预先设定的阈值的情况下,控制部150将宽度较粗的轮廓线施加到手/指图像305、306或功能显示图像310。此外,可以使用作为指示体的第1手和作为副指示体的第2手变更显示为显示对象的手/指图像305、306的颜色或轮廓线的宽度。也可以使第1手的手/指图像305的轮廓线的宽度显示得较粗,使第2手的手/指图像306的轮廓线的宽度显示得较细。此外,本实施方式说明了使用在无供给电压的状态下外部光的透射率为100%、在供给电压为最大的状态下外部光的透射率为0%(切断)的常黑的液晶作为右电子遮光件227和左电子遮光件247的情况。作为电子遮光件227和左电子遮光件247中使用的液晶,也可以使用在无供给电压的状态下外部光的透射率为0%、在供给电压为最大的状态下外部光的透射率为100%的常白的液晶。此外,在上述实施方式中例示了控制装置10与图像显示部20有线连接的结构,但本发明不限于此,也可以是图像显示部20与控制装置10无线连接的结构。该情况下的无线通信方式可以采用作为通信部117支持的通信方式而例示出的方式,也可以是其他通信方式。此外,可以将控制装置10具备的一部分的功能设置于图像显示部20,也可以通过多个装置来实现控制装置10。例如,可以替代控制装置10,使用能够安装于使用者的身体、服装或者使用者随身佩戴的饰品的可佩戴设备。该情况下的可佩戴设备例如可以是钟表型的装置、戒指型的装置、激光笔、鼠标、空气鼠标、游戏控制器、笔型的设备等。并且,在上述实施方式中,以图像显示部20和控制装置10分离并经由连接线40而连接的结构为例进行了说明。本发明不限于此,也可以是将控制装置10和图像显示部20构成为一体而佩戴于使用者的头部的结构。此外,本发明还能够应用于不进行ar显示、mr(mixedreality:混合现实)显示、vr(virtualreality:虚拟现实)显示这样的处理的显示装置。ar显示是与实际空间重叠地显示图像的显示,且是以组合的方式显示拍摄出的实际空间的图像和虚拟图像的显示,vr表示是显示虚拟图像的显示。例如,当然也可以包含显示从外部输入的影像数据或者模拟影像信号的显示装置作为本发明的应用对象。此外,例如,可以替代图像显示部20,采用例如帽子那样佩戴的图像显示部等其他方式的图像显示部,也可以具有与使用者的左眼le对应地显示图像的显示部和与使用者的右眼re对应地显示图像的显示部。此外,本发明的显示装置例如可以构成为搭载于汽车或飞机等车辆的头戴式显示器。此外,例如也可以构成为内置于头盔等身体防护器具的头戴式显示器。在该情况下,能够设对相对于使用者身体的位置进行定位的部分和相对于该部分进行定位的部分为佩戴部。此外,作为将图像光引导至使用者的眼睛的光学系统,例示了在右导光板26和左导光板28的一部分中利用半反射镜261、281形成虚像的结构。本发明不限于此,也可以构成为将图像显示在具有占据右导光板26和左导光板28的整个面或者大部分的面积的显示区域中。在该情况下,在使图像的显示位置发生变化的动作中,可以包含将图像缩小的处理。并且,本发明的光学元件不限于具有半反射镜261、281的右导光板26、左导光板28,只要是使图像光入射到使用者的眼睛的光学部件即可,具体而言,可以使用衍射光栅、棱镜、全息显示部。此外,图4、图5等所示的各功能块中的至少一部分可通过硬件实现,也可以是通过硬件与软件的协作实现的结构,不限定于配置如图示那样独立的硬件资源的结构。此外,控制部150执行的程序可以存储在非易失性存储部121或者控制装置10内的其他存储装置(省略图示)中。此外,也可以为经由通信部117或外部连接器184取得并执行存储在外部装置中的程序的结构。此外,控制装置10中形成的结构中的操作部110可以形成为使用者界面(ui)。此外,控制装置10中形成的结构可以重复地形成于图像显示部20。例如,与主处理器140相同的处理器可以配置于图像显示部20上,控制装置10具备的主处理器140和图像显示部20的处理器也可以执行单独划分的功能。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1