头戴式显示器装置的制作方法

1.本发明涉及一种头戴式显示器装置(以下称为hmd:head mount display，头戴式显示器)。


背景技术：

2.近年来，在游戏用途、作业辅助的领域中，搭载显示器、佩戴于头部而供视听信息的hmd的利用不断扩大。
3.作为本技术领域的背景技术，有专利文献1。在专利文献1中公开了一种头部佩戴型显示装置，具备：显示单元，构成为在显示画面中显示基于影像信号的影像并且使外部光透射，构成为能够控制影像显示部分与外部光透射部分的比例，并且构成为能够佩戴于使用者的头部；检测单元，检测使用者要观察的方向或者使用者的头部的姿态、头部的位置；以及显示控制单元，根据检测单元的检测来控制显示单元的显示画面中的影像显示部分与外部光透射部分的比例。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开平8-328512号公报


技术实现要素：

7.发明要解决的问题
8.在专利文献1中，用户在佩戴着hmd的状态下，根据使用者要观察的方向或者使用者的头部的姿态、头部的位置，能够观看hmd的显示图像和外界影像。
9.然而，考虑如下情况：用户在佩戴着hmd的状态下睡着，在睡眠后清醒或半清醒时，用户忘记正在佩戴hmd。在该情况下，用户被hmd挡住视野而无法确认周边状况，因此无法掌握自身的状况，在慌乱行动的情况下等有可能引发危险的状态。在上述专利文献1中并未考虑这样的状况。
10.本发明鉴于上述课题，其目的在于提供一种能够避免佩戴hmd时的用户的危险的hmd。
11.用于解决问题的方案
12.若列举其一例，则本发明是利用第一图像输入部获取外界图像并在显示部中显示的视频透射型的头戴式显示器装置，构成为，该头戴式显示器装置具有：第二图像输入部，获取佩戴者的双眼的状态的图像；以及控制部，控制部根据由第二图像输入部获取的佩戴者的双眼的状态的图像，在闭着双眼的状态未持续预定时间以上的情况下，判断为佩戴者处于清醒状态，在闭着双眼的状态持续预定时间以上的情况下，判断为佩戴者处于睡眠状态，在从睡眠状态变为清醒状态的情况下，在显示部中显示由第一图像输入部获取的外界图像。
13.发明的效果
14.根据本发明，能够提供一种能够避免佩戴hmd时的用户的危险的hmd。
附图说明
15.图1是表示实施例1中的hmd的硬件结构的框图。
16.图2是实施例1中的hmd的外观和佩戴图。
17.图3是实施例1中的hmd的功能结构图。
18.图4是实施例1中的hmd的处理流程图。
19.图5是实施例2中的hmd的处理流程图。
20.图6是实施例2中的警告消息的显示例。
21.图7是实施例3中的hmd的处理流程图。
22.图8是实施例4中的hmd的处理流程图。
23.图9是实施例4中的hmd的警告消息的显示例。
24.图10是实施例4中的hmd的外界显示例。
25.附图标记说明
26.100：hmd(头戴式显示器装置)，101：主控制部，103：ram、110：储存部，120：操作输入部，121：操作键，122：触摸传感器，130：图像处理部，131：显示部，132：图像信号处理部，133：第一图像输入部，134：第二图像输入部，140：声音处理部，141：声音输出部，142：声音信号处理部，143：声音输入部，151：位置信息获取部，160：传感器部，170：通信部，180：扩展接口部，1001：基本动作程序，1002：应用程序，1009：各种数据存储区域，1101：基本动作功能部，1111：双眼状态确认部，1112：通信状态确认部，1113：应用程序控制部，1114：显示控制部，1199：临时存储区域，u1：用户，m11、m12：警告消息，ap11：应用程序画面(应用程序影像)，o11、o12：预定图标，ow11：外界影像。
具体实施方式
27.以下，使用附图对本发明的实施例进行说明。
28.实施例1
29.图1是表示本实施例中的hmd100的硬件结构的框图。在图1中，101是主控制部(cpu/mcu等)，102是作为命令、数据的收发路径的总线，103是作为基本动作程序、其他动作程序执行时的工作区的ram，110是作为flash rom/eeprom/ssd/hdd等非易失性存储介质的储存部。
30.另外，120是作为用户操作接口的操作输入部，具有sw类、电源键、音量键等操作键121和触摸板等触摸传感器122。
31.另外，130是图像(视频)处理器等图像处理部，具有显示部(显示器)131、图像信号处理部(图像(视频)信号处理器)132、外界影像获取用的外部摄像机即第一图像输入部133、双眼确认用的内部摄像机即第二图像输入部134。
32.另外，140是声音处理部(音频处理器)，具有声音输出部(扬声器)141、声音信号处理部(音频信号处理器)142、声音输入部(麦克风)143。
33.另外，151是位置信息获取部(gps接收部)。另外，160是传感器部，具有陀螺仪传感器161、地磁传感器162、加速度传感器163。
34.另外，170是由lan(wi-fi(注册商标))通信部、移动通信部、bluetooth(注册商标)通信部等构成的通信部，180是扩展接口部，例如具有充电端子等的功能。
35.图2是本实施例中的hmd的外观和佩戴图。如图2所示，本实施例中的hmd为护目镜型，不是在前表面具有窗的光学投射型，而是利用摄像机拍摄外界图像并在hmd内的显示部中显示的视频透射型的密闭型的hmd。(a)是在用户u1的头部佩戴有hmd100的状态的俯视图，(b)是主视图，(c)是侧视图。
36.在图2中，133l是作为左侧的外部摄像机的第一图像输入部(l)，133r是作为右侧的外部摄像机的第一图像输入部(r)。需要说明的是，第一图像输入部也可以仅为一个(例如，在中央部具有一个第一图像输入部133)。
37.另外，122l是触摸传感器(l)，122r是触摸传感器(r)(未图示)，触摸传感器也可以仅为左右的任一个，另外，141l是声音输出部(l)(立体声扬声器l)，141r是声音输出部(r)(立体声扬声器r)(未图示)。
38.需要说明的是，虽省略图示，但作为声音输入部143，具有单声道麦克风，另外，在hmd的壳体的内侧具有配置为能够由用户视觉辨认的由lcd等构成的显示部131。另外，显示部131也可以由左眼用的显示部131l和右眼用的显示部131r构成。另外，在hmd的壳体的内侧还具有配置为能够确认用户的双眼的状态的内部摄像机即第二图像输入部134。另外，第二图像输入部134也可以由能够确认左眼的状态的第二图像输入部134l和能够确认右眼的状态的第二图像输入部134r构成。
39.图3是本实施例中的hmd的功能结构图。在图3中，储存部110包括作为os等基本程序的基本动作程序1001、包括执行本实施例的功能的应用程序(以后省略为应用程序)以及其他应用程序的应用程序1002、存储各种动作设定值、各种信息(动态图像/静态图像/声音等)的区域即各种数据存储区域1009。
40.存储于储存部110的程序/应用程序在ram103中展开(加载)，主控制部101执行所展开的程序/应用程序，由此执行本实施例的功能部以及其他功能部。
41.在图3中，在ram103中按照功能记载有展开的执行程序。即，具有：执行hmd100的基本动作程序的基本动作功能部1101；双眼状态确认部1111，其分析第二图像输入部(内部摄像机)134的获取图像，确认佩戴hmd100的用户u1的双眼的状态、视线位置；通信状态确认部1112，其分析经由通信部170接收到的信息，确认所接收的信息是否是紧急警报等；应用程序控制部1113，其根据佩戴hmd100的用户u1的操作指示，控制各种应用程序的启动/执行等处理，生成应用程序画面(应用程序影像)；以及显示控制部1114，其根据由双眼状态确认部1111确认的用户的双眼的状态、视线位置或者由通信状态确认部1112确认的接收信息是否为紧急警报等，选择由应用程序控制部1113生成的应用程序画面的影像(应用程序影像)和第一图像输入部(外部摄像机)所获取的外界影像中的一者而控制向显示部131的显示。另外，ram103具有作为由应用程序生成/获取的各种信息的临时的存储区域的临时存储区域1199。
42.图4是本实施例中的hmd的处理流程图。在图4中，首先，在步骤s101中，显示控制部1114将应用程序控制部1113按照用户的操作指示启动/执行而生成的应用程序画面(应用程序影像)显示于显示部131中，进入s102。在s102中，第二图像输入部(内部摄像机)134获取用户的双眼图像，进入s103。在s103中，双眼状态确认部1111分析在s102的处理中获取的
用户的双眼图像，在判断为用户的双眼均处于闭着的状态的情况下，进入s104。在判断为用户的双眼并非均处于闭着的状态的情况下，返回s102。在s104中，双眼状态确认部1111对计时器的计数值进行初始化，进入s105。在s105中，第二图像输入部(内部摄像机)134获取用户的双眼图像，进入s106。在s106中，双眼状态确认部1111分析在s105的处理中获取的用户的双眼图像，在判断为用户的双眼中的任一者为睁开的状态的情况下，返回s102。在判断为用户的双眼均不是睁开的状态的情况下，进入s107。在s107中，双眼状态确认部1111对计时器的计数值进行计数，进入s108。在s108中，双眼状态确认部1111将计时器的计数值与预先确定的预定值进行比较，在计时器的计数值≥预定值的情况下，进入s109。在并非计时器的计数值≥预定值的情况下，返回s105。
43.在s109中，设用户为处于睡眠状态的情况，显示控制部1114生成睡眠画面(无影像且暗的画面)并显示于显示部131中，进入s110。需要说明的是，也可以不进行s109的处理。
44.在s110中，第二图像输入部(内部摄像机)134获取用户的双眼图像，进入s111。在s111中，双眼状态确认部1111分析在s110中获取的用户的双眼图像，在判断为用户的双眼中的任一者为睁开的状态的情况下，进入s112。在判断为用户的双眼均不是睁开的状态的情况下，返回s110。需要说明的是，也可以在s111之后附加计时器，并在检测到眼睁开预定时间以上的状态的情况下进入s112。
45.在s112中，设用户为处于清醒状态(或者半清醒状态：以下同样)的情况，第一图像输入部(外部摄像机)133获取外界影像，进入s113。在s113中，显示控制部1114将在s112中获取的外界影像显示于显示部131中，结束处理。
46.如上所述，在本实施例中，内部摄像机确认佩戴者(用户)的双眼的状态，在闭着双眼的状态未持续预定时间以上的情况下，判断为佩戴者(用户)处于清醒状态，在闭着双眼的状态持续预定时间以上的情况下，判断为佩戴者(用户)处于睡眠状态。然后，在从清醒状态变为睡眠状态的情况下，将应用程序影像切换为睡眠画面(无影像)，之后，在成为清醒状态的情况下，将睡眠画面切换为视频取景影像(外部摄像机影像)。由此，在佩戴hmd时睡着而之后清醒了的情况下，佩戴者(用户)也能够确认自身的周围(实际空间)的状况。
47.需要说明的是，在从清醒状态变为睡眠状态的情况下，也可以不将应用程序影像切换为睡眠画面(无影像)，而继续显示应用程序影像，但通过切换为无影像且暗的画面即睡眠画面，能够节约佩戴者处于睡眠状态时的hmd的电池消耗。另外，在从清醒状态变为睡眠状态的情况下，也可以将应用程序影像切换为视频取景影像(外部摄像机影像)。
48.另外，当在s101中显示于显示部131的应用程序画面(应用程序影像)伴随有声音输出(从声音输出部141进行声音输出)的情况下，也可以当在s109中切换为睡眠画面(无影像)时也一并停止声音输出。或者，为了表示hmd正在运转(或曾在运转)，也可以当在s109中切换为睡眠画面(无影像)时保持不变而继续声音输出。另外，也可以降低音量而继续声音输出。
49.如上所述，根据本实施例，能够提供在佩戴hmd时睡着而之后清醒了的情况下，用户也能够确认自身的周围状况、能够避免危险的hmd。
50.实施例2
51.在实施例1中，说明了在从睡眠状态清醒的情况下，通过切换为外部摄像机影像，用户能够确认自身的周围状况，能够避免危险的结构。在本实施例中，对其他危险避免例进
行说明。
52.图5是本实施例中的hmd的处理流程图。在图5中，与图4相同的处理标注相同的附图标记，省略其说明。在图5中，与图4不同的方面是步骤s122、s123，在从睡眠状态清醒了时，向佩戴者(用户)显示正在佩戴hmd的意思的消息。
53.即，在图5中，s101～s111与图4的动作是同样的。需要说明的是，在图5中，未记载s109，但也可以与图4同样地在从清醒状态变为睡眠状态的情况下显示睡眠画面。
54.当在s111中为“是”的情况下，是从睡眠状态清醒了的状态，进入s122。在s122中，显示控制部1114生成用于向用户警告正在佩戴hmd的意思的消息，进入s123。在s123中，显示控制部1114在应用程序控制部1113按照用户的操作指示启动/执行而生成的应用程序画面(应用程序影像)上叠加在s122中生成的警告消息并显示于显示部131中，结束处理。
55.图6是本实施例中的警告消息的显示例。在图6中，在显示部131中，在s122中生成的警告消息m11叠加显示于应用程序画面(应用程序影像)ap11。需要说明的是，当在从清醒状态变为睡眠状态时显示睡眠画面的情况下，将警告消息m11叠加显示在无影像且暗的画面即睡眠画面上。另外，警告消息的显示例除了前述之外，也可以是“睡了x小时”等的显示、单纯的当前时刻显示等。即，只要使用户注意到正在佩戴hmd即可。
56.另外，如图6所示，警告消息也可以不仅显示于显示部131，还作为声音输出而从声音输出部141输出。在该情况下，若多次重复相同的警告消息，则能够降低用户漏听警告消息的可能性。另外，也可以反复进行警告消息的声音输出，直到有用于使警告消息的声音输出停止的用户的指示为止。
57.如上所述，根据本实施例，能够提供在佩戴hmd时睡着而之后清醒了的情况下，用户也能够确认警告消息、能够避免危险的hmd。
58.需要说明的是，在从清醒状态变为睡眠状态的情况下，也可以在显示部131中在清醒状态下所显示的应用程序画面上叠加显示警告消息。
59.另外，在确认警告消息之后，在用户希望向外界影像的显示切换的情况下，通过来自操作输入部120的用户的指示、手势动作等进行切换即可。另外，也可以根据用户的指示，消除警告消息而再次开始应用程序画面的显示。
60.实施例3
61.在本实施例中，对佩戴hmd时的其他危险避免例进行说明。
62.图7是本实施例中的hmd的处理流程图。在图7中，首先，在步骤s201中，显示控制部1114将应用程序控制部1113按照用户的操作指示启动/执行而生成的应用程序画面(应用程序影像)显示于显示部131，进入s202。
63.在s202中，通信部170接收从外部网络上的设备、协作动作中的设备、例如智能手机等便携信息终端发送的消息，进入s203。在s203中，通信状态确认部1112分析在s202中接收的消息，在判断为接收到的消息为紧急警报等的情况下，进入s204。在判断为接收到的消息并非紧急警报等的情况下，返回s202。
64.在s204中，第一图像输入部(外部摄像机)133获取外界影像，进入s205。在s205中，显示控制部1114将在s204中获取到的外界影像显示于显示部131，结束处理。
65.像这样，在本实施例中，hmd在经由通信部接收到例如地震快报等紧急警报(邮件等)的情况下，无论是清醒状态还是睡眠状态，都将应用程序影像切换为视频取景影像(外
界影像)。由此，能够提供一种即使在佩戴视频透射型的密闭型的hmd时，在紧急事态下，通过切换为外界影像，用户也能够确认自身的周围状况，能够避免危险的hmd。
66.需要说明的是，也可以将通知紧急警报的内容的警告消息叠加显示在显示部中。
67.另外，也可以是，声音输入部143获取声音信息(代替s202的处置)，分析所获取的声音信息，在判断为该声音信息是警铃等的情况下(代替s203的处置)，切换为外界影像。
68.实施例4
69.在实施例2中，对在从睡眠状态清醒了的情况下通过在显示画面上叠加显示警告消息而能够避免危险的hmd进行了说明。
70.在本实施例中，对以下方面进行说明：在警告消息的叠加显示后，通过注视预定图标而切换为外界影像。
71.图8是本实施例中的hmd的处理流程图。在图8中，首先用虚线包围的步骤是图5的s101至s111的处理，省略记载，也省略其说明。
72.当在s111中为“是”的情况下，是从睡眠状态清醒的状态，进入s124。在s124中，显示控制部1114生成用于向用户警告正在佩戴hmd的意思的消息，进入s125。在s125中，显示控制部1114在应用程序控制部1113根据用户的操作指示启动/执行而生成的应用程序画面(应用程序影像)上叠加在s124中生成的警告消息并显示于显示部131。
73.图9是本实施例中的警告消息的显示例。在图9中，在显示部131中，在s124中生成的警告消息m12叠加显示于应用程序画面(应用程序影像)ap11。另外，显示有作为紧急门的关闭状态的标记的预定图标o11。在警告消息m12中，连同正在佩戴hmd的意思的显示一起，显示有“在想要确认外部的情况下请看门标记”的消息。将在后阐述，若视线对准该预定图标o11预定时间以上，则显示于显示部上的影像从应用程序影像切换为外界影像。
74.需要说明的是，在s125中，也可以仅显示预定图标o11。即，显示预定图标o11的情况也可以包含警告消息m12的含义。
75.接下来，在s302中，第二图像输入部(内部摄像机)134获取用户的双眼图像，进入s303。在s303中，双眼状态确认部1111分析在s302中获取的用户的双眼图像，检测用户的视线位置，进入s304。在s304中，双眼状态确认部1111确认在s303中检测的用户的视线位置，在判断为用户的视线位置处于预定图标上的情况下，进入s305。在判断为用户的视线位置不在预定图标上的情况下，回到s302。需要说明的是，也可以在用户的视线位置处于包含预定图标且比预定图标大的预定范围内的情况下，判断为用户的视线位置处于预定图标上。
76.在s305中，判断为用户正在看预定图标，双眼状态确认部1111对计时器的计数值进行初始化，进入s306。在s306中，第二图像输入部(内部摄像机)134获取用户的双眼图像，进入s307。在s307中，双眼状态确认部1111分析在s306中获取的用户的双眼图像，检测用户的视线位置，进入s308。在s308中，双眼状态确认部1111确认在s307的处理中检测到的用户的视线位置，在判断为用户的视线位置从预定图标上(预定范围内)偏离了的情况下，返回s302。在判断为用户的视线位置未从预定图标上(预定范围内)偏离的情况下，进入s309。在s309中，双眼状态确认部1111对计时器的计数值进行计数，进入s310。在s310中，双眼状态确认部1111将计时器的计数值与预先确定的预定值进行比较，在计时器的计数值≥预定值的情况下，判断为视线对准预定图标预定时间以上，即正在注视，进入s311。在不是计时器的计数值≥预定值的情况下，返回s306。
77.在s311中，第一图像输入部(外部摄像机)133获取外界影像，进入s312。在s312中，显示控制部1114将在s311中获取的外界影像显示于显示部131，结束处理。
78.图10是本实施例中的外界显示例。在图10中，在显示部131中，通过s312显示外界影像ow11。即，当视线对准图9中的预定图标o11预定时间以上时，显示于显示部131的影像从叠加于应用程序影像的警告消息切换为外界影像，并且，从紧急门的关闭状态的标记的预定图标o11变为紧急门的开状态的标记的预定图标o12。
79.需要说明的是，在视线对准预定图标o12预定时间以上时，显示于显示部131的影像从外界影像切换为应用程序影像。并且，预定图标的设计也从紧急门的开状态的标记的预定图标o12变为紧急门的关闭状态的标记的预定图标o11。
80.需要说明的是，预定图标也可以不是紧急门标记，只要是提示外界显示的图标即可。
81.另外，基于视线注视的外界切换的等待循环也可以通过中断处理、即来自操作输入部120的用户的指示而切换为应用程序画面显示。
82.如上所述，根据本实施例，即使在佩戴hmd时睡着而之后清醒了的情况下，用户也能够确认警告消息，能够通过注视预定图标而自动地切换为外界影像。
83.需要说明的是，预定图标o11也可以与用户的睡眠状态和清醒状态的转变无关地，在应用程序执行中始终叠加显示于应用程序影像ap11。即，因为也存在当视野长时间被应用程序影像ap11从实际空间遮挡时用户感到不安的情况，因此，如果用户能够随时通过将视线对准预定图标o11而确认外界，则能够避免危险。
84.另外，在上述各实施例中，对hmd为视频透射型的密闭型的hmd的情况进行了说明。然而，即使hmd是光学投射型的hmd，在通过执行应用程序而生成的对象覆盖显示部的大部分的情况下，通过进行与在上述各实施例中说明的处理同样的处理，在佩戴hmd时睡着而之后清醒了的情况下，实际空间上的视野也不会被应用程序画面(应用程序影像)所遮挡，佩戴者(用户)能够确认自身的周围(实际空间)的状况。需要说明的是，在hmd为光学投射型的hmd的情况下，上述各实施例中的切换为视频取景影像(外部摄像机影像)的处理变更为停止应用程序影像的显示的处理即可。
85.以上对实施例进行了说明，但上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须具备所说明的全部结构。另外，能够将某个实施例的结构的一部分置换为其他实施例的结构，另外，也能够在某个实施例的结构中添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。