显示装置及其控制方法、头戴式显示装置及其控制方法

显示装置及其控制方法、头戴式显示装置及其控制方法
【专利摘要】本发明提供一种显示装置，该显示装置使声源和表示从声源获取到的声音的文字图像建立关联地被使用者视觉确认。透射式的显示装置具备：图像显示部，其生成表示图像的图像光，使图像光被使用者视觉确认，并且使外景透过；声音获取部，其获取声音；转换部，其将声音转换为利用文字表示为图像的文字图像；确定方向设定部，其设定确定方向；以及显示位置设定部，其基于确定方向来设定在使用者的视野中的使表示上述文字图像的文字图像光被视觉识别的位置亦即图像显示位置。
【专利说明】显示装置及其控制方法、头戴式显示装置及其控制方法
【技术领域】
[0001]本发明涉及显示装置。
【背景技术】
[0002]公知有佩戴于头部的显示装置亦即头戴式显示装置(头戴式显示器(HeadMounted Display), HMD)。头戴式显示装置例如利用液晶显示器以及光源来生成表示图像的图像光，并利用投影光学系统、导光板来将所生成的图像光导向使用者的眼睛，由此使使用者视觉识别虚像。头戴式显示装置有两种类型，即、使用者除了虚像以外还能够视觉识别外景的透射式和使用者不能够视觉识别外景的非透射式。透射式的头戴式显示装置有光学透射式和视频透射式。
[0003]在透射式的头戴式显示装置中，公知有将声音转换为表示声音的文字图像而得以被使用者视觉识别的技术。例如，专利文献I公开了一种在听觉障碍者用的头戴式显示装置中将由所配备的话筒取得的各种声音作为文字图像而得以被使用者视觉识别的技术。
[0004]专利文献1:日本特开2007-334149号公报
[0005]可是，在专利文献I所记载的技术中，在头戴式显示装置中，使用者虽然能够视觉识别表示声音的文字图像，但是由于为了文字图像得以被使用者视觉识别而将形成虚像的位置固定在使用者视野中，所以文字图像可能妨碍使用者的视场。另外，还存在未考虑声源与表示从声源获取的声音的文字图像的关系的课题。另外，存在欲对从多个声源获取的多种声音进行识别的课题。此外，上述的课题并不局限于头戴式显示装置，而是显示装置所共有的课题。

【发明内容】

[0006]本发明是为了解决上述课题的至少一部分而完成的发明，能够作为以下的方式实现。
[0007](I)根据本发明的一种方式，提供透射式的显示装置。该显示装置具备:图像显示部，其生成表示图像的图像光，使上述图像光被使用者视觉识别，并且使外景透过；声音获取部，其获取声音；转换部，其将上述声音转换为利用文字表示为图像的文字图像；确定方向设定部，其设定确定方向；以及显示位置设定部，其基于上述确定方向来设定使表示上述文字图像的文字图像光在使用者的视野中被视觉识别的位置亦即图像显示位置。根据该方式的显示装置，能够基于使用者设定的确定方向来使获取的声音被使用者视觉识别为表示声音的文字图像，能够提高使用者识别声音的理解度。另外，由于基于使用者设定的确定方向来对表示获取到的声音的文字图像设定在使用者的视野中的图像显示位置，所以使用者能够将设定的确定方向和文字图像建立关联地视觉识别，容易识别设定的确定方向和文字图像的关系，使用者的便利性提高。
[0008](2)在上述方式的显示装置中，上述显示位置设定部可以按不和使用者的视野中的与上述确定方向对应的位置重叠的方式来设定上述图像显示位置。根据该方式的显示装置，使用者容易将识别声源和表示从声源获取的声音的文字图像建立关联地识别。
[0009](3)在上述方式的显示装置中，上述显示位置设定部可以将上述图像显示位置设定在使用者的视野中的与中心以外对应的位置。根据该方式的显示装置，使用者能够在视野的中心一边视觉识别外景，一边视觉识别表示声音的文字图像。
[0010](4)在上述方式的显示装置中，上述声音获取部获取声音的灵敏度根据从声源朝向上述声音获取部的方向而不同，上述确定方向基于获取到的声音的灵敏度而被设定。根据该方式的显示装置，使表示音量最大的声音的文字图像被使用者视觉确认，所以即使是使用者难以听见外部的声音的情况，也能够使最应该注意的外部的声音被使用者识别为视觉信息。
[0011](5)在上述方式的显示装置中，上述确定方向可以是从上述声音获取部朝向声源的方向。根据该方式的显示装置，能够使从声源获取到的声音与声源建立关联地被使用者视觉识别，使用者对获取到的声音的理解度提高。
[0012](6)在上述方式的显示装置中，具备获取多个时刻的外景的图像的图像获取部，上述图像显示位置设定部基于多个时刻的上述外景的图像的变化和上述确定方向来设定上述图像显示位置。根据该方式的显示装置，声源方向更具体地被使用者识别，文字图像被使用者视觉识别的位置被设定在声源方向的附近，所以使声源方向与表示目标声源所发出的声音的文字图像进一步建立关联而容易被使用者识别。
[0013](7)在上述方式的显示装置中，还具备确定从上述显示装置到声源的距离的距离确定部，上述显示位置设定部基于上述确定出的距离来进行上述文字图像光的大小的变化和上述图像显示位置的设定之中至少一方。根据该方式的显示装置，由于根据从使用者到目标声源的距离来进行文字图像的大小的变化或者图像显示位置的设定之中至少一方，所以能够使到目标声源的距离被使用者识别为视觉信息。
[0014](8)在上述方式的显示装置中，还具备确定从上述显示装置到声源的距离的距离确定部，上述转换部基于上述确定出的距离来变更上述文字图像的种类。根据该方式的显示装置，由于被使用者视觉识别的文字图像的种类根据从使用者到目标声源的距离而变化，所以能够使到目标声源的距离被使用者识别为视觉信息。
[0015](9)在上述方式的显示装置中，上述声音获取部获取声音的音量的灵敏度根据从声源朝向上述声音获取部的方向而不同，上述显示位置设定部基于按相同声源发声的不同方向而不同并被获取的声音的音量来设定上述图像显示位置。根据该方式的显示装置，即使不获取外景图像，也设定声源方向并使在目标声源附近获取到的文字图像被使用者视觉确认，所以使用者的便利性提高。
[0016](10)在上述方式的显示装置中，上述声音获取部获取声音的灵敏度根据从声源朝向上述声音获取部的方向而不同，并被设定为使获取来自上述确定方向的声音的灵敏度最大的方向。根据该方式的显不装置，声音获取部以高灵敏度获取来自确定方向的声音，由于越偏离确定方向越难以获取声音，所以从确定方向获取的声音的精度提高。
[0017](11)在上述方式的显示装置中，还具备:声音识别部，其按上述声音的种类识别从多个声源获取的不同种类的声音；和操作部，其接受使用者的操作，其中，上述确定方向设定部基于上述操作来从上述声音获取部到被获取了多个上述声音中的一个上述声音的声源的方向亦即确定声源方向，上述显示位置设定部将识别表示上述一个上述声音的上述图像光的位置在使用者的视野中设定在与上述确定声源方向对应的位置。根据该方式的显示装置，即使在多人发言的会话中，也能在使用者视野VR中，在确定声源方向的附近的位置视觉确认表示从声源方向获取到的声音的文字图像。由此，使用者除了听觉以外，还能够用视觉将确定声源方向和表示从确定声源方向获取的声音的文字图像建立关联地识别，容易理解会话的内容。
[0018](12)在上述方式的显示装置中，上述显示位置设定部可以在使用者在视野中将使表不上述一个上述声音的上述图像光被识别的位置设定为与多个上述确定声源方向对应的位置均不重叠的位置。根据该方式的显示装置，在使用者的视野VR中，表示从多个确定声源方向获取到的声音的文字图像均在不与多个声源方向重叠的位置被视觉确认，所以使用者能够将确定声源方向和表示从确定声源方向获取的声音的文字图像进一步建立关联视觉识别。
[0019](13)在上述方式的显示装置中，上述图像显示部按上述声音的种类将多个上述声音生成为不同的上述图像光，并按种类使多个上述声音的上述图像光被使用者视觉识别为虚像，上述操作是从在使用者的视野中被识别的按种类为单位的多个上述声音的上述图像光确定与来自一个上述确定声源方向的上述声音对应的上述图像光的操作。根据该方式的显示装置，使用者能够通过简便的操作容易地设定确定声源方向和表示从确定声源方向获取的声音的文字图像。
[0020](14)在上述方式的显示装置中，上述图像显示部可以使上述图像光从上述声音获取部获取上述声音的时刻延迟规定时间地被使用者识别为虚像。根据该方式的显示装置，在暂时地听漏声音并且看漏表示声音的文字图像的情况下，通过比声音延迟地在使用者的视野中被识别的文字图像，使用者对获取的声音的前后的联系的的理解度提高。
[0021](15)在上述方式的显示装置中，还具备推定使用者的视线方向的视线方向推定部，上述图像显示部在被佩戴于使用者的头部的状态下使上述图像光被使用者视觉识别，上述显示位置设定部基于上述确定方向与上述视线方向之间的关系来设定上述图像显示位置。根据该方式的显示装置，根据确定方向与视线方向的偏差来判断是否在使用者的视野中确定方向被视觉确认，所以容易将确定方向和表示获取的声音的文字图像建立关联地识别。
[0022](16)在上述方式的显示装置中，上述显示位置设定部在上述视线方向和上述确定方向所形成的角度亦即确定角度小于第I阈值的情况下，在使用者的视野中的与上述确定方向对应的位置的附近设定上述图像显示位置，在上述确定角度为第I阈值以上的情况下，与上述确定方向无关地设定上述图像显示位置。根据该方式的显示装置，在使用者的视野中，在确定方向被视觉识别为外景的情况下，由于在确定方向的附近设定有图像显示位置，所以使用者对获取的声音的的理解度提高。
[0023](17)在上述方式的显示装置中，还具备获取外景的图像的图像获取部，上述图像显示部在上述视线方向与上述确定方向所成的角度亦即确定角度为第2阈值以上的情况下，生成表示上述图像获取部获取到的上述确定方向的图像的图像光亦即确定方向图像光并其被使用者识别为虚像，在上述确定角度小于第2阈值的情况下，不生成上述确定方向图像光，上述显示位置设定部在上述确定角度为第2阈值以上的情况下，使识别上述确定方向图像光的位置不与上述图像显示位置重叠，并且将其设定在上述图像显示位置的附近，在上述确定角度小于第2阈值的情况下，在使用者的视野中的与上述确定方向对应的位置的附近设定上述图像显示位置。根据该方式的显示装置，在使用者视野中，即使确定方向未被视觉确认为外景，也由于拍摄确定方向得到的图像与图像显示位置相邻地被视觉确认，所以使用者对获取的声音的的理解度能提高。
[0024](18)在上述方式的显示装置中，还具备识别上述获取的声音、和与上述获取的声音不同的确定声音的声音识别部，上述转换部将上述获取到的声音与上述确定声音转换为不同种类的上述文字图像。根据该方式的显示装置，表示获取到的声音的文字图像和表示与获取到的声音不同的声音的文字图像以不同种类的文字图像被显示，所以能够通过视觉使发出声音的声源的不同被使用者识别。
[0025](19)在上述方式的显示装置中，还具备通过通信获取声音信号的通信部，上述确定声音是基于由上述通信部获取到的声音信号输出的声音。根据该方式的显示装置，不仅能使使用者听见获取到的外部的声音，还能使使用者听见表示通过通信获取到的各种声音信号的声音，并且能够将通过通信获取到的声音被识别为视觉信息。
[0026](20)根据本发明的其他方式，提供一种透射式的头戴式显示装置。该头戴式显示装置具备:图像显示部，其生成表示图像的图像光，在其被佩戴于使用者的头部的状态下使上述图像光被使用者视觉识别，并且使外景透过；声音获取部，其获取声音；转换部，其将上述声音转换为利用文字表示为图像的文字图像；视线方向推定部，其推定使用者的视线方向；以及显示位置设定部，其基于上述视线方向的变化来设定在使用者的视野中的使表示上述文字图像的文字图像光被视觉识别的位置亦即图像显示位置。该头戴式显示装置对照使用者的视觉确认方向，在不妨碍使用者的视野的位置设定图像显示位置，因此使用者的使用便利性提高。
[0027](21)在上述方式的头戴式显示装置中，上述声音获取部获取声音的音量的灵敏度根据从声源朝向上述声音获取部的方向而不同，上述显示位置设定部基于按相同声源发声的不同方向而不同并被获取的声音的音量来设定上述图像显示位置。根据该方式的头戴式显示装置，即使不获取外景图像，也设定声源方向并使在目标声源的附近获取到的文字图像被使用者看视觉确认，因此使用者的便利性提高。
[0028](22)在上述方式的头戴式显示装置中，上述视线方向推定部以上述文字图像光被使用者识别的显示状态为基准来推定上述视线方向的角速度和角度的变化量之中至少一方的确定值，上述显示位置设定部在上述确定值超过规定值的情况下，将上述图像显示位置设定在使用者的视野中的中央部以外。根据该方式的头戴式显示装置，对照使用者的视觉确认方向的变化来将图像显示位置设定在不妨碍使用者的视野的位置，所以使用者的使用便利性提高。
[0029](23)在上述方式的头戴式显示装置中，上述视线方向推定部推定重力方向和与上述重力方向垂直的水平方向，上述显示位置设定部基于相对于上述重力方向和上述水平方向上述显示状态下的上述确定值，来设定使用者的视野中的上述图像显示位置。根据该方式的头戴式显示装置，对照使用者的视觉确认方向相对于重力方向或者水平方向的变化而将图像显示位置设定在不妨碍使用者的视野的位置，因此使用者的使用便利性提高。
[0030](24)在上述方式的头戴式显示装置中，上述显示位置设定部在上述角度的变化量为第3阈值以上的情况下，在使用者的视野中的中央部以外设定上述图像显示位置，而在上述角度的变化量小于第3阈值的情况下，在使用者的视野中的预先设定的位置设定上述图像显示位置。根据该方式的头戴式显示装置，对照使用者的视认方向的角度变化而将图像显示位置设定在不妨碍使用者的视野的位置，因此使用者的使用便利性提高。
[0031](25)在上述方式的头戴式显示装置中，上述显示位置设定部在上述角度的变化量小于第4阈值的状态下且经过规定时间的情况下，在使用者的视野中的中央部分设定上述图像显示位置，在上述角度的变化量为第4阈值以上的情况下，在使用者的视野中的中央部以外设定上述图像显示位置。根据该方式的头戴式显示装置，在判定为使用者注视视觉确认出文字图像的情况下，使图像显示位置自动地变更为使用者容易看到的位置，因此使用者的使用便利性提高。
[0032](26)在上述方式的头戴式显示装置中，上述显示位置设定部在上述角速度为第5阈值以上的情况下，在使用者的视野中的中央部以外设定上述图像显示位置，在上述角速度小于第5阈值的情况下，在使用者的视野中的预先设定的位置设定上述图像显示位置。根据该方式的头戴式显示装置，对照使用者的视觉确认方向的角速度而将图像显示位置设定在不妨碍使用者的视野的位置，所以使用者的使用便利性提高。
[0033](27)在上述方式的头戴式显示装置中，上述显示位置设定部在上述角速度小于第6的阈值的状态下且经过规定时间的情况下，在使用者的视野中的中央部设定上述图像显示位置，在上述角速度为第6阈值以上的情况下，在使用者的视野中的中央部以外设定上述图像显示位置。根据该方式的头戴式显示装置，在判定为使用者注视视觉识别出的文字图像的情况下，使图像显示位置自动地变更到使用者容易看到的位置，因此使用者的使用便利性提闻。
[0034]上述的本发明的各方式所具有的多个构成要素并不是全部都是必须的，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，能够适当地对上述多个构成要素的一部分的构成要素进行变更、删除、与其他新的构成要素的交换、限定内容的一部分删除。另外，为了解决上述的课题的一部分或者全部，或者为了实现本说明书所记载的效果的一部分或者全部，能够将上述的本发明的一种方式所包含的技术特征的一部分或者全部与上述的本发明的其他的方式所包含的技术特征的一部分或者全部组合而成为本发明的一种独立的方式。
[0035]例如，本发明的一种方式能够作为具备声音获取部、转换部、图像显示部、确定方向设定部、以及显示位置设定部这五个要素中的一个以上或者全部要素的装置来实现。即，该装置既可以具有声音获取部，也可以不具有。另外，装置既可以具有转换部，也可以不具有。此外，装置既可以具有图像显示部，也可以不具有。另外，装置既可以具有确定方向设定部，也可以不具有。此外，装置既可以具有显示位置设定部，也可以不具有。图像显示部可以生成表示上述文字图像的图像光，使上述图像光被使用者视觉确认，并且使外景透过。声音获取部例如可以获取声音。转换部例如可以将上述声音转换为利用文字表示为图像的文字图像。确定方向设定部例如可以设定确定方向。显示位置设定部例如可以基于上述确定方向来设定使用者视野中的使表示上述文字图像的文字图像光被视觉确认的位置亦即图像显示位置。这样的装置例如能够作为显示装置来实现，但是也能够作为显示装置以外的其他装置来实现。根据这样的方式，能够解决装置的操作性的提高、装卸时的容易化、装置的一体化、制造的容易化等各种课题中的至少一个。上述的显示装置的各方式的技术特征的一部分或者全部均能够应用于该装置。
[0036]本发明能够用显示装置以外的各种方式来实现。例如，能够以头戴式显示装置、显示装置以及头戴式显示装置的控制方法、显示系统以及头戴式显示系统、用于实现显示系统以及头戴式显示系统的功能的计算机程序、记录该计算机程序的记录介质、包含该计算机程序并在载波内具体化的数据信号等的方式来实现。
【专利附图】

【附图说明】
[0037]图1是表示头戴式显示装置100的外观构成的说明图。
[0038]图2是功能性地表示头戴式显示装置100的构成的框图。
[0039]图3是表示获取声音的图像显示处理的流程的说明图。
[0040]图4是表示使用者的视野VR的一个例子的说明图。
[0041]图5是表示照相机61拍摄到的外景的图像的一个例子的说明图。
[0042]图6是表示使用者的视野VR的一个例子的说明图。
[0043]图7是表示使用者的视野VR的一个例子的说明图。
[0044]图8是表示第2实施方式的获取声音的图像显示处理的流程的说明图。
[0045]图9是表示使用者的视野VR的一个例子的说明图。
[0046]图10是表示照相机61拍摄到的外景图像BIM的一个例子的说明图。
[0047]图11是表示使用者的视野VR的一个例子的说明图。
[0048]图12是表示使用者的视野VR的一个例子的说明图。
[0049]图13是功能性地表示第3实施方式的头戴式显示装置IOOb的构成的说明图。
[0050]图14是表示第3实施方式的获取声音的图像显示处理的流程的说明图。
[0051]图15是表示使用者的视野VR的一个例子的说明图。
[0052]图16是表示使用者的视野VR的一个例子的说明图。
[0053]图17是表示变形例的头戴式显示装置的外观构成的说明图。
【具体实施方式】
[0054]接下来，基于实施方式按以下的顺序对本发明的实施的方式进行说明。
[0055]A.第I实施方式:
[0056]A-1.头戴式显示装置的构成:
[0057]A- 2.获取声音的图像显示处理:
[0058]B1.第2实施方式:
[0059]B2.第3实施方式:
[0060]C.变形例:
[0061]A.第I实施方式:
[0062]A-1.头戴式显示装置的构成:
[0063]图1是表示头戴式显示装置100的外观构成的说明图。头戴式显示装置100是佩戴于头部的显示装置，也称为头戴式显示器(Head Mounted Display, HMD)。本实施方式的头戴式显示装置100是使用者视觉识别虚像的同时也能够直接视觉识别外景的光学透射式的头戴式显示装置。此外，在本说明书中，为了方便起见，也将使用者利用头戴式显示装置100视觉识别的虚像简称为“显示图像”。另外，也将射出基于图像数据生成的图像光的动作叫作“对图像进行显示”。
[0064]头戴式显示装置100具备在佩戴于使用者的头部的状态下使使用者视觉识别虚像的图像显示部20、和控制图像显示部20的控制部10 (控制器10)。
[0065]图像显示部20是佩戴于使用者的头部的佩戴体，在本实施方式中具有眼镜形状。图像显示部20包含右保持部21、右显示驱动部22、左保持部23、左显示驱动部24、右光学像显示部26、左光学像显示部28、照相机61、以及话筒63。右光学像显示部26以及左光学像显示部28被配置成在使用者佩戴图像显示部20时分别位于使用者的右眼前以及左眼前。右光学像显示部26的一端与左光学像显示部28的一端在使用者佩戴图像显示部20时与使用者的眉间对应的位置处相互连接。
[0066]右保持部21是从右光学像显示部26的另一端亦即端部ER沿使用者佩戴图像显示部20时与使用者的侧头部对应的位置延伸地设置的部件。相同地，左保持部23是从左光学像显示部28的另一端亦即端部EL沿使用者佩戴图像显示部20时与使用者的侧头部对应的位置延伸地设置的部件。右保持部21以及左保持部23如眼镜的镜腿(挂耳部分)那样将图像显示部20保持于使用者的头部。
[0067]右显示驱动部22和左显示驱动部24配置于使用者佩戴图像显示部20时与使用者的头部对置的一侧。此外，以下也将右保持部21以及左保持部23简单地统称为“保持部”，将右显示驱动部22以及左显示驱动部24简单地统称为“显示驱动部”，将右光学像显示部26以及左光学像显示部28简单地统称为“光学像显示部”。
[0068]显示驱动部22、24包括液晶显示器241、242(Liquid Crystal Display,以下也称为“IXD241、242”)、投影光学系统251、252等(参照图2)。显示驱动部22、24的详细构成以后说明。作为光学部件的光学像显不部26、28包含导光板261、262 (参照图2)和调光板。导光板261、262由透光性的树脂材料等形成，将从显示驱动部22、24输出的图像光导向使用者的眼睛。调光板是薄板状的光学元件，其被配置成覆盖与使用者的眼睛侧相反的一侧亦即图像显示部20的表面侧。调光板保护导光板261、262，抑制导光板261、262受到损伤、污垢的附着等。另外，通过调整调光板的透光率，能够调整进入使用者的眼睛的外光量从而调整虚像的视觉识别容易度。此外，调光板能够省略。
[0069]照相机61配置于使用者佩戴图像显示部20时与使用者的眉间对应的位置。照相机61对与使用者的眼睛侧相反的一侧方向的外部的景色亦即外景进行拍摄，获取外景图像。本实施方式中的照相机61是单眼相机，但是也可以是立体相机。照相机61相当于技术方案中的图像获取部。
[0070]话筒63配置于右保持部21的与右显示驱动部22相反的一侧。话筒63是具有获取声音的灵敏度根据方向而不同的指向性的话筒。话筒63连接的右保持部21的内部形成有机械构造，话筒63能够相对于右保持部21相对地移动。
[0071]图像显示部20还具有用于将图像显示部20与控制部10连接的连接部40。连接部40包含与控制部10连接的主体软线48、右软线42、左软线44、以及连结部件46。右软线42和左软线44是主体软线48分支两根而形成的软线。右软线42从右保持部21的延伸方向的前端部AP插入到右保持部21的壳体内，与右显示驱动部22连接。相同地，左软线44从左保持部23的延伸方向的前端部AP插入到左保持部23的壳体内，与左显示驱动部24连接。连结部件46被设置在主体软线48和右软线42以及左软线44的分支点，具有用于连接耳机插头30的插口。右耳机32以及左耳机34从耳机插头30延伸出。
[0072]图像显示部20和控制部10经由连接部40进行各种信号的传送。在主体软线48的与连结部件46相反的一侧的端部和控制部10分别设置有相互嵌合的连接器(未图示)。通过主体软线48的连接器和控制部10的连接器的嵌合、嵌合解除，控制部10和图像显示部20被连接或者被分离。右软线42、左软线44、以及主体软线48例如能够采用金属线缆、光纤。
[0073]控制部10是用于控制头戴式显示装置100的装置。控制部10包含决定键11、点亮部12、显示切换键13、触控板14、亮度切换键15、方向键16、菜单键17、以及电源开关18。决定键11对按下操作进行检测，输出决定通过控制部10操作的内容的信号。点亮部12通过其发光状态通知头戴式显示装置100的动作状态。作为头戴式显示装置100的动作状态，例如有电源的开、关等。例如使用LED (Light Emitting Diode:发光二极管)作为点亮部
12。显示切换键13对按下操作进行检测，例如输出将内容动态图像的显示模式切换为3D和2D的信号。触控板14对使用者的手指在触控板14的操作面上的操作进行检测，输出与检测内容对应的信号。作为触控板14，能够采用所谓静电式、压力检测式、光学式之类的各种触控板。亮度切换键15对按下操作进行检测，输出对图像显示部20的亮度进行增减的信号。方向键16检测对与上下左右方向对应的键的按下操作，输出与检测内容对应的信号。电源开关18通过对开关的滑动操作进行检测来切换头戴式显示装置100的电源接通状态。
[0074]图2是功能性地表示头戴式显示装置100的构成的框图。如图2所示，控制部10具有CPU140、操作部135、输入信息获取部110、存储部120、电源130、接口 180、发送部51(Tx51)以及发送部52 (Τχ52)。操作部135接受使用者的操作，其由决定键11、显示切换键
13、触控板14、亮度切换键15、方向键16、菜单键17、以及电源开关18构成。
[0075]输入信息获取部110获取与使用者的操作输入对应的信号。作为与操作输入对应的信号，例如有对触控板14、方向键16、以及电源开关18的操作输入。电源130向头戴式显示装置100的各部供给电力。例如能够使用二次电池作为电源130。存储部120储存各种计算机程序。存储部120由ROM、RAM等构成。CPU140通过读出并执行存储部120中所存储的计算机程序来作为操作系统150 (0S150)、图像处理部160、显示控制部190、话筒驱动部163、转换部185、声音处理部170、以及方向判定部161发挥作用。
[0076]图像处理部160获取内容所包含的图像信号。图像处理部160从获取的图像信号分离垂直同步信号VSync、水平同步信号HSync等同步信号。另外，图像处理部160根据分离而得的垂直同步信号VSync、水平同步信号HSync的周期,利用PLL(Phase Locked Loop:锁相回路)电路等(未图示)来生成时钟信号PCLK。图像处理部160使用A/D转换电路等(未图示)将同步信号被分离而得的模拟图像信号转换为数字图像信号。之后，图像处理部160将转换后的数字图像信号作为对象图像的图像数据Data (RGB数据)按每一帧储存于存储部120中的DRAM。此外，图像处理部160可以根据需要对图像数据执行分辨率转换处理、所谓亮度、饱和度调整的各种色彩校正处理、梯形校正处理等图像处理。
[0077]图像处理部160经由发送部51、52分别发送生成的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、储存在存储部120中的DRAM的图像数据Data。此外，也将经由发送部51发送的图像数据Data称为“右眼用图像数据”，将经由发送部52发送的图像数据Data称为“左眼用图像数据”。发送部51、52作为用于控制部10与图像显示部20之间的串行传送的收发器发挥作用。
[0078]显示控制部190生成控制右显示驱动部22以及左显示驱动部24的控制信号。具体而言，显示控制部190通过控制信号分别独立地控制右IXD控制部211进行的右IXD241的驱动开/关、右背光灯控制部201进行的右背光灯221的驱动开/关、左LCD控制部212进行的左LCD242的驱动开/关、左背光灯控制部202进行的左背光灯222的驱动开/关等。由此，显示控制部190控制右显示驱动部22以及左显示驱动部24各自进行的图像光的生成以及射出。例如，显示控制部190使右显示驱动部22以及左显示驱动部24双方均生成图像光，或者仅使一方生成图像光，或者使双方均不生成图像光。
[0079]显示控制部190经由发送部51以及52分别发送针对右IXD控制部211和针对左LCD控制部212的控制信号。另外，显示控制部190分别发送针对右背光灯控制部201和针对左背光灯控制部202的控制信号。话筒驱动部163设定话筒63的朝向。若通过操作部135接受的操作而确定出使用者欲获取的声音的声源(以下，也称为“目标声源”)，则话筒驱动部163对话筒63的朝向进行变更以使得获取来自目标声源的声音的灵敏度最大。话筒驱动部163获取后述的九轴传感器66检测出的图像显示部20的位置以及朝向。由此，不管图像显示部20和目标声源的位置关系如何，话筒驱动部163都能够以使话筒63获取来自从话筒63朝向目标声源的方向(以下，也称为“声源方向”)的声音的灵敏度总是成为最大的方式对朝向进行变更。因此，在本实施方式中的头戴式显示装置100中，话筒63以高灵敏度获取来自声源方向的声音，因为越偏离声源方向越难以获取声音，所以使表不获取到的声音的文字图像的精度提高。此外，操作部135相当于技术方案中的确定方向设定部，话筒63以及话筒驱动部163相当于技术方案中的声音获取部。
[0080]转换部185将话筒63获取到的声音转换为通过文字表示声音的文字图像。文字图像通过显示控制部190而作为表示文字图像的控制信号发送给图像显示部20。图像显示部20基于发送来的控制信号来生成表示文字图像的图像光，并向使用者的眼睛射出，从而使用者能够将声音视觉识别为文字图像。
[0081]方向判定部161判定声源方向与根据后述的九轴传感器66检测出的图像显示部20的朝向推定出的使用者的视线方向所成的角度是否在预先规定的阈值以上。另外，方向判定部161基于声源方向与视线方向所成的角度，判定使用者是否在外景中视觉识别到目标声源。此外，设定的确定方向和使用者的视线方向所成的角度相当于技术方案中的确定角度，作为确定方向的一个例子设定的声源方向与使用者的视线方向所成的角度也相当于确定角度。
[0082]声音处理部170获取内容所包含的声音信号，将获取到的声音信号放大并供给至与连结部件46连接的右耳机32内的扬声器(未图示)以及左耳机34内的扬声器(未图示)。此外，例如在采用Dolby (注册商标)系统的情况下，对声音信号进行处理，分别从右耳机32以及左耳机34输出例如被改变了频率等后的不同的声音。另外，声音处理部170通过从话筒63获取到的声音提取特征并模型化,从而分别地识别多个人的声音,进行按每一声音确定出说话的人的说话人识别。声音处理部170相当于技术方案中的声音识别部。
[0083]接口 180是用于对控制部10连接成为内容的供给源的各种外部设备OA的接口。作为外部设备0A，例如有个人计算机(PC)、移动电话终端、游戏终端等。作为接口 180，例如能够使用USB接口、Micro-USB接口、记忆卡用接口等。
[0084]图像显示部20具备右显示驱动部22、左显示驱动部24、作为右光学像显示部26的右导光板261、作为左光学像显不部28的左导光板262、照相机61、九轴传感器66、以及话筒63。
[0085]九轴传感器66是对加速度(三轴)、角速度(三轴)、地磁(3轴)进行检测的运动传感器。因为九轴传感器66设置于图像显示部20，所以在图像显示部20佩戴于使用者的头部时，对使用者的头部的活动进行检测。根据检测出的使用者的头部的活动可知图像显示部20的朝向，所以方向判定部161能够推定使用者的视线方向。方向判定部161和九轴传感器66相当于技术方案中的视线方向推定部。话筒63将获取到的声音的声音信号发送给转换部185以及声音处理部170。
[0086]右显示驱动部22包含接收部53(Rx53)、作为光源发挥作用的右背光灯控制部201(右BL控制部201)以及右背光灯221 (右BL221)、作为显示元件发挥作用的右IXD控制部211以及右IXD241、以及右投影光学系统251。右背光灯控制部201和右背光灯221作为光源发挥作用。右IXD控制部211和右IXD241作为显示元件发挥作用。此外，也将右背光灯控制部201、右IXD控制部211、右背光灯221、以及右IXD241统称为“图像光生成部”。
[0087]接收部53作为用于控制部10和图像显示部20之间的串行传送的接收器发挥作用。右背光灯控制部201基于输入的控制信号来驱动右背光灯221。右背光灯221例如是LED、电致发光(EL)等发光体。右IXD控制部211基于经由接收部53输入的时钟信号PCLK、垂直同步信号VSync、水平同步信号HSync、以及右眼用图像数据Datal来驱动右LCD241。右IXD241是呈矩阵状地配置多个像素而成的透射式液晶面板。
[0088]右投影光学系统251由使从右LCD241射出的图像光成为并行状态的光束的准直透镜构成。作为右光学像显示部26的右导光板261使从右投影光学系统251输出的图像光沿着规定的光路反射并将其导向至使用者的右眼RE。此外，也将右投影光学系统251和右导光板261统称为“导光部”。
[0089]左显示驱动部24具有与右显示驱动部22相同的构成。左显示驱动部24包含接收部54 (Rx54)、作为光源发挥作用的左背光灯控制部202 (左BL控制部202)以及左背光灯222 (左BL222)、作为显示元件发挥作用的左IXD控制部212以及左IXD242、以及左投影光学系统252。左背光灯控制部202和左背光灯222作为光源发挥作用。左IXD控制部212和左IXD242作为显示元件发挥作用。此外，也将左背光灯控制部202、左IXD控制部212、左背光灯222、以及左IXD242统称为“图像光生成部”。另外，左投影光学系统252由使从左IXD242射出的图像光成为并行状态的光束的准直透镜构成。作为左光学像显示部28的左导光板262使从左投影光学系统252输出的图像光沿着规定的光路反射并将其导向至使用者的左眼LE。此外，也将左投影光学系统252和左导光板262统称为“导光部”。
[0090]A- 2.获取声音的图像显示处理:
[0091]图3是表示获取声音的图像显示处理的流程的说明图。图3示出有将话筒63获取到的声音作为文字图像显示在图像显示部20的处理的流程。
[0092]首先，照相机61对外景进行拍摄(步骤S305)。图4是表示使用者的视野VR的一个例子的说明图。图4示出有使用者能够视觉识别的视野VR和图像显示部20能够显示图像的区域亦即最大图像显示区域PN。如图4所示，使用者能够将作为目标声源的教师TE和听教师TE的发言的多个学生ST视觉确认为外景。另外，使用者能够视觉确认教师TE在白板WB上写的文字。使用者能够通过对操作部135进行操作来利用照相机61拍摄正在视觉识别的外景。此外，使用者正在视觉识别的外景和照相机61拍摄的外景存在根据使用者的视线方向、照相机61的朝向等而不同的情况。因此，在其他的实施方式中，也可以为如下的方式，即:在照相机61对外景进行拍摄之前，使要拍摄的外景的图像显示在最大图像显示区域PN以被使用者视觉确认，并通过使用者操作操作部135来进行修正，以便使要拍摄的外景的图像接近于在使用者的视野VR中视觉确认的外景。
[0093]接下来，使用者设定声源方向(步骤S310)。图5是表示照相机61拍摄到的外景的图像的一个例子的说明图。图5示出了在使用者确定目标声源的情况下，在最大图像显示区域PN的整个区域显示照相机61拍摄到的外景的图像，在使用者的视野VR内且在最大图像显示区域PN以外的区域中使用者正在视觉确认外景的状态。若使用者在欲确定目标声源的情况下进行规定的操作，则图像处理部160对显示在最大图像显示区域PN中的图像进行面部识别，将教师TE提取为目标声源的候补。如图5所示，若显示在最大图像显示区域PN的图像中提取出教师TE，则图像显示部20在最大图像显示区域PN中显示将包围教师TE的面部并闪烁的矩形形状的框MA。该状态下，若使用者按下决定键11，则教师TE被确定为目标声源，声源方向被设定。若目标声源被确定，则存储部120将显示在最大图像显示区域PN的图像中的框MA内的图像存储为目标声源的图像。因此，在本实施方式中的头戴式显示装置100中，由于由操作部135设定的确定方向是声源方向，所以能够将从声源获取到的声音与声源建立关联地显示在最大图像显示区域PN，能够提高识别使用者的声音的理解度。
[0094]若目标声源的图像被存储，则图像显示部20不再在最大图像显示区域PN中显示拍摄到的外景的图像，使用者能够将教师TE、学生ST视觉识别为外景。此外，设定的声源方向是从话筒63朝向目标声源的绝对方向，而与图像显示部20的朝向无关。
[0095]若声源方向被设定，则接下来，话筒驱动部163设定话筒63的朝向(图3的步骤S320)。话筒驱动部163以使话筒63获取来自声源方向的声音的灵敏度成为最大的方式设定朝向。若朝向被设定，则话筒63获取声音(步骤S330)。接下来，转换部185将话筒63获取到的声音转换为表示声音的文字图像(步骤S340)。图像处理部160以及图像显示部20使文字图像被使用者视觉识别(步骤S350)。
[0096]图6是表示使用者的视野VR的一个例子的说明图。图6示出使用者除外景之外还将教师TE的声音视觉识别为文字图像表示的文本图像TX1、文本图像TX2、文本图像TX3(以下，组合称为“文本图像组”)的状态。文本图像TXl是教师TE的声音被实时转换而更新地显示的文字图像。文本图像TX2和文本图像TX3是表示比文本图像TXl早规定时间的教师TE的声音的文字图像。文本图像组在视野VR中被显示在不与声源方向上存在的教师TE重叠的位置，并且被显示在教师TE的附近的位置。因此，在第I实施方式中的头戴式显示装置100中，表示从目标声源获取的声音的文字图像亦即文本图像组被显示在不与声源方向重叠的位置，所以使用者更容易建立关联地识别发言者和发言者的声音。
[0097]在本实施方式中，文本图像TXl被显示在使用者的视野VR中的声源方向被视觉识别的位置的附近。通常，公知使用者的视野VR最大是水平方向约200度，重力方向约125度。在本说明书中，所谓使用者的视野VR中的声源方向的附近是指以声源方向为中心的使用者的视场角60度以内。进一步优选文本图像TXl以声源方向为中心而显示在使用者的视场角45度以内。
[0098]另外，文本图像TXl等被显示在使用者的视野VR中的中央部以外。在本说明书中，所谓使用者的视野VR中的中央部以外，是指使用者的视野VR中的除去从中心向上下左右方向扩展30度以内而得到的范围。另外，进一步优选文本图像TXl等被显示在视野VR中的除去从中心向上下左右方向扩展45度以内而得到的范围。此外，图像处理部160和图像显示部20相当于技术方案中的显示位置设定部。
[0099]若经过规定的时间，则文本图像TXl如文本图像TX2、文本图像TX3那样，被显示为没有来自教师TE的气球对话框的一个块状的文字图像。在一个块状的文字图像中显示有表示一分钟内的教师TE的声音的文字图像。因此，按每一分钟作成新的块状的文本图像。在如图6所示的文本图像组的显示方式中，显示三个文本图像的块，若新的文本图像的块被作成，则在最大图像显示区域PN中不再显示最早的文本图像的块。存储部120自动地将显示在最大图像显示区域PN中的文本图像组按文本图像的块分别存储，而与最大图像显示区域PN中的文本图像的块的显示/非显示无关。此外，在其他的实施方式中，一个文本图像的块并非必须是在一分钟的期间获取的声音，例如，可以是两分钟，也可以将文本图像组汇集为一个来作为一个文本图像的块显示。
[0100]接下来，判定使用者的视线方向是否发生了变化(图3的步骤S360)。如从图4到图6所示，在本实施方式中的当前时刻，使用者持续视觉确认声源方向上存在的教师TE，声源方向与使用者的视线方向是大致相同的方向。
[0101]方向判定部161判定声源方向和视线方向所成的角度是否变化了 30度以上。在判定为使用者的视线方向几乎未移动，使用者的视线方向和声源方向所成的角度小于30度的情况下(步骤S360:否)，文字图像在视野VR中继续被显示在不与教师TE重叠的位置，并且被显示在最大图像显示区域PN的中央以外且教师TE的附近的位置。此外，在使用者的视线方向在小于30度的范围内进行了移动的情况下，根据声源方向和视线方向所成的角度改变文本图像组在最大图像显示区域PN中显示的位置。此外，视线方向和声源方向所成的角度亦即30度相当于技术方案中的第I阈值以及第2阈值。因此，在本实施方式中的头戴式显示装置100中，在使用者的视野VR中声源方向被视觉确认为外景的情况下，在最大图像显示区域PN中，在声源方向的附近显示有文本图像TXll等，所以使用者对于获取的声首的理解度提闻。
[0102]在判定为视线方向和声源方向所成的角度变化了 30度以上的情况下(步骤S360:是)，方向判定部161判定为在使用者的视野VR中目标声源未被视觉识别。在该情况下，图像处理部160在最大图像显示区域PN中显示照相机61拍摄到的目标声源的图像，并且变更显示文字图像的位置(步骤S370 )。
[0103]图7是表示使用者的视野VR的一个例子的说明图。图7示出使用者的视线方向从声源方向朝下变化，使用者使用手HD中握着的笔PEN在笔记本NT上做笔记。如图7所示，文字图像被实时地更新为文本图像TX4，并显示在最大图像显示区域PN的上侧。另外，在最大图像显示区域PN中，目标声源亦即教师TE的图像作为图像MG被显示在文本图像TX4的右侧。文本图像TX4与图6所示的文本图像组不同，被显示为一个块的文字图像，而与获取声音后经过的时间无关。另外，文本图像TX4在最大图像显示区域PN中不与图像MG重叠，且被显示在图像MG的附近。此外，在本实施方式中，显示文本图像TX4的位置和图像MG的位置被预先设定。换言之，在视线方向和声源方向所成的角度为30度以上的情况下，在与最大图像显示区域PN中的声源方向没有关系的位置显示有文本图像TX4。因此，在本实施方式的头戴式显示装置100中，即使在外景中声源方向未被视觉识别，声源方向的图像MG和文字图像也在最大图像显示区域PN中相邻地显示，因此使用者对于获取的
声音的理解度提高。
[0104]接下来，判断是否结束获取声音的图像显示处理(图3的步骤S380)。在判断为进行获取声音的图像显示处理的情况下(步骤S380:否)，继续进行从步骤S330到步骤S370的处理。在判断为结束获取声音的图像显示处理的情况下(步骤S380:是)，通过使用者进行规定的操作，从而获取声音的图像显示处理结束。
[0105]如以上说明那样，在本实施方式中的头戴式显示装置100中，转换部185将话筒63获取到的声音转换为文字图像。通过对操作部135进行操作来确定声源方向。图像处理部160和图像显示部20基于声源方向设定显示在最大图像显示区域PN的文字图像的位置。因此，在该头戴式显示装置100中，能够基于使用者设定的方向，使使用者获取的声音被使用者视觉识别为表示声音的文本图像TXl等，能够使使用者的识别声音的理解度提高。另夕卜，基于使用者设定的方向，设定在最大图像显示区域PN显示表示获取到的声音的文本图像TXl等的位置，所以使用者容易识别设定出的方向和文本图像TXl等的关系，使用者的便利性提闻。
[0106]另外，在本实施方式的头戴式显示装置100中，九轴传感器66和方向判定部161根据图像显示部20的朝向来推定使用者的视线方向。图像处理部160和图像显示部20基于声源方向与视线方向之间的偏差来设定在使用者的视野VR中的显示表示获取到的声音的文字图像的位置。因此，在本实施方式的头戴式显示装置100中，根据声源方向与视线方向之间的偏差来判断是否声源在使用者的视野VR中是否被视觉确认，从而设定显示文字图像的位置，所以使用者容易建立关联地识别声源方向和文字图像。
[0107]B1.第2实施方式:
[0108]图8是表示第2实施方式中的获取声音的图像显示处理的流程的说明图。图8示出区别显示表示多个不同种类的声音的文字图像的处理的流程。在第2实施方式中的头戴式显示装置IOOa中，代替第I实施方式的话筒63，由不具有指向性的话筒63a从多个声源获取不同种类的声音，声音处理部170按种类来识别获取到的多个声音。
[0109]首先，话筒63a从多个声源获取种类不同的声音(步骤S410)。声音处理部170从获取到的多个种类的声音的每一种提取声音的特征并模型化，按种类来辨识并识别声音(以下，也称为“说话人识别”)(步骤S420)。此外，在该时刻，声音处理部170仅进行声音的种类的识别，声源和从声源获取的声音的对应关系未被确定。接下来，转换部185将多个种类的声音转换为表示声音的文字图像(步骤S430)。图像处理部160将文字图像作为控制信号发送给图像显示部20，图像显示部20按声音的种类来区分文字图像并使其被使用者视觉识别(步骤S440)。
[0110]图9是表示使用者的视野VR的一个例子的说明图。图9示出使用者除了外景之外还将表示教师TE的声音的文字图像和表示学生STl的声音的文字图像视觉识别为不同的文字图像的状态。如图9所示，在最大图像显示区域PN中，在中央部分以外的右上方示出将教师TE的声音表示为文字图像的文本图像TXll和在文本图像TXll的下面将学生STl的声音表示为文字图像的文本图像TX12。对于文本图像TXll和文本图像TX12而言，文字图像中的文字的颜色和文字的背景的颜色不同，作为表示不同种类的声音的文字图像而被显示在最大图像显示区域PN中。
[0111]接下来，照相机61对外景进行拍摄(图8的步骤S445)。因为照相机61对外景进行拍摄的处理与第I实施方式中的图3的步骤305所示的处理相同，所以省略说明。
[0112]接下来，使用者通过对操作部135进行操作来从显示于最大图像显示区域PN中的拍摄到的图像中选择一个声源，从而在从话筒63a到多个声源的多个声源方向中确定一个声源方向(步骤S450)。图10是表示照相机61拍摄到的外景图像BIM的一个例子的说明图。在图10中，在最大图像显示区域PN显示有照相机61拍摄到的外景图像BM。在外景图像BM中显示有图9所示的文本图像TXll以及文本图像TX12、光标CR、以及指示图像CM。指示图像CM是表示使用者接下来进行的操作的指示的图像。光标CR是通过使用者操作方向键16从而在最大图像显示区域PN上移动的图像。当使用者根据在指示图像CM中显示的“请确定声源”的指示，使光标CR以与在最大图像显示区域PN显示的作为目标声源的教师TE重叠的方式移动并按下决定键11时，选择一个目标声源，并且声源方向被确定。
[0113]接下来，选择表示从选择出的目标声源获取的声音的文字图像(图8的步骤S460)。若一个目标声源被选择，则在指示图像CM内显示的文字被变更为“请选择从选择出的声源获取的文字图像”。若使用者选择文本图像TXll作为表示教师TE的声音的文字图像，则声音处理部170识别为被显示为文本图像TXll的种类的声音是教师TE的声音。
[0114]接下来，控制部10判定是否进行了与声音的种类的个数数目相同的声源方向的确定(步骤S470)。在该时刻，由于与文本图像TX12对应的声源方向未被设定(步骤S470:否)，所以进行步骤S450以及步骤S460的处理。若使用者选择学生STl作为目标声源(步骤S450)，并选择文本图像TX12作为表示学生STl的声音的文字图像(步骤S460)，则声音处理部170将被显示为文本图像TX12的种类的声音识别为是学生STl的声音。因此，在第2实施例中的头戴式显示装置IOOa中，通过简便的操作来设定确定的声源方向和表示从确定的声源方向获取的声音的文字图像，使用者能够容易地进行说话人识别的设定。
[0115]若使用者进行了与声音的种类的个数数目相同的声源方向的确定(步骤S470:是)，则接下来进行确定出的声源方向和文字图像的对应关系是否正确的判定(步骤S475)。在判定为对应关系不正确的情况下(步骤S475:否)，对被判定为对应关系不正确的声源方向和文字图像的组合，再次进行从步骤S450到步骤S470的处理。
[0116]若判定为所确定出的声源方向与文字图像的对应关系正确(步骤S475:是)，则图像处理部160和图像显示部20在最大图像显示区域PN中使指示图像CM和光标CR成为非显示，变更显示文本图像TXll和文本图像TX12的方法以及位置(步骤S480)。
[0117]图11是表示使用者的视野VR的一个例子的说明图。在图11中，建立关联地显示有确定出的声源方向和表示从确定出的声源方向获取的声音的文字图像。如图11所示，由于文本图像TXll是表示教师TE的声音的文字图像，所以是用以教师TE为起点的气球对话框形状围起的文字的图像。另外，由于文本图像TX12是表示学生STl的声音的文字图像，所以是用以学生STl为起点的气球对话框形状围起的文字的图像。在文本图像TXll和文本图像TX12中分别实时地更新并显示表示分别从教师TE和学生STl获取的声音的文字图像。在文本图像TXll和文本图像TX12中显示的文字数被预先确定，若超过规定的文字数，则超过部分的文字不显示。在其他的实施方式中，文字的显示和非显示也可以不是根据文字个数而是根据时间而进行。另外，若从声源方向获取到的最后的声音中没有获取相同的种类的声音而经过了规定时间，则文字图像不再被显示在最大图像显示区域PN。在本实施方式中，若经过作为规定时间的5分钟，则不再显示文字图像，在其他的实施方式中，规定时间也可以是5分钟以外的时间。
[0118]接下来，使用者判断是否结束获取声音的图像显示处理(图8的步骤S490)。由于在步骤S490中的判断与第I实施方式的图3的步骤S380中的判断相同，所以省略说明。
[0119]如以上说明，在第2实施方式中的头戴式显示装置IOOa中，声音处理部170按种类识别获取到的多个声音。操作部135接受使用者的操作，从而确定从话筒63a到被取得话筒63a获取的多个种类的声音中确定声音的声源的方向。图像处理部160和图像显不部20在使用者的视野VR中，将在最大图像显示区域PN显示文本图像TXll和文本图像TX12的位置分别设定在被获取被显示为文本图像TX11、文本图像TX12的声音的声源方向的附近。另外，图像处理部160和图像显示部20在使用者的视野VR中，将在最大图像显示区域PN显示文本图像TXll和文本图像TX12的位置分别设定在与多个声源方向均不重叠的位置。因此，在第2实施方式中的头戴式显示装置IOOa中，即使是多人进行的会话，在最大图像显示区域PN中，表示发言者的声音的文字图像也被显示在该发言者的附近的位置。因此，使用者除了听觉以外，还能够用视觉建立关联地识别说话者和表示说话者的声音的文字图像，容易理解对话的内容。另外，表示获取到的声音的文字图像均被显示在不与多个声源方向重叠的位置，因此使用者能够进一步建立关联地识别说话者和表示说话者的声音的文字图像。
[0120]B2.第3实施方式:
[0121]图13是功能性地表示第3实施方式中的头戴式显示装置IOOb的构成的说明图。在第3实施方式中的头戴式显示装置IOOb中，与上述实施方式的头戴式显示装置100相t匕，不同点在于，控制部IOb具有无线通信部132和控制部IOb的CPU140b作为图像判定部142发挥作用。另外，在第3实施方式中，声音处理部170b获取与由话筒63获取到的声音不同的由无线通信部132获取到的声音信号，并将声音信号作为声音供给至耳机32、34的扬声器。
[0122]无线通信部132遵循所谓无线LAN、bluetooth (注册商标)的规定的无线通信标准在与其他识别之间进行无线通信。无线通信部132通过进行无线通信，从而获取表示与由话筒63获取到的声音不同的声音的声音信号。作为无线通信部132获取的声音信号,例如包含有从收音机等播放的声音信号、通过与头戴式显示装置IOOb的话筒63不同的话筒获取并被数字化而得的声音信号等。图像处理部160通过面部识别将由照相机61持续拍摄到的外景图像(动态图像)所包含的对象物提取为目标声源的候补。图像判定部142通过图案匹配来对提取出的目标声源的候补判定与预先存储于存储部120的确定对象物的图像数据相同的确定对象物的动作的变化。例如，在作为目标声源的候补而提取出教师TE的情况下，图像判定部142对作为教师TE的身体的一部分的嘴部进行图案匹配，判定教师TE的嘴的开闭状态。此外，无线通信部132相当于技术方案中的通信部。通过照相机61持续拍摄到的外景图像(动态图像)相当于技术方案中的图像获取部获取的多个时刻的外景的图像。使用者能够与由照相机61拍摄到的外景图像想独立地视觉识别透过图像显示部20的导光板261、262的外景和被显示于最大图像显示区域PN的显示图像。
[0123]图14是表示第3实施方式中的获取声音的图像显示处理的流程的说明图。在第3实施方式中的获取声音的图像显示处理中，对教师TE的嘴的开闭状态进行检测来设定声源方向，与由照相机61获取到的声音不同的声音被转换为不同种类的文字图像的点与第I实施方式的获取声音的图像显示处理不同。
[0124]在第3实施方式中的获取声音的图像显示处理中，首先，若利用照相机61拍摄外景(步骤S505)，则图像处理部160将教师TE提取为目标声源的候补(步骤S506)。图15是表示使用者的视野VR的一个例子的说明图。如图15所示，若教师TE被提取为目标声源的候补，则接下来图像判定部142还通过图案匹配来提取教师TE的嘴的周边部MO (以下，简称为“嘴MO”)，判定嘴MO是否有开闭状态的变化(图14的步骤S507)。在判定为教师TE的嘴MO没有开闭状态的变化的情况下(步骤S507:否)，图像判定部142继续在提取出教师TE的嘴MO的状态下监视嘴MO的开闭状态的变化的检测(步骤S507)。在判定为教师TE的嘴MO有开闭状态的变化的情况下(步骤S507:是)，即使操作部135未被操作，存储部120也将教师TE的嘴MO作为目标声源存储，并设定声源方向(步骤S510)。
[0125]若声源方向被设定，则话筒驱动部163设定话筒63的朝向(步骤S520)，话筒63以及无线通信部132获取声音以及表示声音的声音信号(步骤S530)。在第3实施方式中，获取无线通信部132通过通信而获取到的网络收音机的声音信号。接下来，转换部185将话筒63获取到的声音和无线通信部132获取到的声音信号转换为不同种类的字体的文字图像(步骤S540)。
[0126]若声音以及声音信号被转换为文字图像，则图像处理部160以及图像显示部20使转换而得的不同种类的文字图像被使用者视觉识别(步骤S550)。图16是表示使用者的视野VR的一个例子的说明图。如图16所示，在最大图像显示区域PN中，由话筒63获取到的声音被显示为文本图像TX41，由无线通信部132获取到的声音信号被显示为文本图像TX42。文本图像TX41的字体是MS Gothic，文本图像TX42的字体是MS明朝。此外，在其他的实施方式中，在最大图像显示区域PN既可以利用不同字体来显示文本图像TX41等，也可以变更粗体及细字、文字的大小等形成文字图像的字体以外的要素来显示。
[0127]若使文字图像被使用者识别(图14的步骤S550)，则图像判定部142监视外景图像的目标声源的位置的变化(步骤S560)。由于照相机61对外景图像持续进行拍摄，所以图像判定部142能够在多个时刻确定外景图像中的作为目标声源的教师TE的嘴的位置。在判定为外景图像中的教师TE的嘴的位置变化了的情况下(步骤S560:是)，例如，教师TE的嘴MO的位置从图16所示的视野VR中的位置向图6所示的视野VR中的位置变化了的情况下，图像处理部160以及图像显示部20变更在最大图像显示区域PN显示文字图像的位置(图14的步骤S570)。图像处理部160以及图像显示部20在最大图像显示区域PN中，在位置变化后的教师TE的嘴MO的附近显示文字图像光。文字图像光的显示位置被变更(步骤S570)，或者，在步骤S560的处理中，判断为外景图像的目标声源的位置未变化的情况下(步骤S560:否)，判断是否结束获取声音的图像显示处理(步骤S580)。
[0128]如以上说明那样，在第3实施方式中的头戴式显示装置IOOb中，照相机61持续地对外景图像进行拍摄，图像处理部160以及图像显示部20在判定为外景图像中的教师TE的嘴MO的位置发生变化的情况下，变更在最大图像显示区域PN显示文字图像的位置。因此，在第3实施方式中的头戴式显示装置IOOb中，由于声源方向更具体地被使用者识别，显示有文字图像的位置被设定在声源方向的附近，所以使声源方向和表示目标声源发出的声音的文字图像进一步建立关联而容易被使用者识别。
[0129]另外，在第3实施方式中的头戴式显示装置IOOb中，声音处理部170b获取与由话筒63获取到的声音不同的由无线通信部132获取到的声音信号。转换部185将话筒63获取到的声音和无线通信部132获取到的声音信号转换为不同种类的字体的文字图像。因此，在第3实施方式中的头戴式显示装置IOOb中，表示由话筒63获取到的声音的文本图像TX41和表示通过话筒63以外获取到的声音的文本图像TX42被以不同种类的文字图像显示，所以能够使发出声音的声源的不同得以被使用者视觉识别。另外，在该头戴式显示装置IOOb中，与由话筒63获取到的声音不同的声音是表示通过无线通信部132的通信而获取到的声音信号的声音。因此，在该头戴式显示装置IOOb中，使用者不仅能听到由话筒63获取到的外部的声音，还能听到表示通过通信而获取到的各种声音信号的声音，并且能够将通过通信而获取到的声音识别为视觉信息。
[0130]C.变形例:
[0131]此外，本发明并不局限于上述实施方式，能够在不脱离其主旨的范围内以各种方式实施，例如，能够进行如下的变形。
[0132]Cl.变形例 1:
[0133]在上述实施方式中为，在头戴式显示装置100中，将转换部185获取到的声音实时地转换为文字图像而使文字图像被使用者视觉识别，但是使文字图像被使用者视觉识别的方法并不局限于此，能够进行各种变形。
[0134]图12是表示使用者的视野VR的一个例子的说明图。在图12中，存储于存储部120的声音按种类被区分，与声音被录音的时间相关联地在最大图像显示区域PN中被显示为表示声音的文字图像。如图12所示，在最大图像显示区域PN的左侧显示有从开始声音的录音起的经过时间TM。在最大图像显示区域PN中的经过时间TM的右侧，显示有多个作为文字图像的文本图像TX35等。文本图像TX35等与经过时间TM所示的录音的时间相关联地显示。例如，在开始将声音向文字图像转换的录音开始时，文本图像TX35是表示开始被录音的声音的文字图像，从文本图像TX35内的文字可知声源是教师TE。另外，在从录音开始起经过大约32分钟时，文本图像TX32是表示被开始录音的声音的文字图像，从文本图像TX32内的文字可知声源是学生STl。
[0135]若图12所示的光标CR与文本图像TX35等重叠地进行选择，则被显示为文本图像TX35的文字图像在最大图像显示区域PN的整个区域被放大地显示。另外，通过来自使用者的操作，拍摄了声源方向的图像和文字图像被一起显示。因此，在该头戴式显示装置100中，即使在漏听声音的情况、看漏文字图像的情况下，使用者也能够在之后确认存储于存储部120的表示声音的文字图像。另外，由于在存储部120还存储有拍摄了声源方向的图像、录音时间的对应关系，所以在使用者检索表示过去录音而得的声音的文字图像的情况等便利性提闻。
[0136]另外，在使用者听到声音的情况下，通过在操作部135进行规定操作，从而在接受规定操作的期间获取的声音可以被显示为特别的文字图像，也可以作为特别的声音存储在存储部120。在该头戴式显示装置100中，通过使用者的操作而将文字图像附加特征地显示在最大图像显示区域PN，或者将声音附加特征地存储。由此，使用者能够按声音以及文字图像附加新的信息，所以使用者的便利性提高。
[0137]另外，图像显示部20也可以使文字图像从声音被获取的时刻起延迟规定时间地被使用者视觉识别。例如，图像显示部20可以使获取到的声音延迟30秒地显示在最大图像显示区域PN。在该头戴式显示装置100中，使用者在暂时地漏听声音并且看漏表示实时的声音的文字图像的情况下，通过比声音延迟地显示的文字图像，能够结合在当前时刻听到的声音而视觉识别为表示30秒前漏听的声音的文字图像。因此，使用者容易理解获取的声音的前后联系。
[0138]C2.变形例 2:
[0139]在上述实施方式中，根据推定出的使用者的视线方向与声源方向之间的偏差而在最大图像显示区域PN中设定显示的文字图像的位置，但是显示的文字图像的位置的设定方法并不局限于此，能够进行各种变形。例如，也可以仅基于推定出的使用者的视线方向设定显示于最大图像显示区域PN的文字图像的位置、方法。
[0140]方向判定部161和九轴传感器66通过对图像显示部20的动作进行检测，从而以表示获取的声音的文字图像被显示在最大图像显示区域PN中的显示状态为基准，来推定视线方向的角度的变化量和角速度中的至少一方。此外，视线方向的角度的变化量和角速度相当于技术方案中的确定值。另外，因为九轴传感器66能够对地磁进行检测，所以通过九轴传感器66确定出重力方向和与重力方向垂直的水平方向，方向判定部161和九轴传感器66能够推定相对于重力方向和水平方向的角度的变化量以及角速度。在该变形例的头戴式显示装置100中，在视线方向的角度变化了 30度以上的情况，或者角速度是I (弧度/秒)以上的情况下，方向判定部161判定为使用者不想视觉确认显示于最大图像显示区域PN的文字图像，而想视觉确认外景。在该情况下，图像处理部160和图像显示部20在最大图像显示区域PN的中央部分以外，将显示文字图像的位置变更为与使用者的视线移动相反的方向。例如，在使用者的视线方向相对于重力方向朝上的情况下，能够推定为使用者想视觉确认上面的外景，所以在最大图像显示区域PN中的下侧显示文字图像。因此，在该变形例的头戴式显示装置100中，根据使用者想视觉确认的方向，自动地将显示文字图像的位置变更为不妨碍使用者的视野的位置，所以使用者的使用的便利性提高。此外，30度相当于技术方案中的第3阈值，I (弧度/秒)相当于技术方案中的第5阈值。此外，在其他的实施方式中，作为阈值，角度的变化量可以是30度以外的数值，角速度也可以是I (弧度/秒)以外的数值。
[0141]另外，在该变形例的头戴式显示装置100中，以显示状态作为基准，视线方向的角度的变化量小于30度，且视线方向的角速度小于I (弧度/秒)，且在以该状态经过30秒的情况下，方向判定部161判定为使用者注视显示于最大图像显示区域PN的文字图像。在该情况下，图像处理部160和图像显示部20在最大图像显示区域PN中的中央部分显示文字图像。因此，在该变形例的头戴式显示装置100中，在判定为使用者注视文字图像的情况下，自动地在使用者容易视觉确认的位置显示文字图像，所以使用者的使用便利性提高。此夕卜，30度相当于权技术方案的第4阈值，I (弧度/秒)相当于技术方案中的第6阈值。
[0142]C3.变形例 3:
[0143]在上述实施方式中，目标声源存在的声源方向被设定为确定方向，但是声源方向不必一定是确定方向，对于设定的确定方向能够进行各种变形。例如，在作为声源的公交向导进行如天空树那样的标志性建筑物的说明的情况下，可以不将声源的方向设定为确定方向而是将在使用者的视野VR中被视觉确认的天空树的方向设定为确定方向。在该情况下，使用者总是视觉确认与声源不同的确定方向的天空树，并且能够视觉确认文字图像。在该变形例中的头戴式显示装置100中，能够自由地设定使用者想看到的确定方向，所以使用者的使用便利性提闻。
[0144]另外，作为确定方向，也可以是使用者正在视觉确认的视线方向、使用者的背后方向、车的行进方向。例如，在确定方向是使用者的背后方向的情况下，使显示的文字图像的方式变化，使使用者识别表示在背后方向获取的声音的文字图像。
[0145]另外，在上述实施方式中，将从人类获取的声音作为声音的一个例子，但是获取并转换的声音并不局限于此，能够进行各种变形，也可以是作为人类以外的生物的动物的叫声等，也可以是所谓警笛之类的警告音、特效音。例如，在使用者被很多人包围而听到很多人的声音的情况下，声音处理部170仅识别警告音，使使用者视觉确认表示警告音的文字图像，从而尽快将警告能够通知给使用者，所以使用者的便利性提高。
[0146]另外，在上述实施方式中，通过配备于图像显示部20的九轴传感器66来推定使用者的视线方向，但是使用者的视线方向的推定方法并不局限于此，能够进行各种变形。例如，也可以通过CXD照相机对使用者的眼睛进行拍摄，解析拍摄到的图像，从而推定使用者的视线方向。
[0147]另外，在上述实施方式中，为文字图像在最大图像显示区域PN中被显示在声源方向的附近的位置，并被显示在中央部分以外的方式，但是显示文字图像的位置、方法并不局限于此，能够进行各种变形。例如，如果文字图像比使使用者视觉确认的外景重要，则可以在最大图像显示区域PN的中央部分显示文字图像。另外，在使用者的视野VR中，目标声源在角落被视觉确认，想要在最大图像显示区域PN显示尽量多的文字数的情况下，可以在不与声源方向重叠的最大图像显示区域PN的整个区域显示文字图像。另外，为了提高使用者的视野VR中的外景的可视性，声源方向与文字图像可以重叠地显示。
[0148]C4.变形例 4:
[0149]在上述实施方式中，为话筒63通过相对于图像显示部20相对地移动来改变朝向，从而根据从话筒63向声源的方向来改变获取声音的灵敏度的方式,但是不必一定是相对于图像显示部20相对地动作，话筒63的结构以及构成能够进行各种变形。例如，变形例中的话筒63b可以由具有朝向不同方向的指向性的多个话筒构成。在该情况下，通过来自使用者的操作而不获取来自多个话筒中的几个话筒的声音，从而话筒63b能够按方向来变更获取声音的灵敏度。在该头戴式显示装置100中，因为无需使话筒63b相对于图像显示部20相对地移动的结构，所以能通过简便的构成设定获取声音的话筒63b的指向性。
[0150]C5.变形例 5:
[0151]在上述实施方式中，成为在视线方向和声源方向所成的角度是30度以上的情况下，在最大图像显示区域PN中显示照相机61拍摄到的声源方向的图像并在声源方向的图像的附近显示文字图像的方式，但是根据视线方向和声源方向的关系变更显示文字图像的方法以及位置的方式能够进行各种变形。例如，可以是总是在最大图像显示区域PN中的预先规定的位置显示文字图像而与视线方向和声源方向所成的角无关的方式。另外，可以不是以视线方向和声源方向所成的角度以30度为阈值来设定显示在最大图像显示区域PN的文字图像的位置，而是将比30度大的角度或者小的角度设定为阈值。
[0152]C6.变形例 6:
[0153]在上述实施方式中，图像处理部160对照相机61拍摄到的外景的图像进行面部认证，从而提取出教师TE作为声源，但是声源的提取方法能够进行各种变形。例如，可以利用测距传感器，在存在于距离使用者规定距离的东西作为声源的候补而提取。
[0154]另外，在上述实施方式中，声音处理部170通过说话人识别来识别种类不同的声音，但是声音的识别方法并不局限于此，能够进行各种变形。例如，在如大学的讲义那样使用者每周听相同的作为声源的教师TE的讲话的情况下，教师TE的声音的特征被预先登录在头戴式显示装置100中，从而能够以不将教师TE以外的声音转换为文字图像的方式进行设定。在该头戴式显示装置100中，无需每次进行与声源方向不同的每种类声音的设定，另夕卜，能够以高精度识别表示使用者欲使其作为文字图像显示在最大图像显示区域PN的种类的声音的文字图像。
[0155]另外，在上述实施方式中，将获取的声音转换为表示声音的文字图像，但是将声音转换为文字图像的方法能够进行各种变形。例如，从隐私保护的观点出发，可以设定为将在公演中获取的声音转换为文字图像，而不进行获取的声音的录音。另外，也可以设定为预先向头戴式显示装置100登录个人名等确定词语，从而对于登录的词语，即使声音被获取也不将其转换为文字图像。
[0156]另外，作为预先登录在头戴式显示装置100中的声音，也可以是如机械的运转音一样的声音。例如，使使用者视觉确认表示运转音的文字图像，将工业用机械中的正常运转时的运转音预先登录。在该情况下，即使是设置有工业用机械的工厂内由于其他的机械等而嘈杂的情况，使用者也能够视觉确认表示工业用机械异常运转时的运转音的文字图像，从而使用者能够将工业用机械的运转状态是否正常作为视觉信息来识别。
[0157]C7.变形例 7:
[0158]上述实施方式中的头戴式显示装置100的构成只是一个例子，能够进行各种变形。例如，可以省略设置于控制部10的方向键16或触控板14，或者除了方向键16、触控板14以外还设置操作棒等其他操作用接口，或者代替方向键16、触控板14而设置操作棒等其他操作用接口。另外，控制部10可以是能够连接键盘、鼠标等输入设备的构成，从键盘、鼠标接受输入。
[0159]另外，作为图像显示部，可以代替如眼镜那样佩戴的图像显示部20而采用例如像帽子那样佩戴的图像显示部的其他方式的图像显示部。另外，耳机32、34、照相机61能够适当地省略。另外，在上述实施方式中，利用LCD和光源来作为生成图像光的构成，但是可以代替这些而采用有机EL显示器这样的其他显示元件。另外，在上述实施方式中，利用九轴传感器66作为对使用者的头部的动作进行检测的传感器，但是也可以代替它而利用由加速度传感器、角速度传感器、地磁传感器中的一个或者两个构成的传感器。另外，在上述实施方式中，头戴式显示装置100是双眼型的光学透射式，但是本发明能够同样地应用于例如视频透射式、单眼型的其他形式的头戴式显示装置。
[0160]另外，在上述实施方式中，头戴式显示装置100可以将表示相同的图像的图像光导向使用者的左右眼而使使用者视觉确认二维图像，也可以将表示不同图像的图像光导向使用者的左右眼而使使用者视觉确认三维图像。
[0161]另外，在上述实施方式中，可以将通过硬件实现的构成的一部分置换为软件，相反地，也可以将通过软件实现的构成的一部分置换为硬件。例如，在上述实施方式中，图像处理部160、声音处理部170通过CPU140读出并执行计算机程序来实现，但是这些功能部也可以由硬件电路实现。
[0162]另外，在本发明的功能的一部分或者全部用软件实现的情况下，其软件(计算机程序)能够以储存于计算机能够读取的记录介质的形式提供。在本发明中，“计算机能够读取的记录介质”并不局限于如软盘、CD - ROM那样的便携式的记录介质，也包含各种RAM、R0M等计算机内的内部存储装置、硬盘等固定于计算机的外部存储装置。
[0163]另外，在上述实施方式中，如图1以及图2所示，控制部10和图像显示部20形成为不同的构成，但是控制部10和图像显示部20的构成并不局限于此，能够进行各种变形。例如，可以在图像显示部20的内部形成有形成为控制部10的全部构成，也可以形成有一部分构成。另外，在形成为控制部10的构成中，可以仅将操作部135形成为单独的使用者接口(Π)，也可以是将上述实施方式中的电源130单独地形成并使其成为能够更换的构成。另夕卜，形成为控制部10的构成也可以重叠地形成为图像显示部20。例如，图2所示的CPU140可以形成于控制部10和图像显示部20这双方，也可以构成为形成于控制部10的CPU140和形成于图像显示部20的CPU进行的功能被分别分开实现。
[0164]C8.变形例 8:
[0165]例如，图像光生成部可以作为具备有机EL (有机电致发光，OrganicElectro-Luminescence)的显示器和有机EL控制部的构成。另外,例如，图像生成部也能够代替IXD而使用LCOS (Liquid crystal on silicon,液晶附娃，LCOS是注册商标)、数字微镜元件等。另外，例如也能够对激光视网膜投影型的头戴式显示器应用本发明。在激光视网膜投影型的情况下，“图像光生成部中的图像光的可射出区域”能够定义为被使用者的眼睛识别的图像区域。
[0166]另外，例如，头戴式显示器是光学像显示部仅覆盖使用者的眼睛的一部分的方式，换言之，可以为光学像显示部不完全覆盖使用者的眼睛的方式的头戴式显示器。另外，头戴式显示器也可以为所谓的单眼型的头戴式显示器。
[0167]另外，耳机既可以采用挂耳式、头戴式，也可以省略。另外，例如可以构成为安装于汽车、飞机等交通工具的头戴式显示器。另外，例如也可以构成为内置于头盔等的身体防护具的头戴式显示器。
[0168]C9.变形例 9:
[0169]另外，在上述实施方式中，作为使使用者视觉确认文字图像的显示装置，使用了佩戴于使用者的头部的头戴式显示装置100，但是显示装置并不局限于此，能够进行各种变形。例如，也可以是使用于汽车的前玻璃的平视显示器(Head-UP Display ;HUD)。在该情况下，作为使用者的汽车司机能够在确保行进方向的视野的基础上将汽车外面的声音等作为文字图像视觉确认。在该变形例的显示装置中，因为在听觉障碍者是司机的情况、汽车内嘈杂的情况下能够将汽车外面的声音作为视觉信息来识别，所以能够将外部的危险信息作为视觉信息识别，能够提高开车时的安全性。
[0170]C10.变形例 10:[0171]另外，在上述第3实施方式中，在图14的步骤S507的处理中判定为教师TE的嘴MO没有开闭状态的变化的情况下(步骤S507:否)，图像判定部142继续监视教师TE的嘴MO的开闭状态的变化的检出，但是图像判定部142不必一定要监视变化的检出。例如，在不检测教师TE的嘴MO的开闭状态的变化的情况下，可以将通过图像处理部160提取的教师TE作为目标声源来设定声源方向。另外，在该情况下，可以在初次检测到教师TE的嘴MO的开闭状态的变化后，将教师TE的嘴MO作为目标声源来设定声源方向。
[0172]另外,在上述第3实施方式中，作为与由话筒63获取的声音不同的声音,列举了表示无线通信部132通过通信获取到的声音信号的声音为例子，但是与由话筒63获取的声音不同的声音并不局限于此，能够进行各种变形。例如，作为与由话筒63获取的声音不同的声音，可以是与话筒63不同地佩戴于教师TE的胸口的别针话筒获取到的声音。另外，通过声音处理部170识别由话筒63获取到的声音中的、人发出的声音和由机械等发出的声音，从而可以改变这些声音转换成的文字图像的字体。另外，可以仅将多个不同声音中的一个声音转换为文字图像，多个声音的种类可以是三种以上。
[0173]Cll.变形例 11:
[0174]在上述实施方式中，基于外景图像、使用者的视线方向等从话筒63设定声源方向，但是声源方向的设定方法并不局限于此，能够进行各种变形。例如，在具有多个指向性的话筒中，可以比较从各个方向获取到的音量的大小(例如，分贝(DB))，将音量最大的方向设定为声源方向。在该变形例的头戴式显示装置100中，使使用者视觉确认表示音量最大的声音的文字图像，所以例如即使是使用者通过耳机等难以听清外部的声音的情况，也能够使使用者将最应该注意的外部的声音作为视觉信息来识别。
[0175]另外，在上述实施方式中，根据视线方向与设定的声源方向之间的偏差来设定显示文字图像的位置，但是显示文字图像的位置的设定的方法并不局限于此，能够进行各种变形。例如，在该变形例中，话筒63c从A方向和B方向获取的声音的音量的灵敏度最大。话筒63c在某一时刻获取到的音量的大小在A方向和B方向是相同的,之后,在从A方向获取到的音量的大小比从B方向获取到的音量大的情况下，方向判定部161判定为目标声源从B方向靠近A方向。之后，图像处理部160以及图像显示部20使由话筒63c获取到的声音转换成的文字图像显示在最大图像显示区域PN中的A方向附近。在该变形例中，话筒63c获取的声音的音量的灵敏度根据方向而不同，图像处理部160以及图像显示部20基于获取到的声音的音量来变更显示文字图像的位置。因此，在该变形例中，即使没有照相机61等，也能够设定声源方向，在目标声源的附近显示获取到的文字图像，所以使用者的便利性提闻。
[0176]另外，也可以利用GPS (Global Positioning System:全球定位系统)来设定声源方向。例如，也可以在预先明确如教师TE，要获取的声音的目标声源的情况下，将GPS模块内置于目标声源，并且也将GPS模块内置于图像显示部20，无线通信部132接收GPS模块的位置信息，从而确定图像显示部20与携带GPS模块的教师TE的位置关系。在该变形例中，比起通过照相机61的外景图像、具有指向性的话筒63等确定声源方向的情况，能更具体地确定声源方向。此外，确定相对于图像显示部20的声源方向的方法并不局限于使用GPS模块，能够进行各种变形。例如，可以使教师TE携带与头戴式显示装置100 —对一地对应的通信机。[0177]另外，可以利用GPS模块等进行使用了卫星的三角测量，从而确定从图像显示部20到目标声源的距离，基于确定出的距离来设定显示在最大图像显示区域PN的文字图像的大小。例如，可以是从图像显示部20到目标声源的距离越近，表示通过话筒63获取到的声音的文字图像在最大图像显示区域PN越大地显示。在该变形例中，文字图像的大小根据从使用者到目标声源的距离而变化，所以能够使使用者将到目标声源的距离作为视觉信息来识别。此外，对于显示于最大图像显示区域PN的文字图像的大小，可以将从图像显示部20到目标声源的距离分成几个阶段，并根据该分类阶段性地变更。在该情况下，在离开规定以上的距离的情况下，可以使在最大图像显示区域PN中显示文字图像的位置显示在偏离最大图像显示区域PN的中心的位置，从而使使用者的可视性提高。另外，可以代替文字图像的大小而改变文字图像的种类，也可以是大小以及种类均变化。此外，也可以是由照相机61等确定声源方向，由GPS模块等仅确定从图像显示部20到目标声源的距离。GPS模块以及无线通信部132相当于技术方案中的距离确定部。
[0178]另外，确定从图像显示部20到目标声源的距离的方法能够进行各种变形。作为确定从图像显示部20到目标声源的距离的方法，除使用GPS模块以外，还可以使用光学式的双图像匹配式测距仪，也可以使用超声波式测距仪。另外，图像显示部20设置有配置的场所不同的多个照相机61，可以基于各个配置的场所不同的照相机61拍摄到的图像来确定从图像显示部20到目标声源的距离。另外，可以向目标声源照射光，使用受光元件接收该反射光来评价，从而确定从图像显示部20到目标声源的距离。另外，可以通过无线LAN的电波的强度来确定距离。
[0179]图17是表示变形例中的头戴式显示装置的外观构成的说明图。在图17 (A)的例子的情况下，与图1所示的头戴式显示装置100的不同是以下方面，即，图像显示部20c代替右光学像显示部26而具备右光学像显示部26c、代替左光学像显示部28而具备左光学像显示部28c的点。右光学像显示部26c比上述实施方式的光学部件更小地形成，配置于佩戴头戴式显示装置IOOc时使用者US的右眼的斜上方。同样，左光学像显示部28c比上述实施方式的光学部件更小地形成，配置于佩戴头戴式显示装置IOOc时使用者US的左眼的斜上方。在图17 (B)的例子的情况下，与图1所示的头戴式显示装置100的不同是以下方面，即:图像显示部20d代替右光学像显示部26而具备右光学像显示部26d、代替左光学像显示部28而具备左光学像显示部28d。右光学像显示部26d比上述实施方式的光学部件更小地形成，配置于佩戴头戴式显示器时使用者US的右眼的斜下方。左光学像显示部28d比上述实施方式的光学部件更小地形成，配置于佩戴头戴式显示器时使用者US的左眼的斜下方。这样，光学像显示部配置于使用者US的眼睛的附近即可。另外，形成光学像显示部的光学部件的大小也是任意的，能够作为光学像显示部仅覆盖使用者US的眼睛的一部分的方式、即光学像显示部不完全覆盖使用者US的眼睛的方式的头戴式显示装置100来实现。
[0180]本发明并不局限于上述实施方式或者变形例，能够在不脱离其主旨的范围内以各种构成来实现。例如，为了解决上述课题的一部分或者全部、或者为了实现上述效果的一部分或者全部，能够对与在发明概要的栏记载的各方式中的技术特征对应的实施方式、变形例中的技术特征适当地进行更换或者组合。另外，如果在本说明书中说明未该技术特征是必要的，则能够适当地删除。[0181]符号说明:
[0182]10…控制部；11...决定键；12…点亮部；13...显示切换键；14…触控板；15...亮度切换键；16…方向键；17…菜单键;18…电源开关;20…图像显不部(显不位置设定部)；21…右保持部；22…右显示驱动部；23…左保持部；24…左显示驱动部；26…右光学像显示部;28…左光学像显不部;30…耳机插头;32…右耳机;34…左耳机;40…连接部;42…右软线;44…左软线;46…连结部件；48…主体软线；51、52…发送部；53、54…接收部；61…照相机(图像获取部);63…话筒(声音获取部);66…九轴传感器(视线方向推定部);100…头戴式显示装置；110…输入信息获取部；120…存储部；130…电源；132…无线通信部(通信部、距离确定部)；135...操作部(确定方向设定部)；140...CPU; 142…图像判定部；150…操作系统；160…图像处理部(显示位置设定部)；161…方向判定部(视线方向推定部)；163…话筒驱动部(声音获取部)；170…声音处理部(声音识别部)；180…接口 ； 185…转换部；19(l...显示控制部；201…右背光灯控制部；202…左背光灯控制部；211…右IXD控制部；212…左IXD控制部；221…右背光灯；222…左背光灯；241…右IXD ;242…左IXD ;251…右投影光学系统；252…左投影光学系统；261…右导光板；262…左导光板；VSync…垂直同步信号；HSync…水平同步信号；PCLK…时钟信号；0A…外部设备；WB…白板；TE…教师；ST、STUST2、ST3...学生；CM...指示图像；PN...最大图像显示区域；CR...光标；VR...使用者的视野；NT…笔记本；PEN…笔;MG…图像;BM…外景图像;TX1、TX2、TX3、TX11、TX12、TX31、TX32、ΤΧ33、ΤΧ34、ΤΧ35、ΤΧ41·、ΤΧ42…文本图像;Μ0…教师TE的嘴。
【权利要求】
1.一种显示装置，其特征在于， 是透射式的显示装置， 该显示装置具备: 图像显示部，其生成表示图像的图像光，使所述图像光被使用者视觉识别，并且使外景透过； 声音获取部，其获取声音； 转换部，其将所述声音转换为利用文字表示为图像的文字图像； 确定方向设定部，其设定确定方向；以及 显示位置设定部，其基于所述确定方向来设定使表示所述文字图像的文字图像光在使用者的视野中被视觉识别的位置亦即图像显示位置。
2.根据权利要求1所述的显示装置，其特征在于， 所述显示位置设定部按所述图像显示位置不和使用者视野中的与所述确定方向对应的位置重叠的方式来设定所述图像显示位置。
3.根据权利要求1或者2所述的显示装置，其特征在于， 所述显示位置设定部将所述图像显示位置设定在使用者的视野中的与中心以外对应的位置。
4.根据权利要求1`~3中的任意一项所述的显示装置，其特征在于， 所述声音获取部获取声音的灵敏度根据从声源朝向所述声音获取部的方向而不同， 所述确定方向基于获取到的声音的灵敏度而被设定。
5.根据权利要求1~3中的任意一项所述的显示装置，其特征在于， 所述确定方向是从所述声音获取部朝向声源的方向。
6.根据权利要求1~5中的任意一项所述的显示装置，其特征在于， 还具备获取多个时刻的外景的图像的图像获取部， 所述图像显示位置设定部基于多个时刻的所述外景的图像的变化和所述确定方向来设定所述图像显示位置。
7.根据权利要求1~6中的任意一项所述的显示装置，其特征在于， 还具备确定从所述显示装置到声源的距离的距离确定部， 所述显示位置设定部基于所述确定出的距离来进行所述文字图像光的大小的变化和所述图像显示位置的设定之中至少一方。
8.根据权利要求1~7中的任意一项所述的显示装置，其特征在于， 还具备确定从所述显示装置到声源的距离的距离确定部， 所述转换部基于所述确定出的距离来变更所述文字图像的种类。
9.根据权利要求1~8中的任意一项所述的显示装置，其特征在于， 所述声音获取部获取声音的音量的灵敏度根据从声源朝向所述声音获取部的方向而不同， 所述显示位置设定部基于按相同声源发声的不同方向而不同并被获取的声音的音量来设定所述图像显示位置。
10.根据权利要求1~9中的任意一项所述的显示装置，其特征在于， 所述声音获取部获取声音的灵敏度根据从声源朝向所述声音获取部的方向而不同，并被设定为获取来自所述确定方向的声音的灵敏度最大。
11.根据权利要求1~10中的任意一项所述的显示装置，其特征在于，还具备: 声音识别部，其按所述声音的种类识别从多个声源获取的不同种类的声音；和 操作部，其接受使用者的操作， 所述确定方向设定部基于所述操作来确定从所述声音获取部到被获取了多个所述声音中的一个所述声音的声源的方向亦即确定声源方向， 所述显示位置设定部在使用者的视野中将使表示所述一个所述声音的所述文字图像光被视觉识别的位置设定在与所述确定声源方向对应的位置的附近。
12.根据权利要求11所述的显示装置，其特征在于， 所述显示位置设定部在使用者的视野中将使表示所述一个所述声音的所述图像光被视觉识别的位置设定在与多个所述确定声源方向对应的位置均不重叠的位置。
13.根据权利要求11或者12所述的显示装置，其特征在于， 所述图像显示部按所述声音的种类将多个所述声音生成不同的所述文字图像光，并按种类为单位使多个所述声音的所述图像光被使用者视觉识别， 所述操作是从在使用者的视野中被视觉识别的按种类为单位的多个所述声音的所述文字图像光确定与来自一个所述确定声源方向的所述声音对应的所述文字图像光的操作。
14.根据权利要求1~13中的任意一项所述的显示装置，其特征在于，` 所述图像显示部使所述文字图像光从所述声音获取部获取到所述声音的时刻延迟规定时间地被使用者识别为虚像。
15.根据权利要求1~14中的任意一项所述的显示装置，其特征在于， 还具备推定使用者的视线方向的视线方向推定部， 所述图像显示部在被佩戴于使用者的头部的状态下使所述图像光被使用者视觉识别，所述显示位置设定部基于所述确定方向与所述视线方向之间的关系来设定所述图像显示位置。
16.根据权利要求15所述的显示装置，其特征在于， 所述显示位置设定部在所述视线方向和所述确定方向所成的角度亦即确定角度小于第I阈值的情况下，将所述图像显示位置设定在使用者的视野中的与所述确定方向对应的位置的附近，而在所述确定角度为第I阈值以上的情况下，与所述确定方向无关地设定所述图像显示位置。
17.根据权利要求15或者16所述的显示装置，其特征在于， 还具备获取外景的图像的图像获取部， 所述图像显示部在所述视线方向和所述确定方向所成的角度亦即确定角度为第2阈值以上的情况下，生成表示所述图像获取部获取到的所述确定方向的图像的图像光亦即确定方向图像光并使该确定方向图像光被使用者视觉识别，而在所述确定角度小于第2阈值的情况下，不生成所述确定方向图像光， 所述显示位置设定部在所述确定角度为第2阈值以上的情况下，使所述确定方向图像光被识别的位置不与所述图像显示位置重叠，并且将所述位置设定在所述图像显示位置的附近，而在所述确定角度小于第2阈值的情况下，将所述图像显示位置设定在使用者的视野中的与所述确定方向对应的位置的附近。
18.根据权利要求1~17中的任意一项所述的显示装置，其特征在于， 还具备识别所述获取到的声音和与所述获取到的声音不同的确定声音的声音识别部， 所述转换部将所述获取到的声音和所述确定声音转换为不同种类的所述文字图像。
19.根据权利要求18所述的显示装置，其特征在于， 还具备通过通信获取声音信号的通信部， 所述确定声音是基于通过所述通信部获取到的声音信号而输出的声音。
20.一种头戴式显示装置，其特征在于， 是透射式的头戴式显示装置， 该头戴式显示装置具备: 图像显示部，其生成表示图像的图像光，在该图像显示部被佩戴于使用者的头部的状态下使所述图像光被使用者视觉识别，并且使外景透过； 声音获取部，其获取声音； 转换部，其将所述声音转换为利用文字表示为图像的文字图像； 视线方向推定部，其推定使用者的视线方向；以及 显示位置设定部，其基于所述视线方向的变化来设定表示所述文字图像的文字图像光在使用者的视野中被视觉识别的位置亦即图像显示位置。
21.根据权利要求20所述的头戴式显示装置，其特征在于， 所述声音获取部获取声音的音量的灵敏度根据从声源朝向所述声音获取部的方向而不同， 所述显示位置设定部基于按相同声源发声的不同方向而不同并被获取的声音的音量来设定所述图像显示位置。
22.根据权利要求20或者21所述的头戴式显示装置，其特征在于， 所述视线方向推定部以所述文字图像光被使用者识别的显示状态为基准来推定所述视线方向的角速度和角度的变化量之中至少一方的确定值， 所述显示位置设定部在所述确定值超过规定值的情况下，将所述图像显示位置设定在使用者的视野中的中央部以外。
23.根据权利要求22所述的头戴式显示装置，其特征在于， 所述视线方向推定部推定重力方向和与所述重力方向垂直的水平方向， 所述显示位置设定部基于相对于所述重力方向和所述水平方向所述显示状态下的所述确定值，来设定使用者的视野中的所述图像显示位置。
24.根据权利要求22或者23所述的头戴式显示装置，其特征在于， 所述显示位置设定部在所述角度的变化量为第3阈值以上的情况下，将所述图像显示位置设定在使用者的视野中的中央部以外，而在所述角度的变化量小于第3阈值的情况下，将所述图像显示位置设定在使用者的视野中的预先设定的位置。
25.根据权利要求22~24中的任意一项所述的头戴式显示装置，其特征在于， 所述显示位置设定部在所述角度的变化量小于第4阈值的状态下且经过了规定时间的情况下，将所述图像显示位置设定在使用者的视野中的中央部分，而在所述角度的变化量为第4阈值以上的情况下，将所述图像显示位置设定在使用者的视野中的中央部以外。
26.根据权利要求22~25中的 任意一项所述的头戴式显示装置，其特征在于，所述显示位置设定部在所述角速度为第5阈值以上的情况下，将所述图像显示位置设定在使用者的视野中的中央部以外，而在所述角速度小于第5阈值的情况下，将所述图像显示位置设定在使用者的视野中的预先设定的位置。
27.根据权利要求22~26中的任意一项所述的头戴式显示装置，其特征在于， 所述显示位置设定部在所述角速度小于第6的阈值的状态下且经过了规定时间的情况下，将所述图像显示位置设定在使用者的视野中的中央部，而在所述角速度为第6的阈值以上的情况下，将所述图像显示位置设定在使用者的视野中的中央部以外。
28.一种控制方法，其特征在于， 是具有图像显示部的透射式的显示装置的控制方法，所述图像显示部生成表示图像的图像光，使所述图像光被使用者视觉识别，并且使外景透过， 该控制方法具备: 获取声音的工序； 将所述声音转换为利用文字表示为图像的文字图像的工序； 生成表示所述文字图像的图像光亦即文字图像光，使所述文字图像光被使用者视觉识另Ij，并且使外景透过的工序； 设定确定方向的工序；以及` 基于所述确定方向来设定使所述文字图像光在使用者的视野中被视觉识别的位置的工序。
29.—种控制方法，其特征在于， 是具有图像显示部的透射式的头戴式显示装置的控制方法，所述图像显示部生成表示图像的图像光，在所述图像显示部被佩戴于使用者的头部的状态下使所述图像光被使用者视觉识别，并且使外景透过， 该控制方法具备: 获取声音的工序； 将所述声音转换为利用文字表示为图像的文字图像的工序； 生成表示所述文字图像的图像光亦即文字图像光，在图像显示部被佩戴于使用者的头部的状态下使所述文字图像光被使用者视觉识别，并且使外景透过的工序； 推定使用者的视线方向的工序；以及 基于所述视线方向来设定使所述文字图像光在使用者的视野中被视觉识别的位置的工序。
【文档编号】G02B27/01GK103869470SQ201310689438
【公开日】2014年6月18日 申请日期:2013年12月16日 优先权日:2012年12月18日
【发明者】千代薰 申请人:精工爱普生株式会社