显示装置、显示装置的控制方法以及程序的制作方法_4

文档序号:9825611阅读:来源:国知局
1 ;是),动作处理部164通过视线传感器68检测使用者的视线(步骤S22)。动作处理部164基于检测出的视线,在显示区域中确定使用者注视的方向,执行以注视方向为中心的缩放显示(步骤S23),并转移至步骤S24。另外,在判定为没有指示缩放显示的操作的情况下(步骤S21 ;否),动作处理部164转移至步骤S24。
[0193]图11是表示头部佩戴型显示装置100的显示例的图,图11的(A)表示缩小显示的例子,图11的(B)表示检测注视方向的例子,图11的(C)表示缩放显示的例子。
[0194]图11的(A)所示的缩小显示是与操作部135的操作对应动作处理部164执行的动作的一例子,将外景图像P(图10的(B))缩小后显示于显示区域D1。若在外景图像P是比使用者透过图像显示部20视觉确认的外景广的范围的图像的情况下,进行缩小显示,则使用者能够观察比视场VR广的范围的外景。
[0195]显示位置控制部165在步骤S22中,使用视线传感器68检测视线,基于检测出的视线求出使用者正注视的方向,计算在与显示区域Dl重叠的外景中使用者正注视的注视点。在图11的⑶中注视点VPO在显示区域Dl的内部,但如果使用视线传感器68,也能够检测注视点VPO在显示区域Dl之外的情况。
[0196]在图11的(C)的例子中,以注视点VPO为中心的规定范围被放大显示于显示区域Dl0在图11的(C)中,外景图像P的一部分被放大显示,也可以放大显示正显示于显示区域Dl的AR图像。
[0197]在步骤S24中,动作处理部164判定是否检测出头部佩戴型显示装置100的移动(步骤S24)。动作处理部164利用9轴传感器66以及/或者GPS115,检测头部佩戴型显示装置100的移动。在判定为没有检测出头部佩戴型显示装置100的移动的情况下(步骤S24 ;否),动作处理部164继续引导图像的显示,并按每一恒定时间进行步骤S21的判定。
[0198]在检测出头部佩戴型显示装置100的移动的情况下(步骤S24 ;是),动作处理部164计算显示区域中的对象的位置(步骤S25)。该动作与步骤S15相同。显示位置控制部165判定在步骤S25中计算出的对象的位置是否在图像显示部20的显示区域内(步骤S26)。步骤S26的判定能够与步骤S16同样地进行。
[0199]在显示位置控制部165判定为对象的位置不在显示区域内的情况下(步骤S26 ;否),控制部140转移至步骤S17,使引导视线的引导图像显示于右光学图像显示部26以及左光学图像显示部28 (步骤S17)。
[0200]在判定为AR显示的对象的位置在显示区域内的情况下(步骤S26 ;是),显示位置控制部165计算AR显示的显示位置并更新,基于更新后的位置,动作处理部164控制显示控制部190来显示AR内容(步骤S27)。
[0201]之后,动作处理部164判定显示结束的条件是否成立(步骤S28),在判定为显示结束的条件不成立的情况下(步骤S28;否),返回至步骤S21。另外,在显示结束的条件成立的情况下(步骤S28 ;是),停止AR内容的显示。显示结束的条件例如是有由操作部135发出的结束的指不、AR内容的显不完成等。
[0202]此外,也可以构成为在步骤S24中检测出移动的情况下,控制部140在移动中更新AR显示。该情况下,控制部140从右相机61以及左相机62的拍摄图像检测对象,确定对象的位置,以与对象重叠的方式求出AR显示的显示位置。并且,控制部140能够从拍摄图像检测对象的移动速度或者移动量,结合对象的移动来使AR显示的显示位置移动。具体而言,取得多个右相机61以及左相机62的拍摄图像,检测这些多个拍摄图像中的对象与背景即对象以外的物体之间的相对位置的变化,求出对象的移动速度或者移动量。由此,能够以追随移动的对象的方式进行AR显示。
[0203]这里,控制部140也可以使用9轴传感器66的检测值,以使得即使在映于拍摄图像的背景的物体移动的情况下,也能够从拍摄图像准确地求出对象的位置、移动速度以及移动量。可认为使用者在对象移动的情况下,移动头部以使得对象收敛于视场。控制部140在拍摄图像中检测出背景与对象之间的相对移动的情况下,根据9轴传感器66的检测值检测图像显示部20的移动。例如,在从拍摄图像检测出的相对于背景的对象的移动方向与图像显示部20的移动方向一致或者近似的情况下,控制部140判定为对象正移动,调整AR显示的显示位置。另外,例如,在从拍摄图像检测出的相对于背景的对象的移动方向与图像显示部20的移动方向不同的情况下,控制部140判定为背景正移动。该情况下,存在使AR显示的显示位置变化会造成使用者的不协调感的可能性,所以控制部140不使AR显示的显示位置变化。
[0204]另外,进行AR显示的图像等可以基于控制部140从右相机61以及左相机62检测对象的检测结果等来生成,但也可以基于预先存储于存储部120等的图像数据来显示。另夕卜,控制部140也可以截取右相机61以及/或者左相机62的拍摄图像的一部分来进行AR显示。该情况下,能够减轻生成进行AR显示的图像等的处理的负荷,所以能够高速地进行AR显示。
[0205]如以上说明那样,应用了本发明的第I实施方式所涉及的头部佩戴型显示装置100具备能够使外景透过,以便图像与外景一起被视觉确认的方式显示该图像的图像显示部20。另外,具备取得包括透过图像显示部20而被视觉确认的外景的外景图像,基于取得的外景图像,识别透过图像显示部20而被视觉确认的对象,将与对象有关的信息显示于图像显示部20的控制部140。由此,能够与使用者视觉确认的外景中的对象的位置、大小等对应地显示与对象有关的信息。因此,能够防止使用者视觉确认的外景与显示图像的不匹配,能够进行有效的显示。另外,即使在图像显示部20中能够显示虚像的区域(显示区域Dl)较小,也能够进行与存在于实际空间的对象有关的显示,减轻由能够显示虚像的区域的尺寸造成的限制,能够进行相对于较广范围的实际空间的AR显示。
[0206]另外,在对象在图像显示部20中位于显示信息的范围之外的情况下,控制部140通过图像显示部20进行将视线向对象引导的引导显示。由此,能够引导视线,以使得对象的位置收敛于显示信息的范围。
[0207]另外,控制部140基于取得的外景图像,将透过图像显示部20而能够视觉确认的范围的外景的图像显示于图像显示部20。由此,能够改变使用者视觉确认的外景的图像的观察方式。
[0208]另外,图像显示部20是佩戴于使用者的头部的头部佩戴型的显示部,具备检测使用者的视线的视线传感器68。控制部140与视线传感器68检测的使用者的视线的方向对应地使图像显示部20的显示变化。由此,能够使显示图像与使用者的视线对应,能够更有效地防止使用者视觉确认的外景与显示图像的不匹配。
[0209]另外,控制部140将外景图像的一部分区域显示于图像显示部20,与视线检测部检测的使用者的视线的方向对应地使在外景图像中显示于图像显示部20的一部分区域的位置变化。由此,能够与使用者的视线对应地显示外景图像,所以能够防止使用者视觉确认外景与显示图像的不匹配,能够供使用者视觉确认外景图像。
[0210]另外,头部佩戴型显示装置100具备拍摄透过图像显示部20而被视觉确认的外景的范围的右相机61以及左相机62。控制部140也可以如在第I方式中说明了的那样,取得右相机61以及左相机62的拍摄图像作为外景图像。该情况下,能够不用预先准备外景图像,能够取得与使用者视觉确认的外景对应的外景图像,并显示图像。
[0211]另外,控制部140也可以通过取得多个拍摄部的右相机61、左相机62分别拍摄到的多个拍摄图像并进行合成来生成外景图像。该情况下,能够使用多个拍摄图像来得到具有优选尺寸、视角的外景图像。
[0212]另外,控制部140也可以如在第2方式中说明了那样,通过取得右相机61以及左相机62拍摄到的多个拍摄图像并进行合成来生成外景图像。该情况下,能够不受右相机61、左相机62的视角等制限地得到具有优选尺寸、视角的外景图像。
[0213]另外,也可以头部佩戴型显示装置100具备与外部设备连接的通信部117,控制部140如在第3方式中说明了的那样,从与通信部117连接的外部设备取得外景图像。该情况下,能够不预先存储外景图像或者设置进行拍摄的单元就取得外景图像。
[0214]另外,也可以头部佩戴型显示装置100具备检测当前位置的GPS115,控制部140经由通信部117从外部设备取得与由GPS115检测的当前位置对应的外景图像。该情况下,能够取得与头部佩戴型显示装置100的位置对应的外景图像。
[0215]另外,头部佩戴型显示装置100是佩戴于使用者的头部的显示装置,具有图像显示部20,该图像显示部20具有作为能够使外景透过,能够以图像与外景一起被视觉确认的方式显示该图像的显示区域的半透镜261A、262A。头部佩戴型显示装置100具备的控制部140识别位于能够透过半透镜261A、262A而视觉确认的范围之外的对象,输出与对象有关的信息。
[0216]例如,在对象在图像显示部20中透过半透镜261A、262A的外侧而被视觉确认的情况下,控制部140输出将使用者引导至能够视觉确认对象的状态的信息。控制部140输出的信息例如是表示AR显示的对象所位于的方向的引导图像D2。该情况下,控制部140输出信息的方法是在图像显示部20显示引导图像D2的方法,但也可以用文本表示对象的位置来引导使用者。另外,也可以从右耳机32以及/或者左耳机34输出引导使用者的声音。
[0217]第2实施方式
[0218]图12是表示第2实施方式中的头部佩戴型显示装置100的动作的流程图。
[0219]第2实施方式的头部佩戴型显示装置100的构成与在上述第I实施方式中参照图1?图4说明了的构成相同,所以省略图示以及说明。
[0220]在第2实施方式中,在AR内容的对象位于能够透过图像显示部20而视觉确认的范围之外的情况下,头部佩戴型显示装置100针对使用者输出指导,以使得成为能够视觉确认对象的状态。
[0221]若使用者佩戴头部佩戴型显示装置100,通过操作部135的操作指示AR内容的显示,则控制部140开始与显示有关的动作(步骤Sll)。
[0222]控制部140取得与AR内容的显示的对象的位置有关的对象信息(步骤S31)。对象信息包括用于求出头部佩戴型显示装置100与对象之间的相对位置的数据。具体而言,可以包括表示头部佩戴型显示装置100与对象之间的相对位置的数据,也可以包括表示规定的目标物与对象之间的相对位置的数据。
[0223]例如,对象信息也可以包括能够用利用了 GPS、WiFi的位置检测系统来确定对象的位置的数据。该情况下,控制部140利用GPS115、通信部117检测图像显示部20的位置,基于检测出的图像显示部20的位置和对象信息,能够确定图像显示部20与对象之间的相对位置。
[0224]另外,AR显示的对象并不限定于物体的整体,也可以将物体中特定的部分或者面设定成对象。该情况下,能够将确定对象的位置相对于包括对象的物体的位置的数据包含于对象信息。例如,能够将包括对象的物体的CAD数据、物体整体的外观图等确定物体的整体的数据和确定物体的整体中的对象的位置的数据包含于对象信息。
[0225]控制部140通过图像取得部161执行外景图像取得处理(步骤S12)。外景图像取得处理能够用上述的第I?第3方式执行。
[0226]控制部140根据通过位置检测部162在步骤S12中取得的外景图像和在步骤S31中取得的对象信息,识别AR显示的对象(步骤S32)。AR显示的对象如上述所述是显示AR内容时使用者视觉确认的实际空间的物体。在步骤S32中,位置检测部162如参照步骤S13(图5)说明了的那样,在步骤S12中取得的外景图像中识别对象。另外,在对象不包含于外景图像的情况下,位置检测部162使用在步骤S31中取得的对象信息确定对象的位置(头部佩戴型显示装置100与对象之间的相对位置)。
[0227]在对象信息包括表示目标物与对象的相对位置的数据的情况下,位置检测部162从外景图像检测目标物,求出检测出的目标物与头部佩戴型显示装置100之间的相对位置。以求出的相对位置和对象信息所包含的数据为基础,位置检测部162求出相对于头部佩戴型显示装置100的对象的位置。在从外景图像检测目标物的处理中,使用从拍摄图像检测目标物的图像的处理所使用的数据,该数据包括例如表示拍摄了目标物的情况下的拍摄图像的颜色、形状、其他特征的特征量。该数据例如包含于对象信息。位置检测部162进行从外景图像的图像数据提取物体的图像的处理,计算提取了的物体的图像的特征量,将计算出的特征量与对象信息所包含的特征量进行比较对照。在特征量为接近的值的情况下或者相同的情况下,位置检测部162将从外景图像提取的图像识别为目标物的图像。
[0228]另外,在步骤S31中取得的对象信息中包含有表示对象与头部佩戴型显示装置100的相对位置的数据的情况下,位置检测部162也可以不使用外景图像来确定对象的位置。该处理也可以在位置检测部162不能从外景图像检测出对象以及目标物中的任意一个的情况下执行。
[0229]位置检测部162基于在步骤S32中识别出的对象的位置,判定是否是使用者能够视觉确认的位置(步骤S33)。佩戴图像显示部20的使用者透过图像显示部20视觉确认外景(实际空间),所以位置检测部162判定对象是否在使用者透过图像显示部20视觉确认的范围。
[0230]这里,在判定对象在使用者能够视觉确认的范围内的情况下(步骤S33 ;是),位置检测部162转移至步骤S14。之后的动作如在上述第I实施方式中说明了的那样。
[0231]另一方面,在对象不在使用者能够视觉确认的范围内的情况下(步骤S33 ;否),动作处理部164执行引导使用者的引导动作(步骤S34)。
[0232]在控制部140转移至步骤S34的情况下,在使用者能够透过图像显示部20而视觉确认的范围、即使用者的视场内没有对象。因此,为了使用者观察对象,需要使用者自身移动(前进、后退等)或者改变头部的朝向。控制部140通过步骤S34的引导动作,指导或者通知为了成为对象进入使用者的视场的状态而使用者应进行的动作。即,引导动作是用于引导使用者至能够视觉确认对象的状态的头部佩戴型显示装置100的动作。具体而言,弓丨导动作能够列举出图像的显示、文本的显示以及声音的输出,也可以组合这些来执行。
[0233]图13是表示引导动作的具体例的图,图13的(A)表示基于图像的引导动作的例子,图13的⑶表示基于图像和文本的引导动作的例子。
[0234]在图13的㈧的例子中,在使用者的视场VR中在显示区域Dl显示有引导显示D3。显示区域Dl如上述所述是能够通过半透镜261A、262A使使用者的眼视觉确认虚像的区域。
[0235]图13的㈧中例示的引导显示D3通过箭头指示确定的方向。引导显示D3指示的方向例如是(I)对象所位于的方向,(2)为了成为能够视觉确认对象的状态而使用者应移动的方向,或者(3)为了成为能够视觉确认对象的状态而使用者应转动脸(头)的朝向的方向。将引导显示D3指示的方向的意义或者目的(例如,上述(I)?(3))称为引导图像的属性。
[0236]引导显示D3的属性可以预先设定是上述(I)?(3)中的哪一个,也可以形成为能够根据引导显示D3的显示状态来进行区别。
[0237]例如,也可以控制部140是能够切换引导显示D3的显示状态的构成。具体而言,可以切换使引导显示D3闪烁的显示和不闪烁的显示,可以从多种颜色选择引导显示D3的显示颜色并进行切换,可以从多个阶段的显示尺寸选择引导显示D3的显示尺寸。
[0238]该情况下,控制部140能够与引导显示D3的属性对应地选择引导显示D3的显示状态。例如,可以与引导显示D3的各个属性建立对应关系地设定显示状态,根据该设定控制部140决定引导显不D3的显不状态。
[0239]图13的(B)表示控制部140除了引导显示D3之外还显示包括文本的引导显示D4的例子。引导显示D4与引导显示D3—起被显示于显示区域D1,通过文本提供信息。引导显示D4的内容任意,但也可以是与引导显示D3提供的信息关联的内容。例如,也可以针对引导显示D3表示的方向,用引导显示D4提供附加的信息。另外,引导显示D4的信息的内容可以是与引导显示D3相同的信息,也可以是引导显示D3的信息的说明。另外,引导显示D4的内容也可以是不看引导显示D3就能理解的信息。
[0240]引导显示D4是督促使用者移动的内容。例如,能够是“请向前方前进I步”、“请向前方前进50cm靠近对象的自行车”等文本。另外,可以包含督促移动的文本和说明移动的目的、移动后的动作的文本。例如,能够是“请向前方前进50cm靠近对象的自行车。AR显示的工具与自行车的螺丝重叠”等。另外,可以是利用引导显示D3的箭头督促使用者的动作的内容,例如,能够是“在左的黄色的箭头方向有工具箱。请从工具箱取出扳手”等。
[0241]控制部140能够利用图13的(A)、(B)所例示的引导显示D3、D4等,对使用者进行引导以使得AR显示的对象与显示区域Dl重叠。另外,控制部140也可以进行引导以使得AR显示的对象与显示区域Dl的中央重叠。
[0242]另外,控制部140也可以使引导显示D3、D4等用于引导的显示的显示状态根据显示区域Dl与AR显示的对象之间的相对位置来变化。S卩,也可以根据使用者透过显示区域Dl而视觉确认的实际空间与对象之间的相对位置来使显示状态变化。具体而言,将使用者透过显示区域Dl而视觉确认的实际空间与对象之间的距离分类成多个阶段,距离越长使引导显示D3、引导显示D4的显示尺寸越大,距离越短使显示尺寸越小。另外,也可以在距离长的情况下,使引导显示D3、引导显示D4的显示位置为靠近显示区域Dl的中央的位置,距离越短,越使显示位置向AR显示的对象所位于的侧移动。
[0243]另外,控制部140并不局限于引导显示D3、D4,也可以组合基于声音的引导。能够形成用使用者预先对控制装置10设定的语言,对使用者传递与引导、指导有关的信息的内容。
[0244]通过声音提供的具体内容例如能够与引导显示D4的内容相同。另外,也可以通过包括文本的引导显示、声音,对使用者输出站立位置、视线、头的朝向、手的位置、拿法等指示。例如,在通过AR显示根据作业脚本进行作业步骤的指导的情况下,也可以通过文本的显示、声音提供对作业状态进行指导的信息。脚本是包括图像、文本以及声音中的至少任一种,对图像以及/或者文本设定了显示顺序,并与图像以及/或者文本的显示顺序建立对应关系地设定了声音的输出时刻的数据。在输出的目标(图像、文本、声音等)为多个的情况下,也可以切换目标来输出。目标的输出时刻、切换时刻可以与从脚本的再生开始起的时间经过建立对应关系地设定,也可以以向控制装置10的输入为触发。另外,也可以控制部140解析右相机61以及左相机62的拍摄图像,检测触发,该情况下检测为触发的图像的特征量等被包含于脚本。也可以将控制部140输出的引导显示D3、D4等引导用的图像、文本或者声音包含于脚本的一部分。另外,在脚本的数据中也可以包括AR显示的对象的特征量等数据。
[0245]控制部140也可以与脚本的文本、声音一起,与在步骤S32中识别出的对象的位置对应地输出引导显示D3、D4等那样的引导的文本、声音。
[0246]控制部140也可以基于在步骤S31中取得的对象信息、步骤S32中的识别结果,随时生成如引导显示D4那样输出的文本或者输出的声音的内容。另外,控制部140也可以从预先存储于存储部120等的数据、从外部设备OA取得的数据中所包含的文本选择文本,显示选择了的文本,或者转换成声音来输出。
[0247]控制部140在引导显不中显不的引导显不D3、D4或者AR显不等也可以使用预先存储于存储部120等的图像数据来显示。该情况下,例如,在对象与使用者之间的相对位置在短时间内变化较大的情况下,能够进行迅速地显示。另外,控制部140也可以截取右相机61以及左相机62的拍摄图像的一部
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1