信息显示装置的制造方法
【技术领域】
[0001]本发明涉及将提供给利用者的信息叠加显示在现实世界的图像或者影像上的信息显示装置。
【背景技术】
[0002]近年来开始采用AR (Augmented Reality:增强现实)技术，该AR技术是通过计算机对人们感知的现实世界进行信息的追加和/或强调，而扩展围绕人们的现实世界。作为采用该AR技术的设备，例如公知有如Google (注册商标)公司推行的Google眼镜那样的具有摄像机和小型显示装置的设备。
[0003]使用该AR技术的设备通过计算机生成针对视场中的对象或者眼睛不能捕捉到的对象等的信息，并在人们直接观察到的视场或者摄像机捕捉到的现实的影像等中进行提示，由此对人们的认知进行支援。
[0004]作为这样的技术，例如专利文献I公开了如下的技术:通过将与在剧场中登场在视场内的人物有关的信息叠加显示在影像上，使利用者容易理解登场人物。在该技术中，将视场内的图像划分为象限，根据是否能够在各象限内检测出人物，来判定是否能够进行信息显示，并在未检测出人物的区域中显示信息。
[0005]但是，如该专利文献I公开的技术那样，在将对利用者提示的信息直接叠加在现实的空间上而显示于视场内时，有时会遮挡利用者的视场，存在妨碍利用者的视场的问题。为了消除该问题，非专利文献I公开了“基于扩展现实感环境用视线计测的周边视野区域信息提示方法(拡張現実感環境ω ?ζ ? φ視線計測C dt 3周辺視野領域情報提示方法)”。在该周边视野区域信息提示方法中，使用视线识别装置检测利用者的注视点，将该检测出的注视点的周边作为中心视野，将其外侧的区域作为周边视野，通过在周边视野中进行信息的提示，防止妨碍利用者的视场。
[0006]在先技术文献
[0007]专利文献
[0008]专利文献1:日本特开2012 - 108793号公报
[0009]非专利文献
[0010]非专利文献I 拡張現実感環境? tz ? ?視線計測C 3周辺視野領域情報提示方法”石黒祥生、暦本純一、情報処理学会論文誌、Vol.53N0.4，PP1328-1337 (Apr.2012)
[0011]非专利文献2:“色?類似性C基.形状特徴量CS-HOG ?提案”、後藤雄飛、山内悠嗣、藤吉弘亘、画像七y '> y夕' '> y示夕夕厶(SSI12012)，IS3-04,2012
【发明内容】
[0012]发明要解决的问题
[0013]如上所述，在非专利文献I公开的周边视野区域信息提示方法中，使用视线识别装置将视场划分为中心视野和周边视野，通过在周边视野中进行信息的提示，来防止妨碍利用者的视场。但是，根据利用者所观察的对象的形状，存在该对象进入到周边视野中、利用者所观察的物体被所提示的信息遮挡的情况。
[0014]本发明正是为了解决这种问题而提出的，其课题是提供一种能够在不遮挡利用者所观察的物体的情况下显示提供给利用者的信息的信息显示装置。
[0015]用于解决问题的手段
[0016]为了解决上述课题，本发明的信息显示装置的特征在于，该信息显示装置具有:图像输入部，其输入与利用者的视场对应的图像；视线检测部，其检测表示视线在利用者的视场内的位置的注视点；物体识别部，其从由图像输入部输入的图像中提取包含由视线检测部检测出的注视点的物体在图像内的区域作为第I区域；显示位置决定部，其根据有关由物体识别部提取出的第I区域的信息，将在视场内的、利用者的视线未触及的位置决定为显示位置；以及信息显示部，其在由显示位置决定部决定出的显示位置处显示对利用者提示的信息。
[0017]发明效果
[0018]根据本发明的信息显示装置，由于在视场内的利用者的视线未触及的区域显示信息，因而能够在不遮挡利用者正在观察的物体的情况下显示提供给利用者的信息。
【附图说明】
[0019]图1是示出本发明的实施方式I的信息显示装置的图。
[0020]图2是示出本发明的实施方式I的信息显示装置的动作的流程图。
[0021]图3是用于说明在本发明的实施方式I的信息显示装置中使用的注视点的图。
[0022]图4是示出在本发明的实施方式I的信息显示装置中提取物体存在的区域的状态的图。
[0023]图5是用于说明在本发明的实施方式I的信息显示装置中决定显示信息的区域的状态的图。
[0024]图6是示出将本发明的实施方式I的信息显示装置应用于驾驶员席的情况的概念的图。
[0025]图7是用于说明在本发明的实施方式2的信息显示装置中决定信息的显示位置的动作的图。
[0026]图8是示出本发明的实施方式2的变形例的信息显示装置的结构的框图。
[0027]图9是用于说明在本发明的实施方式2的变形例的信息显示装置中决定信息的显示位置的动作的图。
[0028]图10是用于说明本发明的实施方式3的信息显示装置的动作的图。
[0029]图11是示出本发明的实施方式5的信息显示装置的结构的框图。
[0030]图12是示出本发明的实施方式6的信息显示装置的结构的框图。
[0031]图13是示出本发明的实施方式7的信息显示装置的结构的框图。
[0032]图14是用于说明本发明的实施方式7的信息显示装置的动作的图。
【具体实施方式】
[0033]下面，参照附图详细说明本发明的实施方式。
[0034]实施方式I
[0035]图1是示出本发明的实施方式I的信息显示装置的图，图1的(a)是示出信息显示装置的电气结构的框图，图1的(b)是示出将信息显示装置应用于眼镜时的构造的概念的图。信息显示装置具有图像输入部1、视线检测部2、物体识别部3、定时器4、显示位置决定部5及信息显示部6。
[0036]图像输入部I例如由摄像机构成，输入通过拍摄利用者的视场得到的与视场对应的图像。将由该图像输入部I输入的图像发送给物体识别部3。
[0037]视线检测部2检测表示利用者在观察视场内的哪个部分的视线。由该视线检测部2检测出的视线在视场内的位置(注视点)被发送给物体识别部3。
[0038]物体识别部3 (物体提取部3)从由图像输入部I发送来的图像中识别并提取出包含从视线检测部2发送来的注视点的物体。即，物体识别部3提取包含注视点的物体在图像内的区域(第I区域)。该物体识别部3例如进行轮廓提取来识别物体的形状和/或区域。将表示由该物体识别部3识别并提取出的物体的信息发送给显示位置决定部5。另外，关于从图像中提取区域的图像处理例如从图像中检测出物体，能够使用如非专利文献2所述的现有的技术。
[0039]定时器4计测规定的时间例如数秒钟。该定时器4根据来自显示位置决定部5的指示而起动，在经过设定时间时，将该到时的情况通知给显示位置决定部5，然后停止。
[0040]显示位置决定部5根据来自物体识别部3的信息，决定显示位置，即决定在视场内的哪个区域显示信息。表示由该显示位置决定部5决定出的显示位置的信息被发送给信息显示部6。此时，显示位置决定部5使定时器4起动，在从该定时器4接收到经过了规定时间的通知以前将表示显示位置的信息固定。即，显示位置决定部5通知信息显示部6在从定时器4接收到经过了规定时间的通知以前不改变显示位置。
[0041]将表示显示位置的信息固定而将信息显示维持规定时间是基于以下的理由。SP，在根据来自视线检测部2的注视点决定信息的显示位置的情况下，当视线移动时，信息的显示位置也变化。在这种状况下，存在利用者不能看到所显示的信息的情况。因此，一旦显示信息，则在显示位置决定部5中使定时器4起动，使在规定时间内不变更所显示的信息的显示位置。由此，即使是利用者的视线发生了移动的情况下，由于在规定的时间内信息的显示位置被固定，因而利用者能够更加可靠地确认所提示的信息。
[0042]信息显示部6在由从显示位置决定部5发送来的信息所示出的显示位置处显示信息。在该信息显示部6中，例如将眼镜的镜片部作为屏幕，在视场内投影信息。
[0043]下面，说明如上所述构成的实施方式I的信息显示装置的动作。图2是示出在视场内显示提供给利用者的信息时的信息显示装置的动作的流程图。在处理开始时，首先进行利用者的视线的检出(步骤ST11)。S卩，视线检测部2检出视场内的利用者正在观察的部位(注视点)。图3示出注视点置于视场内的左下部的汽车处的示例。由该视线检测部2检测出的注视点例如作为图像内的坐标值(x，y)被发送给物体识别部3。
[0044]然后，提取利用者正在观察的物体的区域(步骤ST12)。S卩，物体识别部3从由图像输入部I发送来的图像中，将包含从视线检测部2发送来的注视点的