显示控制装置、显示控制装置的控制方法以及控制程序与流程

文档序号:19063029发布日期:2019-11-06 01:58阅读:172来源:国知局
显示控制装置、显示控制装置的控制方法以及控制程序与流程

本发明涉及一种使显示部显示动态图像的显示控制装置等。



背景技术:

正在开发预先准备广视野角的动态图像并将该动态图像的一部分的区域显示于显示部的技术。例如,在头戴式显示器的情况下,广视野角(例如360°全方位)的动态图像中的、与用户的视野对应的一部分的区域为实际上显示器所显示的显示区域。专利文献1中公开了通过根据用户的头部的位置信息以及旋转信息对接下来要生成的图像范围进行确定,从而显示基于用户的意思的图像的头部搭载型的图像显示装置。

此外,作为与所述技术不同的技术,存在有动态图像的手抖动校准技术。这是以动态图像中所包含的物体被包含于大致恒定位置的方式对帧图像进行剪切的技术。根据该技术,在帧图像中即使因手抖动而所述物体的位置移动,在剪切后的图像中所述物体也会包含于大致恒定位置。通过显示该剪切后的图像,能够对原来的动态图像的手抖动进行校准并显示。

现有技术文献

专利文献

专利文献1:日本公开专利公报“日本特开平8-292394号”(1996年11月5日公开)



技术实现要素:

本发明所要解决的技术问题

在此,存在有即使针对广视野角的动态图像也欲实施手抖动校准的要求。但是,如上述那样,在从广视野角的动态图像中提取一部分进行显示的情况下,单纯地应用以往的手抖动校准技术较为困难。这是由于,在广视野角的动态图像中,过度地追踪作为校准的基准的物体。

若具体地进行说明,如果是视野角窄的(例如120°)动态图像,则在作为校准的基准的物体自身在动画中大幅移动的情况下,该物体会从动态图像中出镜。即,无法以将最初未映现于动态图像的物体收纳于显示范围的方式实施手抖动校准。其结果为,在视野角窄的动态图像中,不会引起过度地追踪作为校准的基准的物体。

但是,在广视野角的动态图像的情况下,即使在所述物体大幅移动的情况下,该物体未出镜的情况较多。特别是在全方位图像的情况下,所述物体在欲向哪移动时,会映现于动态图像自身。因此,当针对广视野角的动态图像单纯地应用以往的手抖动校准技术时,会过度地追踪作为校准的基准的物体。并且,当将如此过度地追踪(即,过度校准)的图像作为校准后帧图像进行显示时,存在有反而成为不自然的影像、或根据用户不同而对影像眼晕的可能性。

本发明的一个方式是鉴于所述的问题点而完成的,其目的在于,可实现能够使用户的动态图像的阅览更加舒适的显示控制装置等。

解决问题的方案

为了解决所述的课题,本发明的一个方式所涉及的显示控制装置,将动态图像的某帧图像的一部分作为显示区域而显示于显示部,所述显示控制装置具备:显示区域校准部,其对所述帧图像中的所述显示区域的位置进行校准,以便追踪所述动态图像中所包含的规定的对象物;以及追踪程度确定部,其根据所述动态图像中的所述规定的对象物的每单位时间的位移量,确定所述显示区域校准部的所述校准中的所述规定的对象物的追踪程度。

为了解决所述的课题,本发明的一个方式所涉及的显示控制装置的控制方法,将动态图像的某帧图像的一部分作为显示区域显示于显示部,所述显示控制装置的控制方法包含:显示区域校准步骤,对所述帧图像中的所述显示区域的位置进行校准,以便追踪所述动态图像中所包含的规定的对象物;以及追踪程度确定步骤,根据所述动态图像中的所述规定的对象物的每单位时间的位移量,对所述显示区域校准步骤中实施的所述校准中的所述规定的对象物的追踪程度进行确定。

发明效果

根据本发明的一个方式,能够使用户的动态图像的阅览更加舒适。

附图说明

图1为表示本发明的第一实施方式所涉及的头戴式显示器的主要部分构成的一个示例的框图。

图2为表示拍摄对象物的位移量与显示区域的校准强度的相关关系的图表。

图3为表示所述头戴式显示器所执行的处理的流程的一个示例的流程图。

图4为表示本发明的第二实施方式所涉及的头戴式显示器的主要部分构成的一个示例的框图。

图5为表示用户的头的加速度与校准强度的相关关系的图表。

图6为表示所述头戴式显示器所执行的处理的流程的一个示例的流程图。

具体实施方式

〔第一实施方式〕

以下,使用图1~图3对本发明的第一实施方式详细地进行说明。

(头戴式显示器的结构)

图1为表示头戴式显示器(hmd)100的主要部分构成的一个示例的框图。

hmd100为佩戴于用户的头的装置且对与用户的动作对应的动态图像进行显示的装置。hmd100对广视野角(例如360°)的动态图像的各帧中的图像整体中的、与所述用户的动作对应的一部分的区域进行显示。以下,将存在有hmd100(进一步详细而言为后述的显示部13)的帧中所显示的所述一部分的区域称作“显示区域”。

另外,在本实施方式中,hmd100的具体的大小、形状并不特别限定。hmd100具备传感器11、存储部12、显示部13以及控制部20。另外,hmd100为对外部相机或未图示的内置相机拍摄到的动画实时地进行显示的装置。

传感器11对表示佩戴有hmd100的用户的运动(头的运动、朝向或倾斜度)的信息进行检测。例如,传感器11也可以是将用户的头的运动作为加速度进行检测的加速度传感器。传感器11的检测结果发送至控制部20。

存储部12对hmd100所使用的各种数据进行存储。例如,存储部12存储显示部13所显示的动态图像的数据。此外,存储部12也可以将后述的拍摄对象物的设定所涉及的数据、以及拍摄对象物的位移量(位置的变化量)的计算所涉及的数据等连同动态图像的数据一起进行存储。

显示部13对动态图像进行显示。本实施方式所涉及的显示部13如果能够显示控制部20所创建的帧图像则其结构并不特别限定。另外,理想的是,显示部13构成为,在用户佩戴有hmd100时,能够使该用户的视野整体显示动态图像。

控制部20对hmd100的各部统一进行控制。控制部20具备图像获取部21、对象物确定部22、对象物位移量计算部23、追踪程度确定部24、以及显示区域校准部(显示区域确定部)25。

图像获取部21从存储部12读出动态图像的数据。此外,图像获取部21在hmd100为对相机的拍摄影像实时地进行显示的装置的情况下,从未图示的相机获取拍摄影像的数据。另外,也可以适当设定图像获取部21获取动态图像的数据或拍摄影像的数据的定时。而且,也可以适当设定图像获取部21所获取的数据的时间的长度。例如,图像获取部21也可以从存储部12读出1帧量的动态图像的数据,也可以以1秒、10秒单位读出动态图像的数据。图像获取部21将获取的动态图像的数据发送至对象物确定部22。

对象物确定部22对由图像获取部21接收到的动态图像中所包含的拍摄对象物进行确定。在此,拍摄对象物是动态图像中所包含的规定的对象物且后述的显示区域校准部25的显示区域的校准中的、作为位置的基准的物体。另外,对象物确定部22也可以将动态图像的帧图像中的规定的区域确定为作为所述校准的基准的对象区域,并与拍摄对象物同样地进行处理。此外,拍摄对象物也可以通过hmd100或外部的装置而预先设定的对象物,也可以是对象物确定部22从动态图像中的一个以上的帧图像中设定的对象物。例如,对象物确定部22也可以通过面部认证技术检测动态图像中所包含的人物,并将该人物设定为拍摄对象物。此外,对象物确定部22也可以对动态图像的中央附近的区域中所包含的确定的物体进行检测,并将该物体设定为拍摄对象物。

对象物位移量计算部23计算出对象物确定部22所确定的拍摄对象物的每单位时间的位移量和位移的方向。对于该单位时间,如果是后述的显示区域校准部25基于该每单位时间的位移量适当地实施校准的范围则也可以适当设定。在本实施方式中,对象物位移量计算部23计算出1帧期间中的拍摄对象物的位移量以及位移的方向。也就是说,对象物位移量计算部23计算出动态图像的某帧的图像中的拍摄对象物的位置和该帧的下一个帧的图像中的拍摄对象物的位置的位移量。对象物位移量计算部23将表示计算出的位移量的信息向追踪程度确定部24发送。此外,对象物位移量计算部23将计算出的位移的方向发送至显示区域校准部25。

追踪程度确定部24根据拍摄对象物的每单位时间的位移量,对后述的显示区域校准部25的校准中的、拍摄对象物的追踪程度进行确定。在此,追踪程度是表示使显示区域移动的距离相对于拍摄对象物的位移量的比率的值。另外,追踪程度确定部24也可以以任意的间隔设定拍摄对象物的追踪程度。例如,在对象物位移量计算部23计算出1帧期间中的拍摄对象物的位移量的情况下,追踪程度确定部24也可以按照每1帧对拍摄对象物的追踪程度进行设定。此外,追踪程度确定部24也可以按照例如每30帧、每60帧,基于接收到的所述位移量的一系列的数据对追踪程度进行设定。

此外,详情将在下文中叙述,但追踪程度确定部24以拍摄对象物的每单位时间的位移量越大则越减小追踪程度的方式,确定追踪程度。追踪程度确定部24将确定的追踪程度向显示区域校准部25发送。

显示区域校准部25对动态图像的各帧中的显示区域的位置进行确定和校准。显示区域校准部25首先根据控制部20从传感器11接收到的、表示用户的运动的信息对显示区域的位置进行确定。例如在传感器11发送了表示用户的头的倾斜度的信息的情况下,显示区域校准部25按照该头的倾斜度,从动态图像的1帧图像整体中将一部分确定为显示区域。

并且,显示区域校准部25根据从对象物位移量计算部23接收到的拍摄对象物的位移量以及位移的方向、从追踪程度确定部24接收到的追踪程度,对所述确定的显示区域的位置进行校准。具体而言,显示区域校准部25使确定的显示区域沿所述位移的方向所示的方向,移动所述追踪程度所示的距离。

(针对拍摄对象物的位移量和追踪程度)

图2为表示拍摄对象物的位移量与显示区域的校准强度的相关关系的图表。在此,校准强度表示对显示区域的位置进行校准时的、使显示区域移动的距离。校准强度通过使拍摄对象物的位移量与追踪程度相乘来获得。图表的纵轴表示显示区域的校准强度。此外,图表的横轴表示对象物位移量计算部23计算出的拍摄对象物的位移量。另外,在图2中利用0~5的数值表示纵轴以及横轴的各值,但这也可以是表示相对的大小的数值,也可以表示具体的系数、值。

在图2的图表中示出了“完全追踪”、“校准强”、以及“校准弱”这三个相关关系。在此,“完全追踪”是指,对显示区域进行校准以便完全追踪拍摄对象物。也就是说,在“完全追踪”的情况下,显示区域校准部25对显示区域进行校准,使得显示区域与拍摄对象物的相对的位置总是恒定。因此在“完全追踪”的情况下,追踪程度总是恒定,拍摄对象物的位移量与校准强度如图示那样成正比。

在此,在hmd100中,显示动态图像例如为视野角360°的全方位图像。因此,在“完全追踪”的情况下,有时显示区域的位置大幅变化。例如,存在有某帧中的显示区域处于从其之前的帧中的显示区域180°旋转后的位置的情况。此时,例如,在对显示区域的校准量非常大(校准强度较高)的情况下,当用户对显示部13的显示区域进行目视确认时,能够根据从视觉获得的信息获得非常大的移动的感觉。然而,由于并不是用户的身体实际进行移动,因此在该用户对显示区域进行目视确认而获得的非常大的移动的感觉与该用户的身体的实际的移动的感觉之间,会产生非常大的差异。此外,在校准量非常大的情况下,存在有因视觉的移动的感觉与实际的移动的感觉之间的所述差异而用户对影像眼晕的可能性。因此,优选用户对显示部13的显示区域进行了目视确认时识别到的、视觉的移动的感觉与实际的移动的感觉之间的差异被抑制在不产生所述眼晕的程度。

图2所示的“校准强”以及“校准弱”的相关关系为,随着拍摄对象物的位移量变大而抑制了拍摄对象物的位移量的校准强度的相关关系。与“校准强”的相关关系相比,“校准弱”的相关关系的校准强度的抑制程度较大。也就是说,在“校准强”以及“校准弱”的情况下,追踪程度确定部24以拍摄对象物的每单位时间的位移量越大则追踪程度越小的方式,确定追踪程度。

在拍摄对象物的每单位时间的位移量较大的情况下,与动态图像自身抖动的可能性相比,动态图像中对象物实际进行移动的可能性较高。因而,如“校准强”以及“校准弱”的相关关系所示,显示区域校准部25通过对追踪程度进行变更来确定校准强度,从而能够确定为不会以动态图像的抖动以上的程度过度追踪对象物那样的校准强度。

再者,校准的显示区域的位置变化与观察显示区域的用户的视线的运动无关地产生。并且,如“完全追踪”的相关关系所示,在对校准强度进行了确定的情况下,拍摄对象物的每单位时间的位移量越大则显示区域的位置越迅速地变化。例如,在拍摄对象物以高速进行移动的情况下,对于观察显示区域的用户而言,会与自身的视线的运动无关地观察剧烈地运动的动态图像,从而存在有对影像眼晕的可能性。与此相对,如“校准强”以及“校准弱”的相关关系所示,通过对校准强度进行确定,能够防止用户对影像眼晕,并且能够实施显示区域的位置校准。

另外,也可以适当设定“校准强”和“校准弱”的各自的校准强度的抑制程度、以及抑制程度之差。例如,也可以是,用户能够适当设定“校准强”和“校准弱”中的校准强度的抑制程度。

(处理的流程)

以下使用图3对hmd100所执行的处理的流程进行说明。图3为表示本实施方式所涉及的hmd100所执行的处理的流程的一个示例的流程图。在图3的说明中,在显示部13中,动态图像中的某帧即第一帧的显示区域的图像处于显示过程中,将该第一帧的接下来显示的帧称作第二帧。

首先,图像获取部21从存储部12获取作为下一个帧的第二帧所显示的图像(s1)。接着,对象物确定部22从s1中获取的图像之中,对第二帧中的拍摄对象物进行确定(s2)。并且,对象物位移量计算部23针对s2中确定的拍摄对象物,根据该拍摄对象物的第一帧中的位置以及第二帧中的位置,计算出该拍摄对象物的每单位时间的位移量(s3)。

追踪程度确定部24基于s3中计算出的位移量,对第二帧中的拍摄对象物的追踪程度进行确定(s4:追踪程度确定步骤)。之后,在显示区域校准部25基于确定的追踪程度而实施了第二帧中的显示区域的位置的校准后(s5:显示区域校准步骤),将第二帧的图像整体中的、位置校准后的显示区域的图像显示于显示部13(s6)。

根据所述的处理,通过将动态图像中所包含的拍摄对象物作为基准对显示区域的位置进行校准,从而能够对动态图像自身的变化(抖动)进行校准。而且,由于根据拍摄对象物的每单位时间的位移量对所述校准中的追踪程度进行变更,因此能够以用户能够舒适地阅览的适当的追踪程度实施显示区域的位置校准。

例如,由于根据拍摄对象物的位移量而动态图像自身抖动,因此能够以与动态图像中的拍摄对象物的位置变化、或者动态图像中拍摄对象物实际进行移动的情况对应的追踪程度,对显示区域进行校准。因而,能够使用户的动态图像的阅览更加舒适。

〔第二实施方式〕

基于图4~6对本发明的第二实施方式进行说明,如以下所示。另外,为了便于说明,对与所述实施方式中说明的构件具有相同的功能的构件,标注相同的附图标记,并省略其说明。

(头戴式显示器的结构)

以下使用图4对本实施方式所涉及的hmd200的结构进行说明。图4为表示第二实施方式所涉及的hmd200的主要部分构成的一个示例的框图。本实施方式所涉及的hmd200根据传感器11检测到的用户的头的运动计算出视线的方向变化的速度(以下,称作视线变化速度),在显示区域的校准时考虑到该速度这一点,与第一实施方式所涉及的hmd100不同。

hmd200在具备hmd100的构成基础上,还包含视线方向检测部26。视线方向检测部26基于由传感器11接收到的用户的动作所示的信息(例如用户的头的加速度),对视线变化速度进行检测。例如,视线方向检测部26通过使用户的头的加速度与单位时间相乘,能够对每单位时间的视线的方向的变化量、即视线变化速度进行检测。视线方向检测部26将表示视线变化速度的信息向追踪程度确定部24发送。

追踪程度确定部24根据视线方向检测部26检测到的视线变化速度和拍摄对象物的每单位时间的位移量,对显示区域的位置的校准中的拍摄对象物的追踪程度进行确定。追踪程度确定部24将确定的追踪程度向显示区域校准部25发送。

(用户的头的加速度和追踪程度)

图5为表示本实施方式所涉及的hmd200中用户的头的加速度与校准强度的相关关系的图表。

图5为表示用户的头的加速度和追踪程度的相关关系的图表。图表的纵轴以百分比表示追踪程度。此外,图表的横轴表示每单位时间的用户的头的加速度(即,视线变化速度)。另外,图5的值以及相关关系为一个示例,并不用于限定本实施方式所涉及的hmd200的处理以及构成。

在图5的图表中示出了“侧重追踪性”以及“侧重校准”这两个相关关系。如图示那样,针对任意的相关关系,当每单位时间的视线的方向的位移量变大时,追踪性变小。

在动态图像中,针对图示的“侧重追踪性”的相关关系,在用户的头的加速度为“10m/s2”时,相对于拍摄对象物的每单位时间的位移量,显示区域的位置的追踪程度为“100%”。另一方面,当用户的头的加速度超过“10m/s2”时,追踪程度减少,该用户的头的加速度为“20m/s2”时的追踪程度为“0%”。

以下对在用户的头的加速度为“20m/s2”以上的情况下将追踪程度设为“0%”的理由进行说明。在使该用户的头剧烈地移动时,预测为用户未注视显示部13显示过程中的动态图像。换言之,在用户头剧烈地动作的情况下,即使动态图像中存在有抖动,也能够预测为无法目视确认到该情况。故此,可以说在用户的头的加速度较大的情况下,即使对动态图像的抖动进行校准效果也较小。因而,hmd200能够将例如用户的头的加速度为“20m/s2”以上的情况下实施显示区域的位置的校准而产生的运算资源的余量,返回显示控制所涉及的其他控制处理。

由此,hmd200在用户的头的加速度小于“20m/s2”的情况下,能够基于拍摄对象物的位移量对显示区域的位置进行校准,另一方面,在用户的头的加速度为“20m/s2”以上时,不实施显示区域的追踪。

针对“侧重校准”的相关关系,在用户的头的加速度为“20m/s2”以下时,相对于拍摄对象物的每单位时间的位移量,显示区域的位置的追踪程度为“100%”。另一方面,当用户的头的加速度超过“20m/s2”时,追踪程度急剧减少,该用户的头的加速度为“30m/s2”时的追踪程度为“0%”。也就是说,在“侧重校准”的情况下,即使在与“侧重追踪性”相比而头的加速度较大的情况下也实施显示区域的追踪。并且,当用户的头的加速度为“30m/s2”以上时,不实施显示区域的追踪。也就是说,在该范围内抑制帧的显示延迟这一点与“侧重追踪性”的相关关系相同。

另外,如上述那样,hmd200也可以根据头的加速度是否为规定的阈值(“侧重追踪性”的情况下为20m/s2,“侧重校准”的情况下为30m/s2)以上,确定是否实施校准。此外,显示区域校准部25也可以实施头的加速度越大(越快)则追踪程度越小那样的校准。

如上所述,可以说用户的头的加速度、即视线变化速度越快,则用户未注视于显示画面所显示的图像(即,显示区域的图像)。在用户未注视显示画面的情况下,即使动态图像中存在有抖动,用户对抖动进行目视确认的可能性也较低。因而,根据所述的结构,在用户难以对动态图像的抖动进行目视确认时,能够减小追踪程度,而使显示区域的位置不会过度变化。因而,能够防止用户对影像眼晕,并且能够使用户的动态图像的阅览更加舒适。

(处理的流程)

以下使用图6对hmd200所执行的处理的流程进行说明。图6为表示本实施方式所涉及的hmd200所执行的处理的流程的一个示例的流程图。另外,针对第一帧以及第二帧的含义的定义,与第一实施方式的图3的说明相同。

在执行了与图3的s1以及s2相同处理后,视线方向检测部26使用传感器11对用户的头的加速度进行检测(s11)。并且,控制部20在与所述第一实施方式同样地执行了s3的处理后,通过视线方向检测部26基于s11中检测到的用户的头的加速度和第一帧显示时中的该用户的头的加速度,计算出该用户的头的加速度的每单位时间的位移量(s12)。

在s12之后,追踪程度确定部24判定s12中计算出的用户的头的加速度的每单位时间的位移量(即,视线变化速度)是否为规定的阈值以上(s13)。在判定为小于规定的阈值的情况(s13中为否)下,控制部20在与所述第一实施方式同样地执行了s4~s6的处理后,结束一系列的处理。另一方面,在判定为规定的阈值以上的情况(s13中为是)下,控制部20不实施显示区域校准部25的显示区域的位置校准,而将与第二帧的显示区域相当的图像显示于显示部13(s6),并结束一系列的处理。

通过以上的处理,本实施方式所涉及的hmd200能够基于拍摄对象物的每单位时间的位移量以及视线变化速度,对适当的校准的强度进行确定。由此,可起到如下效果:用户在对动态图像的位移进行预测而使视线方向变化时,能够目视确认实施了基于以没有违和感的方式适当确定的追踪程度的校准的动态图像。

此外,本实施方式所涉及的hmd200在视线变化速度超过规定的阈值的情况下,也可以不实施显示区域的位置的校准。由此,hmd200无需对显示区域的位置的校准分配处理能力,因此能够对动态图像的显示分配更多的处理能力。

另外,在上述的说明中,视线方向检测部26构成为基于用户的头的加速度对视线变化速度进行检测。然而如果能够检测该速度,则视线方向检测部26也可以以任意计算方法计算出该速度。视线方向检测部26也可以计算出例如用户相对于显示部13的显示面的注视点的每单位时间的位移量,并将其设为视线的方向的变化的速度。

〔实施方式3〕

在所述各实施方式所涉及的hmd100或200中,追踪程度确定部24也可以根据动态图像的内容对追踪程度进行确定。在此,动态图像的内容例如为艺术家的直播影像(以下,仅称作直播影像)、游戏画面、风景动画等。此外,动态图像的内容也可以在对显示的动态图像进行了确定时通过图像获取部21等对动态图像进行分析来确定,也可以预先按照动态图像设定。

以下,作为本发明的一个方式,使用图2以及图5~6说明根据动态图像的内容对追踪程度进行确定的hmd100。另外,在以下的说明中,为了便于说明,对在第一实施方式所涉及的hmd100的基础上实现本实施方式所涉及的构成的示例进行说明。然而,本实施方式所涉及的构成还能够通过第二实施方式所涉及的hmd200来实现。

(动态图像的内容追踪程度)

首先,使用图2对与动态图像的内容对应的适当的校准强度的设定进行说明。

想到了动态图像为直播影像情况。想到了在hmd100或200中显示直播影像而使用户阅览的情况下,该用户期望欲使映现于影像的艺术家进入视场。

因此,在动态图像为直播影像的情况下,理想的是,将该艺术家预先设定为拍摄对象物,而且例如基于图2中的“校准强”的数据实施显示区域的位置的校准。由此,能够可靠地追踪艺术家。

另一方面,想到了动态图像为游戏画面的情况。想到了游戏画面主要根据用户的操作变化,该用户的操作在较短的期间内被实施多次。因而,想到了在动态图像为游戏画面的情况下,与用户对确定的物体进行追踪并进行画面显示的情况相比,针对画面切换、视点移动等自己的游戏内操作良好地响应并反应从而进行画面显示。

因此,在动态图像为游戏画面的情况下,理想的是,显示区域校准部25例如基于图2中的“校准弱”的数据实施显示区域的位置的校准。由此,可抑制校准强度,因此能够无损于用户的操作感。

根据所述处理,能够以与动态图像的内容对应的适当的强度对显示区域的位置进行校准。例如,在动态图像为直播影像的情况下,将艺术家设定为拍摄对象物,且通过增大显示区域的位置校准中的拍摄对象物的追踪程度,从而hmd100或200能够显示对该艺术家可靠地进行了追踪的动态图像。

另一方面,在动态图像为游戏画面的情况下,能够减小对象物的追踪程度,从而与拍摄对象物的追踪相比,能够优先进行按照正在玩游戏的用户的意思的显示。更具体而言,例如与可靠地追踪拍摄对象物的情况相比,hmd100或200能够实施按照用户的画面切换、视点移动等游戏内操作的显示区域的变化的显示。

另外,在通过hmd200(第二实施方式)实现本实施方式所涉及的构成的情况下,hmd200也可以根据动态图像的内容变更视线变化速度的阈值(第二实施方式中说明的规定的阈值)。由此,hmd200能够根据动态图像的内容、即动态图像的内容适当确定根据动态图像的内容优先进行显示所涉及的处理负荷的减轻、或优先进行拍摄对象物的追踪。

(处理的流程)

以下参照图6对通过hmd200实现本实施方式所涉及的构成的情况的处理的流程进行说明。另外,针对第一帧以及第二帧的含义的定义,与第一实施方式的图3以及第二实施方式的图6的说明相同。

与所述第二实施方式同样地,在执行图6所示的s1~s2、s11、s3、s12的处理后,追踪程度确定部24判定视线变化速度的每单位时间的位移量是否比与动态图像的内容对应的规定的阈值大。在此,追踪程度确定部24在所述位移量小于与动态图像的内容对应的规定的阈值的情况下,基于拍摄对象物的每单位时间的位移量、视线变化速度、以及动态图像的内容,对第二帧中的、包含拍摄对象物的图像整体的追踪程度进行确定。之后,控制部20与所述第二实施方式同样地执行s5~s6的处理,并结束一系列的处理。另一方面,在所述位移量为与动态图像的内容对应的规定的阈值以上的情况下,执行控制部20s6的处理,并结束一系列的处理。

〔变形例〕

在所述各实施方式中,对具备显示控制装置(控制部20)的hmd100以及200进行了说明。然而,本发明的一个方式所涉及的显示控制装置也可以用于hmd100以及200的以外的显示控制。例如,显示控制装置用于投影仪等显示装置的显示控制。

另外,投影仪具备作为与投影仪连接的传感器11的对用户的视线(相对于投影仪的显示面的注视点的位置)进行检测的传感器组,从而能够实现hmd200的结构以及处理。该传感器组也可以使用用于实现以往存在的眼动追踪功能的传感器。

〔由软件实现的示例〕

控制部20的控制模块(特别是追踪程度确定部24以及显示区域校准部25)也可以通过集成电路(ic芯片)等所形成的逻辑电路(硬件)来实现,也可以使用cpu(centralprocessingunit)通过软件来实现。

在后者的情况下,控制部20具备:执行实现各功能的软件即程序的命令的cpu、以计算机(或cpu)可读取的方式记录有所述程序以及各种数据的rom(readonlymemory)或存储装置(将它们称作“记录介质”)、以及对所述程序进行展开的ram(randomaccessmemory)等。并且,通过计算机(或cpu)从所述记录介质读取并执行所述程序,从而达到本发明的目的。作为所述记录介质,能够使用“临时性的有形的介质”,例如磁带、磁盘、卡、半导体存储器、可编程的逻辑电路等。此外,所述程序也可以经由能够传输该程序的任意的传输介质(通信网络、广播波等)供给至所述计算机。另外,本发明的一个方式即使是所述程序通过电子传输而具体化的、埋入于载波的数据信号的方式也可实现。

〔总结〕

本发明的方式1所涉及的显示控制装置(控制部20),将动态图像的某帧图像的一部分作为显示区域而显示于显示部,所述显示控制装置的特征在于,具备:显示区域校准部(25),其对所述帧图像中的所述显示区域的位置进行校准,以便追踪所述动态图像中所包含的规定的对象物(拍摄对象物);以及追踪程度确定部(24),其根据所述动态图像中的所述规定的对象物的每单位时间的位移量,确定所述显示区域校准部的所述校准中的所述规定的对象物的追踪程度。

根据所述的结构,能够以动态图像中所包含的规定的对象物为基准,对动态图像自身的抖动进行校准。而且,根据规定的对象物的每单位时间的位移量变更所述校准中的追踪程度,因此能够以用户能够舒适地阅览的适当的追踪程度实施显示区域的位置校准。

例如,能够以与根据所述位移量而动态图像自身抖动从而看上去对象物的位置发生变化的状态、以及动态图像中对象物实际进行移动的状态匹配的各自的追踪程度实施显示区域。因而,能够使用户的动态图像的阅览更加舒适。

本发明的方式2所涉及的显示控制装置也可以在所述方式1的基础上,所述追踪程度确定部以所述规定的对象物的所述每单位时间的位移量越大则所述追踪程度越小的方式,确定所述追踪程度。

在规定的对象物的每单位时间的位移量较大的情况下,与动态图像自身抖动的可能性相比,动态图像中对象物实际进行移动的可能性较高。因而,根据所述的结构,能够不会以动态图像的抖动以上的程度过度追踪对象物。

此外,校准的显示区域的位置变化与观察显示区域的用户的视线的运动无关地产生。并且,在所述校准中完全追踪对象物的情况下,对象物的每单位时间的位移量越大则显示区域的位置也迅速地变化。例如,在对象物高速移动的情况下,作为观察显示区域的用户,能够与自身的视线的运动无关观察剧烈地运动的动态图像,从而易于对影像眼晕。

与此相对,根据所述构成,对象物的每单位时间的位移量越大则越减小该对象物的追踪程度,因此能够防止上述的用户的眼晕,并且实施显示区域的位置校准。

本发明的方式3所涉及的显示控制装置也可以在所述方式1或2的基础上,具备视线方向检测部(26),所述视线方向检测部(26)对用户的视线的方向变化的速度进行检测,所述追踪程度确定部以所述视线的方向变化的速度越快则所述追踪程度越小的方式,确定所述追踪程度。

可以说视线的方向变化的速度越快则用户越是未注视于显示部的显示画面所显示的图像(即,显示区域的图像)。在用户未注视显示画面的情况下,即使动态图像中存在有抖动,用户对抖动进行目视确认的可能性也较低。因而,根据所述的结构,在用户难以对动态图像的抖动进行目视确认时,能够减小追踪程度从而显示区域的位置不会过度变化。因而,能够防止用户对影像眼晕,并且能够使用户的动态图像的阅览更加舒适。

本发明的方式4所涉及的显示控制装置也可以在所述方式3的基础上,所述显示区域校准部在所述视线方向检测部检测到的所述视线的方向变化的速度为规定的阈值以上的速度的情况下,不实施所述显示区域的位置的校准。

在视线的方向变化的速度为该阈值以上的速度的情况下,即使在动态图像中存在有抖动,用户对抖动进行目视确认的可能性也较低。

因而,根据所述的结构,在实施动态图像的抖动的校准的效果较小时不实施校准,且能够将分配给该校准的运算资源分配给其他显示控制所涉及的处理。由此,能够有效地分配有限的运算资源,因此能够抑制由运算资源的耗尽引起的动态图像的显示延迟,从而使用户的动态图像的阅览更加舒适。

本发明的方式5所涉及的显示控制装置也可以在所述方式1~4中的任意一方式的基础上,所述追踪程度确定部根据所述动态图像的内容对所述规定的对象物的追踪程度进行确定。

根据所述构成,能够以与动态图像的内容对应的适当的强度对显示区域的位置进行校准。

例如,在动态图像为确定的艺术家的直播影像的情况下,通过将该艺术家设定为规定的对象物,且增大显示区域的位置校准中的对象物的追踪程度,从而能够可靠地追踪该艺术家。

另一方面,在动态图像为游戏画面的情况下,通过减小对象物的追踪程度,与对象物的追踪相比,能够优先进行按照玩游戏的用户的意思的显示。更具体而言,例如能够优先进行用户的画面切换、视点移动等游戏内操作,并对显示区域进行确定。

本发明的方式6所涉及的头戴式显示器(hmd100)也可以具备:所述方式1~5中的任一方式所述的显示控制装置(控制部20);所述显示部(显示部13);以及显示区域确定部(显示区域校准部25),其能够根据用户的头的朝向对显示区域进行确定。

根据所述的结构,头戴式显示器能够将动态图像中的、与该头戴式显示器的佩戴者的头的朝向对应的区域且基于动态图像内的规定的对象物对动态图像自身的抖动进行了校准的区域显示于显示部。因而,头戴式显示器能够使用户的动态图像的视听更加舒适。

本发明的方式7所涉及的显示控制装置的控制方法,将动态图像的某帧图像的一部分作为显示区域显示于显示部(显示部13),所述显示控制装置(控制部20)的控制方法的特征在于,包含:显示区域校准步骤(s5),对所述帧图像中的所述显示区域的位置进行校准,以便追踪所述动态图像中所包含的规定的对象物(拍摄对象物);以及追踪程度确定步骤(s4),根据所述动态图像中的所述规定的对象物的每单位时间的位移量,对所述显示区域校准步骤中实施的所述校准中的所述规定的对象物的追踪程度进行确定。根据所述的结构,可起到与所述方式1所涉及的显示控制装置同样的作用效果。

本发明的各方式所涉及的显示控制装置也可以通过计算机来实现,在该情况下,通过使计算机作为所述显示控制装置所具备各部(软件要素)进行动作从而利用计算机来实现所述显示控制装置的显示控制装置的控制程序、以及记录有该程序的计算机可读取的记录介质也包含于本发明的范畴。

本发明并不限定于上述的各实施方式,在权利要求所示的范围内可实施各种变更,对不同的实施方式分别公开的技术手段进行适当组合而获得的实施方式也包含于本发明的技术范围。而且,通过对各实施方式分别公开的技术手段进行组合,能够形成新的技术特征。

附图标记说明

100:头戴式显示器

11:传感器

12:存储部

13:显示部

20:控制部(显示控制装置)

21:图像获取部

22:对象物确定部

23:对象物位移量计算部

24:追踪程度确定部

25:显示区域校准部(显示区域确定部)

26:视线方向检测部

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1