影像显示装置和控制方法与流程

文档序号:13985389阅读:143来源:国知局

本发明涉及能够佩戴在用户的头部、在用户的眼前显示影像的影像显示装置及其控制方法。



背景技术:

关于用户佩戴型的影像显示装置,预想轻量化、小型化的开发在推进,对装置用户的负担减轻。这种影像显示装置具有在能够自由地使用双手的状态下获得信息的优点,期待应用于广泛的用途。

现有技术文献

专利文献

专利文献1:日本特许第5228305号

例如提出了如上述专利文献一般,用眼镜型或者头部佩戴型的佩戴单元,在用户的眼前配置显示部来进行显示和显示结束的装置。



技术实现要素:

发明要解决的课题

在佩戴型的影像显示装置中,装置使用者难以使视线离开影像,优选维持显示的同时减轻因影像的紊乱等而产生的不适感。但是,如参考文献1一般按装置的判断而结束显示,取决于装置的用途也存在持续显示影像重要的情况,该情况下存在对于装置用户而言不利的情况。

认为该影像的紊乱是因影像显示装置的显示方式而引起的。例如如果是使用液晶的影像显示装置则认为有更新画面的影像信息时的画面的闪烁,另外如果是场序方式(色彩时分方式)的影像显示装置则认为有色分离(colorbreak)等。这些影像的紊乱在佩戴型的影像显示装置的情况下,存在因装置用户运动而被装置用户感觉为较大的不适感的可能性。另外,减轻影像的紊乱的显示方法会使耗电增大。

用于解决课题的技术方案

一种用于解决上述课题的能够佩戴在用户头部的影像显示装置,包括:能够切换两种以上的显示方法的影像显示部;对影像显示部指定显示方法的控制部;检测用户头部的运动的第一检测部;检测用户视点的运动的第二检测部;和运动判断部,其基于第一检测部的输出和第二检测部的输出判断装置用户的运动状况。控制部基于运动判断部的判断结果对影像显示部指示进行显示方法的改变。

发明的效果

根据本发明,在佩戴型的影像显示装置中,能够低耗电地减轻装置用户因影像而感受的不适感。

本发明的其他目的、特征和优点将通过与附图相关的以下本发明的实施例的记载说明。

附图说明

图1a是实施例1的影像显示装置10的框图。

图1b是影像显示装置10的外观图的一例。

图1c是佩戴图1b所示的影像显示装置10时的图。

图1d是影像显示装置10的外观图的另一例。

图1e是佩戴图1d所示的影像显示装置10时的图。

图1f是佩戴影像显示装置10的另一例时的图。

图2是表示影像显示装置10内的影像显示部1001的实施例的框图。

图3是表示影像显示部内1001的光源元件2003的实施例的电路图。

图4a是表示影像显示装置10内的影像显示部1001的1倍速显示动作例的时序图。

图4b是表示影像显示装置10内的影像显示部1001的2倍速显示动作例的时序图。

图4c是表示实施影像显示装置10内的影像显示部1001的2倍速显示动作和帧插值的例子的时序图。

图4d是表示影像显示装置10内的影像显示部1001的3倍速显示动作例的时序图。

图5是表示由运动判断处理部1006进行的判断处理的表。

图6是表示由控制部1003和运动判断处理部1006进行的判断处理流程的流程图。

图7a是外部环境的例子。

图7b是影像显示装置10显示的虚拟影像的显示例。

图7c是将虚拟影像与外部环境重叠的例子。

图8a是影像显示装置10的显示例。

图8b是用影像处理部1008减弱对比度后的影像显示例。

图8c是用影像处理部1008减弱锐度后的影像显示例。

图9a是作为影像判断处理部1009的对象的影像的一例。

图9b是作为影像判断处理部1009的对象的影像的另一例。

图10a是表示影像显示装置10内的影像显示部的光源控制停止显示动作例的时序图。

图10b是表示影像显示装置10内的影像显示部的强介电液晶的更新停止动作例的时序图。

图11a是表示第二传感器的一个实施例的图。

图11b是表示第二传感器的一个实施例的详细图。

图12a是影像显示装置的初始设定时的影像例。

图12b是表示影像显示装置的初始设定时的影像显示范围的图。

图13是表示实施例2的影像显示装置130的框图。

图14是表示实施例2的影像显示装置140的框图。

图15是表示实施例2的影像显示装置150的框图。

图16是表示实施例3的影像显示装置160的框图。

图17是表示实施例3的影像显示装置的控制方法例的框图。

具体实施方式

以下,对于本发明的实施例用附图说明。

实施例1

根据附图说明本发明的实施方式。

1.装置的概要

图1a是表示用户能够佩戴的、在用户的眼前显示影像的影像显示装置的框图。

影像显示装置10具备影像显示部1001、显示控制部1002、控制部1003、第一传感器1004、第二传感器1005、运动判断处理部1006、影像信息源1007、影像处理部1008、影像判断处理部1009、存储部1010、频度判断处理部1011、电源部1012。

影像显示装置10将从影像信息源1007取得的影像信息经由影像处理部1008发送至影像显示部1001来显示影像。影像显示部1001代表性地是使用液晶元件或者反射镜阵列元件的显示器。

影像信息源1007适当选择未图示的存储装置中保存的影像信息的数据并根据需要进行数据的解码和解除加密等处理,将影像信息发送至1008。可以时序地发送时序的动态图像,也可以逐次发送静止图像。

控制部1003与位于影像显示装置10外部的控制器1020有线或无线地连接。装置用户20通过操作控制器1020,能够进行影像显示装置10的电源通/断和关于影像的各种设定。控制器1020可以是影像显示装置10专用的控制器,也可以在智能手机中安装专用的应用程序使其能够作为控制器使用。在电源部1012中设置有在控制器之外使电源通/断的开关。

显示控制部1002、控制部1003、运动判断处理部1006、影像信息源1007、影像处理部1008、影像判断处理部1009、频度判断处理部1011分别作为独立的硬件在影像显示装置10中安装。或者,它们也可以用1个以上运算处理器或微处理器和软件或固件实现。它们可以作为集成电路的一部分功能模块安装,也可以用fpga(field-programmablegatearray:现场可编程门阵列)等可编程逻辑器件实现。

关于存储部1010,也无需作为单独的部件安装,可以作为集成电路的一部分功能模块安装。

图1b是影像显示装置10的一例的外观图。在镜片与镜腿的接合部收纳主要的构成要素,对作为半反射镜的镜片部分投射影像。控制器1020与装置的主体用线缆连接。

图1c是佩戴图1b的影像显示装置10时的图。

图1d是影像显示装置10的其他一例的外观图。在镜片与镜腿的接合部收纳主要的构成要素,棱镜是影像显示部1001的投影部(图2的2007)。

图1e是佩戴图1d的影像显示装置10时的图。

图1f是影像显示装置10的另一例的外观图。眼前的棱镜是影像显示部1001的投影部(图2的2007),将其他构成要素分散地收纳在头盔和镜腿的部分。

2.影像的显示

图2中示出了影像显示部1001的结构例。影像显示部1001具备影像信号处理部2001、光源元件电源控制部2002、光源元件2003、光源驱动器2004、调制器2005、调制器驱动器2006、投影部2007、设定控制部2008。

来自影像处理部1008的影像信息被发送至影像信号处理部2001,影像信号处理部2001确定与接收到的影像信息对应的光源的亮度、光源驱动的时序、调制器驱动模式。

光源的亮度的信息被发送至光源元件电源控制部2002。光源元件电源控制部2002与接收到的亮度的信息相应地控制对光源元件2003的供给电压。

光源驱动的时序被发送至光源驱动器2004。光源驱动器2004与光源驱动的时序相应地控制光源元件2003。

光源元件电源控制部2002和光源驱动器2004也可以在同一元件内实现。

图3表示光源元件电源控制部2002、光源元件2003、光源驱动器2004的详细的结构图。光源元件2003由红色led3001、绿色led3002、蓝色led3003三原色的三个led构成。上述三个led分别与限流电阻3004、3005、3006串联地连接,从光源元件电源控制部2002分别对它们施加电位vledr、vledg、vledb。vledr、vledg、vledb的电位能够由光源元件电源控制部2002设定为任意的值,能够分别控制红色led3001、绿色led3002、蓝色led3003的发光。上述各限流电阻3004、3005、3006的与led相反一侧的端子与光源驱动器2004连接。光源驱动器2004通过使ctrlr、ctrlg、ctrlb各端子的电位变化,分别控制红色led3001、绿色led3002、蓝色led3003的发光量和发光时间等,用调制器2005在全部的像素(pixel)调制。显示控制部1002对于影像显示部1001的设定控制部2008发送指定光源亮度的控制信号。

按照光源具有三原色led各一个的结构进行了说明,但不限于此。也可以采用具有一个以上白色led的结构。另外,也可以是led以外的光源。关于三原色,也可以不是光源仅发出原色光的结构,可以是例如用白色光源和分色滤镜或色轮等、用滤镜提取特定颜色的结构。

返回图2的说明。

调制器驱动模式被发送至调制器驱动器2006。调制器驱动器2006与上述调制器驱动模式相应地驱动调制器2005。

调制器2005例如是透射型液晶元件或lcos(liquidcrystalonsilicon:液晶覆硅)、dmd(digitalmirrordevice:数字微镜器件)等。

调制器2005和调制器驱动器2006也可以构成为一个元件部件。

以下对于调制器2005设想为lcos方式进行说明。

从上述光源元件2003出射的光被上述调制器2005调制,对投影部2007投射。

投影部2007可以列举例如反射镜等反射物或屏幕等散射物、或者棱镜、半反射镜、透镜等。另外,也可以是它们多个的组合。

通过追加投影部2007的结构或者其他构成要素,本发明的影像显示装置10可以考虑覆盖装置用户20的视野整体的不透明的护目镜这样的方式,和装置用户20能够辨认外部环境的在视野的一部分辨认影像的透射型方式。以下说明设想为透射型的方式。

在透射型的方式下,装置用户20如图7a、图7b、图7c所示地辨认影像。即,装置用户20能够将图7a这样的外部环境和图7b这样的虚拟影像7001重叠,像图7c那样地辨认。

另外,影像显示装置10具有对装置用户20的双眼投射影像的方式、和仅对一只眼投影的方式。图2中设想为仅对一只眼投影的情况,对双眼投影的情况下,构成为具有2个投影部2007以使来自调制器2005的光对左右双眼入射。或者可以采用具有右眼用和左眼用两个影像显示部1001整体的结构,投影带有视差的不同的图像,成为立体影像。

装置用户20通过观测来自上述投影部2007的光,能够将与上述输入的影像信息对应的光辨认为影像。

设定控制部2008能够接收控制信号,变更影像信号处理部2001的设定。

影像显示部1001具有两种以上用于显示影像的显示方法。图4a、4b、4c、4d中例示了显示方法。影像信息例如作为平均每1秒n幅静止图像按规定的顺序排列而成的动态图像信息处理,n是1以上的正数。此时将n称为帧率,用帧每秒(fps:flamespersecond)表示每秒的静止图像数。帧率现在一般是例如30fps或60fps等。图4的例子中相对于影像信息的帧率,变更影像显示部1001的显示次数。

图4a中例示了第一显示方法。第一显示方法中影像显示部1001相对于帧率n每1/n秒变更1次显示影像。将显示影像称为帧。

本实施中,以场序方式(色彩时分方式)为例进行说明。即相对于一帧的显示,影像显示部1001将影像信息分割为红、绿、蓝的原色成分,在将1/n秒进而分割为3部分的时间内分别显示各颜色成分的影像。

例如在帧1的显示期间的最初,使lcos的调制器2005的显示成为与从帧1的影像信息分割得到的红色成分对应的设定(1r),使红色led3001在比1/(3n)秒更短的规定时间(期间1r)内发光。接着,调制器2005成为与帧1的绿色成分对应的设定(1g),使绿色led3002在比1/(3n)秒更短的规定时间(期间1g)内发光。进而使调制器2005成为与帧1的蓝色成分对应的设定(1b),使蓝色led3003在比1/(3n)秒更短的规定时间(期间1b)内发光。通过高速地依次进行各颜色成分的显示,被佩戴装置的观测者辨认为三原色的成分混合得到的全彩的图像。

对于显示影像的帧2、帧3也同样地进行这样的各颜色成分的显示。图4a~d中记载至帧3,但对于其之后的帧也反复执行同样的处理。

图4b中例示了第二显示方法。第二显示方法中与图4a的第一显示方法相比,将与各帧对应的调制器2005的各颜色成分的显示时间进一步分割为2部分,在将与显示影像的帧率n对应的1/n秒分割为6部分得到的期间内显示一个颜色成分。因为以第一显示方法的2倍的更新速度驱动调制器2005,所以将该第二显示方法称为2倍速驱动。

进而通过使调制器2005和光源元件2003的驱动速度高速化,也能够实现3倍速、4倍速及其以上的显示方法。变更调制器2005和光源元件2003的驱动速度,意即变更液晶元件或者反射镜阵列元件的像素信息的更新周期。图4d中示出了3倍速驱动的时序图。

图4c中示出了2倍速驱动时的变形例。调制器2005和光源元件2003的驱动周期与图4b的显示方法相同。根据原始的影像信息的帧1和帧2和其他帧的影像生成中间帧即帧1.5,按帧1、帧1.5、帧2的顺序显示,由此对于观测者而言辨认为更加流畅的图像。中间帧的生成由影像处理部1008实施。

例如即使如图4d那样是比2倍速更快的3倍速或4倍速等更新速度,也能够生成中间帧,并不限于2倍速。

通过按1倍速显示、2倍速显示、3倍速显示这样提高倍速,或者生成中间帧,装置用户20难以察觉色分离,由此不适感减少,图像的运动变得流畅,但是耗电量增大。

显示控制部1002经由影像显示部1001的设定控制部2008发送指示显示方法的切换的控制信号。

影像处理部1008能够对从影像信息源1007输入的影像信息施加变化并将其输出至影像显示部1001。

影像信息例如是每1帧包括纵向h个(h是1以上的整数)、横向v个(v是1以上的整数)的h×v个像素的数据的信息。

图像的对比度变更指的是使颜色的明暗的差异变化的处理,是将对于从影像信息源1007输入的像素值乘以高于1的比例系数得到的值作为对影像显示部1001输出的像素值的处理。

图像的亮度变更指的是对于像素值使其增加指定的值作为输出的像素值的处理,是对于从影像信息源1007输入的像素值加上任意的值作为对影像显示部1001输出的像素值的处理。

影像处理部1008进行与来自控制部1003的信号相应地提高或者降低图像的对比度、和/或提高或者降低图像的亮度等处理。

影像处理部1008也可以与来自控制部的信号相应地变更关于图像的其他参数、例如锐度、彩度、色相。

影像处理部1008也能够与来自控制部1003的信号相应地切换为不进行这些处理就将影像信息发送至影像显示部1001。

例如对于图8a所示的影像,减弱对比度时成为图8b这样的影像。另一方面,减弱图8a的影像的锐度时成为图8c这样的影像。如后所述,装置用户20的视点位置不在显示图像的影像上的情况下,通过减弱对比度和锐度,能够减轻装置用户20的眼的疲劳。

3.装置用户的运动和影像的控制

第一传感器1004是用于检测装置用户20的头部的旋转的传感器,例如是陀螺仪传感器。第一传感器1004输出表示规定时间的头部的运动的三维运动矢量。第二传感器1005是用于检测视线的运动和注视点的位置的视线传感器,输出表示装置用户20的规定时间的视线的运动的二维运动矢量或三维矢量。

运动判断处理部1006根据第一传感器1004和第二传感器1005的输出判断装置用户20的运动状况。具体而言,是头部的运动、视线的运动、头部的运动和视线的运动的方向这3项。对于根据传感器输出判断这3个项目的处理在后文中叙述。另外,运动判断处理部1006判断注视点是否位于影像显示装置生成的虚拟影像7001上,对于该处理也在后文中叙述。

控制部1003根据上述运动判断处理部1006的判断结果,按照图5确定处理内容,对显示控制部1002指示影像显示部1001的显示速度,并且对影像处理部1008指示与影像的参数相关的处理。

在图5的模式1下,是不存在装置用户20的头部的运动,不存在视线的运动,注视点位于虚拟影像上的情况。此时,装置用户20是静止的,因此也难以发生对装置的振动和装置与装置用户20的位置偏差。另外也不存在眼球的移动。也难以发生色分离等装置用户20感到不适的现象。这样的情况下,考虑不适感的影响的必要性较低,因此控制部1003指示处理a。

处理a指的是将影像显示部1001的显示方法设定为1倍速驱动,不进行影像处理部1008的影像处理,不对来自影像信息源的影像施加变更就传输至影像显示部1001的处理。这是耗电最少的处理。

在图5的模式2下,与模式1相比,第二传感器1005检测出的注视点不位于虚拟影像上这一点不同。此时,装置用户20是停止的,而且并没有在观看虚拟影像7001,辨认性的重要度降低,因此控制部1003指示处理b。

处理b指的是将影像显示部1001的显示方法设定为1倍速驱动,用影像处理部1008将影像的对比度和亮度降低规定量的处理。

图5的模式3、模式5、模式8是检测出装置用户20的头部的运动、或者检测出视线的运动中的某一方,并且注视点位于虚拟影像上的情况。

在这些模式下,装置用户20不是静止的,影像显示装置10的装置用户20感到不适的可能性增加,因此考虑不适感的必要性提高。为了减少不适感,控制部1003指示处理c。

在处理c中,将影像显示部1001的显示方法设定为更新速度更快的3倍速,另一方面,使影像处理部1008的影像处理恢复为初始值。

图5的模式4、模式6、模式9是检测出装置用户20的头部的运动、或者检测出视线的运动中的某一方,并且注视点不位于虚拟影像上的情况。

在这些模式下,装置用户20不是静止的,考虑装置用户20的不适感的必要性提高,但是装置用户20并没有在观看虚拟影像6001,辨认性的重要度低,因此控制部1003指示处理d。

在处理d中,将影像显示部1001的显示方法设定为更新速度更快的3倍速,另一方面,用影像处理部1008将影像的对比度和亮度降低规定量。

在图5的模式7下,检测出了装置用户20的头部的运动,并且检测出了视线的运动。此时上述头部的运动方向与上述视线的运动方向是大致相同的方向的情况下,眼球运动是所谓扫视(saccade:断续性运动)的可能性高,装置用户20既没有辨认外部环境也没有辨认虚拟影像7001的可能性高。这样的情况下也需要考虑装置用户20对影像的不适感,但是虚拟影像的辨认性的重要度低,因此控制部1003指示上述处理d。

图6是用于实现图5中表示的由模式确定的控制方式的流程图,用控制部1003和运动判断处理部1006执行。

将主体电源开关接通时,或者存在来自装置用户20的指示时,从步骤s010起开始处理。

在步骤s020中,控制部1003进行初始设定和第一传感器1004和第二传感器1005的通电处理。在初始处理中,将影像显示部1001的显示方法设定为2倍速,将影像处理部1008的各种参数设定为规定的初始值。

在步骤s030中,运动判断处理部1006从第一传感器1004取得传感器输出。

在步骤s040中,运动判断处理部1006从第二传感器1005取得传感器输出。

在步骤s050中,运动判断处理部1006根据第一传感器的输出判断头部的旋转速度的大小是否在规定值a1(a1是正的值)以上,设判断结果为x。如果该检测结果在规定值a1以上则x为真(‘1’),如果不足a1则x为假(‘0’)。

在步骤s060中,运动判断处理部1006根据第二传感器的输出判断视线的移动速度的大小是否在规定值s1(s1是正的值)以上,设判断结果为y。如果该检测结果在规定值s1以上则y为真(‘1’),如果不足s1则y为假(‘0’)。

在步骤s070中,运动判断处理部1006根据第二传感器的输出判断视线的位置(注视点)的二维坐标是否位于虚拟图像上(规定的范围内),设判断结果为z。注视点的位置在规定的范围内的情况下z为真(‘1’),注视点的位置在规定的范围外的情况下z为假(‘0’)。

在图5中示出了上述x、y、z及其值,请参考。

在步骤s080中,运动判断处理部1006基于上述判断结果x与上述判断结果y的逻辑与进行条件分支。如果x·y=0则前进至步骤s110,如果x·y=1则前进至步骤s090。

在步骤s090中,运动判断处理部1006基于上述判断结果x与上述判断结果y的逻辑异或(xor)进行条件分支。如果xxory=1则前进至步骤s111,如果xxory=0则前进至步骤s100。

在步骤s110中,如果z为真则前进至步骤s120,控制部1003指示处理a,如果z为假则前进至步骤s130,控制部1003指示处理b。

在步骤s100中,运动判断处理部1006对于第一传感器1004的输出即头部的移动速度的方向、与第二传感器1005的输出即视线的移动方向进行比较,判断运动矢量的方向是否大致一致。对于该判断方法,在后文中叙述。

在步骤s111中,基于判断结果z进行条件分支。如果z为真则前进至步骤s140,控制部1003指示处理c,如果z为假则前进至步骤s150,控制部1003指示处理d。

在步骤s160中,判断是否连续地实施本流程的设定。该设定可以由装置用户20设定或者变更设定,也可以设定为默认。如果设定有效则前进至待机步骤s170,如果设定无效则前进至结束步骤s180。

在步骤s170中,进行规定时间(300毫秒至10秒程度)的待机后,返回步骤s030。

在步骤s180中实施第一传感器1004和第二传感器1005的电源切断处理和暂停设定。

在结束步骤s190中结束处理。

影像显示装置10具有存储部1010。控制部1003在变更了影像显示部1001的显示方法时、或者变更了影像处理部1008的处理方式时,将进行变更的历史记录和时刻等记录在存储部1010中。

频度判断处理部1011在存储部1010中记录的各处理的变更历史记录在规定时间内超过了规定次数的情况、例如3天之间进行了5次变更的情况下,对于影像信息源1007请求进行与变更历史记录对应的影像信息的设定变更。影像信息的变更请求例如在图6的步骤s180的结束处理的时刻进行,影像信息的变更指的是图像的对比度、锐度、彩度、色相、图像的亮度等参数的变更。

4.视线传感器

介绍第二传感器1005即视线传感器的一例。

如图11a所示是具备传感器a元件1101和传感器b元件1102和检测控制器1103的结构。传感器a元件1101检测出运动时,检测控制器1103使传感器2元件1102起动,命令传感器b元件输出更精密的数据。

图11b表示更具体的结构。适合安装在图1b、图1d那样的眼镜型的装置的框架部分。视线传感器能够检测装置用户20的眼1111的运动,由出射红外光的第一投光部1112和第二投光部1113、第一受光器1114和第二受光器1115、比较器1116、第一摄像机1117和第二摄像机1118、电流控制部1119、运动检测处理部1120、暂停控制部1121构成。

从第一投光部1112和第二投光部1113出射的红外光对装置用户20的眼1111投影并被反射。反射的红外光对第一受光器1114和第二受光器1115入射。第一受光器1114和第二受光器1115相对于眼1111设置在左右不同的方向,受光量因眼黑和眼白的位置而变化。因为在眼1111的左右配置第一受光器1114和第二受光器1115,所以眼1111位移时的受光量的变化因受光器而不同。通过用比较器1116根据第一受光器1114的受光量和第二受光器1115的受光量求出差,能够检测眼1111的运动。这是被称为巩膜反射法的检测方法。

运动检测器1120在比较器1116的输出在规定值以上的情况下判断检测出眼1111的运动,输出运动检出信号,在比较器1116的输出小于规定值的情况下判断为眼1111未运动,输出运动未检出信号。

从运动检测器1120接收了运动检出的信号时,暂停控制部1121使第一摄像机1117和第二摄像机1118成为能够拍摄影像的摄像状态,这些摄像机用从眼1111反射的红外光拍摄眼1111。根据用第一摄像机1117和第二摄像机1118拍摄的影像,用未图示的图像处理部进行图像处理推测更详细的视线的运动和视点的位置。图像处理使用暗瞳孔法或角膜反射法等。

从运动检测器1120接收了运动未检出的信号时,暂停控制部1121使第一摄像机和第二摄像机内的一部分功能停止而使其成为抑制耗电的暂停状态。

运动检测处理部1120通过将运动检出或运动未检出的信号发送至电流控制部1119,而变更对第一投光部1112和第二投光部1113的供电。进行控制以使摄像状态下的电流量大于暂停状态下的电流量。

一般而言摄像机元件比受光器耗电更高,并且检测所需的光量也更多。因此,与总是使摄像机元件成为摄像状态相比,用仅在受光器检测出粗略的运动的情况下使摄像机元件成为摄像状态的本控制方法抑制装置的耗电。

本实施例中例示了投光部为两个的情况,但个数不限于此。可以具有更多的投光部。另外,也可以是进行控制以使各投光部的发光时序不同,受光器或摄像机元件与各投光部的发光对应地取得数据的结构。

另外,关于摄像机元件和受光器的个数,例示了各两个的情况,但个数不限于此。另外,受光器和摄像机元件也可以构成为一个元件,例如可以使摄像机元件的一部分像素构成受光器。

5.视点的偏差修正和注视点位置的检测

在图6所示的初始设定步骤s020中,可以进行第二传感器1005的初始化处理。第二传感器1005是检测装置用户20的视线的传感器的情况下,存在每当使用装置时在装置用户20的注视点与第二传感器的位置之间产生偏差的可能性。

为了修正该偏差,运动判断处理部1006在初始化处理时在影像显示部1001上如图12a所示地在显示区域中显示对角线虚拟影像1201,显示提示装置用户20注视其交点的文字。第二传感器1005检测出在注视点的位置静止了规定的秒数的情况下,判断装置用户20正在凝视虚拟影像1201的交点,将注视点的位置设定为第二传感器1005的基准位置p0(h0,v0)。

影像显示部1001的影像显示范围整体如虚拟影像1201那样是被p1(hmin,vmin)、p2(hmax,vmin)、p3(hmin,vmax)、p4(hmax,vmax)包围的四边形时,h0=(hmax-hmin)/2,v0=(vmax-vmin)/2。

在图6的注视点判断步骤s070中以基准位置p0(h0,v0)为基准,判断第二传感器1005的检测结果是否位于影像显示部1001上显示的影像上(z是否‘1’)。如图12b所示,任意的虚拟显示影像1202在被q1(hl,vd)、q2(hl,vu)、q3(hr,vd)、q4(hr,vu)包围的区域中显示时(hmin≤hl≤hmax,hmin≤hr≤hmax,vmin≤vd≤vmax,vmin≤vu≤vmax),用第二传感器1005得到p(h,v)作为注视点的位置。此时,p(h,v)位于四边形q1q2q3q4内的情况下,运动判断处理部1006认为注视点的位置位于虚拟影像上,判断步骤s070的z为真。

基准位置的检测时刻,除了初始处理以外,也可以由控制器1020在装置用户20指定的时刻进行。也可以是装置用户20通过在指定的点的注视的前后故意进行特定的长度或特定的顺序的眨眼而对第二传感器1005指示检测时刻。

虚拟显示影像1202无需是四边形,也可以是三角形或圆形等其他图形。

6.头部的运动和视线的运动的方向

在运动判断部1006中,根据第一传感器1004的运动矢量输出和第二传感器1005的运动矢量输出,检测头部的运动与视线的运动的各运动方向是否一致。

设第一传感器1004的输出能够用三维矢量a0表达。装置用户20位于辨认虚拟影像7001的距离,设包括虚拟影像7001的四角的虚拟平面为s时,设三维矢量a0相对于平面s的正投影矢量为a。第二传感器1005的输出是三维矢量的情况下也进行同样的矢量变换处理。

装置用户20辨认虚拟影像7001的距离由影像显示部1001内的投影部2007等的光学结构确定,装置用户20通过眼球的焦点调节功能在离开规定距离的位置辨认虚拟影像7001。

第二传感器1005输出二维矢量b0时,考虑包括第二传感器1005的检测轴的三维空间中的平面t,将二维矢量b0变换为平面t上的三维矢量b1,设三维矢量b1相对于平面s的正投影矢量为b。用二维的输出得到第一传感器1004的检测结果的情况下也可以进行同样的矢量变换处理。

用对单一平面投影得到的矢量表达两个检测传感器的移动方向,设第一传感器1004的输出的移动矢量为a、第二传感器1005的输出的移动矢量为b时,用两个矢量所成的角(angle)θ=angle(a-b)的绝对值、与任意的值α(α为正的值)的比较判断大致一致。

即,如果θ≤α则判断移动方向大致一致,如果θ>α则判断移动方向不一致。

7.变形例

(1)第一传感器1004和第二传感器1005可以是加速度传感器、地磁传感器、gps、拍摄用户的摄像机、拍摄用户观看的外部环境影像的摄像机、测定用户的脉搏的传感器、测定用户的血流的传感器、时钟等。另外,第一传感器1004和第二传感器1005可以分别包括滤波器或放大器或电平转换器等。或者,也可以是包括比较器,与矢量值一同发送检测结果相对于阈值是高或低的二值的结果的结构。另外,也可以是在满足检测结果即运动的持续时间超过规定时间的情况、运动超过规定速度的情况、运动超过规定的变动量的情况中某一方以上的条件时,输出认为检测出运动的信号的结构。

(2)也可以由影像判断处理部1009判断图像的特征,以代替使用第一传感器1004或第二传感器1005的输出的运动判断处理部1006的判断处理。

影像判断处理部1009判断影像信息对于装置用户20是否存在使其产生显示的不适感的可能性。例如是如图9a所示物体在画面内连续移动的影像的情况下,预测装置用户20会使眼球运动而追踪移动的影像。另外,例如是如图9b所示影像中包括字符串等通过在画面内在纵、横、斜方向上连续地辨认而产生含义的内容的情况下,预想装置用户20会使眼球运动而使视点沿影像运动。

这样的图像能够通过由影像判断处理部1009进行数字图像的影像分析,参考图像帧之间的差分数据的量,而预先检测。

如图9a、图9b一般是预测会使视点运动的影像的情况下,影像判断处理部1009对控制部1003输出控制信号,使其应用处理c。

另外,影像显示装置10的投影部2007是透射型的情况下,影像判断处理部1009可以判断显示的影像是否与外部环境具有关联的影像、例如增强现实(ar:argmentedreality)的影像。影像判断处理部1009能够根据影像的元数据和附加信息判断影像的种类。例如图7b的虚拟影像7001显示了与图7a的外部环境相关联的信息,在这样判断是与外部环境具有关联的影像的情况下,即使检测出注视点位于虚拟影像7001以外的位置(z为假),也因为显示影像的辨认性的重要度高而对控制部1003指示应用图5的处理c。

(3)也可以采用图10a所示的显示方法作为影像显示部1001的显示方法。在图10a所示的显示方法中,设定为图4b的2倍速驱动,使光源的控制停止,使光源元件2003的红色led3001、绿色led3002、蓝色led3003的发光期间是大致同步。由此,使来自三个led的光混色,装置用户20将影像辨认为黑白的图像,在原理上不会发生色分离。也可以应用于图5中,认为影像考虑不适感的必要性较高的图5的处理c和处理d。

进而,影像信息中连续的多个帧的图像是大致相同的图像的情况下,也可以停止调制器2005的帧的更新。例如图10b那样,帧1和帧2和帧3是大致相同的图像的情况下,在与这些帧对应的期间,调制器2005持续显示同一个帧1。

是大致相同的图像,例如能够列举影像信息能够表达为h×v个像素信息(h、v都是正整数)时,在连续的帧之间、信息发生了变更的像素的数量与h×v个相比充分小的情况,和各像素的颜色信息能够表达为r、g、b的原色信息(例如r、g、b都是0~255的正整数)时、连续的帧之间各像素的r、g、b的值的变化充分小的情况等。

由此能够减少图像的闪烁。另外,调制器2005使用强介电液晶的情况下,为了多次显示同一帧,信息的消去和重新显示会耗费电力。通过停止调制器2005的帧更新有助于进一步减少耗电。也可以应用于图5的处理c和处理d。

(4)影像信息源1007也可以是从外部取得影像信息的结构。例如,可以是符合dvi、hdmi(注册商标)、displayport等影像传输标准的接收器,也可以是使用spi、i2c、rs232、usb等一般的电信号的传输方法的接收器,也可以是ethernet(注册商标)等有线网络接收器,也可以是无线lan或bluetooth(注册商标)等无线网络接收器。

另外,影像信息源1007可以包括通过接收压缩后的信息并解压缩成为影像信息的解码器,也可以包括接收加密的影像信息并解密的功能。

(5)电源部1012对影像显示装置10供电。电源部1012包括能够从外部电源充电的充电式电池、从可更换的一次电池取得要求的电力的电源电路、与插座等外部电源连接而取得要求的电力用的变换器、电力稳定电路中的一种以上作为电力源。另外,电源部1012也可以是在电力源之外,包括控制充电或供给电力等或者观测电力源用的电力控制用的集成电路的结构。

控制部1003从电源部1012取得电力源的电能余量的信息,仅在电能余量高于规定值的情况下,控制使得影像处理部1008的影像处理工作。

控制部1003也可以是仅在电源部1012的电能余量高于规定值的情况下,能够变更影像显示部1001的显示方法以使显示周期缩短的结构。

控制部1003也可以是在电源部1012的电能余量低于规定值的情况下,变更影像显示部1001的显示方法以使显示周期延长的结构。

实施例2

图13是实施例2的说明图。仅说明与图1不同的部分。

第一传感器1304、第二传感器1305与影像显示装置130的壳体分离地设置。两个传感器都与实施例1同样地检测装置用户20的动作。

本实施例中,第一传感器1304与影像显示装置130之间的信息的传递经由通信部1013进行。通信部1013与第一传感器1304可以在物理连接的导线中用电信号的方式通信,也可以经由无线lan、bluetooth(注册商标)、zigbee(注册商标)等无线通信进行。第一传感器1304可以包括未图示的通信部构成。使用无线通信的情况下,第一传感器1304也可以从与影像显示装置130不同的电源供电。

关于第二传感器1305,也与第一传感器1305同样既可以用上述有线通信也可以用上述无线通信进行与通信部1013的信息传递。第二传感器1305也可以包括未图示的通信部构成。另外,使用无线通信的情况下,也可以从与影像显示装置130不同的电源给力。

运动判断处理部1006经由通信部1013接收第一传感器1304或第二传感器1305的输出。

图14、图15是本实施例的变形例。

图14所示的变形例中,第一传感器1404、第二传感器1405、运动判断处理部1406与影像显示装置140的壳体分离地设置。运动判断处理部1406与控制部1003之间的信息的传递经由通信部1013进行,可以用上述有线通信进行也可以用上述无线通信进行。另外,第一传感器1404、第二传感器1405、运动判断处理部1406也可以是包括在同一壳体内的结构。另外,运动判断处理部1406也可以包括未图示的通信部构成。

图15所示的变形例中,第二传感器1305与影像显示装置150的壳体分离地设置。第二传感器1305与运动判断处理部1006之间的信息的传递经由通信部1013进行,如上所述可以用有线通信进行也可以用无线通信进行。

分离地设置的第一传感器1304、第二传感器1305无需佩戴在装置用户20上,只要能够检测装置用户20的头的运动和眼的运动等即可,例如可以是使用摄像机和图像处理的传感器。设想装置用户20在固定的位置观看影像同时进行作业,在作业台上设置摄像机型的第一传感器1304和第二传感器1305的情况。

另外,装置用户20站立或者坐在固定位置使用影像显示装置130、影像显示装置140、影像显示装置150的情况下,可以通过在装置用户20的下方设置测定重心位置的位移的压力分布测定器等检测传感器,作为第一传感器1304或第二传感器1305。

实施例3

图16是实施例3的说明图。仅说明与图1不同的部分。

本实施例中,存储部1610、频度判断处理部1611与影像显示装置160分离地设置在服务器1601中。存储部1610、频度判断处理部1611的动作分别与实施例1的存储部1010、频度判断处理部1011相同。

存储部1310与控制部1003之间的信息的传递经由影像显示装置160的通信部1013和服务器1601的通信部1612进行,通信部1013与通信部1612之间可以在物理连接的导线中用电信号的方式通信,也可以经由无线lan、bluetooth(注册商标)、zigbee(注册商标)等无线通信进行。

频度判断处理部1611与影像信息源1007之间的信息的传递也同样经由通信部1013和通信部1612进行,如上所述可以用有线通信进行也可以用无线通信进行。

另外,图17示出了在包括多个影像显示装置160的系统中的控制方法。其为第一影像显示装置1711、第二影像显示装置1712、第三影像显示装置1713、第四影像显示装置1714,能够分别经由网络1730与服务器1601通信。

第一影像显示装置1711被第一用户1721使用,第二影像显示装置1712被第二用户1722使用,第三影像显示装置1713被第三用户1723使用,第四影像显示装置1714被第四用户1724使用。

第一影像显示装置1711、第二影像显示装置1712、第三影像显示装置1713、第四影像显示装置1714分别具有与影像显示装置160同等的性能。

服务器1601具有存储部1610和频度判断处理部1611,从第一影像显示装置1711、第二影像显示装置1712、第三影像显示装置1713、第四影像显示装置1714的控制部1003经由网络1730接收变更影像显示部1001的显示方法时、或者变更影像处理部1008的处理方式时的历史记录和时刻等。

服务器1601从由各影像显示装置发送的变更信息中提取共通的信息,用频度判断处理部1611在存储部1610中记录的各影像显示装置的处理是共通的、且该共通的处理在规定时间内超过了规定次数的情况下,对影像信息源1007请求变更影像信息。影像信息的变更例如是图像的对比度、锐度、彩度、色相、图像的亮度等参数的变更。

与网络1730连接的影像显示装置160的数量不限于本实施例中示出的数量,连接1台以上影像显示装置160即可。

关于实施例进行了上述记载,但本发明不限于此,对于本领域技术人员而言,当然能够在本发明的精神和附加的要求的权利范围内进行各种变更和修正。

符号说明

10…影像显示装置

1001…影像显示部

1002…显示控制部

1003…控制部

1004…第一传感器

1005…第二传感器

1006…运动判断处理部

1007…影像信息源

1008…影像处理部

1009…影像判断处理部

1010…存储部

1011…频度判断处理部

1012…电源部

1013…通信部

1020…控制器

20…装置用户

2001…影像信号处理部

2002…光源元件电源控制部

2003…光源元件

2004…光源驱动器

2005…调制器

2006…调制器驱动器

2007…投影部

2008…设定控制部

3001…红色led

3002…绿色led

3003…蓝色led

3004、3005、3006…限流电阻

7001…虚拟影像

1101…传感器a

1102…传感器b

1103…检测控制部

1111…眼

1112、1113…投光部

1114、1115…受光器

1116…比较器

1117、1118…摄像机

1119…电流控制部

1120…运动检出处理部

1121…暂停控制部

1201…虚拟影像

1202…虚拟显示影像

130…影像显示装置

1304…第一传感器

1305…第二传感器

140…影像显示装置

1404…第一传感器

1405…第二传感器

1406…运动判断处理部

150…影像显示装置

160…影像显示装置

1601…服务器

1610…存储部

1611…频度判断处理部

1612…通信部

1711…第一影像显示装置

1712…第二影像显示装置

1713…第三影像显示装置

1714…第四影像显示装置

1721…第一用户

1722…第二用户

1723…第三用户

1724…第四用户

1730…网络。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1