影像系统的制作方法

本发明涉及影像系统，尤其涉及具有头戴式显示器与影像生成装置的影像系统。

背景技术：

头戴式显示器通过用户装戴在头部来使用，并且在设置于用户的眼睛的近距离处的画面上显示影像。由于用户在装戴头戴式显示器时看不到除了所显示的影像以外的内容，因此可享受与虚拟空间成为一体的感受。作为与上述内容所相关的技术，专利文献1中公开有可检测用户的移动，并且可在头戴式显示器中显示对应于用户的移动的图像的图像生成装置及图像生成方法。

现有技术文献

专利文献

专利文献1：日本特开2013-258614号公报

技术实现要素：

发明所要解决的问题

利用上述技术，头戴式显示器可在画面上显示与用户的视线方向相对应的影像。然而，在大多数的情况下，头戴式显示器所显示的影像为动画。因此，数据量大且当从影像生成装置向头戴式显示器传输原封不动的影像时，有可能图像的更新延迟且影像被中断。并且，近来，高清晰监视器也增加，并且期望着处理大容量的影像数据。当考虑到影像数据的发送与接收时，可使影像生成装置与头戴式显示器一体化，但由于头戴式显示器需要通过用户的装戴来使用，因而期望小型化，并且难以结合到框体中。因此，实际上，利用无线来使影像生成装置与头戴式显示器相连接，但由于影像的数据量大，因而向用户提供的影像有可能发生停滞的情况。

本发明鉴于这种技术问题而完成，其目的在于，提供一种涉及可抑制头戴式显示器与影像生成装置之间的通信停滞的影像系统的技术。

解决问题的手段

为了解决上述技术问题，本发明的一实施方式为影像系统，上述影像系统包括通过装戴在用户的头部来使用的头戴式显示器及用于生成头戴式显示器向用户演示的影像的影像生成装置。就该影像系统而言，头戴式显示器具有：影像演示部，用于向用户演示影像；拍摄部，用于拍摄包括用户的眼睛的图像；以及第一通信部，将拍摄部所拍摄的图像发送给影像生成装置，并从影像生成装置接收由影像演示部演示的影像。影像生成装置具有：第二通信部，从头戴式显示器接收由拍摄部所拍摄的图像，并将影像发送给头戴式显示器；凝视点获取部，基于拍摄部所拍摄的图像来获取影像上的用户的凝视点；以及计算部，基于凝视点获取部所获取的凝视点来设定以凝视点为基准的规定区域，对于规定区域之外，生成与针对规定区域计算的影像相比每单位像素数的数据量少的影像。

影像生成装置还具有用于判定第一通信部与第二通信部之间的通信环境的通信判定部，计算部在通信环境较差的情况下，与良好的情况进行比较，还可减少影像的数据量。

通信判定部还可基于包括通信参数的最新数据的信息来判定通信环境，上述通信参数包括电波强度、通信速度、数据丢失率、吞吐量、噪音情况或距路由器的物理距离中的至少一种。

影像生成装置还具有基于凝视点获取部所获取的凝视点来获取用户的凝视点的移动的凝视点移动获取部，计算部可根据凝视点的移动来改变规定区域的大小或形态中的至少一种。

计算部将规定区域的形态设定为具有长轴及短轴的形态，或设定为具有长边及短边的形态，并且根据凝视点的移动方向来设定规定区域的长轴或长边方向。

在规定区域之外，计算部还可生成根据距凝视点的距离来改变每单位像素数的数据量的影像。

在规定区域之外，计算部还可生成每单位像素数的数据量随着距凝视点的距离变大而连续性地变小的影像。

计算部还能够以每单位像素数的数据量不低于下限值的方式生成影像。

此外，以上的构成要素的任意组合、在方法、装置、系统、记录介质、计算机程序等之间转换的本发明的表达也作为本发明的实施方式而有效。

发明效果

根据本发明，包括头戴式显示器的影像系统可适当地减少通信数据量，由此可以在不具有停滞的情况下为用户提供违和感较少的影像。

附图说明

图1为示意性地示出实施方式的影像系统的概况的图。

图2为示出实施方式的影像系统的功能结构的示例的框图。

图3为示出实施方式的凝视点获取部所获取的用户的凝视点的一例的图。

图4(a)～图4(b)为示出计算部所设定的规定区域的示例的图。

图5为示意性地示出影像显示区域的X轴与每单位像素数的数据量之间的关系的图。

图6为示出实施方式的凝视点移动获取部所获取的凝视点的移动的一例的图。

图7(a)～图7(b)为示出影像显示区域的X轴与每单位像素数的数据量之间的关系的另一例的示意图。

图8为示出有关实施方式的影像系统的处理例的时序图。

图9为示出有关实施方式的通信判定的处理的一例的流程图。

具体实施方式

对本发明的实施方式的简要进行叙述。图1为示意性地示出实施方式的影像系统1的概况的图。根据实施方式的影像系统1包括头戴式显示器100及影像生成装置200。如图1所示，头戴式显示器100通过装戴在用户300的头部来使用。

影像生成装置200用于生成头戴式显示器100向用户所演示的影像。虽然没有限定，但举例而言，影像生成装置200为固定式游戏机、便携式游戏机、个人计算机(PC，Personal Computer)、平板电脑、智能手机、平板手机、视频播放器、电视等的可再生影像的装置。影像生成装置200通过无线或有线与头戴式显示器100相连接。在图1中所示的例中，影像生成装置200以无线与头戴式显示器100相连接。影像生成装置200与头戴式显示器100之间的无线连接可通过例如，已知的无线保真(Wi-Fi，注册商标)或蓝牙(Bluetooth，注册商标)等的无线通信技术来实现。虽然没有限定，但举例而言，头戴式显示器100与影像生成装置200之间的影像传输根据无线显示(Miracast，商标)或无线千兆比特(WiGig，商标)、无线家庭数字接口(WHDI，商标)等标准执行。

头戴式显示器100包括框体150、装戴件160以及头戴式耳机170。框体150用于收容图像显示组件等用于演示给用户300影像的图像显示系统或未图示的无线保真(Wi-Fi)模块或蓝牙(Bluetooth，注册商标)模块等无线传输模块。装戴件160用于将头戴式显示器100装戴在用户300的头部。装戴件160例如由带子或具有伸缩性的带子等实现。若用户300利用装戴件160来装戴头戴式显示器100，则框体150配置于覆盖用户300的眼睛的位置。因此，当用户300装戴头戴式显示器100时，用户300的视界被框体150遮挡。

头戴式耳机170用于输出影像生成装置200所再生的影像的声音。头戴式耳机170可以不固定于头戴式显示器100。即使在用户300利用装戴件160来装戴了头戴式显示器100的状态下，也可自由装卸头戴式耳机170。

图2为示出实施方式的影像系统1的功能结构的示例的框图。头戴式显示器100包括影像演示部110、拍摄部120以及第一通信部130。

影像演示部110用于向用户300演示影像。影像演示部110例如，由液晶显示器或有机电致发光(electroluminescence)来实现。拍摄部120用于拍摄包括用户的眼睛的图像。拍摄部120例如，由框体150所收容的电荷耦合器件(CCD，charge-coupled device)或互补性氧化金属半导体(CMOS，complementarymetal oxide semiconductor)等图像传感器来实现。第一通信部130借助无线或有线来与影像生成装置200相连接，并且用于执行头戴式显示器100与影像生成装置200之间的信息传输。具体而言，第一通信部130用于将拍摄部120所拍摄的图像发送给影像生成装置200，并从影像生成装置200接收由影像演示部110演示的影像。第一通信部130可由例如，无线保真(Wi-Fi)模块或蓝牙(Bluetooth)模块等无线传输模块来实现。

接着，对图2的影像生成装置200进行说明。影像生成装置200包括第二通信部210、通信判定部220、凝视点获取部230、凝视点移动获取部240、计算部250及存储部260。借助无线或有线，第二通信部210与头戴式显示器100相连接。第二通信部210用于从头戴式显示器100接收拍摄部120所拍摄的图像，并向头戴式显示器100发送影像。本说明书中的所谓“影像”是指下文中叙述的计算部250所生成的影像。凝视点获取部230基于拍摄部120所拍摄的图像来获取影像上的用户的凝视点P。凝视点P的位置例如，通过已知的视线检测技术来获取。例如，凝视点获取部230预先获取图像显示位置与用户的眼睛的基准点及动点的关系来作为校准信息。当再生影像时，拍摄部120以与校准时相同地方式拍摄用户300的眼睛的图像，并且凝视点获取部230基于图像来获取基准点及动点的位置信息。基于所获取的位置信息与预先所获取的校准信息，凝视点获取部230推定影像上的用户的凝视点P。在这里，所谓“基准点”是指例如，相对于头戴式显示器的移动较少的眼角等的点，所谓“动点”是指根据用户300正在看的位置而移动的虹膜或瞳孔等。以下，所谓“凝视点P”是指凝视点获取部230所推定的用户的凝视点。

图3为示出实施方式的凝视点获取部230所获取的用户300的凝视点P的一例的图。影像演示部110实际上通过影像显示区域的显示像素在二维正交坐标中显示影像中的三维对象。在图3中，分别将头戴式显示器100的影像显示区域的横向及纵向设定为X轴、Y轴，将凝视点P的坐标以(x，y)来表示。如图3所示，凝视点P的位置还可在用户正在看的影像上表示。

返回到图2的说明。基于凝视点获取部230所获取的凝视点P，计算部250设定以凝视点P为基准的规定区域A。并且，对于规定区域A之外的外部区域B，计算部250生成与针对规定区域A计算的影像相比每单位像素数的数据量D较少的影像。在下文中进行详细说明，但所谓“每单位像素数的数据量D”是一种用于比较计算部250在规定区域A与外部区域B中如何进行不同的处理由影像生成装置200生成并发送给头戴式显示器100的影像的指标，例如，表示每像素的数据量D。

接着，利用图4及图5来说明计算部250所执行的处理。图4的(a)部分-(b)部分为示出计算部250所设定的规定区域A的示例的图。利用图4的(a)部分来对计算部250将距凝视点P的距离为a以下的区域设定为规定区域A的情况进行说明。规定区域A可以为封闭区域，但在图4的(a)部分中示出设定为圆形的情况的示例，在图4的(b)部分中示出设定为矩形的情况的示例。像这样，若规定区域A为简单的形态，则可减少计算部250用于根据凝视点P的移动来设定规定区域A的计算。

通常，人眼的视力与包括中央凹的中心视力区域的视力程度一样高，当从中央凹偏离时则急剧下降。众所周知，人眼可详细看到的范围为最多在中央凹的中央5°以内的范围。因此，计算部250还可大概计算头戴式显示器100的显示像素与用户300的眼睛的中央凹之间的距离之后，以用户300的凝视点P为基准，将对应于中央凹5°的区域的影像显示区域上的范围设定为规定区域A。鉴于头戴式显示器100的液晶显示器所采用的光学系统及上文中叙述的人的视觉特性等(例如，中心视力、年龄、视野角度等)，用户300所看到时的具体的规定区域A的大小可通过试验来确定。

图5为例示用于表示影像显示区域的X轴与每单位像素数的数据量D之间的关系的坐标图的图。坐标图的横轴对应于影像显示区域的X轴，坐标图的纵轴表示在相对于包括凝视点P的X轴平行的线上的每单位像素数的数据量D。图5为计算部250将距凝视点P的距离a的范围内设定为规定区域A的示例。首先，计算部250从存储于存储部260中的影像数据中提取下一次需要向用户演示的影像的影像数据。计算部250还可获取影像生成装置200的外部影像数据。对于该影像数据，计算部250在X轴为小于(x－a)或大于(x+a)的位置中进行使每单位像素数的数据量D减小的计算。作为减少数据量的方法，可使用例如，通过删除影像的高频成分来进行压缩等的已知的方法。由此，可获取通信时的数据量整体上变小的影像。

对删除影像的高频成分的方法的示例进行说明。具体而言，计算部250在规定区域A的内侧与外侧改变从三维模型的影像数据制作出二维图像的过程中采用的采样率。对于规定区域A之外侧，与规定区域A内部相比，计算部250降低采样率。并且，对于未采样的区域，计算部250通过插补处理来生成图像。插补处理为例如，公知的双线性或样条插补。由此，与以高采样率来使影像的全区域形成图像的情况相比，图像模糊。其结果，由于图像的高频成分被删除，因而压缩时的数据量变小。进而，图像形成时的采样率下降，因此可高速形成图像。

返回到图2的说明。通信判定部220用于判定第一通信部130与第二通信部210之间的通信环境。在通信环境不好的情况下，与通信环境良好的情况相比，计算部250还可使上述影像的数据量变小。

根据通信环境的判定结果，计算部250还可使外部区域B中的每单位像素数的数据量D减少。例如，将通信环境从良好的方面开始分为C1、C2、C3三个阶段，并且将各个阶段中使用的数据压缩率的值设定为E1、E2、E3，并由存储部260存储。通信判定部220用于判定通信环境相当于从C1至C3当中的哪一阶段。计算部250从存储部260获取根据判定结果的数据压缩率的值，并且以所获取的数据压缩率来压缩外部区域B的影像数据并生成影像。

由此，就从影像生成装置200发送给头戴式显示器100的影像而言，数据量根据通信环境被调节，因此可以避免因传输时间的延迟等导致的影像的停滞。并且，由于在用户300的凝视点P附近，图像质量无变化，因此即使数据量减少，也可防止给用户300带来违和感。并且，可无延迟的情况下，向用户提供拍摄部120所拍摄的反映了用户300的凝视点P的信息的影像。

通信判定部220还可基于包括通信参数的最新数据的信息来判定通信环境，上述通信参数包括电波强度、通信速度、数据丢失率、吞吐量、噪音情况或距路由器的物理距离中的至少一种。

通信判定部220还可用于监测通信参数，并基于通信参数来判定通信环境的好坏。通信判定部220向头戴式显示器100发送询问通信状况的消息。然后，例如，第一通信部130接收该消息，获取头戴式显示器100侧的通信参数，并将所获取的通信参数发送给影像生成装置200。进而，第二通信部210获取影像生成装置200侧的通信参数。由此，通信判定部220还可基于从头戴式显示器100接收的通信参数及第二通信部210所获取的通信参数来判定通信环境的好坏。在这里，所谓包括最新数据的信息还可以为例如，通信判定部220利用从一定数量的过去的观测值的移动平均的计算来获取的值。进而，与上述结构相同地，当利用以与通信环境相关联的方式设定的数据压缩率时，计算部250可生成适合于此时的通信环境的数据量的影像。因此，即使为通信环境不好或容易变化的位置，也可保持向用户演示的影像的帧速率，并且可提供用户看到后不产生违和感的影像。

凝视点移动获取部240还可基于凝视点获取部230所获取的凝视点P来获取用户300的凝视点P的移动。根据凝视点移动获取部240所获取的凝视点P的移动，计算部250至少改变规定区域A的大小或形态中的至少一种。

图6为示出实施方式的凝视点移动获取部240所获取的凝视点P的移动的示例的图。在图6中示出用户的凝视点P从P1移动至P2的状态。计算部250参照凝视点获取部230所获取的凝视点P与凝视点移动获取部240所获取的凝视点P的移动来设定规定区域A。在图6中示出的示例中，凝视点P处在P2的位置，凝视点的移动的方向用箭头表示。规定区域A无需以凝视点P为中心进行配置。例如，如图6所示，计算部250可将规定区域A的边界设定为不相对于凝视点P2等距离，并且以凝视点P的移动的移动方向宽且在规定区域A以内的方式设定。由此，头戴式显示器100对于用户300可提供在包括用户300视线指向的方向的宽范围内保持图像质量的影像。如上所述，如图4的(a)部分及(b)部分所示，规定区域A可以为圆形或矩形。

并且，计算部250能够以规定区域A的形态具有长轴及短轴或长边及短边的形态的方式设定，还可根据凝视点P的移动方向来设定规定区域的长轴或长边方向。

在图6中，计算部250将规定区域A的形态设定为椭圆形。计算部250基于凝视点移动获取部240所获取的凝视点P的移动来将规定区域A的形态设定为椭圆形。例如，以凝视点P为基准来配置规定区域A时，计算部250还能够以凝视点P的移动方向成为椭圆的长轴方向的方式设定。在这里，凝视点P为无需作为椭圆的中心，以凝视点P的移动的前进方向侧宽且处于椭圆内的方式来设定凝视点P与椭圆之间的位置关系。由此，影像演示部110可以向比凝视点P的移动少的方向移动更多的方向广泛地显示保持了图像质量的影像。并且，计算部250所设定的规定区域A的形态只要具有长轴及短轴或长边及短边的即可，并不限定于上述的椭圆。例如，当计算部250设定规定区域A的形态为长方形时，在采用将多个像素作为一块且以块单位压缩的压缩方法的情况下，与规定区域A为椭圆的情况时相比，可简化存在于规定区域A与规定区域A的边界上的块的重叠部分的计算。

在规定区域A之外，计算部250还可生成根据距凝视点P的距离来改变每单位像素数的数据量D的影像。

图7的(a)部分为在影像显示区域的X轴与每单位像素数的数据量D之间的关系在多个阶段中变化的情况的示意图。图7的(a)部分的下方的坐标图为上方所示出的影像显示区域的点划线上的每单位像素数的数据量D的变化的图。在图7的(a)部分的示例中，计算部250以凝视点P为基准设定规定区域A。进而，除了规定区域A的边界之外，设置边界来用于定义第一个外部区域B1的边界，使得包围A，设置边界来用于定义第二个外部区域B2，使得包围B1。将第二个外部区域B2的边界的外侧定义为B3。像这样，与不划分的情况相比，将外部区域B划分为多个区域可使规定区域A与外部区域B之间的边界上产生的图像质量之差变得更小。由此，在未将外部区域B划分为多个区域的情况相比，图7的(a)部分中所示的影像系统1可向用户300提供减少数据量的影响，使得更符合人的视觉认识。

在规定区域A之外，计算部250还可生成距凝视点P的距离越大连续性地使每单位像素数的数据量D减少的影像。

图7的(b)部分为连续性地使影像显示区域的X轴与每单位像素数的数据量D之间的关系产生变化的情况下的示意图。计算部250连续性地改变图7的(b)部分的纵轴与横轴之间的关系并作为梯度来进行了设定。由此，改变每单位像素数的数据量D的区域边界中的图像质量之差变小，并且可获取平滑的图像。

计算部250还能够以每单位像素数的数据量D不低于下限值DL的方式生成影像。

在图7的(a)部分-(b)部分的纵轴中，示出有关每单位像素数的数据量D的下限值DL。通常，在进行减少动画中的数据量的处理的情况下，根据图像处理的方法，尤其影像上的对象边界附近上有可能产生特有的移动的情况。并且，一般而言，众所周知的是，人的眼睛在周边视野中视力下降，但另一方面对于移动的情况较为敏感。因此，为了不生成这种影像，计算部250参照下限值DL来生成影像。由此，影像系统1可向用户300提供抑制了对周边视野区域的违和感的影像。就具体的下限值DL值而言，鉴于适合头戴式显示器100的图像显示系统及影像生成装置200的图像处理等，可通过实验来确定。

以下，参照图8及图9来说明本实施方式的使用例。图8为用于说明实施方式的头戴式显示器100及影像生成装置200的主处理流程的时序图。首先，用户300装戴头戴式显示器100，并视听影像演示部110所演示的影像。拍摄部120获取包括用户300的眼睛的图像(步骤S101)，第一通信部130向影像生成装置200发送图像(步骤S102)。

影像生成装置200的第二通信部210从头戴式显示器100接收包括眼睛的图像(步骤S201)。凝视点获取部230基于图像获取用户300的凝视点P(步骤S202)。并且，通信判定部220基于通信参数判定通信环境(步骤S203)。关于通信判定的详细内容在下文中叙述。接着，计算部250基于通信判定部220所判定的结果来设定数据的压缩率(步骤S204)。计算部250从存储部260获取将要向用户显示的影像的影像数据(步骤S205)。接着，计算部250由凝视点获取部230获取凝视点P的信息，并以凝视点P为基准来设定规定区域A(步骤S206)。对于外部区域B，计算部250生成与针对规定区域A计算的影像相比每单位像素数的数据量D较小的影像(步骤S207)。当生成数据量D小的影像时，计算部250参照基于通信结果所设定的压缩率，来确定外部区域B中的数据量D。接着，第二通信部210向头戴式显示器100发送计算部250所生成的影像(步骤S208)。头戴式显示器100的第一通信部130接收所生成的影像(步骤S103)，影像演示部110将该影像演示给用户300(步骤S104)。

图9为示出有关实施方式的通信判定的处理的示例的流程图。通信判定部220获取包括例如，电波强度、通信速度、数据丢失率、吞吐量、噪音情况或距路由器的物理距离中至少一种的通信参数的最新数据(步骤S211)。接着，通信判定部220基于所获取的最新数据及规定期间内的过去通信信息，计算出通信参数的平均值(步骤S212)。接着，通信判定部220基于所计算出的平均值来判定通信环境(步骤S213)。在再生影像期间，影像系统1反复进行图8及图9中所记载的处理。此外，在步骤S213中，如上所述，还可基于头戴式显示器100侧及影像生成装置200侧的通信参数的最新数据来进行通信判定。

如上所述，根据实施方式，以保持用户正在看的凝视点P附近的影像的图像质量的状态下，降低在远离凝视点P的位置上的图像质量，由于减少了影像生成装置200向头戴式显示器100传输的数据量，因此可向用户提供违和感少的影像。并且，通信时的数据量小，因此即使在通信环境恶化的情况下，可减少由此引起的数据传输延迟等的影响。因此，本发明的影像系统1可适合于例如在游戏机、计算机及便携式终端等使用的应用程序或游戏等的与用户300进行交互式沟通通信的装置。

以上，基于实施方式对本发明进行了说明。本领域技术人员应该理解，该实施方式为示例性的，可以对这些每个构成要素或每个处理过程的组合进行各种变形，并且这样的变形例也在本发明的范围内。

以上，基于实施方式对本发明进行了说明。本领域技术人员应该理解，该实施方式为示例性的，可以对这些每个构成要素或每个处理过程的组合进行各种变形，并且这样的变形例也在本发明的范围内。

并且，在上文中，关于凝视点获取部230安装在影像生成装置200上的情况进行了说明。然而，凝视点获取部230不限定于安装在影像生成装置200上的情况。例如，凝视点获取部230还可安装在头戴式显示器100上。在此情况下，使头戴式显示器100具有控制功能，通过头戴式显示器100的控制功能，还可赋予用于实现在凝视点获取部230中进行的处理的程序功能。由此，由于可省略从头戴式显示器100将包括用户300的眼睛的图像发送给影像生成装置200的步骤，因此影像系统1可抑制通信的带宽或有助于处理的高速化。

附图标记说明

1：影像系统

100：头戴式显示器

110：影像演示部

120：拍摄部

130：第一通信部

150：框体

160：装戴件

170：头戴式耳机

200：影像生成装置

210：第二通信部

220：通信判定部

230：凝视点获取部

240：凝视点移动获取部

250：计算部

260：存储部

产业可利用性

本发明可利用于包括头戴式显示器及影像生成装置的影像系统。