视频输出装置、三维视频观察设备、视频呈现系统和视频输出方法
【专利摘要】对象分类单元504将放置在虚拟三维空间中的对象，分类为要被显示在光学穿透型HMD上的对象和要被显示在通过光学穿透型HMD观察的监视器300上的对象。视频输出单元506基于对象分类单元504进行的分类，将每个对象的视频输出到监视器300或光学穿透型HMD。
【专利说明】视频输出装置、三维视频观察设备、视频呈现系统和视频输出方法
【技术领域】
[0001]本发明涉及一种视频输出装置、三维视频观察设备、包括视频输出装置和三维视频观察设备的视频呈现系统以及视频输出方法。
【背景技术】
[0002]近年来，用于呈现三维视频的技术的开发取得了进展，并且能够呈现具有深度的三维视频的头戴式显示单元(Head Mounted Display ;下文中称为“HMD”)变得普遍。在这些HMD中，还开发了一种光学穿透型HMD，其使用全息元件、半反射镜等来向用户呈现三维视频，而用户能够以穿透的方式观察HMD外部的状态。
[0003]近年来，电视监视器性能的提高取得了进展，并且能够呈现具有深度的三维视频的三维监视器已经变得普遍。尽管已经提出了用于实现如刚才所述的这样的三维监视器的不同的系统，但是所有系统通过向用户呈现视差图像来实现具有深度的三维视频展示。这样的三维监视器也可以类似于一般的电视监视器呈现二维视频。
【发明内容】
[0004]技术问题
[0005]佩戴光学穿透型HMD的用户也能够通过HMD观看电视监视器的视频。本申请的发明人认识到了使用两个显示器设备的新的视频展示，能够通过按照互锁的关系在光学穿透型HMD和电视监视器二者上呈现视频来实现的可能性。
[0006]鉴于如上所述的主题作出了本发明，本发明的目的是提供一种通过使用监视器和光学穿透型HMD 二者来展示三维视频的技术。
[0007]问题的解决方案
[0008]为了解决上述技术问题，本发明的一个模式是视频输出装置。该装置包括对象分类单元，其配置为将放置在虚拟三维空间中的对象分类为要在光学穿透型HMD上显示的对象和要在通过光学穿透型HMD被观察的监视器上显示的对象；和视频输出单元，其配置为基于由对象分类单元进行的分类将对象的视频输出到监视器或光学穿透型HMD。
[0009]本发明的另一个模式是三维视频观察设备。该设备包括用于观察帧序列类型的三维监视器的光学遮光器；和光学穿透型HMD。
[0010]本发明的另一个模式是视频呈现系统。该系统包括帧序列类型的三维监视器；三维视频观察设备，其包括了光学穿透型HMD和要被用于观察三维监视器的光学遮光器；对象分类单元，其配置为将放置在虚拟三维空间中的对象分类为要在光学穿透型HMD上显示的对象和要在三维监视器上显示的对象；和视频输出单元，其配置为基于由对象分类单元进行的分类将对象的视频输出到监视器或光学穿透型HMD。
[0011 ] 本发明的再一个模式是视频输出方法。在该方法中，处理器被执行为将放置在虚拟三维空间中的对象分类为要在光学穿透型HMD上显示的对象和要在由佩戴光学穿透型HMD的用户通过光学穿透型HMD观察的三维监视器上显示的对象，并且将每个对象的视频输出到监视器或光学穿透型HMD。
[0012]本发明的另一个模式是程序，其促使计算机执行如上所述的方法的步骤。
[0013]该程序可以作为嵌入在设备中以对硬件资源执行基本控制的固件的部分提供、诸如视频和音频解码器。该固件存储在半导体存储器中，例如设备中的R0M(Read OnlyMemory，只读存储器)或闪存。为了提供该固件或为了更新固件的部分，可以提供其上或其中记录了该程序的计算机可读记录介质，并且程序可以通过通信线被传输。
[0014]注意，通过在方法、装置、系统、计算机程序、数据结构、记录介质等之间或之中转换，上述部件的任意组合和本发明的展示作为本发明的模式也是有效的。
[0015]本发明的有益效果
[0016]利用本发明，可以提供一种使用监视器和光学穿透型HMD 二者来展示三维视频的技术。
【专利附图】
【附图说明】
[0017]图1是示意性地描绘按照实施方式的视频呈现系统的一般配置的视图。
[0018]图2是示意性地描绘按照实施方式的三维视频观察设备的外观的例子的视图。
[0019]图3是示意性地描绘按照实施方式的视频输出装置的内部配置的视图。
[0020]图4是示意性地示出监视器和用户的视野与虚拟三维空间和放置在虚拟三维空间中的对象的关系的视图。
[0021]图5是示出按照实施方式由对象分类单元进行的对象分类的例子的视图。
[0022]图6是示出按照实施方式由对象分类单元进行的对象分类的另一个例子的视图。
[0023]图7是示出按照实施方式由对象分类单元进行的对象分类的又一个例子的视图。
[0024]图8是示出按照实施方式由对象分类单元进行的分类处理的流程的流程图。
【具体实施方式】
[0025]描述本发明的实施方式。在本发明的实施方式中，将放置在虚拟三维空间中的对象，以对象为单位分类为要被显示在监视器上的对象和要被显示在光学穿透型HMD上的对象。然后，每个对象基于分类被显示在监视器或光学穿透型HMD上。
[0026]图1是示意性地描绘按照实施方式的视频呈现系统100的一般配置的视图。按照实施方式的视频呈现系统100包括三维视频观察设备200、监视器300和信息处理装置400。
[0027]监视器300显示从信息处理装置400输出的内容的再现画面图像的至少一部分。尽管监视器300能够使用显示二维视频的一般的电视监视器来实现，但是优选监视器300是三维监视器，以便实现具有更深的融入其中的感觉的视频展示。在本说明书中的以下描述中，假定监视器300是三维监视器。注意，三维监视器也具有显示二维图像的一般的电视监视器的功能。
[0028]监视器300显示三维视频。由于人的左眼和右眼互相分开大约6cm，所以在从左眼观察到的图像和从右眼观察到的图像之间产生视差。据说人的大脑使用由左眼和右眼感受到的视差图像作为用于识别深度的单条信息。由此，如果由左眼感受到的视差图像和由右眼感受到的视差图像被投射到各个眼睛，则人将它们识别为具有深度的视频。
[0029]已经提出了不同的系统来实现三维监视器。例如，在监视器300是帧序列类型的三维电视机的情况下，监视器300按照时分关系交替地显示用于左眼的视差图像和用于右眼的视差图像。在该例子中，三维视频观察设备200是光学穿透型HMD，并且还包括用于观察监视器300的光学遮光器(shutter)(未示出)。光学遮光器与监视器300的视差图像之间的切换同步地打开和关闭左和右遮光器。更具体地，当监视器300显示用于左眼的视差图像时，用于右眼的遮光器关闭，并且用于左眼的遮光器打开，从而用于左眼的视差图像被呈现给佩戴三维视频观察设备200的用户。相反，当监视器300显示用于右眼的视差图像时，用于左眼的遮光器关闭，并且用于右眼的遮光器打开，从而用于右眼的视差图像被呈现给用户。光学遮光器例如可以使用已知的液晶遮光器来实现。
[0030]三维视频观察设备200接收用于遮光器切换的同步信号。同步信号从设置在监视器300或信号处理装置400中的未示出的信号传输单元例如使用红外线等无线地传输。
[0031]另一方面，在监视器300是偏振式三维电视机的情况下，偏振片被粘贴到监视器300的表面。该偏振片例如被粘贴为，使得偏振的方向在从监视器300的顶部开始向下计数的奇数线和偶数线之间是不同的。三维视频观察设备200包括偏振透镜，并且用于左眼的透镜使光偏振，使得左眼能够看见例如通过液晶面板的奇数线的光，而用于右眼的透镜使通过液晶面板的偶数线的光偏振。由此，合适的视差图像被呈现给用户的眼睛。
[0032]在任何系统中，监视器300能够通过使用已知的技术、例如液晶电视机、等离子显示单元、有机EL监视器或偏振板来实现。
[0033]信息处理装置400获取用于由视频呈现系统100呈现的三维视频和上述同步信号。作为信息处理装置400的例子，例如有台式游戏机和便携式游戏机。信息处理装置400使用内置在其中的处理器来产生三维视频或同步信号，或从不同的信息处理装置、例如服务器通过未示出的网络接口获取三维视频。
[0034]图2是示意性地描绘按照实施方式的三维视频观察设备200的外观的例子的视图。三维视频观察设备200包括用于呈现三维视频的呈现单元202、图像拾取元件204和其中容纳不同的模块的壳体206。
[0035]呈现单元202包括将三维视频呈现给用户的眼睛的光学穿透型HMD。呈现单元202还包括液晶遮光器、偏振透镜等，用于按照三维监视器的类型改变例如通过光学穿透型HMD的外部世界的光的透射率。图像拾取元件204拾取存在于包括佩戴三维视频观察设备200的用户的视野的区域中的图像拾取对象的图像。由此，当用户佩戴三维视频观察设备200时，图像拾取元件204被放置在用户的眉毛之间的位置。图像拾取元件204能够通过使用已知的固态图像拾取元件、例如CCD (Charge Coupled Device,电荷稱合器件)图像传感器或CMOS (Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)图像传感器来实现。
[0036]壳体206起到眼镜形状的三维视频观察设备200的框架的作用，并且在其中容纳由三维视频观察设备200使用的不同的模块(未示出)。由三维视频观察设备200使用的模块可以是包括用于实现光学穿透型HMD的全息光导板的光学引擎、用于驱动液晶遮光器的驱动器和/或同步信号接收单元、诸如W1-Fi (注册商标)模块的通信模块、电子罗盘、力口速度传感器、倾斜传感器、GPS (Global Posit1ning System,全球定位系统)传感器、照度(illuminance)传感器等。提到的模块是示例性的，三维视频观察设备200不一定需要包含所有这些模块。应当包含哪个或哪些模块，可以响应于对于三维视频观察设备200料想的使用场景来确定。
[0037]图2是示例性地示出眼镜型三维视频观察设备200的视图。尽管三维视频观察设备200的形状可以具有其他不同的变化，例如帽子形状、围绕并固定在用户头部的皮带形状和覆盖用户整个头部的头盔形状，但是本领域技术人员可以容易地认识到，任何形状的三维视频观察设备200都包括在本发明的实施方式中。
[0038]图3是示意性地描绘按照实施方式的视频输出装置500的内部配置的视图。按照实施方式的视频输出装置500作为上述信息处理装置400的部分来实现。替换地，视频输出装置500可以在产生通过网络、例如因特网传输到信息处理装置400的三维视频的服务器中实现，或可以被内置在三维视频观察设备200或监视器300中。替换地，视频输出装置500还可以是独立的单个装置。假定按照实施方式的视频输出装置500作为上述信息处理装置400的部分实现，来给出下面的描述。此外，尽管为了描述方便，假定监视器300是帧序列类型的三维电视机来给出下面的描述，但是对于本领域技术人员明显的是，本发明也可以用任何其他类型、例如偏振型的三维电视机来实现。
[0039]按照实施方式的视频输出装置500包括对象获取单元502、对象分类单元504、视频输出单元506和同步信号产生单元508。
[0040]对象获取单元502产生并获取由视频呈现系统100呈现的三维视频。在此，三维视频例如是由游戏应用程序产生的三维CG (Computer Graphics,计算机图形学)视频。
[0041]对象获取单元502在虚拟三维空间中设置构成三维视频的对象。在此，在本说明书中“对象”是成为在三维CG中绘制(rendering)的元素的多边形(polygon)的集合,并且这些多边形具有共同的坐标轴并且作为整体具有意义。具体地，“对象”是表示诸如树、房子或汽车的物体的多边形的集合或成为用户的操作目标的表示诸如人物的人或生物的多边形的集合。由于构成“对象”的多边形的集合具有共同的坐标轴，所以可以在虚拟三维空间中指定对象的位置或方向。
[0042]例如，在表示代表“树”的对象从根部被砍断的情况下，在虚拟三维空间中向上直立的“树”被绘制为其在三维空间中围绕根部逐渐倾斜。在此时，构成对象“树”的多边形的坐标可以通过计算围绕中心轴的旋转的坐标变换来确定。这些操作可以通过使用已知的4X4变换矩阵的线性变换的算术运算以及扩大或缩小的标度转换来实现。
[0043]对象分类单元504将放置在虚拟三维空间中的多个对象，分类为要被显示在光学穿透型HMD上的对象和要被显示在由佩戴光学穿透型HMD的用户观察的监视器300上的对象。对象分类单元504对对象进行分类的细节在以下描述。
[0044]视频输出单元506基于由对象分类单元504进行的分类，将对象的视频输出到监视器300或三维视频观察设备200中的光学穿透型HMD。为此，视频输出单元506包括输出控制部510、第一缓冲器512和第二缓冲器514。
[0045]第一缓冲器512存储要输出到三维视频观察设备200中的光学穿透型HMD的对象的视频。第二缓冲器514存储要被显示在监视器300上的对象的视频。在此，第一缓冲器512和第二缓冲器514可以是物理上互相不同的缓冲器，或可以是本身分割使用的物理上相同的缓冲器。
[0046]输出控制部510按照由对象分类单元504进行的分类，将要输出到光学穿透型HMD的对象的视频存储到第一缓冲器512中，并且将要被显示在监视器300上的对象的视频存储到第二缓冲器514中。在此，为了使光学穿透型HMD同时显示用于左眼的视差图像和用于右眼的视差图像，输出控制部510将对象的用于左眼的视差图像和用于右眼的视差图像同时存储到第一缓冲器512中。另一方面，为了使监视器300以时分的方式交替显示用于左眼的视差图像和用于右眼的视差图像，输出控制部510将用于左眼的视差图像和用于右眼的视差图像交替地存储到第二缓冲器514中。
[0047]同步信号产生单元508按照输出控制部510将图像存储到第二缓冲器514中的定时，产生用于控制三维视频观察设备200中的光学遮光器的打开/关闭的同步信号。三维视频观察设备200接收由同步信号产生单元508产生的同步信号，并且按照接收到的同步信号打开或关闭光学遮光器。
[0048]以下，具体描述由对象分类单元504进行的对对象的分类。
[0049]图4是示意性地示出虚拟三维空间和放置在虚拟三维空间中的对象与监视器300和用户的视野的关系的视图。如图4所示，在虚拟三维空间中，设置具有X轴、y轴和z轴的正交坐标系602。在此，正交坐标系602被设置为使得由正交坐标系602的x轴和y轴定义的xy平面与监视器300的显示区域平行地延伸。更具体地，优选设置正交坐标系602的原点0，使得监视器300的显示区域与由正交坐标系602的X轴和y轴定义的xy平面重叠。此外，正交坐标系602的z轴被设置为，使得负的z坐标值由关于监视器300的显示区域的佩戴三维视频观察设备200的用户的视点604侧表示，并且正的z坐标值由关于监视器300的显示区域的视点604的相对侧表示。
[0050]例如，在图4中，球状对象606在虚拟三维空间中被布置在关于xy平面的视点604的相对侧。相应地,球状对象606的z坐标的值是正的。相反，另一个球状对象608在虚拟三维空间中被布置在关于xy平面的视点604侧，并且由此，球状对象608的z坐标值是负的。在此,作为在虚拟三维空间中的对象的坐标,例如使用构成对象的多个多边形的重心的坐标值。由此，即使多个多边形构成一个对象，对象的位置坐标也可以由单个坐标表示，并且由此，可以预见计算成本的抑制和处理速度的提高。
[0051]附带地，由于帧序列类型的监视器300以时分的方式交替显示用于左眼的视差图像和用于右眼的视差图像，因此视频的帧速率低于当监视器300显示二维图像时的帧速率。此外，认为尽管帧序列类型的监视器300 —般擅长展示视频的深度感觉，也就是说，擅长呈现在虚拟三维空间中布置在关于xy平面的视点604的相对侧的对象，但是与深度感觉的展示相比，监视器300不擅长展示隆起，也就是说，在虚拟三维空间中布置在关于xy平面的视点604侧的对象的呈现。
[0052]相反，由于HMD不是帧序列类型的，因此由HMD呈现的视频的帧速率高于由监视器300呈现的视频的帧速率。此外，认为与由监视器300呈现的视频相比，HMD还擅长展示隆起。同时，由HMD呈现的视频的分辨率倾向于比由监视器300呈现的视频的分辨率低。
[0053]本申请的发明人认识到，如果考虑上面描述的监视器300和HMD的性质，将对象个别地分类为要被显示在监视器300上的对象和要被显示在HMD上的对象，则可以利用监视器300和HMD的特征来呈现三维视频。
[0054]作为实现这一点的方法之一，对象分类单元504基于对象在虚拟三维空间中的位置坐标，将对象分类。
[0055]图5是示出按照实施方式由对象分类单元504进行的对象分类的例子的视图。如图5所示，确定显示分类基准坐标值SP，其是虚拟三维空间中的正交坐标系602上的z坐标值，并且确定显示分类基准坐标值SP，以便将对象分类为要被显示在监视器300上的对象或要由三维视频观察设备200中的光学穿透型HMD显示的对象。对象分类单元504基于对象的z坐标和显示分类基准坐标值Sp之间的幅值关系，将分类目标对象分类。尽管显示分类基准坐标值Sp的具体值可以考虑监视器300和HMD等的特征通过实验来确定，但是在监视器300的显示区域的附近，具体值例如被设置为O。
[0056]如上所述，与监视器300相比，HMD擅长展示隆起。由此，当对象要被显示在相对于显示分类基准坐标值Sp的视点604侧时，S卩，当对象的z坐标值小于显示分类基准坐标值Sp时，对象分类单元504将对象分类为要被显示在三维视频观察设备200中的光学穿透型HMD上的对象。
[0057]参考图5,附图标记612表示球状对象610的重心的位置。如图5所示,球状对象610的重心612的z坐标值大于显示分类基准坐标值SP。在这种情况下，对象分类单元504将球状对象610分类为要被显示在监视器300上的对象。由于椭圆状对象613的重心616的z坐标值也大于显示分类基准坐标值SP，所以对象分类单元504将球状对象610分类为要被显示在监视器300上的对象。
[0058]HMD和监视器300擅长不同的展示。由此，如果某个对象被显示在HMD和监视器300 二者上，则在边界面上的连接可能不自然。例如，图5所示的椭圆状对象614的部分618存在于相对于监视器300的显示区域的视点604侧，而椭圆状对象614的其余部分存在于相对于监视器300的显示区域的视点604的相对侧。如果椭圆状对象614的部分618被显示在HMD上，而椭圆状对象614的其余部分被显示在监视器300上，则在作为边界面的监视器300的显示区域中，椭圆状对象614的展示可能不自然。
[0059]然而，应当注意如下事实，S卩，对象分类单元504不是以构成对象的多边形为单位进行分类，而是以对象为单位进行分类。由于对象分类单元504以对象为单位进行分类，因此即使对象的部分存在于相对于监视器300的显示区域的视点604侧，对象分类单元504也将对象分类为要被显示在监视器300上的对象或者要被显示在三维视频观察设备200中的光学穿透型HMD上的对象。这可以降低由于在HMD和监视器300 二者上显示同一对象而引起的不舒适的视觉感受。
[0060]图6是示出按照实施方式由对象分类单元504进行的对象分类的另一个例子的视图，并且是示例性地示出当用户通过三维视频观察设备200观察包括监视器300的区域时所显示的视频的视图。在图6所示的例子中，用户再现FPS(First Person Shooter,第一人称视角射击游戏)的游戏内容。在图6中，画出了用户自己的手臂702、由用户掌握的枪704、从枪704射出的子弹706等。在此，当然手臂702是实际存在的。枪704可以是实际存在的为了玩游戏内容而准备的复制品，或可以是由对象获取单元502产生并且在光学穿透型HMD上显示的虚拟AR (Augmented Reality,增强现实)图像。注意，在以下描述AR图像。
[0061]假定用户试图用子弹706击中在监视器300上显示的目标708。在此，假定子弹706是对象获取单元502在虚拟三维空间中产生的对象，并且目标708位于在虚拟三维空间中相对于监视器300的显示区域的用户的相对侧。
[0062]如果向目标708发出子弹706，则子弹706从位于相对于监视器300的显示区域的用户侧的枪704的射出口跳出，并且很快来到监视器300的显示区域，并且最终到达位于相对于监视器300的显示区域的用户的相对侧的目标708。相应地，按照上述基于对象的位置坐标的分类，对象分类单元504将子弹706分类为，当子弹706存在于相对于监视器300的显示区域的用户侧时被显示在HMD上，但是当子弹706位于相对于监视器300的显示区域的用户的相对侧时被显示在监视器300上。
[0063]在此，由于假定监视器300是帧序列类型的三维电视机，所以由HMD呈现的视频的帧速率高于由监视器300呈现的视频的帧速率。相应地，在监视器300是帧序列类型的三维电视机的情况下，以高速移动的对象、例如子弹706优选被显示在HMD上，而不管其位置坐标。由此，对象分类单元504可以基于显示分类基准速度值Ss和对象的位置坐标的改变速率之间的幅值关系，将对象分类。更具体地，当虚拟三维空间中的对象的z坐标的改变速率高于显示分类基准速度值Ss时，对象分类单元504将对象分类为要被显示在三维视频观察设备200中的光学穿透型HMD上的对象。通过在具有更高帧速率的呈现设备上呈现具有高改变速率的对象，可以改善用户对快速移动的对象的可视度。
[0064]在此，“显示分类基准速度值Ss”是针对关于对象是要被显示在监视器300上、还是要被显示在三维视频观察设备200中的光学穿透型HMD上的分类而确定的基准速度。显示分类基准速度值Ss的具体值可以考虑监视器300和HMD的帧速率等通过实验来确定。由此，变得能够利用监视器300和HMD的帧速率的特征来呈现三维视频，使得例如具有较少运动的远景的背景等被显示在监视器300上。
[0065]图7是示出按照实施方式由对象分类单元504进行的对象分类的另一个例子的视图，并且是示例性地示出包括标记710和与标记链接的AR图像712的视频的视图。在此，“标记”是例如由产生对象的对象获取单元502使用的信息，并且是可以用来指定要产生的图像在虚拟三维空间中的位置的信息。同时，“AR图像”是例如与标记相关联的对象，并且是其位置和方向按照与标记的位置和方向的变化的互锁关系改变的对象。特别地，由对象获取单元502产生的对象包括与标记相关联的AR图像。注意，在三维物体、例如椎体被用作标记的情况下，可以指定标记在三维空间中的“方向”。在这种情况下，不仅可以指定要产生图像的位置，而且可以指定要产生的图像的方向。
[0066]图7示出了标记的例子，所述标记通过由用户的手臂702抓握的条状抓握部分和球体构成。在图7所示的例子中，标记710是实际存在的物体。三维视频观察设备200的图像拾取元件204摇摄存在于包括用户的视野的区域中的标记710，并且将标记710的视频传输到产生对象的对象获取单元502。对象获取单元502根据由图像拾取元件204拾取的视频指定标记710的位置和方向，并且按照与标记710相关联的关系在虚拟三维空间中的对应位置处产生AR图像712。在图7所示的例子中，AR图像712是表示火焰的对象。
[0067]由于由对象获取单元502产生的AR图像712也是对象，所以确定位置坐标。然而，对象获取单元502不是按照上述正交坐标系602，而是按照使用与AR图像712相关联的标记710的位置作为原点而设置的坐标系714,来产生AR图像712。由此,如果用户改变标记710的位置和方向，则用作AR图像712的基准的坐标系714也改变。当坐标系714改变时，AR图像712的位置和方向也随之改变。注意，用作AR图像712的基准的坐标系714的原点不一定需要按照与相关联的标记重叠的关系来定位。
[0068]AR图像以这种方式与标记相关联，并且通常标记是实际存在的物体。由此，通常向相对于监视器300的显示区域的用户侧呈现AR图像。此外，由于AR图像的位置随着标记的运动一起改变，因此运动的速度相对高。由此，对象分类单元504将AR图像分类为要被显示在三维视频观察设备200中的光学穿透型HMD上的对象。在光学穿透型HMD上显示的对象是半透明的，并且允许在其后面的视频通过其。由此，还可以防止如下缺点:即使用户操作标记以移动AR图像，监视器300的显示也被AR图像打断并且无法由用户观察。
[0069]为了防止类似缺点，对象分类单元504可以将作为用户的操作目标的对象分类为要被显示在光学穿透型HMD上的对象，而不管对象的位置坐标。在此，“操作目标对象”是其在虚拟三维空间中的位置坐标能够响应于例如佩戴光学穿透型HMD的用户的操作而改变的对象。相应地，即使操作目标对象将被显示在用户的视点和要避开的敌方人物之间，也能够防止用户由此而看不见敌方人物的这种情形。
[0070]图8是示出按照实施方式的由对象分类单元504进行的分类处理的流程的流程图。本流程图的处理例如在至视频输出装置500的电源可用时开始。
[0071]对象分类单元504从由对象获取单元502产生的多个对象之中选择要成为分类的目标的对象(S2)。如果所选择的对象不是AR图像(S4处的否)，则对象分类单元504获取所选择的对象在虚拟三维空间中的移动速度(S6)。
[0072]如果所选择的对象的移动速度低于显示分类基准速度值Ss (S8处的否)，则对象分类单元504获取所选择的对象在虚拟三维空间中的z坐标(SlO)。如果所选择的对象的z坐标大于显示分类基准坐标值SP(S12处的否)，则对象分类单元504将所选择的对象分类为要被显示在监视器300上的对象(S14)。
[0073]当所选择的对象是AR图像(S4处的是)时，当所选择的对象的移动速度等于或高于显示分类基准速度值Ss (S8处的是)时，或当所选择的对象的z坐标小于显示分类基准坐标值SP(S12处的是)时，对象分类单元504将所选择的对象分类为要被显示在三维视频观察设备200中的光学穿透型HMD上的对象(S16)。
[0074]如果未选择由对象获取单元502产生的所有对象(S18处的否)，则对象分类单元504重复上述步骤S2至S16的处理以继续将对象分类。如果对象分类单元504选择了由对象获取单元502产生的所有对象(S18处的是)，则本流程图的处理结束。
[0075]按照上述配置的视频呈现系统100的使用情形如下面所描述。对象分类单元504将构成要被显示在视频呈现系统100上的视频的对象，基于每个对象的显示位置、运动速度等，分类为要被显示在三维视频观察设备200中的光学穿透型HMD上的对象和要被显示在帧序列类型的监视器300上的对象。视频输出单元506基于对象分类单元504进行的分类，将对象的视频输出到三维视频观察设备200中的光学穿透型HMD或监视器300。佩戴三维视频观察设备200以使用视频呈现系统100的用户能够观察利用监视器300和光学穿透型HMD的各自的特征的三维视频。
[0076]如上所述，利用按照实施方式的视频呈现系统100，可以使用三维视频在监视器300和光学穿透型HMD 二者上展示三维视频。
[0077]结合实施方式描述了本发明。实施方式是解释性的，并且本领域技术人员认识到可以对实施方式的部件、处理等的组合进行不同的变形，并且这样的变形也落在本发明的保护范围内。
[0078](第一变形例)
[0079]尽管描述了采用构成对象的多边形的重心的坐标作为对象的坐标的情况，但是对象的坐标不限于多边形的重心的坐标。例如，可以使用构成对象的多边形中的一个多边形的位置坐标代表性地作为对象的坐标。此时，要被用作代表的多边形可以响应于对象之间的位置关系适应性地改变。具体地，可以采用构成对象的多个多边形中的与任意其他对象具有最短距离的那一个多边形的位置坐标，作为对象的坐标。这有助于对象之间的冲突确定的计算。
[0080](第二变形例)
[0081]虽然上面描述的标记是由条状抓握部分和球体构成的例子，但是标记不限于此，而可以是能够指定位置的任意信息。作为标记可以适用不同的变化，例如在监视器上显示的图像或运动图片、在卡或纸片上打印的图像、诸如圆形或星形的特定形状的物体、特定的颜色、人或动物的轮廓或脸、商品的包装或外观以及GPS的特定位置信息指示的位置等。在例如椎体的三维物体用作标记的情况下，可以指定标记在三维空间中的“方向”。在这种情况下，不仅可以指定要产生图像的位置，而且可以指定要产生的图像的方向。
[0082](第三变形例)
[0083]虽然上面描述了佩戴三维视频观察设备200的用户单独使用由视频呈现系统100再现的内容的情况，但是可以准备多个三维视频观察设备200，使得由多个用户共享同一内容。具体地，适用两个或更多个用户享受同一游戏内容的情况。此时，要向每个用户呈现的内容、例如纸牌游戏的纸牌或麻将游戏的麻将牌的内容，可以被显示在由用户佩戴的光学穿透型HMD上。这可以通过由对象分类单元504从对象获取单元502获取指示要向哪个用户呈现对象的信息并且将对象分类来实现。这使得能够显示要被用户共享的信息、例如背景或出的麻将牌，以及要针对每个用户互相分开地呈现的信息。
[0084](第四变形例)
[0085]尽管前面的描述是在假定监视器300是显示三维视频的三维电视机的条件下给出的，但是对于其中监视器300显示二维视频的传统类型的电视机，难以合适地向用户呈现视差图像。由此，在监视器300是传统类型的电视机，或监视器300被用作传统类型的电视机的情况下，视频输出装置500输出用于左眼的视差图像和用于右眼的视差图像中的一个。替换地，视频输出装置500可以通过对放置在虚拟三维空间中的对象的到监视器300的显示区域的投影变换，来产生二维视频，以使其被显示在监视器300上。
[0086][附图标记列表]
[0087]100视频呈现系统，200三维视频观察设备，202呈现单元，204图像拾取元件，206壳体，300监视器，400信息处理装置，500视频输出装置，502对象获取单元，504对象分类单元，506视频输出单元，508同步信号产生单元，510输出控制部，512第一缓冲器，514第二缓冲器，602正交坐标系，604视点，612重心，616重心，710标记，712AR图像
[0088][工业应用性]
[0089]本发明能够用于视频输出装置、三维视频观察设备、包括视频输出装置和三维视频观察设备的视频呈现系统以及视频输出方法。
【权利要求】
1.一种视频输出装置，包括: 对象分类单元，其配置为将放置在虚拟三维空间中的对象，分类为要被显示在光学穿透型HMD上的对象和要被显示在通过光学穿透型HMD观察的监视器上的对象；以及 视频输出单元，其配置为基于由对象分类单元进行的分类，将对象的视频输出到监视器或光学穿透型HMD。
2.根据权利要求1所述的视频输出装置， 其中，对象分类单元基于对象在虚拟三维空间中的位置坐标，将对象分类。
3.根据权利要求1或2所述的视频输出装置， 其中，虚拟三维空间具有设置了 X轴、I轴和Z轴的正交坐标系，并且X轴和y轴定义的xy平面与监视器的显示区域平行地延伸，并且 对象分类单元基于显示分类基准坐标值和对象的z坐标之间的幅值关系将对象分类，确定所述显示分类基准坐标值，以便关于对象是要被显示在监视器上、还是光学穿透型HMD上将对象分类。
4.根据权利要求3所述的视频输出装置， 其中，如果虚拟三维空间中的对象要被显示在关于显示分类基准坐标值的视点侧，则对象分类单元将该对象分类为要被显示在光学穿透型HMD上的对象。
5.根据权利要求3或4所述的视频输出装置， 其中，对象分类单元通过将构成对象的多个多边形的重心的坐标确定为对象的坐标，来将对象分类。
6.根据上述权利要求1至5中任一项所述的视频输出装置， 其中，光学穿透型HMD包括图像拾取元件，所述图像拾取元件用于拾取存在于包括佩戴光学穿透型HMD的用户的视野的区域中的图像拾取对象的图像， 放置在虚拟三维空间中的对象包括AR (Augmented Reality)图像,所述AR图像使用由图像拾取元件拾取了其图像作为标记的图像拾取对象产生，并且链接到所述标记，并且对象分类单元将AR图像分类为要被显示在光学穿透型HMD上的对象。
7.根据权利要求1所述的视频输出装置， 其中，放置在虚拟三维空间中的对象包括操作目标对象，所述操作目标对象在虚拟三维空间中的位置坐标能够响应于佩戴光学穿透型HMD的用户的操作而改变，并且对象分类单元将操作目标对象分类为要被显示在光学穿透型HMD上的对象。
8.一种视频呈现系统，包括: 帧序列类型的三维监视器； 包括光学穿透型HMD和用来观察三维监视器的光学遮光器的三维视频观察设备；对象分类单元，其配置为将放置在虚拟三维空间中的对象，分类为要被显示在光学穿透型HMD上的对象和要被显示在三维监视器上的对象；以及 视频输出单元，其配置为基于对象分类单元进行的分类，将对象的视频输出到监视器或光学穿透型HMD。
9.根据权利要求8所述的视频呈现系统， 其中，对象分类单元基于显示分类基准速度值和对象的位置坐标的改变速度之间的幅值关系将对象分类，确定所述显示分类基准速度值，以便关于对象是要被显示在监视器上、还是光学穿透型HMD上将对象分类。
10.根据权利要求9所述的视频呈现系统， 其中，当虚拟三维空间中的对象的z坐标的改变速度大于显示分类基准速度值时，对象分类单元将该对象分类为要被显示在光学穿透型HMD上的对象。
11.一种三维视频观察设备，包括: 用于观察帧序列类型的三维监视器的光学遮光器；以及 光学穿透型HMD。
12.一种视频输出方法，其中，执行处理器，以将放置在虚拟三维空间中的对象，分类为要被显示在光学穿透型HMD上的对象和要被显示在由佩戴光学穿透型HMD的用户通过光学穿透型HMD观察的监视器上的对象，并且将每个对象的视频输出到监视器或光学穿透型HMD0
13.一种用于使计算机执行以下功能的程序: 用于将放置在虚拟三维空间中的对象，分类为要被显示在光学穿透型HMD上的对象和要被显示在由佩戴光学穿透型HMD的用户通过光学穿透型HMD观察的监视器上的对象的功能；以及 用于将对象的视频输出到监视器或光学穿透型HMD的功能。
【文档编号】G09G5/36GK104396237SQ201380031820
【公开日】2015年3月4日 申请日期:2013年4月18日 优先权日:2012年6月29日
【发明者】大桥良德 申请人:索尼电脑娱乐公司