视频处理设备、视频处理方法和视频处理系统的制作方法
【专利摘要】在本发明中，AR图像生成单元(526)利用作为标记的、通过提供给光学透射HMD的成像元件成像的被摄体，生成呈现给光学透射HMD的AR图像，并且成像包含穿戴光学透射HMD的用户的视场的区域中的被摄体。接近度获取单元(560)获取在联系到第一标记的第一AR图像和第二标记或联系到第二标记的第二AR图像之间的虚拟3D空间中的距离。相互作用计算单元(570)，基于所述接近度获取单元(560)获取的距离，计算与第一AR图像或第二AR图像发生的相互作用。AR图像生成单元(526)根据相互作用计算单元(570)计算的相互作用，改变第一AR图像和/或第二AR图像中的任一图像。
【专利说明】视频处理设备、视频处理方法和视频处理系统
【技术领域】
[0001]本发明涉及视频处理设备、视频处理方法和视频处理系统。
【背景技术】
[0002]近年来，用于呈现立体视频的技术开发已经进展，并且能够呈现具有深度的立体视频的头戴式显示器(头戴式显示器；下文中，描述为“HMD”)正在变得普遍。在这样的HMD中，还正在开发光学透射HMD，其通过使用全息元件、半透明反射镜等向用户呈现立体视频并且允许用户以透明的方式观看HMD之外的样子。
[0003]同时，AR(增强现实)技术也进入实用阶段，该技术中生成通过向诸如相机的成像元件的成像产生的现实世界的视频添加CG(计算机图形)的视频等而获得的视频、并且修改加入到向用户呈现的现实世界的视频的部分。在AR技术中，如条形码这样的可识别的特定信息被识别，并且生成图像以便在某些情况下与这些信息相关联。
【发明内容】
[0004]技术问题
[0005]在与特定对象相关联生成图像的情况下，当所述对象的位置或方向发生变化，根据该变化，生成与该对象关联的图像。其结果是，根据情况与彼此不同的对象相关联地生成的两个不同图像可能彼此接近甚至彼此接触。本申请的发明人已经达到通过表达由于接近或接触引起的图像中的变化，来辨识提供交互式立体视频的可能性。
[0006]针对这样的问题作出本发明，其目标是提供一种技术，用于在与特定对象相关联生成的图像之间产生相互作用。
[0007]解决的问题
[0008]为了解决上述问题，本发明的某一方面是一种视频处理设备。该设备包括:AR(增强现实)图像生成器，其采用通过提供给光学透射HMD的成像元件成像的被摄体作为标记，并且生成要由所述光学透射HMD呈现的AR图像。所述光学透射HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频。所述成像元件成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的所述被摄体。该设备还包括接近度获取器，其获取在与第一标记关联的第一 AR图像和第二标记或与第二标记关联的第二 AR图像之间，在虚拟三维空间中的接近度；以及相互作用产生器，其基于所述接近度获取器获取的接近度计算与第一 AR图像或第二 AR图像之间发生的相互作用。这里，AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一 AR图像或第二 AR图像中的任一图像。
[0009]本发明的另一个方面是一种视频处理方法。该方法使处理器执行生成要通过包括光学透射HMD和成像元件的立体视频观察设备呈现的AR图像的步骤，并且采用通过所述成像元件成像的被摄体作为标记。所述光学透射HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频。所述成像元件成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的所述被摄体。该方法还使处理器执行获取在与第一标记关联的第一 AR图像和第二标记或与第二标记关联的第二 AR图像之间，在虚拟三维空间中的接近度的步骤；基于获取的接近度计算与所述第一 AR图像或所述第二 AR图像之间发生的相互作用的步骤；以及根据计算的相互作用，至少改变所述第一AR图像或所述第二AR图像中的任一图像的步骤。
[0010]此外，本发明的另一个方面是一种视频处理系统。该系统包括光学透射HMD，其呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频；以及成像元件，其提供给所述光学透射HMD，并且成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的被摄体。该系统还包括AR图像生成器，其采用通过提供给光学透射HMD的成像元件成像的被摄体作为标记，并且生成要由所述光学透射HMD呈现的AR图像；接近度获取器，其获取在与第一标记关联的第一 AR图像和第二标记或与第二标记关联的第二 AR图像之间，在虚拟三维空间中的接近度；以及相互作用生成器，其基于通过所述接近度获取器获取的接近度，计算与所述第一 AR图像或所述第二 AR图像之间发生的相互作用。这里，所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一 AR图像或第二 AR图像中的任一图像。
[0011]此外，本发明的另一个方面是一种程序，其使得计算机实现上述方法的各个步骤。
[0012]该程序可被提供为并入装置中的固件的一部分，以便对如视频和音频解码器等硬件资源基本控制。该固件被存储在例如装置中的个ROM(只读存储器)中或如闪速存储器的半导体存储器中。为了提供该固件或更新该固件的部分，可以提供其中记录该程序的计算机可读记录介质，并且该程序可以通过通信线路传送。
[0013]通过在方法、设备、系统、计算机程序、数据结构、记录介质等中转化本发明的上述构成要素以及表述的任意组合所得到的作为本发明的各方面同样有效。
[0014]发明的有益效果
[0015]根据本发明，可以提供一种技术，用于在与特定对象关联生成的图像之间产生相互作用。
【专利附图】
【附图说明】
[0016]图1是示意性地表示根据实施例的视频呈现系统的整体配置的图。
[0017]图2是示意性地表示根据实施例的立体视频观察设备的外观的一个示例的图。
[0018]图3是示意性地表示根据实施例的视频输出设备的内部配置的图。
[0019]图4是示例根据实施例的包括标记和与标记关联的AR图像的视频的图。
[0020]图5是说明根据实施例的在两个不同的AR图像之间的接近度的图。
[0021]图6是示例根据实施例的在两个不同的AR图像之间的相互作用的图。
[0022]图7是表示根据实施例的通过视频处理设备进行相互作用产生处理的流程图。
[0023]图8是说明在某一 AR图像和标记之间的接近度的图。
【具体实施方式】
[0024]将要描述本发明的实施例概述。在本发明的实施例中，当被用户操作移动的三维图像接近另一三维图像时，基于其接近度，产生在所述三维图像之间的虚拟相互作用，并且其反映在所述三维图像中。此外，相互作用是例如在所述三维图像之间的接触、碰撞等，并且在相互作用之前和之后根据三维图像的属性改变和呈现所述三维图像，所述属性例如虚拟速度和加速度。
[0025]图1是示意性地示出根据实施例的视频呈现系统100的整体结构的图。根据实施例的视频呈现系统包括立体视频观察设备200，三维监视器300，以及信息处理设备400。
[0026]该立体视频观察设备200是光透射HMD。在这里，立体视频观察设备200可以包括光学快门(未在图中示出)用来观察将在后面描述的三维监视器300。光学快门同步于三维监视器300的视差图像的切换打开和关闭左右快门。具体地，当三维监视器300显示左眼视差图像时，光学快门关闭右眼快门和打开左眼快门，以呈现左眼视差图像给穿戴立体视频观察设备200的用户。相反，当三维监视器300显示右眼视差图像时，光学快门关闭左眼快门并打开右眼快门以呈现右眼视差图像给用户。光学快门能通过例如已知的液晶快门来实现。
[0027]立体视频观察设备200接收用于快门切换的同步信号。使用例如红外线，从设置在三维监视器300或信息处理设备400并且在图中未示出的信号发射器无线发射该同步信号。
[0028]三维监视器300通过帧顺序系统显示立体视频。由于人的左右眼分开约6cm，视差在左眼看到的视频和右眼看到的视频之间产生。据说人类大脑利用左右眼感知的视差图像作为识别深度的信息。因此，当要被左眼感知的视差图像和要被右眼感知的视差图像被投射到相应的眼睛时，所述图像被人识别为具有深度的视频。三维监视器300以时分的方式交替地显示左眼视差图像和右眼视差图像。三维监视器300可以通过已知的诸如液晶电视、等离子体显示器或有机EL监视器等呈现设备来实现。
[0029]信息处理设备400获取适合在视频呈现系统100中呈现的立体视频和上面描述的同步信号。信息处理设备400的实例是例如固定游戏控制台和便携式游戏机。信息处理设备400通过使用内置的处理器生成立体视频和同步信号或从另一个信息处理设备获取立体视频，另一个信息处理设备诸如未在图上示出的经由网络接口的服务器。
[0030]图2是示意性地示出根据实施例的立体视频观察设备200的外观的一个示例的图。立体视频观察设备200包括呈现立体视频的呈现部202，成像元件204，和其中容纳各种模块的壳体206。
[0031]呈现部202包括向用户的眼睛呈现立体视频的光学透射HMD，还包括改变通过光学透射HMD透射的外部光的透射率的液晶快门。成像元件204成像存在于一区域的对象，该区域包括穿戴该立体视频观察设备200的用户的视场。为了这个目的，成像元件204被设置为当用户穿戴立体视频观察设备200时，布置在用户眉毛之间的位置周围。成像元件204可以通过使用例如已知的固态成像元件(如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器)来实现。
[0032]壳体206在具有眼镜形状的立体视频观察设备200中发挥框架的作用，并且容纳被所述立体视频观察设备200使用的各个模块(未在图中示出)。立体视频观察设备200使用的模块是包括配置为实现光学透射HMD的全息导光板的光学引擎，配置为驱动液晶快门的驱动器，同步信号接收器，如W1-Fi (注册商标)模块的通信模块，电子罗盘，加速度传感器，倾斜传感器，GPS(全球定位系统)传感器，以及照度传感器等等。这些模块是举例说明，立体视频观察设备200并不必须并入所有这些模块。并入哪些模块可以取决于立体视频观察设备200假定的使用场景来决定。
[0033]图2是例示具有眼镜形状的立体视频观察设备200的图。此外，还会有广泛的多种形状的立体视频观察设备200，例如帽子形状，环绕在用户头部并固定的带子形状，和覆盖于用户整个头部的头盔形状。所属领域的技术人员将容易地理解具有任何形状的立体视频观察设备200也包括在本发明实施例中。
[0034]图3是示意性地示出根据实施例的视频处理设备500的内部配置的图。根据实施例的视频处理设备500实现为上述信息处理设备400的部分。可替代地，其也可以在生成要经过诸如因特网的网络传输给信息处理设备400的立体视频的服务器中实现，或者可以并入在立体视频观察设备200或者三维监视器300中。进一步可替代地，所述视频处理设备500还可以是一个独立设备。在下文中，描述将基于这样的前提:根据实施例的视频处理设备500实现为上述信息处理设备400部分。
[0035]根据实施例的视频处理设备500包括内容执行部510，视频生成器520，输出部530，属性管理部540，标记识别器550，接近度获取器560，以及相互作用产生器570。
[0036]内容执行部510执行包括当作视频处理设备500的处理对象的视频的内容，诸如游戏应用和提供地图信息的应用。通过执行内容，内容执行部510在虚拟三维空间中设置要通过立体视频观察设备200显示的三维对象。
[0037]这里，本说明书中的“对象”是指多边形的集合，用于充当三维CG中绘图的元素，并且各多边形有共同的坐标轴以及有作为一簇的含义。具体地，其是表达诸如树、房子或汽车的对象多边形集合，或者表达诸如当做用户操作目标的角色的人或生物的多边形集合。由于形成“对象”的多边形的集合具有共同的坐标轴，所以可以在虚拟的三维空间指定位置和方向。
[0038]例如，在表达表示“树”的对象被从其根部砍倒的情形的情况下，这个在虚拟三维空间直立的“树”被拖动以便以根部作为旋转轴在三维空间中逐渐倾斜。此时，形成的“树”的对象的多边形的每个坐标可以通过计算绕旋转轴的旋转的坐标变换得到。这些运算可以通过与放大或缩小的缩放变换一起，计算使用已知的4X4变换矩阵的线性变换来实现。
[0039]基于通过内容执行部510设置在虚拟三维空间中的三维对象，视频生成器520生成要由立体视频观察设备200显示的立体视频。具体而言,视频生成器520关于通过内容执行部510设置在虚拟三维空间中的三维对象，生成左眼视差图像和右眼视差图像。
[0040]标记识别器550获取通过在立体视频观察设备200中提供的成像元件204的连续成像获得的视频和识别视频中的标记。这里，“标记”是例如生成对象的对象获取器502使用的信息，并且是允许识别在虚拟三维空间所生成图像的位置的信息。标记的具体例子是例如监视器上显示的图像或运动图像，印在卡或纸上的图像，具有特定的形状(诸如圆形或星形)、特定颜色的对象，人或动物的轮廓或脸部的对象，以及通过由GPS等的特定位置信息所表示的位置。例如像圆锥这样的三维对象被用来作为标记，标记在三维空间中的“方向”可以被识别。在这种情况下，不仅可能识别应当生成图像的位置，也可能识别要生成的图像的方向。
[0041]在许多情况下AR图像与标记关联。这里，所述“AR图像”是与标记关联的对象，并且是其位置、方向或倾斜度与标记的位置、方向或倾斜度的变化结合地变化的对象。例如，假设印在纸上的条形码被视为标记，基于速度矢量V1移动的“球”的AR图像与它关联。在这种情况下，如果用户基于速度矢量V2移动标记，因为与标记结合的运动，“球”就会以运动矢量V1和运动矢量V2的合成运动矢量V3的方向和速度运动。以这种方式，与标记关联的AR图像也包括在由视频生成器520生成的对象中。由于这个原因，视频生成器520包括对象生成器524，AR图像生成器526，和控制部522。
[0042]控制部522执行对象生成器524和AR图像生成器526的操作的整体控制。控制部522获取由内容执行部件510设置在虚拟三维空间中的三维对象和生成呈现给用户的视频视线的方向的信息，并且使对象生成器524生成视差图像。在控制部522的控制下，对象生成器524生成视差图像并且将它们输出到稍后要描述的输出部530。
[0043]在控制部522的控制下，AR图像生成器526生成与标记识别器550识别的标记相关联的AR图像。图4是例不包括标记710和与标记关联的AR图像712的视频的图。图4是例示由用户手臂702握住的条形柄部分和球形对象组成的标记710。当然，用户的手臂702真实存在。此外，标记710也是真实存在的对象。如图4所示，基于X轴、y轴、z轴的正交坐标系统设置在三维空间中。正交坐标系602与通过对象生成器524和AR图像生成器526设置在虚拟三维空间中的坐标系对应。
[0044]优选把正交坐标系602以这样的方式设置:由正交坐标系的X轴和I轴伸展出的xy平面平行于三维监视器300的显示区域。具体地，优选正交坐标系602的原点O设置为以便三维监视器的显示区域与由正交坐标系602的X轴和J轴伸展出的xy平面重叠。此夕卜，优选正交坐标系的z轴设置为以便负z坐标值定义在相对于三维监视器300的显示区域穿戴立体视频观察设备200的用户视点侧，并且正z坐标值定义在跨三维监视器300的显示区域的视点相反侧。
[0045]在图4所示示例中,AR图像712是表示火焰的对象。因为与标记710关联地由AR图像生成器526生成的AR图像712也是对象，所以位置坐标被定义。AR图像生成器526没有按照上述正交坐标系602，而是按照设置为以便根据标记710 (AR图像712与其关联)的位置设定的点被视为原点的坐标系704，生成AR图像712。因此，当用户改变标记710的位置、方向和倾斜度时，作为AR图像712的基础采用的坐标系704也会改变。当坐标系704被改变时，AR图像712的位置和方向也连同其一起改变。用作AR图像712基础的坐标系704的原点不必需要定位在与相关标记重叠的位置。
[0046]以这种方式，作为对象由AR图像生成器526生成AR图像与标记710的运动结合地移动。这样，接近度获取器560计算并获取两个不同的AR图像之间的接近度，即两个AR图像之间的距离。
[0047]图5是说明在两个不同的AR图像之间的接近度的图，并且是示出向穿戴立体视频观察设备200的用户呈现的视频一个例子。图5显示三种类型的标记710、714和300以及与它们关联的三种类型的AR图像716、718和720。此处，标记714是印在纸上的图像。关于标记300，三维监视器300的显示区域用作标记。与标记710关联的AR图像716是闪亮的虚拟剑刃，与标记714关联的AR图像718是具有圆维形状的对象。此外，与标记300关联的AR图像720是球状对象，其从三维监视器300飞出，并且沿远离三维监视器300的方向移动。
[0048]对于每个AR图像，设定定义用来测量AR图像间距离的距离测量参考点。在图5所示是示例中，AR图像716的距离测量参考点由标号722指示。类似地,AR图像718和AR图像720的距离测量参考点分别由标号724和726指示。距离测量参考点可以是任意点，只要它存在于形成AR图像716的多边形表面或AR图像716附近。例如，接近度获取器560在形成AR图像716的多个多边形的形心的位置处设置距离测量参考点。由于这一点，即使对象由多个多边形组成时，该对象的位置坐标可以由一组坐标来表示。因此，抑制计算成本和增强计算速度就可以预期。
[0049]对于每个AR图像,设定定义用于判定AR图像之间碰撞的碰撞判定标准半径。例如，假设在图5所示的示例中，AR图像716的碰撞判定标准半径是η ,AR图像720的碰撞判定标准半径是r2。此外假设AR图像716的距离测量参考点坐标为(Xl，y1; Z1)，AR图像720的距离测量参考点坐标为(x2，y2，z2)。这种情况下，接近度获取器560由下面的表达式(I)所示的表达式估计值E。
[0050]E= (X1- X2)2+(Y1 — y2)2+(Z1 — Z2)2 — (r!+r2)2 (I)
[0051]如果在表达式(I)中满足E = 0，这意味着在AR图像716的距离测量参考点和AR图像720的距离测量参考点之间的欧几里得距离L等于AR图像716的碰撞判定标准半径Γ!和AR图像720的碰撞判定标准半径r2之和。在这种情况下，接近度获取器560认为AR图像716和AR图像720是“互相接触”。此外，如果在表达式(I)中满足E〈0，这意味着AR图像716的碰撞判定标准半径A和AR图像720的碰撞判定标准半径r2之和大于在AR图像716的距离测量参考点和AR图像720的距离测量参考点之间的欧几里得距离L。这种情况下，接近度获取器560认为AR图像716和AR图像720是“互相分离”。相反地，如果在表达式(I)中满足E>0，这意味着AR图像716的碰撞判定标准半径F1和AR图像720的碰撞判定标准半径r2之和小于在AR图像716的距离测量参考点和AR图像720的距离测量参考点之间的欧几里得距离L。这种情况下，接近度获取器560认为AR图像716和AR图像720是“互相重叠”。以这种方式，由接近度获取器560获取的E值可以用作表示两个AR图像之间的接近度的值。
[0052]这里，足以使每一个AR图像的碰撞判定标准半径成为反应AR图像在三维空间里的大小的值。例如，它可以基于从距离测量参考点到组成AR图像的多边形的距离来设置。具体地，从距离测量参考点到组成AR图像的各个多边形的距离的平均值、距离的最大值或最小值等可以用作AR图像的碰撞判定标准半径。
[0053]返回到图3的描述，相互作用产生器570基于接近度获取器560获取的接近度计算两个不同AR图像之间发生的相互作用。这里，“相互作用”是这样的概念:，包括在AR图像之间发生的虚拟物理或化学相互作用和使用了 CG的视觉效果(VFX)。前者的例子是在刚体之间的碰撞动量守恒定律，在两个软体之间的碰撞的情况下后互相结合的现象，以及当一个AR图像燃烧时火焰传递到其他尚未燃烧的对象的现象。后者的例子是当一个AR图像是一把切割一切的剑刃时，另一个与该AR图像接触的AR图像被切割的效果，以及当一个AR图像被赋予穿过一切的属性时，它与其他AR图像重叠而无干扰。
[0054]属性管理部540管理属性，该属性包括指示给由AR图像生成器526生成的予每个AR图像的虚拟物理性质和视觉效果的信息。这里，由属性管理部540管理的属性根据相互作用产生器570计算的相互作用而改变。具体地，由属性管理部540管理的属性中包含的物理性质包含AR图像在三维空间中的位置坐标、速度矢量、加速度向量、质量、AR图像的刚性、颜色、温度、AR图像是否燃烧、AR图像是否发光、以及上述的距离测量参考点和碰撞标准半径。这些物理性质是范例，属性管理部540不必需要管理所有这些的物理性质。什么类型的物理性质要被管理可以取决于内容执行部510再现的内容假定的使用场景来决定。
[0055]相互作用产生器570基于接近度获取器560获取的接近度改变两个AR图像的物理性质。具体地，相互作用产生器570基于接近度获取器560获取的接近度计算相互作用，属性管理部540依据相互作用产生器570计算出的相互作用改变给予AR图像属性。AR图像生成器526改变在AR图像属性改变时生成的图像。
[0056]例如，以下将考虑下这样的情况:如图5所示示例中，AR与AR图像718碰撞，AR图像720是从三维监视器300飞出并且沿远离三维监视器300方向移动的球状对象，AR图像718静止在三维空间中并有圆锥形状的对象。在这种情况下，假设接近度获取器560计算AR图像720和AR图像718之间的接近度，并确定二者互相接触。基于作为AR图像720属性的质量和速度向量以及作为AR图像718属性的质量和速度向量，相互作用产生器570通过对计算应用动量守恒定律和动能守恒定律，计算出碰撞后二者的速度矢量。
[0057]属性管理部540通过相互作用产生器570计算出的速度矢量重写AR图像718和AR图像720的属性中的速度矢量。AR图像生成器526改变AR图像718和AR图像720，以便AR图像718和AR图像720可以根据属性管理部540重写的速度矢量移动。
[0058]图6是例示两个不同的AR图像之间的相互作用的图，以及示出呈现给穿戴立体视频观察设备200的用户的视频的一个例子的图。在图6所示示例中，与标记710关联并代表火焰的AR图像712接近与纸的标记728关联并代表炸弹的AR图像730的引线。尽管在图6所示示例中AR图像730的引线并没被点燃，但是假设接近度获取部560确定AR图像712通过用户移动标记710已经足够接近AR图像730的引线。这种情况下，相互作用产生器570认为AR图像730的引线被点燃，并且属性管理部540将AR图像730的属性由“没有燃烧”改变到“燃烧”。因此，AR图像生成器526以通过将AR图像730引线被点燃以随时间缩短的方式来改变AR图像730。
[0059]假设在图6所示的示例在经过预定时间后炸弹主体着火。此时，通过AR图像生成器526，生成表示炸弹的AR图像730以便因为爆炸分裂成几个片。以这种方式，图像生成器526在某些情况下由一个AR图像新生成另一 AR图像。作为从一个AR图像新生成另一 AR图像的情况的另一个例子，引用这样的情况:从表示手枪的图像生成发射子弹的图像。可替换地，假设在图6所示示例中用户高速移动标记710。此时，AR图像712的移动矢量和加速度矢量根据标记710的移动而改变。如果在每单位时间这些物理性质的变化量超过预定的阈值，则AR图像生成器526可以生成与AR图像712不同的新AR图像。这允许火焰根据用户的操作而分裂飞出的产生。
[0060]这里，在从一个AR图像新生成另一个AR图像的情况下，新生成的AR图像可以与作为基础的标记关联，或者可以是使用位置信息的另一标记。
[0061]图7是示出根据实施例的通过视频处理设备500进行相互作用产生处理的流程的流程图。例如，当视频处理设备500通电，本流程图中的处理开始。
[0062]接近度获取器560获取与通过标记识别器550识别的第一标记关联的第一 AR图像的位置坐标、距离测量参考点以及碰撞标准半径(S2)。接近度获取器560还进一步获取与通过标记识别器550识别的第二标记关联的第二 AR图像的位置坐标、距离测量参考点以及碰撞标准半径(S4)。
[0063]随后，所述接近度获取器560按照上述表达式(I)获取第一 AR图像和第二 AR图像之间的接近度(S6)。相互作用产生器570基于通过接近度获取器560获取的接近度，计算第一 AR图像和第二 AR图像之间的相互作用(S8)。
[0064]属性管理部540基于相互作用产生器570计算的相互作用，改变第一 AR图像和第二 AR图像的属性(SlO)。AR图像生成器526在第一 AR图像和第二 AR图像中反映由属性管理部540做出的的属性改变(S12)。在AR图像生成器526在图像中反映出属性改变后，本流程图的处理结束。
[0065]基于上述配置的视频呈现系统100的使用场景如下。穿戴所述立体视频观察设备200和使用视频呈现系统100的用户移动标记来移动与所述标记关联的AR图像，并把它靠近另一 AR图像。AR图像生成器526在AR图像中反映通过相互作用产生器570的相互作用。此时，这可以反映AR图像和内容的变化，其是根据与不同标记相对应的AR图像的接近度(诸如接触或碰撞)以及AR图像的属性(诸如速度和加速度)通过内容执行部510再现的内容。例如，考虑标记的加速度，例如使能根据标记的运动与标记关联的鞭子的AR图像的挠度的表达。此外，还使能产生给予AR图像的特殊的视觉效果。
[0066]如上所述，依据根据实施例的视频呈现系统100，可以提供一种用于产生在与特定对象关联地生成的图像之间的相互作用的技术。具体地，使能多个AR图像相互影响的应用和反映AR图像中的标记的移动。
[0067]以上基于实施例描述本发明。本领域的技术人员将理解，该实施例只是例示，并且在各个构成元件及其各个处理过程的组合中各种修改示例是可能的，并且这样的修改示例也在本发明的范围内。
[0068](第一修改示例)
[0069]在上述描述中，关于形成的对象的多边形的形心用作对象的距离测量参考点的情况进行了说明。但是，距离测量参考点不限定于多边形形心的坐标。例如，形成对象的多边形中的一个多边形的位置坐标可以用作代表。在这种情况下，用作代表的多边形可以取决于对象间的位置关系自适应地变更。具体地说，可以采用在形成对象的多个多边形之中的具有离另一个对象最短距离的多边形的位置坐标作为对象的坐标。这使得可能容易和准确地执行例如计算对象之间的碰撞确定的计算，而不使用上述表达(I)。
[0070](第二修改示例)
[0071]在上述描述中，关于该视频呈现系统100包括三维监视器300的情况进行了说明。然而本领域技术人员将理解的是，三维监视器300在本发明的实施例中不是必须的，并且本发明的实施例认为即使当立体视频输出目的地只是立体视频观察设备200中的光学透射HMD时也支持。
[0072](第三修改示例)
[0073]尽管在上述描述中，主要说明AR图像彼此接触时的相互作用，但是即时当AR图像彼此不接触的时候也计算该相互作用。例如，在用户移动标记以向代表纸的AR图像挥动代表纸扇的AR图像时，当代表纸扇的AR图像和代表纸的AR图像在二者没有接触的情况下彼此充分地足够的接近时，产生吹掉代表纸的AR图像的相互作用。以这种方式，取决于AR图像之间的接近度确定相互作用。
[0074](第四修改示例)
[0075]在上述描述中，关于接近度获取器560获取两个不同的AR图像之间的接近度的情况进行了说明。但是，通过所述接近度获取器560计算的接近度不限于两个不同的AR图像之间的接近度，还可以获得是某一 AR图像和标记之间的接近度。这种情况将在下面描述。
[0076]图8是说明某一 AR图像和标记之间的接近度的图。在图8所示的例子中，用户处理标记710，并试图用与标记710关联的AR图像732来攻击三维监视器300的显示区域中显示的角色302。图8所示的例子是游戏应用的示例，并且假定用户通过用代表雷的AR图像732攻击作为敌人角色的角色来进攻其。
[0077]如上所述，三维监视器300的显示区域也可以是一个标记。接近度获取器560获取AR图像732和角色302之间的接近度，角色302是作为标记在三维监视器300的显示区域中显示的部分视频。就是说，接近度获取器560计算AR图像和标记之间的接近度。由于此，例如，即使当通过内容执行部510再现的内容是传统型二维内容以及在三维监视器300的显示区域显示的视频是传统型二维视频，依然可以产生与三维AR图像的相互作用。
[0078][参考符号列表]
[0079]100视频呈现系统，200立体视频观察设备，202呈现部，204成像元件，206壳体，300三维监视器，302角色，400信息处理设备，500视频处理设备，502对象获取器，510内容执行部，520视频生成器，522控制部，524对象生成器，526AR图像生成器，530输出部，540属性管理部，550标记识别器，560接近度获取器，570相互作用产生器，602正交坐标系，704坐标系
[0080][工业适用性]
[0081]本发明可用于视频处理设备，视频处理方法，以及视频处理系统。
【权利要求】
1.一种视频处理设备，包括: AR图像生成器，其采用通过提供给光学透射HMD的成像元件成像的被摄体作为标记，并且生成要由所述光学透射HMD呈现的AR(增强现实)图像，所述光学透射HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的所述被摄体； 接近度获取器，其获取在与第一标记关联的第一 AR图像和第二标记或与第二标记关联的第二 AR图像之间，在虚拟三维空间中的接近度；以及 相互作用产生器，其基于所述接近度获取器获取的接近度，计算与第一 AR图像或第二AR图像之间发生的相互作用； 所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一 AR图像或第二 AR图像中的任一图像。
2.根据权利要求1所述的视频处理设备，还包括 属性管理部，其管理包括给予通过所述AR图像生成器生成的每个AR图像的虚拟物理性质的属性； 所述AR图像生成器改变在属性变化的时候要生成的图像。
3.根据权利要求2所述的视频处理设备，其中所述属性管理部根据相互作用产生器计算的相互作用改变给予所述第一 AR图像或者所述第二 AR图像的所述属性。
4.根据权利要求2或3所述的视频处理设备，其中 包括在由所述属性管理部管理的所述属性中的物理性质包括在所述虚拟三维空间中所述AR图像的位置坐标、速度、加速度或质量中的至少一个，并且 所述相互作用产生器基于由所述接近度获取器获取的接近度，改变所述第一 AR图像的物理性质和所述第二 AR图像的物理性质。
5.根据权利要求2至4中任一权利要求所述的视频处理设备，其中由所述属性管理部管理的属性包括指示要反映在所述AR图像中的视觉效果的信息。
6.一种使处理器执行以下步骤的视频处理方法: 生成步骤，生成要通过包括光学透射HMD和成像元件的立体视频观察设备呈现的AR图像，并且采用通过所述成像元件成像的被摄体作为标记，所述光学透射HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的所述被摄体； 获取步骤，获取在与第一标记关联的第一 AR图像和第二标记或与第二标记关联的第二 AR图像之间，在虚拟三维空间中的接近度； 计算步骤，基于获取的接近度，计算与所述第一 AR图像或所述第二 AR图像之间发生的相互作用；以及 改变步骤，根据计算的相互作用，至少改变所述第一 AR图像或所述第二 AR图像中的任一图像。
7.一种使计算机实现以下功能的程序: 生成功能，生成要通过包括光学透射HMD和成像元件的立体视频观察设备呈现的AR图像，并且采用通过所述成像元件成像的被摄体作为标记，所述光学透射HMD呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频，所述成像元件成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的所述被摄体； 获取功能，获取在与第一标记关联的第一 AR图像和第二标记或与第二标记关联的第二 AR图像之间，在虚拟三维空间中的接近度； 计算功能，基于获取的接近度，计算与所述第一 AR图像或所述第二 AR图像之间发生的相互作用；以及 改变功能，根据计算的相互作用，至少改变所述第一 AR图像或所述第二 AR图像中的任一图像。
8.—种视频处理系统,包括: 光学透射HMD，其呈现当虚拟三维空间中的三维图像投射到现实空间中时观察到的视频； 成像元件，其提供给所述光学透射HMD，并且成像存在于包括穿戴所述光学透射HMD的用户的视场的区域中的被摄体； AR图像生成器，其采用通过成像元件成像的被摄体作为标记，并且生成要由所述光学透射HMD呈现的AR(增强现实)图像； 接近度获取器，其获取在与第一标记关联的第一 AR图像和第二标记或与第二标记关联的第二 AR图像之间，在虚拟三维空间中的接近度；以及 相互作用产生器，其基于通过所述接近度获取器获取的接近度计算所述第一 AR图像或所述第二 AR图像引起的相互作用； 所述AR图像生成器根据所述相互作用产生器计算的相互作用，至少改变第一 AR图像或第二 AR图像中的任一图像。
【文档编号】H04N5/64GK104380347SQ201380032960
【公开日】2015年2月25日 申请日期:2013年4月17日 优先权日:2012年6月29日
【发明者】大桥良德 申请人:索尼电脑娱乐公司