用于增强的真实感的方法和系统与流程

本发明涉及一种用于增强的真实感的方法和系统。

背景技术：
增强的真实感的系统是已知的，该系统使用耦接到计算机的摄像机来拍摄视频图像、检测所拍摄的视频图像的特征，并且然后响应于所检测的特征，生成图形覆盖物以便叠加在所拍摄的视频图像上，这以某种方式增强了所拍摄的视频图像。参照图1，在典型的增强的真实感应用中，为了提供易于可检测的特征，在摄像机要拍摄的场景中包括已知大小的所谓的基准标记（fiduciarymark）800。基准标记典型地是高对比度（例如黑色和白色）并且是非对称的图案，因此，即使在相对差的图像拍摄条件下（例如，具有低分辨率图像拍摄、差的照明，等等），也提供用于图案辨识的可能。这种辨识典型地提供了基准标记在拍摄视频图像内的位置（x和y轴位置）和旋转（借助标记的非对称性）的估计。另外，可选地，可以通过比较所拍摄的图像中的基准标记的大小与基准标记的已知大小（例如，在1米距离处以像素表示的大小）来估计基准标记与摄像机的距离（其z轴位置）。类似地，可选地，可以通过比较所拍摄的图像中的基准标记的高宽比与基准标记的已知高宽比和/或使用其它技术，诸如检测透视缩短（foreshortening）（其中矩形形状表现为梯形）或者基准标记在所拍摄的视频图像中的其它变形，来估计基准标记的倾斜度（即，其在Z方向与x-y平面的偏离）。生成的图形覆盖物典型地包括然后可以被叠加在基准标记上的虚拟的图形元素，其具有用于修改作为可应用的虚拟图形元素的基准标记的估计的位置、旋转距离和倾斜度。然后将增强的图像输出给显示器。这一过程的主观效果在于，输出视频图像包括取代了基准标记的图形元素（例如，怪物或者城堡），典型地复制了基准标记的估计的位置、旋转、距离和倾斜度。可替换地，可以以其它方式来使用基准标记。例如，可以相对于基准标记来安置图形对象而不是覆盖它，或者娱乐系统或者其它计算机可以使用基准标记来识别场景中选择的对象或者区域。例如，将基准标记放置在桌子上可能会导致娱乐系统识别桌子格（例如，通过识别在基准标记附近发现的颜色的容差内的连续的颜色区域），在这之后，可以移除该基准标记。以这种方式，图形对象可以表现为被整合到（或者增强）如摄像机拍摄的真实世界中，使得能够通过适当地分析视频和/或来自用户的附加输入而与该图形对象进行自然的交互。然而，应理解，该整合的主观效果受到图形对象有多表现得使人相信其属于视频图像的影响。

技术实现要素：
本发明试图减轻或者缓解这种问题。在第一方面，根据权利要求1提供了一种增强的真实感的方法。在另一方面，根据权利要求11提供了一种娱乐设备。在所附的权利要求中定义本发明的另外的各个方面和特征。附图说明参照附图，现在借助于示例来描述本发明的实施例，在附图中：图1是基准标记的示意性图示。图2A是根据本发明的实施例的一本书的示意性图示。图2B是根据本发明的实施例的一本书的增强的图像的示意性图示。图3是根据本发明的实施例的娱乐设备的示意性图示。图4A是根据本发明的实施例的、包括一本书的输入视频图像的示意图示。图4B是根据本发明的实施例的、包括一本书的增强的输入视频图像的示意图示。图5是根据本发明的实施例的、一种增强视频图像的方法的流程图。图6A是根据本发明的实施例的、包括一本书的增强的输入视频图像的示意图示。图6B是根据本发明的实施例的、包括一本书的增强的输入视频图像的示意图示。具体实施方式公开了一种用于增强的真实感的方法和系统。在以下描述中，提出了大量的具体细节，以便提供对本发明实施例的彻底的理解。然而，对于本领域技术人员是显然的，无需采用这些具体的细节来实现本发明。相反，在合适时出于清楚的目的，省略了对本领域技术人员而言已知的具体细节。现在参照图2A和图2B，在本发明的实施例中，书1000具有多张刚性的、可转动的页（所谓的“板书（boardbook）”），并且在每一页面1001、1002上包括基准标记1011、1012，如图2A所示。应将页理解为书的单独的可旋转的片或者板，并且典型地在每一侧上包括一页面。图2A和2B借助于示例，示出了页面1和2（分别被标注为1001和1002）。可选地，该书的封面内页和/或封底内页也可以作为页面，并且包括基准标记。因此，在该示例中，页面1实际上可以是封面内页。类似地，可选地，封面外页和/或封底外页可以包括基准标记。另外，可选地，在外部边缘上利用高对比度标记1020对每一页面镶边，以便于检测页面的范围。耦接到摄像机的娱乐设备可以拍摄该书的图像并且使用已知技术来检测每个可见页面上的基准标记，以及它们的位置、比例、方位等等，如之前提到的。根据这些，可以近似估计具体页面及其外观位置、比例方位等等。给出这些信息，然后如图2B在所图示的，娱乐设备可以利用与可见页面上的基准标记1011、1012的放置、比例和方位对应的虚拟图形元素1111、1112来增强所拍摄的书的视频图像。这些增强过程典型地包括：响应于基准标记的方位和位置，构建在虚拟空间中已经定向和放置的虚拟图形元素的3D模型，并且将3D模型的视图投影到与摄像机的图像平面一致的2D图像平面上。该投影形成了然后可以被叠加到来自摄像机的视频图像上的数字图像作为所谓的“增强层”以便创建可以被输出用于显示的增强的视频图像。以此方式，在娱乐设备的控制下，该书的显示版本变成了其中页面可以变得逼真的“具有魔力”的弹出书。图3示意性地图示了一种被称为娱乐设备或者的、用于实现该方法的合适的娱乐设备。PS3包括系统单元10，与之可连接的各种外设包括如下详述的摄像机。系统单元10包括：Cell处理器100；动态随机存取存储器（XDRAM）单元500；具有专用视频随机存取存储器（VRAM）单元250的真实感合成器图形单元200；以及I/O桥700。系统单元10还包括：用于从盘440进行读取的盘光盘读取器430和可移除的吸入式（slot-in）硬盘驱动器（HDD）400，其通过I/O桥700可访问。可选地，系统单元还包括用于读取致密闪存卡存储卡等的存储卡读取器450，其通过I/O桥700可类似地访问。I/O桥700还连接：四个通用串行总线（USB）2.0端口710：吉比特以太网端口720；IEEE802.11b/g无线网络（Wi-Fi）端口730；以及能够支持多达七个蓝牙连接的无线链路端口740。在操作时，I/O桥700处理所有的无线、USB和以太网数据，包括来自一个或多个游戏控制器751的数据。例如，当用户正在玩游戏时，I/O桥700经由蓝牙链路从游戏控制器751接收数据并且将其引导到Cell处理器100，Cell处理器100相应地更新游戏的当前状态。除了游戏控制器751之外，无线、USB和以太网端口还对其它外设提供连接，诸如：遥控器752、键盘753、鼠标754、诸如SonyPlaystation娱乐设备之类的便携式娱乐设备755，以及耳麦757。在原理上，这种外设因此可以被无线连接到系统单元10；例如，便携式娱乐设备755可以经由Wi-Fi专用连接进行通信，而耳麦757可以经由蓝牙链路进行通信。具体地，这些连接使得诸如摄像机756之类的摄像机（或者立体摄像机，未示出）耦接到PS3以便拍摄书的视频图像（或者立体视频图像对）。提供这些接口意味着Playstation3设备还潜在地与诸如数字视频记录器（DVR）、机顶盒、数字相机、便携式媒体播放器、IP语音电话、移动电话、打印机和扫描仪之类的其它外设兼容。另外，传统的存储卡读取器410可以经由USB端口710连接到系统单元，使得能够读取由或者使用的这种类型的存储卡420。在本实施例中，游戏控制器751可操作地经由蓝牙链路与系统单元10进行无线通信。然而，可替代地，游戏控制器751可以连接到USB端口，由此也可以通过USB端口来提供功率以便向游戏控制器751的电池充电。除了一个或多个模拟的游戏杆以及常规的控制按钮之外，游戏控制器还对于与每个轴的平移和旋转对应的6个自由度的运动灵敏。结果，除了常规的按钮或者游戏杆命令之外或者替代常规的按钮或者游戏杆命令，游戏控制器的用户的手势和移动可以被转译为对游戏的输入。可选地，可以将诸如便携式娱乐设备755或者Playstation758之类的其它支持无线功能的外设用作控制器。在便携式娱乐设备的情形下，可以在设备的屏幕上提供附加游戏或者控制信息（例如，控制指令或者生命数）。在PlaystationMove的情形下，可以通过内部运动传感器并且通过对PlaystationMove设备上的光的视频监视来提供控制信息。还可以使用其它可替代性或者补充的控制设备，诸如跳舞毯（未示出）、光笔（未示出）、方向盘和踏板（未示出）或者定制的控制器，诸如用于快速响应的测验游戏的单个或者若干大的按钮（也未被示出）。遥控器752也可操作地经由蓝牙链路与系统单元10进行无线通信。遥控器752包括适合于蓝光盘BD-ROM读取器430的操作和对盘内容进行导航的控制。除了常规的预记录并且可记录CD之外，蓝光盘BD-ROM读取器430可操作地读取与Playstation和Playstation2设备兼容的CD-ROM，以及所谓的超音频CD。除了常规的预记录并且可记录DVD之外，读取器430也可操作地读取与Playstation2和Playstation3设备兼容的DVD-ROM。读取器430还可操作地读取与Playstation3设备兼容的BD-ROM，以及常规的预记录和可记录蓝光盘。系统单元10可操作地通过音频和视频连接器向诸如具有显示器305和一个或多个扬声器310的监视器或电视机之类的显示和声音输出设备300提供由Playstation3设备经由真实感合成器单元200生成或解码的音频和视频。音频连接器210可以包括常规的模拟和数字输出，而视频连接器220可以不同地包括分量视频、S视频、合成视频以及一个或多个高清多媒体接口(HDMI)输出。结果，视频输出可以是诸如PAL或者NTSC，或者720p，1080i或者1080p高清的格式。由Cell处理器100执行音频处理（生成、解码等等）。由Playstation3设备的操作系统支持环绕声、影院环绕（DTS），以及来自盘的7.1环绕声的解码。在本实施例中，摄像机756包括单电荷耦合器件（CCD）、LED指示器，以及基于硬件的实时数据压缩和编码装置，使得可以以诸如基于图像内的（intra-imagebased）MPEG(运动画面专家组)标准之类的合适的格式来传输压缩的视频数据供系统单元10进行解码。布置摄像机LED指示器以响应于来自系统单元10的合适的控制数据来进行照明，例如，通知不利的灯光条件。视频摄像机756的实施例可以不同地经由USB、蓝牙或者Wi-Fi通信端口连接到系统单元10。视频摄像机的实施例可以包括一个或多个相关联的麦克风并且还能够传输音频数据。在摄像机的实施例中，CCD可以具有适合于高清视频拍摄的分辨率。在视频摄像机的实施例中，它是立体的。在使用时，可以将由摄像机拍摄的图像例如合并到游戏中或者被解释为游戏控制输入。通常，为了经由系统单元10的通信端口之一与诸如视频摄像机或者遥控器之类的外设进行成功的数据通信，应提供诸如设备驱动程序之类的合适的软件。设备驱动程序技术是众所周知的并且在此不进行详述，除了说本领域技术人员将意识到在描述的本实施例中可能需要设备驱动程序或者类似的软件接口。出厂时提供的软件包括系统固件和Playstation3设备的操作系统（OS）。在操作时，OS提供使得用户能够从各种功能（包括玩游戏、听音乐、观看照片，或者观看视频）中进行选择的用户界面。该界面采用所谓的交叉媒体条（XMB）的形式，功能的类别被水平地布置。用户使用游戏控制器751、遥控器752或者其它合适的控制设备通过水平地穿过功能图标（表示所述功能）进行导航，以便使得期望的功能图标突出显示，此处与该功能有关的选项表现为以该功能图标为中心的选项图标的垂直滚动列表，可以以类似的方式来进行导航。然而，如果游戏、音频或者电影盘440被插入到BD-ROM光盘读取器430中，由Playstation3设备可以自动选择合适的选项（例如，通过开始游戏），或者可以提供相关选项（例如，在播放音频盘或者将其内容压缩到HDD400中之间进行选择）。另外，OS提供在线性能，包括：网络浏览器；具有在线商店的界面，可以从在线商店下载更多的游戏内容、演示游戏（演示）以及其它媒体；朋友管理性能，依赖于可用的外设，例如通过文本、音频或者视频来提供与当前设备的用户指定的其它Playstation3设备用户的在线通信。在线性能还在播放合适配置的游戏期间提供在线交流、内容下载和内容购买，并且Playstation3设备自身的固件和OS的更新。应理解，术语“在线”不是暗示线路的物理存在，这种术语还可以适用于各种类型的无线连接。现在转到图4A，其图示了可以由摄像机756拍摄的典型的真实场景并且因此代表可以由PS3接收的典型的输入视频图像。在该图像中，在该情形下，用户2000结合控制器758正在与书1000交互。在视频图像中还可以出现背景特征，诸如地毯/地板、沙发、墙纸等等。现在又转到图4B，其图示了拍摄的视频图像的典型的增强。在该情形下，已经基于所检测的设备的光在视频图像中的位置以及从设备自身传输到PS3的方位数据（例如，基于其加速度计信号）利用棍2242的图像增强了同时，响应于显示的基准标记，已经将书增强为具有营火2244的营地，并且用户正好将棍指向营火以点燃它。以此方式，如之前描述的，书的显示版本变成了用户可以交互的“具有魔力”的弹出书。将理解，响应于被检测的（多个）基准标记，可以针对这种书的每一页面生成不同的对象和图形效果，或者进一步响应于与一个或多个这种页面或者对象的特定交互；并且期望这些对象和效果尽可能真实地与拍摄的视频图像整合。具体地，可能通常希望一些预定的图形对象是光源，诸如图4B中的营火。然而，值得注意的是，如果光源仅仅被简单地叠加在视频图像上，则该光源将不会表现为与该视频图像进行交互。因此，生成增强层的过程可能被修改为计算光源怎样投射到虚拟的摄像机平面，以便生成照明效果的第二增强层。可以以合适的阿尔法（透明度）值将该层叠加在第一增强层上，继而叠加在原始视频图像上，以便使得光源表现为影响整个增强后的输出图像。可替代地，图形对象可能具有两个部分，一个为实心的（非透明的组件），一个为用于定义照明效果的半透明的组件，使得生成增强后的图像在原始视频上增加了半透明的效果。然而，这些技术总体上计算成本高昂。结果，在本发明的实施例中，这种预定的图形对象与色调（tint）信息相关联。色调信息可以采用指定视频图像的色彩平衡度中的改变的红色、绿色和蓝色值（或者视频图像使用的任何色彩空间的值）的形式。因此，例如，营火可以与色调信息相关联：红色（+20），绿色（-10），蓝色（-20）。在该情形下，这些值可以表示绝对值（例如，在8比特色彩通道空间中的256中的值）或者更通常地相对于每个通道中的全色范围的百分比。符号指示是应在当前色彩值上加上该值还是应从当前色彩值中减去该值，并且可以由任何合适的符号法则来表示。Cell处理器和/或RSX图形处理器然后将各个值改变应用到输入的视频图像中的每个像素的每个色彩通道以生成供使用的带色调的视频图像而不是原始的视频图像。在应用的改变导致像素色彩值超过相关色彩通道的允许值的上限或下限时，则可以将结果限幅（clip）到极限值。因此，在本发明的实施例中，对于所有受影响的像素，与RGB色彩通道中的绝对值位移一致地应用色调到色调信息指定的程度。如在此稍后提到的，受影响的像素可以是图像中的全部像素或者其子集（典型地由与预定的图形对象的距离来定义）。该位移自身还可以由距离来缩放。有利地，这种加法/减法在执行时是非常简单和高效地，使得能够利用非常小的计算成本来对视频图像加色调。上述示例的结果在于，与原始视频图像相比较，带色调的视频图像将具有红色/橙色色调。一种改进的应用色调的技术是随色调值和当前像素色彩值二者而改变像素的色彩。因此，例如，可以将绝对值或者百分比色调值10校准到色彩范围的中心值；也就是说，对于其色彩通道之一中具有值128的像素而言，值+10将改变值为138（注意，这里128被假定为是仅仅用于说明目的的具有256个离散值的色彩通道中的中间值）。然而，对于图像的暗色部分，具有类似的色彩平衡度的像素可能在同一色彩通道中具有等效值13。清楚地，将该值位移到13+10=23对于像素的亮度具有不相称的效果。在某些情况下，这可能是期望的（例如，当图形对象是光源，这可能是合适的），但是在其它情形下，最好对色调值进行适当的缩放。因此，如果128/13近似为10，则将色调值除以10产生缩放后的色调值1。将其应用到像素色彩通道产生新的值14。因此，在本发明的实施例中，将色调值缩放到与当前像素的相应的色彩值的相对亮度，例如或者关于全范围值（诸如256）的中点值（诸如128），成比例。由此，当简单地加上色调值时，其有效地均匀地增加了某个色彩的光，而将该色调值缩放到当前像素亮度时，其有效地增加了色调而不将亮度改变不相称的量。在任一情形下，然后可以以常规方式如上所述地来增强该带色调的视频图像，而不需要附加的增强层、光效果计算或者附加的部分透明的对象。因此，更一般地并且参照图5，一种增强的真实感的方法可以包括：在第一步骤s10中，将色调信息与预定的图形对象（诸如光源）相关联；在第二步骤s20中，接收诸如包括基准标记的书之类的包括用于检测的特征的真实场景的视频图像；在第三步骤s30中，检测该真实场景的视频图像中的特征并且响应于所检测的特征选择图形对象（诸如营火）以及在第四步骤s40中，利用所选择的图形对象增强视频图像，但是如果所选择的图形对象是预定的图形对象（换言之，如果被选择为增强书的特定页面的对象或者对象之一是光源或者其是另外被期望为更改真实场景中的视频图像的色彩平衡度），则在补充步骤s35中，取得与预定图形对象相关联的色调信息，并且响应于该色调信息来修改视频图像的色彩平衡度以便创建视频图像的带色调的版本。如图6A中所示（其示出了增强的视频图像226），如上所述，可以在整个视频图像上均匀地修改色彩平衡度。与图4B相比较，在图6A中，在图示的视频图像中通过不同的图案纹样（patterning）来对此进行图示。然而，现在参照图6B（其示出了增强的视频图像228），可替代地，在本发明的实施例中，可以将色彩平衡度修改到一依赖于视频图像像素相对于将占据增强后的视频图像的预定的图形对象的位置的位置的程度（例如，到该对象居中的抽象位置（notionalposition）。因此，例如，这种依赖性可以是像素与该抽象位置的距离。这在图6B中通过以这种位置为中心的图像上的一系列同心图案纹样来图示，图示了已经应用色调的不同程度。应理解，典型地，以与距离的相反关系来应用色调，使得虚拟光源的影响表现为随着距离减小。因此，例如，可以将像素Pxy的红色通道的色调改变计算为：Pxy(Rednew)=Pxy(Redold)+(ΔRed*Dist(Pxy)),等式1其中Dist(Pxy)=Max(Sx-Px,Sy-Py)-((Px-Ox)2+(Py-Oy)2)1/2或者，对于第一估计,Dist(Pxy)=Max(0,Sx-1/2((Px-Ox)+(Py-Oy)),其中Oxy是该对象占据的位置，Sx,Sy是图像的分辨率（最大像素位置值）；并且ΔRed是红色通道的值范围乘以色调信息中的百分比(例如256*-20%=-51)。对于蓝色通道和绿色通道（或者在系统中使用的无论什么颜色的通道）作出类似的改变。在以上方案中，Sx和/或Sy因此典型地确定了可感知的色调的范围，并且可以以设计者的判断力而替换为不同的值。可替换地或者除了可以随时间来修改色调和/或色调的程度，例如以产生与火一致的闪烁效果。因此，以上的等式1可以被修改为：Pxy(Red)new=Pxy(Red)old+((ΔRed*FuncA(t))*(Dist(Pxy)*FuncB(t))),等式2其中FuncA(t)和FuncB(t)是依赖时间的函数，例如，随时间变化返回0.9至1.1范围内的值。该函数可以例如是正弦或者伪随机函数，或者是二者的组合。FuncA(t)和FuncB(t)可以是相同的函数或者不同的函数。注意到仅仅需要对每一帧计算一次(ΔRed*FuncA(t))。应理解，典型地,作为生成增强层的过程中的一部分，来计算增强层中的对象的位置数据。例如，增强层中的对象的左上像素的位置可能是已知的，对象的尺寸也可能是已知的。从这一点，例如，直接计算对象的中心点的位置。可替代地，可以利用偏好位置信息，例如，该对象与对象的参考点（或者界定对象的抽象框的参考边角）的垂直、水平和可选的深度百分比，来补充色调信息。这使得能够在光源明显与对象的中心不重合的情况下，使色调修改在虚拟对象上进行真实的中心对准，如例如利用燃烧的火炬。因此，在本发明的实施例中，位置偏移信息与色调信息相关联，并且参照位置偏移信息导出预定图形对象的位置（例如出于将色调修改为随着对象位置的不同而不同的目的）。类似地，在本发明的实施例中，还可以将亮度信息与预定的图形对象相关联，并且如果预定的图形对象被选择为用于增强层，则也响应于亮度信息来修改视频图像的亮度。因此，例如，如果将雷雨云选择为用于增强的图像中，除了应用与被应用到视频图像的雷雨云相关联的蓝色色调之外，还可以减少视频图像的亮度。如之前提到的，一种用于实施上述技术的合适的娱乐设备是SonyPS3。因此，在本发明的实施例中，用于生成供显示的增强的真实感图像的娱乐设备，诸如PS3(10)，包括：处理器部件（诸如Cell处理器100），在合适的软件指令下可操作地将色调信息与预定的图形对象相关联（例如在RAM或者在HDD上）；以及输入部件，诸如USB端口720，可操作地例如从EyeToy或者PlaystationEye756接收包括用于检测的特征的真实场景的视频图像。Cell处理器在合适的软件指令下，然后可操作地检测真实场景的视频图像中的特征（诸如书1000上的基准标记1011、1012），并且响应于所检测的特征选择图形对象2242。诸如RSX200之类的图形处理部件然后可操作地利用所选择的图形对象来增强视频图像。然而，如果所选择的图形对象是预定的图形对象，处理器部件可操作地取得与预定图形对象相关联的色调信息，并且响应于该色调信息来修改视频图像的色彩平衡度。类似地，图形处理部件可选地可操作地将色彩平衡度修改到一依赖于视频图像像素相对于将占据增强的视频图像的预定的图形对象的位置的位置的程度。同样，处理器部件可选地可操作地将亮度信息与预定的图形对象相关联，并且如果被选择的图形对象是预定的图形对象，则图形处理部件可选择地可操作地响应于亮度信息来修改视频图像的亮度。因此，一种用于生成供显示的增强的真实感的图像的系统可以包括如在此所述的娱乐设备、可操作地耦接到该娱乐设备的视频摄像机。该系统然后可以被耦接到使用中的TV或者其它显示器。然后，该系统然后可以对包括一个或多个可转动的页的书（在书的页面上印制有相应的基准标记）的图像进行操作，或者可替代地，或者另外地，该系统可以对单独的标记卡片或者用于检测的其它合适的特征的图像进行操作。最后，应理解，可以在通过软件指令或通过包括或者替换专用硬件被合适适配为合适的常规硬件中执行在此描述的方法。由此，可以以以下形式来实施所需要的对于常规的等效设备的现有部分的适配：非暂时的计算机程序产品或者类似的制造的对象的形式，包括在诸如软盘、光盘、硬盘、PROM、ROM、闪存或者这些的任何组合或者其它存储介质之类的数据载体上存储的处理器可实现的指令；或者经由诸如以太网、无线网络、因特网，或者这些的任何组合或其它网络上的数据信号的传输的形式，或者被实现在如ASCI(专用集成电路)或者FPGA(现场可编程门阵列)或者其它适合于在修改常规等效设备时使用的可配置电路。