用于增强现实角色维持并体现观察者的认知的方法
【专利说明】用于増强现实角色维持并体现观察者的认知的方法
[0001]本分案申请是申请日为2011年2月14日、申请号为201180027017.0、发明名称为“用于增强现实角色维持并体现观察者的认知的方法”的分案申请。
技术领域
[0002]本发明涉及用于使得增强现实角色能够维持并体现观察者的认知的方法。
【背景技术】
[0003]视频游戏产业的新增部分包括便携式手持设备的使用。这样的便携式设备的示例包括专用游戏设备，诸如索尼电脑娱乐公司等制造的设备，以及诸如智能机、PDA、数字多媒体播放器之类的其他类型的便携式设备。因为这样的便携式设备的计算能力已经增大，所以便携式设备处理越发复杂的程序和任务的能力也增大了。
[0004]例如，如今的便携式设备可以包括集成于单一设备的几个不同类型的硬件。很多这样的设备可以包括彩色显示器、相机、扬声器和诸如按钮、触摸屏或手写笔(stylus)之类的输入机构。
[0005]在此背景下，提出发明的实施例。
【发明内容】
[0006]本发明的实施例提供用于增强现实角色维持并体现观察者的认知的方法和系统。应当明白，本发明可以以诸如处理、装置、系统、设备或计算机可读介质上的方法之类的多种方式来实现。以下描述本发明的几个有创造性的实施例。
[0007]在一个实施例中，提供一种用于使得虚拟角色展示用户的位置或活动的认知的方法，所述方法包括，检测便携式设备的位置，所述便携式设备与所述用户基本上在同一位置，所述便携式设备包括相机和显示器；在所述相机中捕获真实世界场景；生成通过将虚拟角色插入如由所述相机捕获的所述真实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的位置或活动的认知的动作；在所述便携式设备的显示器上显示所述增强现实场景；其中指示认知的动作包括调整所述增强现实场景中所述虚拟角色指向所述便携式设备的观看方向。
[0008]在一个实施例中，提供一种用于使得虚拟角色展示用户的位置或活动的认知的方法，所述方法包括，检测便携式设备的位置，所述便携式设备与所述用户基本上在同一位置，所述便携式设备包括相机和显示器；在所述相机中捕获真实世界场景；生成通过将虚拟角色插入如由所述相机捕获的所述真实世界场景形成的增强现实场景，所述虚拟角色配置以进行指示所述用户的位置或活动的认知的动作；在所述便携式设备的显示器上显示所述增强现实场景；其中指示认知的动作包括调整所述增强现实场景中在所述便携式设备的所述相机指向的位置的方向上所述虚拟角色的观看方向。
[0009]在一个实施例中，提供一种用于提供与虚拟角色的用户互动性的方法，所述方法包括:通过便携式设备的相机捕获真实世界场景；基于所述真实世界场景生成增强现实场景，所述增强现实场景包括虚拟角色；在所述便携式设备的显示器上绘制所述增强现实场景；追踪所述便携式设备的相机的方向；响应于追踪的所述相机的方向，调整所述虚拟角色的观看方向；其中当所述相机的方向指向所述虚拟角色时，那么调整所述虚拟角色的观看方向指向所述便携式设备；其中当所述相机的方向指向不同于所述虚拟角色的所述增强现实场景中的对象时，那么调整所述虚拟角色的观看方向指向所述增强现实场景中的对象。
[0010]在一个实施例中，提供一种用于提供与虚拟角色的用户互动性的方法，所述方法包括:通过便携式设备的相机捕获真实世界场景；基于所述真实世界场景生成增强现实场景，所述增强现实场景包括虚拟角色；在所述便携式设备的显示器上绘制所述增强现实场景；检测通过所述便携式设备的用户的手势；响应于检测到的通过所述用户的手势，调整所述虚拟角色的观看方向。
[0011 ] 在一个实施例中，提供使得虚拟角色展示用户的位置或活动的认知的方法。根据该方法，通过检测便携式设备的位置来检测用户的位置。该便携式设备与用户基本上在同一位置(colocat1nal)，并且由用户控制该便携式设备的位置和移动。该便携式设备包括相机和显示器。在该相机中捕获真实世界场景的第一图像流。基于该第一图像流生成第二图像流，该第二图像流包括增强现实场景，其通过将虚拟角色插入到在第一图像流中捕获的真实世界场景中来形成。虚拟角色配置以进行指示用户的位置或活动的认知的动作。第二图像流显示在便携式设备的显示器上。
[0012]在一个实施例中，虚拟角色到真实世界场景的插入包括在虚拟角色到在真实世界场景内识别出的表面上的放置。
[0013]根据另一实施例，便携式设备的位置的检测包括第一图像流内的定位器(anchor)的识别，该定位器在便携式设备的移动期间被跟踪。在各种实施例中，定位器可以包括真实世界场景内的增强现实标签或特征。
[0014]在一个实施例中，指示认知的动作的表演自动发生，而不要求来自用户的命令。
[0015]在一个实施例中，指示认知的动作包括调整虚拟角色的观看方向。
[0016]在一个实施例中，观看方向的调整是在便携式设备的位置的方向上，并且该方法进一步包括随着便携式设备在三维空间中移动而持续地更新观看方向的调整的方法操作。
[0017]在一个实施例中，虚拟角色的观看方向的调整包括虚拟角色的头部或眼睛的调整，以注视在便携式设备的方向上。
[0018]在另一实施例中，观看方向的调整是在便携式设备的相机所指向的位置的方向上。
[0019]在发明的替代实施例中，提供用于使得虚拟角色展示用户的位置或活动的认知的方法。根据该方法，在便携式设备的相机中捕获真实世界场景的第一图像流。该便携式设备与用户基本上在同一位置，并且由用户控制该便携式设备的位置和移动。识别和跟踪在第一图像流中的一个或多个标记，并且基于一个或多个标记的跟踪来跟踪便携式设备的位置和朝向。基于第一图像流生成第二图像流，第二图像流描绘参考第一图像流中的标记定位的虚拟现实场景。该虚拟现实场景包括虚拟角色，配置以进行指示用户的位置或活动的认知的动作。第二图像流显示在便携式设备的显示器上。
[0020]在发明的另一实施例中，提供用于提供与虚拟角色的用户互动性的方法。根据该方法，初始化与计算机程序的用户互动性。确定与计算机程序的虚拟角色的用户互动。在用户与虚拟角色互动期间检测来自用户的传感器数据。使用该传感器数据跟踪用户的位置。进一步根据该方法，在用户与虚拟角色互动期间检测虚拟角色的位置。并且，在用户与虚拟角色互动期间识别用户的位置与虚拟角色的位置之间的相对定位。识别用户与虚拟角色的互动的背景(context)。并且，也识别用于用户与虚拟角色的互动的背景的信令(signaling)属性。将信令属性施加到虚拟角色以通过虚拟角色传递用户的认知。
[0021]在一个实施例中，计算机程序提供虚拟现实环境，该虚拟现实环境包括虚拟角色。并且，与计算机程序的用户互动性包括与虚拟环境的互动性。
[0022]在另一实施例中，计算机程序提供增强现实环境，该增强现实环境包括虚拟角色。并且，与计算机程序的用户互动性包括与增强现实环境的互动性。
[0023]在一个实施例中，传感器数据包括由用户控制的便携式设备所捕获的图像流。并且，用户的位置的跟踪包括图像流内的标记的识别和跟踪以使能便携式设备的位置的确定。
[0024]在一个实施例中，用户与虚拟角色的互动的背景可以包括现实世界环境内的地点、虚拟环境内的地点或计算机程序内的平台。
[0025]在一个实施例中，信令属性可以包括虚拟角色的观看方向的调整、虚拟角色的移动或虚拟角色的手势。
[0026]从结合借助示例图示本发明的原理的附图采用的后续详细描述，本发明的其他方面将变得清晰。
【附图说明】
[0027]通过参考结合附图的后续描述可以最好地理解本发明，在附图中:
[0028]图1A图示依据发明的实施例的示例性便携式设备的前视图；
[0029]图1B图示依据发明的实施例的示例性便携式设备的后视图；
[0030]图2图示依据发明的实施例的、使用便携式设备观看增强现实场景的用户；
[0031]图3A图示依据发明的实施例的、与虚拟角色互动的用户的俯视图；
[0032]图3B图示依据发明的实施例的、与虚拟角色互动的用户的俯视图；
[0033]图4A图示依据发明的实施例的、当被用来观看增强现实场景时的便携式设备的特写视图；
[0034]图4B图示依据发明的实施例的、当被用来观看增强现实场景时的便携式设备的特写视图；
[0035]图5A图示依据发明的实施例的、被操作以指向不同方向的便携式设备的俯视图；
[0036]图5B和图5C图示依据发明的实施例的、与虚拟角色互动的用户和真实人的俯视图；
[0037]图6图示依据发明的实施例的、从用户角度看正被用来显示增强现实图像流的便携式设备的特写视图；
[0038]图7图示依据发明的实施例的、利用便携式设备观看增强现实场景的用户；
[0039]图8图示依据发明的实施例的、利用利用便携式设备观看增强现实场景的两个用户；
[0040]图9图示依据发明的实施例的、利用便携式设备观看增强现实场景的一组用户的俯视图；
[0041]图10图示依据发明的实施例的、用户在其中使用便携式设备观看增强现实场景的房间的视图；
[0042]图11图示依据发明的实施例的、从与虚拟角色互动的用户的角度观看的便携式设备的特写视图；
[0043]图12A图示依据发明的实施例的、认知对时间的曲线图；
[0044]图12B图示依据发明的实施例的、认知对时间的曲线图；
[0045]图12C图示依据发明的实施例的、认知对时间的曲线图；
[0046]图13A图示依据发明的实施例的、用于使得虚拟角色传递用户的认知的方法；
[0047]图13B图示依据发明的实施例的、用于虚拟角色展示虚拟角色知道人类在其世界中的地点的方法的流程图；以及
[0048]图14图示示出依据发明的实施例的便携式设备的组件的示图。
【具体实施方式】
[0049]下列实施例描述用于使能与增强现实角色的互动性的系统的方法和装置。在互动性期间，增强现实角色能够维持或体现观察者的认知。在一个实施例中，观察者是便携式设备的用户，其可以通过便携式设备的屏幕观看增强现实角色。随着用户在三维空间中四处移动便携式设备，增强现实角色可能回看用户。在一个实施例中，在三维空间中移动时，增强现实角色通过跟踪便携式设备的地点回看用户。增强现实角色回看用户的时间或次数取决于程序或用户与增强现实角色的互动性的接触。如果用户正在与增强现实角色互动，则通过将增强现实角色视作化身，该化身取决于互动性的背景和本性，可能仅在时间的特定点上体现认知。因此，现在将描述各种示例，其图示用于使得增强现实角色或对象展示或体现(或对)三维空间的某点的认知。
[0050]但是，对本领域技术人员来说，显而易见，可以不用这些具体细节的某一些或全部而实践本发明。在其他例子中，没有详细描述熟知的处理操