专利名称：用于提供局部虚拟现实环境的方法和装置的制作方法
技术领域：
本发明的实施例一般涉及用户接口技术，并且更具体来说，涉及一种用于使得能够提供局部虚拟现实环境的方法和装置。
背景技术：
现代通信时代带来了关于有线和无线网络的急剧扩张。计算机网络、电视网络、和电话网络正在经历由客户需求激起的空前技术扩张。无线和移动网络技术已经解决了相关客户需求，且提供了信息传递的更多灵活性和及时性。当前和未来的网络技术持续促进信息传递的便利和用户的舒适性。其中的一个领域是对于增加涉及向移动终端用户递送服务的信息传递的便利性的需求。服务可以按照用户所期望的特定媒体或通信应用的形式，例如音乐播放器、游戏玩家、电子书、短消息、电子邮件、内容共享等。服务还可以按照交互式应用的形式，其中用户可对网络设备进行响应从而执行任务或实现目标。可从网络服务器或其他网络设备提供服务，或甚至从移动终端提供服务，所述移动终端例如，移动电话、移动电视、移动游戏系统等。在一些情况中，移动终端可以增强用户具有的与用户环境的交互。围绕使用移动终端的概念已经开发了大量的用例，以增强用户与他们的局部区域的交互，例如虚拟导游和其他混合的现实应用。混合的现实涉及真实和虚拟世界的融合。在一些情况中，混合的现实涉及将真实世界图像数据与虚拟对象相混合，以产生物理和数据对象共存并且潜在地还与真实时间进行交互的环境和可视化。混合的现实包括增强的现实，其使用数字影像来增强或增加真实世界影像，以及虚拟现实，其使用计算机仿真来对真实世界环境进行仿真。当将增强的现实合并到特定应用或场景中时，可以使用户能够捕获实况图像或使用所捕获的真实世界图像，并且然后将信息添加到图像。当在电视上利用流来观看体育比赛或间歇地呈现的比分或被覆盖到体育动作自身的视频上的其他状态信息时，频繁地体验增强现实的非常普通的示例。在上面介绍的比分或状态信息示例中，所述增强与其所增强的影像几乎没有关系。因此，所述增强可简单地出现在固定位置，而与在真实世界影像中正在进行的内容没有任何相关。然而，当使用虚拟对象来对增强现实情况中的图像进行增强时，并且希望虚拟对象与图像中的特定对象或位置相关时，必须追踪所述特定对象或位置，使得可以对虚拟对象进行正确地定位。在一些实例中，虚拟对象可充当被注册到特定对象的注释。然后，可进行像素准确追踪，以尝试确保虚拟对象准确地保持与特定对象相关。如果追踪是不准确的，可能无法使用户可靠地看见对何种内容进行注释。因此，对于在增强现实环境中的用户体验的质量来说，像素准确追踪可能是必要的。然而，在用户具有三自由度(3D0F)的环境中，像素准确追踪可能是困难的，并且当用户具有六自由度(6D0F)时甚至更难。因此，可能希望提供可替换的机制，通过所述可替换的机制来提供混合的现实体验给用户
发明内容
因此，提供一种用于使用局部虚拟现实来使得能够将混合现实体验提供给用户的方法，装置和计算机程序产品。例如，一些实施例可使用与用户的当前位置和设备方向相关的信息，以确定要显示的相应全景图。然后，可关于全景图来显示诸如虚拟对象或其他类型的增强的数字数据，以简化对象追踪问题。在一个示例实施例中，提供了一种提供局部虚拟现实环境的方法。所述方法可包括接收指示移动终端的当前位置的信息，接收指示移动终端关于当前位置的方向的信息，促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像，以及使得能够在全景图上提供虚拟对象。在另一示例实施例中，提供了一种用于提供局部虚拟现实环境的计算机程序产品。所述计算机程序产品包括至少一个计算机可读存储介质，所述计算机可读存储介质具有在其中存储的计算机可执行程序代码指令。计算机可执行程序代码指令可以包括程序代码指令以用于接收指示移动终端的当前位置的信息，接收指示移动终端关于当前位置的方向的信息，促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像，以及使得能够在全景图上提供虚拟对象。在另一示例实施例中，提供了一种用于提供局部虚拟现实环境的装置。所述装置可以包括至少一个处理器和包括计算机程序代码的至少一个存储器。所述至少一个存储器和计算机程序代码可以被配置为，通过处理器促使所述装置至少执行接收指示移动终端的当前位置的信息，接收指示移动终端关于当前位置的方向的信息，促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像，以及使得能够在全景图上提供虚拟对象。本发明的实施例可提供一种用于在设备中使用的方法，装置和计算机程序产品，使得例如设备用户可以通过设备享受与可访问的服务和应用相关的改进能力。
以概括地描述了本发明的实施例，现在将参照附图，其中附图的绘制无需按比例进行，并且其中图1是根据本发明示例实施例的移动终端的示意性框图；图2是根据本发明示例实施例的无线通信系统的示意性框图；图3是根据本发明示例实施例的用于提供局部虚拟现实环境的装置的示意性框图；图4是根据本发明示例实施例的根据用于提供局部虚拟现实环境的示例方法的框图；以及图5示例了相对于可能体验的用于使用局部虚拟现实的示例实施例的影响，图像对齐如何能够影响增强现实环境的示例，图5包括图5A、5B和5C。
具体实施例方式现在，将参照附图在后面更加全面地描述本发明的一些实施例，其中示出了本发明的一些但非全部实施例。实际上，本发明的各种实施例可以在多种不同的形式中实现，并且不应被解释成限于在此陈述的实施例；而是提供这些实施例使得本公开将满足适用的法律要求。通篇中，相同的参考数字指代相同的元件。根据本发明的示例实施例，可以互换地使用此处使用的术语“数据”、“内容”、“信息”和类似术语，以指代能够被传送、接收和/或存储的数据。因此，任何此类术语的使用不应被认为限制本发明实施例的精神与范围。此外，如这里所使用的，术语‘电路’指代(a)仅硬件的电路实现方式(例如在模拟电路和/或数字电路中的实现方式)；(b)电路和计算机程序产品的组合，该计算机程序产品包括存储于一个或者多个计算机可读存储器上的软件和/或固件指令，这些指令一起工作以使装置执行这里描述的一个或者多个功能；以及(C)电路(例如微处理器或者微处理器的一部分)，即使软件或者固件在物理上不存在，这些电路仍然需要用于操作的软件或者固件。将‘电路’的这种定义应用于这里对这一术语的所有使用(包括在任何权利要求中的使用)。作为进一步的示例，如这里所用的，术语‘电路’也包括实现方式，所述实现方式包括一个或者多个处理器和/或处理器的一部分以及附带的软件和/或固件。作为另一示例，如这里所用的，术语‘电路’也包括例如用于移动电话的基带集成电路或者应用处理器集成电路或者在服务器、蜂窝网络设备、其他网络设备和/或其他计算设备中的类似集成电路。如这里定义的指代非暂时性的物理存储介质(例如，易失性或非易失性存储器设备)的“计算机可读存储介质”可以区别于指代电磁信号的“计算机可读传输介质”。可使用无限的处理资源的现有增强现实环境可以尝试执行像素级别的对象追踪，以提供用于混合现实呈现目的的相对现实的增强。然而，对于具有有限处理资源的设备，例如许多移动终端，执行像素级别的追踪可能是不现实的或不期望的。这样的话，一些应用可能尝试使用内置加速计和/或磁力计来提供用户方向的近似值且使用用于定位的定位传感器。一些替代方案可在使用标准置信或自然特征的有限或预先准备的环境中使用追踪。然而，在一些情况中，这些选项可能限制可以实现用于增强的对象的追踪的环境。对于一些环境，通过将虚拟内容插入到环境的实况图像中，可以完成如重叠的内容添加、对象的虚拟移除、或将特定对象替换为其他对象。然而，在没有像素级别追踪的情况下，内容的添加有时可能不会自然地出现或所添加的内容可能看起来不像其实际上属于呈现的场景。这种现象可将其自身显示为真实世界对象(或多个对象)和相应的虚拟对象(或多个对象)之间的错误注册。然而，大部分摄像机用户的共同体验是通过用户的眼睛所看到的特定场景的图像与在大致指向相同方向的显示器上看到的图像不同。因此，利用存储的之前在几乎相同位置和方向处获取的全景像来替换实况或当前真实世界全景像可能产生令大部分用户感到愿意的图像，这是因为可能产生的视角中的小差异可能与用户期待的没有太多不同，因为用户在过去已经体验了正常的差异。此外，关于所存储的图像追踪真实对象以及将虚拟对象与真实对象相关联可能实际上比其关于真实图像更容易。图5示例了相对于可能体验的对使用局部虚拟现实的示例实施例的影响，图像对齐如何能够影响增强现实环境的示例，图5包括图5A、5B和5C。关于这一点，图5A示出了所显示的图像与图像中描述的真实世界对象很好地对齐的情况。图5A还示出了图像中示出的主要结构的某些特征的概览。在完美地对齐的情况中，无论图像是示例实施例的局部虚拟现实或增强的现实，在图像中的实际特征和概览之间存在良好的关联。图5B示出了在追踪较差的增强现实情况中可能发生的情况。关于这一点，尽管在图5B中示出了实况图像，但是图像的主要结构的实况图像和概览之间的追踪是较差的。较差的追踪可能是由用户运动或方向改变所导致的，由于较低的处理功率，其可能促使追踪失效，留下概览或其它虚拟对象看起来像浮在在空中。虚拟对象的浮动现象可能降级整体用户体验并且降低服务质量。同时，图5C示例了实施例，其中代替实况图像，显示器示出了所存储的在大致相同位置和大致相同方向上获取的全景图。通过观看背景，可以了解的是，设备没有像其之前那样准确地对齐。因此，尽管所显示的图像与图5A和5B中所显示的图像相同，但是所述图像没有与实际的背景适当地对齐。尽管有这种对齐的缺失，主要结构在所显示的图像中被相对容易地追踪，并且因此可以适当地显示和对齐所述概览，可能以比增强现实场景通常所需要的处理更少的处理。例如，可以使用本发明的一些实施例来提供移动终端呈现局部虚拟现实显示的能力，其中装备所述局部虚拟现实显示以简化在增强现实环境中可能不确定的追踪问题。在一些实例中，可以和指示用户设备的方向的信息一起使用与用户当前位置相关的信息，从而确定要显示的相应全景图。然后，可以关于全景图来显示虚拟对象或其它类型的增强，以简化对象追踪。因此，可以关于全景图来提供增强的显示器。图1是本发明的一个示 例实施例，示出了可从本发明实施例获益的移动终端10的框图。然而，应当理解的是，所示的和下文中所述的移动终端仅指示可以从本发明实施例获益的一种设备类型，并且因此不应用来限制本发明实施例的范围。尽管为了示例的目的可在下文中示出和描述移动终端10的一些实施例，但是其他类型的移动终端(例如便携式数字助理(PDA)、寻呼机、移动电视、游戏机、所有类型的计算机(例如膝上型计算机或移动计算机)、照相机、音频/视频播放器、收音机、全球定位系统(GPS)设备或上述的任意组合)、和其他类型的通信系统可容易地采用本发明的实施例。移动终端10可以包括与发射器14和接收器16可操作地通信的天线12 (或多天线)。移动终端10可以进一步包括分别提供信号给发射器14以及从接收器16接收信号的装置，例如控制器20或其他处理元件。信号可以包括根据适用的蜂窝系统的空中接口标准的信令信息，和/或还可以包括与用户语音，接收的数据和/或用户生成的数据相对应的数据。这里，移动终端10可以能够按照一个或多个空中接口标准，通信协议，调制类型和接入类型进行操作。通过说明的方式，移动终端10可以能够按照多个第一，第二，第三和/或第四代通信协议等中的任何协议进行操作。例如，移动终端10可以能够根据第二代(2G)无线通信协议IS-136 (时分多址(TDMA))，GSM (全球移动通信系统)，和IS-95 (码分多址(CDMA))，或根据第三代(3G)无线通信协议，如通用移动电信系统(UMTS)，CDMA2000，宽带CDMA (WCDMA)和时分-同步CDMA (TD-SCDMA)J^g 3.9G无线通信协议，例如E-UTRAN (演进的通用陆地无线接入网)，根据第四代(4G)无线通信协议等进行操作。可替换的(或附加地)，移动终端10可以能够按照非蜂窝通信机制进行操作。例如，移动终端10可以能够在无线局域网(WLAN)或其他通信网络中进行通信。应当理解的是，装置(例如控制器20)可以包括尤其是实现移动终端10的音频和逻辑功能的电路。例如，控制器20可以包括数字信号处理器设备，微处理器设备和各种模数转换器，数模转换器，和/或其他支持电路。可以在这些设备之间根据它们各自的能力来分配移动终端10的控制和信号处理功能。控制器20因此还可以包括在调制和传输之前对消息和数据进行卷积编码和交织的功能。控制器20可以附加的包括内部声码器，以及可以包括内部数据调制解调器。此外，控制器20可以包括操作可存储在存储器中的一个或多个软件程序的功能。例如，控制器20可以能够操作诸如常规Web浏览器的连通性(connectivity)程序。例如，连通性程序然后可以允许移动终端10根据无线应用协议(WAP)、超文本传输协议(HTTP)和/或类似物来传送和接收Web内容，例如基于位置的内容和/或其它网页内容。移动终端10还可以包括用户接口，用户接口包括诸如耳机或扬声器24、振铃器(ringer) 22、麦克风26、显示器28的输出设备，以及用户输入接口，它们可耦合到控制器
20。允许移动终端10接收数据的用户输入接口可以包括允许移动终端10接收数据的多种设备中的任何一个，诸如小键盘30、触摸显不器(未不出)、麦克风或其它输入设备。在包括小键盘30的实施例中，小键盘30可以包括数字(0-9)和相关键(#，*)，以及用于操作移动终端10的其它硬键和软键。可选地，小键盘30可以包括传统的QWERTY键区布置。小键盘30还可以包括具有相关联的功能的各种软键。此外或者可选地，移动终端10可以包括接口设备，诸如操纵杆或者其它用户输入接口。移动终端10进一步包括电池34(诸如振动电池组)，以便向用于操作移动终端10的各种电路供电，以及可选地提供机械振动作为可检测的输出。在一些实施例中，移动终端10包括与控制器20进行通信的媒体捕获元件，例如摄像机、视频和/或音频模块。媒体捕获元件可以是用于捕获图像、视频和/或音频以进行存储、显示或传输的任意部件。例如，在媒体捕获元件是摄像机模块36的示例实施例中,摄像机模块36可包括能够从所捕获的图像形成数据图像文件的数字摄像机。这样的话，摄像机模块36包括所有硬件，例如透镜或其它光学组件，以及用于从所捕获的图像创建数字图像文件所需的软件。可替换地，摄像机模块36可仅包括查看图像所需要的硬件，且移动终端10的存储器设备以从所捕获的图像创建数字图像文件所需要的软件形式存储控制器20所执行的指令。在示例实施例中，摄像机模块36可进一步包括处理元件，例如帮助控制器20处理图像数据的协处理器，以及用于压缩和/或解压缩图像数据的编码器和/或解码器。编码器和/或解码器可根据JPEG标准格式或另一类似格式来进行编码和/或解码。在一些情况中，摄像机模块36可将实况图像数据提供给显示器28。此外，在示例实施例中，显示器28可以位于移动终端10的一侧并且摄像机模块36可包括位于移动终端10的相对于显示器28的相对侧的透镜，以使摄像机模块36能够在移动终端10的一侧捕获图像并且将这种图像的视图呈现给位于移动终端10的另一侧的用户。此外，移动终端10可包括定位传感器37。定位传感器37可包括例如全球定位系统(GPS)传感器、辅助全球定位系统(辅助-GPS)传感器、蓝牙(BT)-GPS鼠标、其他GPS或定位接收器等。然而，在一个示例实施例中，定位传感器37可包括计步器或惯性传感器。关于这一点，定位传感器37可能能够确定移动终端10的位置，例如移动终端10的经度和纬度方向，或者相对于例如目的地或者起始点的参考点的位置。然后，可将来自定位传感器37的信息传达给移动终端10的存储器或者另一存储器设备，以存储为定位历史或者位置信息。关于这一点，例如，定位历史可在相应时间定义一系列对应于移动终端10的位置的数据点。还可以与定位传感器37所提供的定位历史或位置信息相关联地记录移动终端10的各种事件或活动。移动终端10可以进一步包括用户身份模块(UH038，其通常可以称为智能卡。UIM38典型地是具有内置的处理器的存储器设备。ΠΜ38可以包括例如订户身份模块(SM)、通用集成电路卡(UICC)、通用订户身份模块(USIM)、可移除的用户身份模块(R-UIM)或任何其它智能卡。ΠΜ 38典型地存储与移动订户相关的信息元素。除了 ΠΜ 38之外，移动终端10可以配备有存储器。例如，移动终端10可以包括易失性存储器40，诸如易失性随机存取存储器(RAM)，包括用于数据的临时存储的高速缓存区域。移动终端10还可以包括其它非易失性存储器42，其可以是嵌入式的和/或可以是可移除的。非易失性存储器42可以附加地或可选地可以包括电可擦除可编程只读存储器(EEPROM)、闪速存储器等。存储器可以存储由移动终端10使用的多条信息和数据中的任何信息和数据，以便实现移动终端10的功倉泛。图2是根据本发明示例实施例的无线通信系统的示意性框图。现在参照图2，提供将从本发明的实施例获益的一种类型的系统的说明。如图2所示，根据本发明示例实施例的系统包括第一通信设备(例如移动终端10)和在一些情况下还包括第二通信设备48，其中第一通信设备和第二通信设备每个都能够与网络50进行通信。第二通信设备48被提供作为说明关于其他设备的实例的潜在多样性的例子，其中所述其他设备可以包括在网络50中并且可以实现示例实施例。系统的通信设备可以能够通过网络50与网络设备进行通信或通过网络50彼此间进行通信。在一些情况中，与系统的通信设备进行通信的网络设备可包括服务平台60。在示例实施例中，移动终端10 (和/或第二通信设备48)能够与服务平台60进行通信以提供请求和/或接收信息。然而，在一些实施例中，不是使用本发明实施例的所有系统都可以包括此处示例的和/或介绍的所有设备。在示例实施例中，网络50包括通过相应的有线和/或无线接口能够彼此进行通信的各种不同节点、设备或功能的集合。这样的话，图2的图示应当被理解为系统的某些元件的广义视图的示例，并且不是系统或者网络50的包括一切的或详细的视图。尽管并非必须，在一些实施例中，网络50可能能够支持根据多个第一代(1G)，第二代(2G)，2.5G，第三代(3G)，3.5G，3.9G，第四代(4G)移动通信协议，长期演进(LTE)、LTE增强(LTE-A)等中的任意一个或多个的通信。诸如移动终端10和第二通信设备48的一个或多个通信终端可能能够通过网络50彼此进行通信，并且其中每一个可以包括用于传送信号到基站点或从基站点接收信号的一个或多个天线，这里的基站点例如可以是一个或多个蜂窝或移动网络的一部分的基站，或是可以耦合到数据网络的接入点，数据网络例如是局域网(LAN)，城域网(MAN)，和/或广域网(WAN)，例如因特网。继而，如处理设备或元件的其他设备(例如个人计算机，服务器计算机等)可以通过网络50耦合到移动终端10和第二通信设备48。通过直接地或间接地将移动终端10、第二通信设备48和其他设备连接到网络50，可以使得移动终端10和第二通信设备48能够与其他设备(或彼此)进行通信，例如，根据包括超文本传输协议(HTTP)等的多种通信协议，由此来分别执行移动终端10和第二通信设备48的各种通信或其他功能。进一步的，尽管没有在图2中示出，移动终端10和第二通信设备48可以根据，例如，射频(RF)，蓝牙(BT)，红外(IR)或包括LAN，无线LAN (WLAN),全球微波互连接入(WiMAX), WiFi，超宽带(UWB)，Wibree技术和/或类似技术的多个不同的有线或无线通信技术中的任意一个进行通信。同样的，可以使得移动终端10和第二通信设备48能够通过多种不同接入机制中的任意一个与网络50以及彼此进行通信。例如，可以支持移动接入机制、无线接入机制以及固定接入机制，其中移动接入机制例如，宽带码分多址(W-CDMA)，CDMA2000，全球移动通信系统(GSM)，通用分组无线业务(GPRS)和/或类似的，其中无线接入机制例如WLAN，WiMAX和/或类似的，以及其中固定接入机制例如数字订户线路(DSL)，线缆调制解调器，以太网和/或类似的。在示例实施例中，服务平台60可以是设备或节点，例如服务器或其它处理设备。服务平台60可以具有任意数量的功能或与各种服务的关联。这样的话，例如，服务平台60可以是诸如与特定信息源或服务(例如，局部虚拟现实服务、映射服务、搜索服务等)关联的专用服务器(或服务器库)的平台，或者服务平台60可以是与一个或多个其它功能或服务相关联的后端服务器。这样的话，服务平台60代表用于多个不同服务或信息源的潜在主机。在一些实施例中，通过硬件和/或软件组件来提供服务平台60的功能，所述硬件和/或软件组件被配置为根据用于将信息提供给通信设备的用户的已知技术来进行操作。然而，月艮务平台60所提供的至少一些功能是根据本发明的示例实施例提供的信息。在示例实施例中，服务平台60可以托管用于提供局部虚拟现实服务的装置和/或可以托管将全景图提供给实现本发明实施例的设备的图像供应设备。这样的话，在一些实施例中，服务平台60自身可以执行示例实施例，且在其它实施例中，服务平台60可促进在另一设备(例如，移动终端10和/或第二通信设备48)处的示例实施例的操作(例如，通过图像数据的供应)。在其它示例实施例中，可能根本不包括服务平台60。现在将通过参照图3来介绍示例实施例，其中显示用于使得能够提供局部虚拟现实环境的装置的特定元件。例如，图3的装置可以用在图1和图2中的移动终端10 (或第二通信设备48)上。然而，应当注意的是，图3的装置还可以用在各种其他设备上，例如图2的服务平台60。因此，示例实施例不应当被限制为在诸如图1的移动终端10的设备上的应用。可替换地，实施例可以用在包括例如上面列出的那些设备的设备组合上。因此，一些示例实施例可以完整地体现在单个设备(例如，移动终端10或服务平台60)上，或者由客户端/服务器关系中的设备(例如，服务平台60为移动终端10提供信息)体现。此外，应当注意的是，下面描述的设备或元件可非强制性的，并且因此在某些实施例中可省去一些设备或元件。现在参见图3，提供用于使得能够提供局部虚拟现实环境的装置65。装置65可以包括处理器70，用户接口 72，通信接口 74和存储器设备76或与处理器70，用户接口 72，通信接口 74和存储器设备76进行通信。存储器设备76可以包括，例如，一个或多个易失性或非易失性存储器。换句话说，例如，存储器设备76可以是包括门的电子存储设备(例如计算机可读存储介质)，其中门被配置为存储可由机器(例如，类似于处理器70的计算设备)获取的数据(例如比特)。存储器设备76可被配置为存储信息，数据，应用，指令或类似物，使得装置能够根据本发明的示例实施例执行多种功能。例如，存储器设备76可以被配置为缓冲处理器70所要处理的输入数据。附加地或可替换地，存储器设备76可以被配置为存储由处理器70执行的指令。处理器70(其可以是图1的控制器20的实例)可以按多种不同的方式体现。例如，处理器70可以体现为各种处理部件中的一个或多个，例如协处理器，微处理器，控制器，数字信号处理器(DSP)，具有或者没有附带的DSP的处理元件，或包括集成电路的各种其他处理电路，所述集成电路例如是ASIC (专用集成电路)，FPGA (现场可编程门阵列)，微控制器单元(MCU)，硬件加速器，特定用途计算机芯片等。在示例实施例中，处理器70可以被配置为执行存储在存储器设备76中的指令或处理器70可访问的指令。可替换地或附加地，处理器70可以被配置为执行硬编码功能。同样的，无论是由硬件或软件方法，或其组合来配置，处理器70可以代表当被相应地配置时能够执行根据本发明实施例的操作的实体(例如在电路中物理地体现的)。因此，例如，当处理器70体现为ASIC，FPGA等时，处理器70可以为执行这里介绍的操作的特定地配置的硬件。可替换地，作为其他实例，当处理器70体现为软件指令的执行器时，该指令可具体地配置所述处理器70，使得处理器70在指令执行时能够执行这里所述的算法和/或操作。然而，在一些情况下，处理器70可以是特定设备的处理器(例如移动终端或网络设备)，适于通过用于执行此处介绍的算法和/或操作的指令对处理器70的进一步配置来使用本发明的实施例。处理器70可以包括尤其是被配置为支持处理器70的操作的时钟，算术逻辑单元(ALU)和逻辑门。同时，通信接口 74可以是任何部件，例如体现在硬件或硬件和软件的组合中的电路或设备，其被配置为从网络和/或任何其他与装置通信的设备或模块接收数据，和/或将数据传送到网络和/或任何其他与装置通信的设备或模块。这样，通信接口 74可以包括，例如，天线(或多天线)以及使得能够与无线通信网络进行通信的支持硬件和/或软件。在一些环境中，通信接口 74可以替换地或还支持有线通信。同样的，通信接口 74例如可以包括通信调制解调器和/或用于通过线缆，数字订户线(DSL)，通用串行总线(USB)或其他机制支持通信的其他硬件/软件。用户接口 72可以与处理器70进行通信以接收在用户接口 72处的用户输入的指示和/或提供听觉的，视觉的，机械的或其他输出给用户。同样的，用户接口 72可以包括，例如，键盘，鼠标，操纵杆，显不器，触摸屏，软键，麦克风，扬声器或其他输入/输出结构。在装置65体现为服务器或一些其他网络设备的示例实施例中，用户接口 72可以被限制或省去。然而，在装置65体现为通信设备(例如，移动终端10)的实施例中，除了其他设备或元件之外，用户接口 72可以包括扬声器、麦克风、显示器和键盘等中的任何一种或全部。关于这一点，例如，处理器70可以包括被配置为控制用户接口的一个或多个元件的至少一些功能的用户接口电路，用户接口例如是，扬声器，振铃器，麦克风，显示器和/或类似物。处理器70和/或包括处理器70的用户接口电路可以被配置为通过存储在处理器70可访问的存储器(例如存储器设备76和/或类似物)上的计算机程序指令(例如软件和/或固件)来控制用户接口的一个或多个元件的一个或多个功能。在示例实施例中，装置65可进一步包括方向模块78(或与方向模块78进行通信)。这样的话，当在移动终端10处实现装置65时，方向模块78可以是移动终端10的一部分。然而，在服务平台60处实现装置65的实施例中，方向模块78可以远程地位于移动终端10处。方向模块78可以是任意部件，例如在硬件或硬件和软件的组合中实现的设备或电路，其被配置为确定移动终端10的方向和/或移动终端10的摄像机模块36的视场。可将方向模块78配置为确定移动终端10相对于基准的方向。在一些情况中，基准可以是特定的方向，例如北或另一基本方向。然而，还可以使用其它基准。这样的话，在一些实施例中，方向模块78可包括指南针或其它方向传感器，其被配置为确定摄像机模块36的透镜指向的方向或移动终端10的航向。可根据与基准的度数偏移(例如，O到360度)来确定方向和航向。在一些情况中，基准可以是固定的(例如，固定的方向基准)，而在其它情况中，基准可以是机会性基准，例如在摄像机模块所捕获的图像中的突出特征或简单地是初始方向。在示例实施例中，可将摄像机模块36的视场的方向与基准进行比较，从而确定移动终端10的当前方向。因此，例如，给定初始图像，可将特定特征选作基准。此后，随着视场改变，可将方向模块78配置为基于相对于基准的移动速度或移动量，确定摄像机模块36的视场的方向。虽然一些实施例可能仅确定单个平面中的方向(例如，与地表面相平行)，其它实施例可以允许包括海拔方面和/或轴方面移动的方向确定。因此，例如，可将方向模块78配置为确定移动终端10的倾斜和/或偏航(例如，定义海拔程度的倾斜和定义轴旋转的偏航)。这样的话，例如，方向模块78可包括用于确定移动终端10 (或摄像机模块36的视场)的方向的设备或其它部件，其可被称为方向信息。在一些实施例中，方向模块78可包括电子指南针、水平传感器、重力传感器、加速计、陀螺仪、磁力计等或可用于确定方向信息的任意其它传感器。因此，方向模块78可以是用于确定移动终端10的方向的任意部件、设备或电路。在示例实施例中，处理器70可以体现为包括或者控制图像选择器80和图像修改器82。这样的话，在一些实施例中，处理器70可以分别促使、指导或控制属于图像选择器80和图像修改器82的各种功能的执行或发生，如此处介绍的。图像选择器80和图像修改器82每个都可以是根据软件进行操作、或体现在硬件或软件和硬件的组合(例如在软件控制下操作的处理器70，体现为被具体地配置以执行这里所述的操作的ASIC或FPGA的处理器70，或其组合)中的诸如设备或电路的部件，由此配置所述设备或电路以分别执行图像选择器80和图像修改器82的相应功能，如此处描述的。这样，在使用软件的实例中，执行软件的设备或电路(例如一个示例中的处理器70)形成与这些部件相关的结构。在示例实施例中，图像选择器80可以被配置为接收指示移动终端10 (例如，来自定位传感器36)的当前位置(或定位)的定位信息。图像选择器80还可以被配置为接收指示移动终端关于当前位置的方向的方向信息。换句话说，图像选择器80还可以接收指示或描述移动终端10 (相对于基准)的方向的方向信息，使得可以基于当前位置或方向信息来确定移动终端10在当前位置期望具有的视场。图像选择器80然后可从图像库84获取(或请求)图像，所述图像库与当前位置和方向信息相关。值得注意的是，来自图像库的图像可以是所存储的之前在近似相同位置和/或方向处捕获的全景图像。然而，在一些实施例中，实际上，图像可以是所存储的代表近似相同位置和/或方向的虚拟视图的全景图。这样的话，例如，在一些情况中，图像可以是已经生成以接近当前呈现的、代表过去或未来时间的、或代表位置的影像修改的环境的用户周围环境的完全纹理模型。图像库84可以是存储器设备76的一部分或可以是包括多个图像的外部存储器或数据库。在图像库84与图像选择器80在装置65 (例如，在移动终端10或在服务平台60处)处进行配置的实施例中，图像库84可以是存储器设备76的一部分。然而，例如，在图像库84位于远程的实施例中(例如，当装置65在移动终端10处，但是图像库84在服务平台60处时)，图像库84可能不是存储器设备76的一部分。图像库84中存储的图像可以是与特定位置和方向相关联的全景图像。因此，在接收到指示当前位置和方向的信息时，可装备图像选择器80以从图像库84选择(或请求)相应的全景图像，所述图像库84提供之前在具有近似相同方向的近似相同位置处捕获的图像。在一些情况中，全景图像可以是与可通过因特网公开可获得的现有映射服务相关联的图像。然而，在其它情况中，全景图像可以是与特定位置、区域、商业、博物馆、旅行或实体相关联的图像的私有集合。在一些实施例中，在接收到位置信息和方向信息之后，图像选择器80可从图像库84选择特定图像。然而，在其它实施例中，或许在知道方向信息之前或在请求特定全景图像之前，可基于位置信息来预先取回一些图像。可从远程源接收预先取回的图像并且在本地进行存储，使得当搜索特定图像以将当前位置与方向信息进行匹配时，当由于在搜索操作期间可能需要处理更小的图像集合而是时候获取全景图像时，可以降低计算资源消耗。在一些情况中，图像库84可包括与相同位置和方向相关联的多个图像。例如，可与每个相应位置和方向相关联地存储具有不同光照条件的多个图像，从而使得能够获取对应于一天中的当前时间(例如，白天、夜晚、早上、傍晚等)和/或当前天气条件(例如，多云、晴、雨等)的图像。这样的话，图像选择器80可以参考信息源，例如与从图像库84获取或请求特定全景图像相关联的本地时钟和/或天气报告。图像修改器82可以被配置为提供包括由图像选择器80所选择的全景图像中的虚拟对象。因此，例如，图像修改器82可以被配置为提供包括虚拟数据，例如注释或具有由全景图像所定义的全景图的其它虚拟对象。这样的话，例如，图像修改器82可以被配置为追踪全景图像中的对象的位置，以及或者利用虚拟对象来替换所述对象、利用虚拟对象来覆盖所述对象(或所述对象的一部分)、或相对于所述对象来定位(position)虚拟对象。此外，在一些实施例中，可从图像基本上移除对象(例如，通过利用虚拟对象来覆盖或替换所述对象，所述虚拟对象被配置为看起来像被“移除”的对象后面的背景或结构)。此外，图像修改器82可被配置为呈现(或提供以用于呈现)用于在用户接口 72处渲染的经修改的图像。经修改的图像可包括被选择为对应于图像修改器82所修改的当前位置和方向的全景图像，其中一个或多个虚拟对象覆盖或包括全景图像。在一些实施例中，虚拟对象可以是用户所选择或定义的对象。例如，在一些情况中，用户可以设计图形元素或定义文本或用作虚拟对象的一些其它图像。然而，在其它情况中，用户可以选择图形元素、文本、来自图像的对象或用作虚拟对象的任何其它视觉感知对象。一旦定义了虚拟对象(或可能已经定义了多个虚拟对象)、可将虚拟对象放置在由用户所选择的位置或与全景图像中的特定真实对象或特征相关联的位置处的全景图像上(例如，重叠)。这样的话，在一些实施例中，图像修改器82可以被配置为将虚拟对象和全景图中的对象相关联。换句话说，可将虚拟对象注册到对象从而与对象相关联，而不管视图改变或对象相对于当前视场的定位中的改变。因此，例如，如果视场中对象的定位移动(例如，由于移动终端10的运动或由于移动终端10的方向的改变)，在当前视场中可相应地改变虚拟对象的定位。附加地，如果移动终端10的定位改变，使得对象的尺寸改变(例如，如果用户移动远离对象或更靠近对象)，则图像修改器82可以被相应地配置为调整虚拟对象的尺寸。因此，例如，如果对象是建筑物或符号并且虚拟对象是被放置在对象或在符号上的旗帜或图形元素，那么可对虚拟对象进行缩放以适合来自图像的对象。对象的追踪(例如，通过图像修改器82)可能比对实况图像中对象的追踪更为容易。因此，将虚拟对象与被提供以在显示器28处呈现的图像数据中的对象相关可以使用比实况图像上虚拟对象的增强现实呈现所需要的处理功率更少的处理功率来处理。然而，由于可将全景图像选择作为近似于如果实况图像无论如何被显示则可能被呈现的视图的图像，用户可能仍然具有关于在显示器28上呈现的局部虚拟现实环境的积极体验。这样的话，一些实施例可基本上利用虚拟全景图来替换真实全景图，所述虚拟全景图可能是借助于(by virtue of)为之前存储的近似相同位置(具有近似相同的方向)的图像的虚拟全景图的时间移位全景图。因此，示例实施例可基本上提供现实移位，所述现实移位对典型用户来说不会到引起失望体验的明显程度。示例实施例因此可提供要被剪裁的内容(例如，虚拟对象)到在不关心由于追踪困难所导致的注册错误的情况下已选择的全景图。因此，可以更少的错误和/或在不被真实世界对象阻隔的情况下重叠所述内容。因此，可使用示例实施例来修改具有广告或个人内容的特定位置的图像。可替换地或附加地，可以修改特定位置的图像以包括过去的对象(包括建筑物、植物、历史对象、人群等)的表示，所述过去的对象对应于特定位置可能在过去出现过的方式。相似地，可修改特定位置以示例潜在的未来对象，以推测所述位置在未来可能像什么。还可以使用各种示例实施例来实现大量的其他商业相关的、娱乐相关的、或社交内容共享相关的使用。因此，在一些实施例中，可使设备显示器能够提供局部虚拟现实环境，其中之前在当前位置附近的位置获取的并且具有与当前位置相似的设备方向的全景图像用作混合现实显示呈现的基础。全景图像可替换实况图像，用于在局部虚拟现实环境的呈现中使用。然而，由于显示器在存储的图像上呈现局部虚拟现实环境，在一些情况中，提供所述显示器的设备实际上甚至自身无需具有摄像机。通过使用存储的全景图像，追踪可能比使用实况图像更为简单，并且可按照一致地增强用户体验的方式来更为可靠地呈现虚拟对象。图4是根据本发明的示例实施例的系统、方法和程序产品的流程图。应当理解的是，流程图中的每个块以及流程图中块的组合可以通过各种部件来实现，这些部件诸如是硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其他设备。例如，上述的一个或多个过程可由计算机程序指令来体现。在此方面，实现上述过程的计算机程序指令可由使用本发明实施例的装置的存储器设备来存储，并且由装置中的处理器来执行。应当理解的是，可将任何此类计算机程序指令加载至计算机或其他可编程装置(例如，硬件)上以产生机器，从而作为结果的计算机或其他可编程装置体现用于实现流程图块中指定的功能的机制。这些计算机程序指令亦可存储于计算机可读存储存储器(相对于诸如载波波形或电磁信号的传输介质)中，该计算机可读存储存储器可以引导计算机或其他可编程装置以特定方式运作，从而使该计算机可读存储器中存储的指令产生制品，所述制品的执行实现流程图块中指定的功能。还可将计算机程序指令加载至计算机或其他可编程装置上，以使得在该计算机或其他可编程装置上执行一系列操作以产生计算机实现的过程，从而使得该计算机或其他可编程装置上执行的指令提供用于实现流程图块中指定的功能的操作。因此，流程图的块支持用于执行指定功能的部件的组合、用于执行指定功能的操作的组合，以及用于执行指定功能的程序指令。还应当理解的是，流程图的一个或多个块，以及流程图中块的组合可通过执行指定功能或操作的基于专用硬件的计算机系统，或者专用硬件和计算机指令的组合来实现。在这点上，一种用于使得能够提供局部虚拟现实环境的方法的一个实施例可包括，在操作100接收指示移动终端的当前位置的信息，以及在操作110接收指示移动终端关于当前位置的方向的信息。所述方法可进一步包括，在操作120，促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像，以及在操作130使得能够在全景图上提供虚拟对象。在一些实施例中，以上操作中的一些操作可以如下文所述的进行修改或进一步扩充。可以按任意顺序和任意组合来执行对上述操作的修改或扩充。关于这点，例如，促使显示存储的图像可包括从多个之前捕获的图像中选择所述存储的图像。每个之前捕获的图像可以与相应的位置和方向相关联。在一些实施例中，促使显示存储的图像可包括从多个之前捕获的从远程设备预先取回并本地存储的图像中选择所述存储的图像。在这种实例中，可基于每个预先取回的图像相对于当前位置的邻近度来选择预先取回的图像。在一些实施例中，使得能够提供虚拟对象可进一步包括将虚拟对象与全景图内对应的真实对象相关联。在一些情况下，使得能够提供虚拟对象可包括使用虚拟对象来替换真实对象、移除真实对象、或使用虚拟对象覆盖真实对象。在示例实施例中，接收指示移动终端的方向的信息可包括将实况图像中的基准点与之前捕获的图像或帧中的基准点的之前定位进行比较。在一些实施例中，接收指示移动终端的当前位置的信息和接收指示移动终端的方向的信息可在相对于移动终端的远程设备上发生，并且促使显示存储的图像可包括将来自设备的存储的图像提供给移动终端。在示例实施例中，用于执行上述图4所示方法的装置可包括一个或多个处理器(例如处理器70)，其被配置为执行上述操作(100-130)中的一些或每个。例如，处理器可以被配置为通过执行硬件实现的逻辑功能，执行存储的指令，或执行用于执行各个操作的算法来执行操作(100-130)。可替换地，装置可以包括用于执行上述操作中的每一个的部件。在这点上，根据示例实施例，用于执行操作100-130的部件的实例可以包括，例如，处理器70，图像选择器80、图像修改器82和/或用于执行指令或执行用于处理上述信息的算法的设备或电路中的相应部件。受益于前述说明和相关附图中所给出的教导，本发明所属领域的技术人员会想到在此阐述的本发明的很多修改和其它实施例。因此，可以理解的是，本发明并不限于所公开的特定实施例，并且旨在将这些修改和其它实施例包括在所附权利要求的范围内。此外，尽管前述描述和相关附图在元件和/或功能的特定示例组合的上下文中描述了示例实施例，然而应当理解的是，在不脱离所附权利要求的范围的情况下，可以由替换的实施例提供元件和/或功能的不同组合。就此而言，举例来说，除了以上明确描述的那些以外，元件和/或功能的不同组合也被视为可以在一些所附权利要求中得到阐述。尽管在此采用了特定术语，然而它们仅仅是在一般的和描述性意义上使用，而不是出于限制目的。
权利要求
1.一种装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和计算机程序代码被配置为利用处理器促使所述装置至少:接收指示移动终端的当前位置的信息；接收指示移动终端关于当前位置的方向的信息；促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像；以及使得能够在全景图上提供虚拟对象。
2.根据权利要求1所述的装置，其中所述存储器和计算机程序代码被配置为利用处理器促使所述装置:通过进一步从多个之前捕获的图像中选择存储的图像来促使显示所述存储的图像，其中之前捕获的图像中的每一个与对应的位置和方向相关联。
3.根据权利要求1所述的装置，其中所述存储器和计算机程序代码被配置为利用处理器促使所述装置:通过进一步从多个之前捕获的图像中选择存储的图像来促使显示所述存储的图像，其中从远程设备预先取回并本地存储所述之前捕获的图像，其中基于每个预先取回的图像相对于当前位置的邻近度来选择预先取回的图像。
4.根据权利要求1所述的装置，其中所述存储器和计算机程序代码被配置为利用处理器促使所述装置:通过将虚拟对象与全景图中对应的真实对象相关联使得能够提供所述虚拟对象。
5.根据权利要求1所述的装置，其中所述存储器和计算机程序代码被配置为利用处理器促使所述装置:通过使用虚拟对象替换真实对象、移除真实对象、或使用虚拟对象覆盖真实对象使得能够提供所述虚拟对象。
6.根据权利要求1所述的装置，其中所述存储器和计算机程序代码被配置为利用处理器促使所述装置:通过将 实况图像中的基准点与之前捕获的图像或帧中的基准点的先前定位进行比较，接收指示移动终端的方向的信息。
7.根据权利要求1所述的装置，其中所述装置位于移动终端远程，使得在远离移动终端的设备处发生接收指示移动终端的当前位置的信息和接收指示移动终端的方向的信息，并且其中促使显示存储的图像包括将存储的图像从所述设备提供给移动终端。
8.根据权利要求1所述的装置，其中所述装置是移动终端并且进一步包括被配置为促进对移动终端的至少一些功能的用户控制的用户接口电路。
9.一种方法，包括:接收指示移动终端的当前位置的信息；接收指示移动终端关于当前位置的方向的信息；促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像；以及使得能够在全景图上提供虚拟对象。
10.根据权利要求9所述的方法，其中促使显示所述存储的图像包括:从多个之前捕获的图像中选择存储的图像，其中之前捕获的图像中的每一个与对应的位置和方向相关联。
11.根据权利要求9所述的方法，其中促使显示所述存储的图像包括:从多个之前捕获的图像中选择存储的图像，其中从远程设备预先取回并本地存储所述之前捕获的图像，其中基于每个预先取回的图像相对于当前位置的邻近度来选择预先取回的图像。
12.根据权利要求9所述的方法，其中使得能够提供虚拟对象进一步包括将虚拟对象与全景图中的对应的真实对象相关联。
13.根据权利要求9所述的方法，其中使得能够提供虚拟对象进一步包括使用虚拟对象替换真实对象、移除真实对象、或使用虚拟对象覆盖真实对象。
14.根据权利要求9所述的方法，其中接收指示移动终端的方向的信息包括将实况图像中的基准点与之前捕获的图像或帧中的基准点的先前定位进行比较。
15.根据权利要求9所述的方法，其中在远离移动终端的设备处发生接收指示移动终端的当前位置的信息和接收指示移动终端的方向的信息，并且其中促使显示存储的图像包括将存储的图像从所述设备提供给移动终端。
16.—种包括至少一个计算机可读存储介质的计算机程序产品，所述计算机可读存储介质具有在其中存储的计算机可执行程序代码指令，所述计算机可执行程序代码指令包括程序代码指令以用于:接收指示移动终端的当前位置的信息；接收指示移动终端关于当前位置的方向的信息；促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像；以及使得能够在全景图上提供虚拟对象。
17.根据权利要求16所述的计算机程序产品，其中用于促使显示所述存储的图像的程序代码指令包括:用于从多个之前捕获的图像中选择存储的图像的指令，其中之前捕获的图像中的每一个与对应的位置和方向相关联。
18.根据权利要求16所述的计算机程序产品，其中用于促使显示所述存储的图像的程序代码指令包括:用于从多个之前捕获的图像中选择存储的图像的指令，其中从远程设备预先取回并本地存储所 述之前捕获的图像，其中基于每个预先取回的图像相对于当前位置的邻近度来选择预先取回的图像。
19.根据权利要求16所述的计算机程序产品，其中用于使得能够提供虚拟对象的程序代码指令进一步包括用于将虚拟对象与全景图中的对应的真实对象相关联的指令。
20.根据权利要求16所述的计算机程序产品，其中用于使得能够提供虚拟对象的程序代码指令进一步包括用于使用虚拟对象替换真实对象、移除真实对象、或使用虚拟对象覆盖真实对象的指令。
全文摘要
一种用于使得能够提供局部虚拟现实环境的装置，所述装置可以包括至少一个处理器和包括计算机程序代码的至少一个存储器。所述至少一个存储器和计算机程序代码被配置为利用处理器促使所述装置至少执行接收指示移动终端的当前位置的信息，接收指示移动终端关于当前位置的方向的信息，促使基于所述方向在移动终端处显示包括当前位置的全景图的存储的图像，以及使得能够在全景图上提供虚拟对象。还提供相应的方法和计算机程序产品。
文档编号G06F17/30GK103080928SQ201180032649
公开日2013年5月1日 申请日期2011年2月10日 优先权日2010年5月28日
发明者J·威瑟, R·阿祖马 申请人:诺基亚公司