用于创建环境并用于共享环境中基于位置的体验的系统和方法

用于创建环境并用于共享环境中基于位置的体验的系统和方法
【专利说明】用于创建环境并用于共享环境中基于位置的体验的系统和方法
[0001]背景
[0002]1.
技术领域
[0003]本发明涉及用于创建包括虚拟模型和图像的室内和户外环境的系统和方法，以及使用这样创建的环境的方法和系统。在优选形式中，部分地使用众源的图像和元数据来创建环境，且环境被应用于社交媒体应用。
[0004]2.对相关技术的描述
[0005]Microsoft、Google，以及Nokia(Navteq)已经采用移动街道汽车通过世界上的大多数主要城市来当汽车在街道上遍历时捕捉建筑物和环境的图像。在一些情况下，激光雷达成像(例如，光检测及测距或“LIDAR”)还捕捉来自汽车的测距数据，以捕捉与建筑物和街道位置和结构有关的数据，诸如建筑物高度。由行驶中的汽车捕捉到的图像包括用户可从地图服务访问的照片和视频图像(以及在很多情况下，卫星图像)。例如，从GoogleMaps和Google Earth访问来自Google的Street View，并提供当获取汽车沿着主要街道移动时从获取汽车获取的全景图像。来自微软的Bing Maps是类似的，参见如，美国专利公开 N0.2011/0173565 和 WO 2012/002811。Earthmine 是类似的，但是，使用 Mars 收集系统。Nokia具有其自己的类似地操作的版本，称为“Journey View”。这样的图像非常有用，但是，获取仅限于沿着主要干道行驶的专用车辆。其他方法使用从飞机捕捉到的光学和LIDAR数据。
[0006]出现了照片共享站点，其中基于web的照片储存库(Photobucket)与被授权的用户共享事件的照片。不例包括 Flickr、Photobucket、Picasa、Shutterfly、BeamrandSnapf ish。进一步地，诸如Facebook和Google+之类的社交网络使用户组张贴事件的照片并与朋友共享照片。这样的照片储存库和社交网络对于与朋友共享事件是有用的，但是，在真实性和交互方面受到限制。进一步地，许多社交网络作为照片储存库来操作，传统的照片储存库已经变为社交网络一一模糊它们之间的区别。进一步地，照片改进的站点变得常见。例如，Instagram、Camera+，以及 Pinterest0
[0007]需要创建环境并更新环境的准确的方法和系统，以便它是准确的、特征丰富的、且当前的。例如，美国专利公开N0.2011/0313779说明了通过收集用户反馈来更新兴趣点的一种方法。另外，很多环境简直不可用，诸如停车场、室内位置和主要城市中的主要街道以外的任何位置。进一步地，能够在超出只共享在事件之后张贴的事件的照片之外还共享基于位置的体验将是一个进步。
[0008]相关的专利和申请描述了对基于位置的体验的各种改进，例如:美国专利 N0.7，855，638 和 7，518，501 和美国专利公开 N0.2011/0282799、2007/00188802012/0007885以及2008/0259096 (有时被称为“相关专利”)。通过引用在法律允许的最大程度上结合此处所引用的所有参考文献，但是，这样的结合不应该解释为参考文献现有技术的承认。

【发明内容】

[0009]通过根据本发明的用于创建并共享环境和体验的系统和方法来解决上文所概述的问题。广泛地说，用于创建环境并用于共享体验的系统包括多个移动设备，它们具有用在兴趣点附近来捕捉所述兴趣点附近的随机图像和相关联的元数据的相机，其中，每一个图像的元数据都包括移动设备的位置和相机的取向。无线网络与移动设备进行通信以接受图像和元数据。图像处理服务器连接到网络，用于接收图像和元数据，其中服务器处理图像以确定图像中的各种目标的位置，并构建兴趣点附近的区域的3D模型。优选地，体验平台连接到图像处理服务器，以便存储3D模型。多个用户连接到体验平台，以从用户选择的位置和取向来查看兴趣点。
[0010]在优选形式中，体验平台包括与兴趣点附近的位置相关联的多个图像。在另一形式中，连接到体验平台的用户可查看与用户选择的位置和取向相关联的图像。在另一形式中，处理服务器将许多图像拼接在一起以构成全景。优选地，连接到体验平台的用户可查看与用户选择的位置和取向相关联的全景。
[0011]广泛地说，用于创建与基于位置的体验一起使用的环境的系统包括伴随着多个随机贡献者的多个移动设备，每一移动设备都具有捕捉兴趣点附近的随机图像和相关联的元数据的相机，其中，每一个图像的元数据都包括移动设备的位置和相机的取向。该系统包括与移动设备进行通信以接受图像和元数据的无线网络。图像处理服务器连接到网络，用于接收图像和元数据，其中，服务器处理图像以确定图像中的各种目标的位置，并构建兴趣点附近的区域的3D模型。优选地，服务器处理图像以创建与兴趣点附近的很多位置相关联的全景。
[0012]在一种形式中，本发明包括共享基于位置的体验中的内容的方法，其中，捕捉了多个图像和相关联的元数据。处理图像和元数据以构建兴趣点附近的区域的3D模型。该方法包括将图像和3D模型存储在连接到网络的体验平台中。使用网络来访问体验平台以访问3D模型和图像。用户选择3D模型中的位置和取向，并从所选位置和取向查看兴趣点。
[0013]在另一形式中，共享体验或查看事件涉及基于诸如市场因素之类的上下文来添加或改变广告。在另一形式中，可将产品图像插入到视图中。在其他情况下，可由从观众的查看设备、社交媒体、或基于云的数据收集的单个观众的个人信息来确定广告的上下文或产品位置。在其他形式中，可基于与事件或体验绑定的社交网络或事件的本质来添加或改变广告。
[0014]附图简述
[0015]图1a是被用作此处的示例的广场的透视图，且图1b是图1a的广场的平面图；
[0016]图2是优选实施例中的移动设备的前视图；
[0017]图3是根据本发明的网络系统的功能图；
[0018]图4是描绘了功能目标的图2的移动设备的前视图；
[0019]图5是图2和4的设备的后视图；
[0020]图6是图2，4，以及5的设备的功能硬件图示；
[0021]图7是示出了第一示例的图2的设备的前视图；
[0022]图8是示出了第二示例的图2的设备的前视图；
[0023]图9是示出了第三示例的图2的设备的前视图；
[0024]图10是本发明的另一移动设备的透视图；
[0025]图1lA是城市的一部分的透视，鸟瞰图，其中示出了低分辨率线框；
[0026]图1lB是城市的相同部分的透视，鸟瞰图，其中示出了精细的分辨率；
[0027]图1lC是城市的相同部分的透视，鸟瞰图，其中示出了详细的分辨率；
[0028]图1lD是城市的相同部分的透视，鸟瞰图，其中示出了细的逼真分辨率；
[0029]图12是获取的图像的EXIF元数据的表；
[0030]图13a和13b是示出了摄影测量学基础理论的图示；
[0031]图14是描绘了图像对齐和配准(registrat1n)的示意图；
[0032]图15是描绘了目标的三个不同的视图的示意图；
[0033]图16A示出了常规相机；
[0034]图16B示出了全光相机的几何形状；
[0035]图17是具有身临其境环境的实施例的房间的透视图；以及
[0036]图18是示出了另一环境的另一房间(具体是婚礼小教堂)的透视图。
【具体实施方式】
[0037]1.概览
[0038]在示例形式中，3D模型或“虚拟模型”被用作起始点，诸如图1a的广场的图像。多个用户(或单一用户拍摄多个图像)使用诸如图3所示出的智能电话10之类的移动设备从图1b中的标记为A-E的各种位置拍摄广场的图像(照片)。每一图像A - E不仅包括图像，而且还包括与图像相关联的元数据，包括EXIF数据、时间、位置，以及取向。在此示例中，图像和元数据在它们被获取时被上传到连接到图像处理服务器211 (图3)的通信网络205 (例如，蜂窝网络)。在一些实施例中，移动设备还包括如图2所示的一个或多个深度相机。
[0039]图像处理服务器211使用网络205和来自电话10的GPS信息来处理元数据，以获得图像A-E的原点的非常准确的位置。使用图像匹配和配准技术，将图像拼接在一起以形成马赛克和全景，并细化广场的3D模型。在细化广场的3D模型时，图像识别技术可从图像中删除人，从而在在没有混乱和隐私问题的情况下聚焦于构建广场的非常准确的3D模型。所产生的“环境”是可重新创建并从广场中的任何位置和从用户选择的位置的用户选择的取向查看的广场的准确的3D模型。进一步地，广场中的许多位置具有与该位置相关联的图像，拼接的图像的马赛克或全景，或可从与附近的位置相关联的图像创建。
[0040]在一个示例中，在事件发生时远离广场的用户可通过访问体验平台207并基本上实时地查看广场来参与事件。事件中的所有的或选择的参与者都可被保留在图像中，甚至使用化身来表示事件中的参与者。因此，远程用户可在事件过程中观察广场，在事件过程中选择广场的虚拟视图或广场的摄影视图。
[0041]在另一个示例中，上文对于事件所描述的广场对于事件而言变为有新闻价值的。远程用户或新闻机构可使用从体验平台获取的事件的历史图像来重播事件。
[0042]在再一个示例中，通过访问体验平台207并使用增强的现实和/或目标相关的内容来标识事件的参与者，在广场上物理上参加事件的用户可参与。
[0043]I1.术语的解释
[0044]如此处所使用的，术语“图像”是指由相机(例如，静物照相机、数码相机、视频相机、相机电话等等)或任何其他成像设备所拍摄的一个图像或一系列图像。图像与图像捕捉时的诸如EXIF、时间、位置、成像设备(例如，相机)的倾斜角、以及取向之类的元数据相关联。深度相机信息和音频也可被视为图像或图像的一部分。
[0045]如此处所使用的，术语“兴趣点”是指由用户所指定的图像中的空间中的任何一点。以示例的方式，图像中的兴趣点可是观测台或塔顶，建筑物的天线或窗户，公园中的旋转木马等等。“兴趣点”不限于仅固定对象，而且也可包括移动对象。
[0046]最常见的定位技术是GPS。如此处所使用的，GPS——有时被称为GNSS——意味着包括所有现在和将来的定位系统，包括诸如美国Navistar、GLONASS、Galileo、EGNOS、WAAS、MSAS、BeiDou卫星导航系统(中国)、QZSS等等之类的卫星。准确度可使用诸如WAAS(广区域)、LAAS(局部区域)、载波-相位增强(CPGPS)、基于空间的增强系统(SBAS);广区域GPS增强(WAGE)，或相对运动定位(RKP)之类的已知技术(常常叫做微分技术)来改进位置(特别是参与者的位置)的准确度。甚至在没有微分校正的情况下，很多改进也正在提高GPS准确度，诸如卫星星座的增大、多个频率(LI，L2，L5)、建模以及AGPS改进、软件接收器、以及地球站改进。当然，由应用的要求驱动位置的准确度。在用于说明优选实施例的高尔夫球示例中，由带有辅助GPS的WAAS所提供的次五米准确度通常是可接受的。在构建根据本发明的模型时，AGPS、WAAS，以及使用时间和微分校正的后处理可导致辅助计量(submeter)位置准确度。进一步地，一些“体验”可保留在室内，使用此处所描述的相同消息增强技术。这样的室内定位系统包括AGPS、MEO、W1-Fi (Skyhook)、WIFISLAM、蜂窝小区ID、伪卫星、转发器(repeater)、任何电磁信号(例如，TV)上的RSS及其他已知或开发的。
[0047]术语“地理参照”意味着固定于特定位置或目标的消息。如此，消息可固定于一个地点，例如，高尔夫球场围墙或固定于移动参与者，例如，移动的高尔夫小汽车或玩家。对象通常使用诸如GPS之类的定位技术来进行地理参照，而且也可使用机器视觉来进行地理参照。如果使用机器视觉(即，对象识别)，应用可以是“无标记的”或使用“标记”，有时被称为“基准”。基于标记的增强的现实常常使用带有高对比度的正方形标记。在此情况下，通过机器视觉，使用正方形标记，来检测正方形的四个角点，并使用此信息来计算三维相机信息。还使用其他可检测的源，诸如嵌入式LED的或特殊涂层或QR代码。对可易于检测到的标记应用AR的有利之处在于，即使实时地执行，识别和跟踪也是相对准确的。如此，在其中背景环境中的AR消息的准确的配准(registrat1n)重要的应用中，基于标记的系统具有一些优点。
[0048]在“无标记的”系统中，AR使用一般自然图像代替基准。一般而言，无标记的AR使用特征点匹配方法。特征点匹配是指用于搜索和连接两个不同的图像中的相同特征点的操作。此处参考Photsyth来讨论用于特征识别的一种方法。建议了一种用于使用同时定位和地图创建(SLAM)/并行的跟踪和测绘(PTAM)算法来提取平面，并使用该平面来提供AR的方法，该算法用于实时地跟踪相机的三维位置信息和特征点的三维位置信息。然而，由于SLAM/PTAM算法获取图像以搜索特征点，计算相机的三维位置和特征点的三维位置，并基于这样的信息来提供AR，因此，需要可观的计算。也可使用混合型系统，其中，地理参照出容易识别的符号或牌，机器视觉替换AR消息。
[0049]在本申请中，使用术语“社交网络”来指跟踪并能实现成员(包括人、企业，及其他实体)或成员的子集之间的连接的任何进程或系统。连接和成员资格可是静态或动态的，成员资格可包括社交网络内的各种子集。例如，个人的社交网络可包括对艺术感兴趣的成员的子集，该人只与艺术兴趣子集共享到雕塑公园的出游。进一步地，社交网络是可动态地配置的。例如，可为9月22的“Nasher雕塑公园”形成社交网络，且任何感兴趣的人都可加入纳希尔雕塑公园9月22社交网络。可另选地，事件的某一范围内的任何人都可被允许加入。涉及社交网络中的成员资格的置换有许多且并非意在限制。
[0050]社交网络通过让用户参与、评论、和创建内容作为与他们的社交图，其他用户以及公众进行通信的手段，来跟踪和启用交互式web。在本发明的上下文中，这样的共享和社交网络参与包括参与者创建的内容和旁观者创建的内容，以及当然，共同创建的内容。例如，创建的内容可以是交互式的，以允许旁观者向参与者创建的事件添加内容。诸如FLIKR和Photobucket之类的照片储存库和社交网络之间的区别变得模糊，两个术语此处有时可互换地使用。
[0051]常规社交网络的不例包括Linkedln.com 或 Facebook.com、Google Plus、Twitter (包括Tweetdeck)、诸如Rockmelt之类的社交浏览器，以及支持社会互动的各种社交实用程序，包括与HTML5浏览器的集成。位于www.Wikipedia.0rg/wiki/list_of_social_networking_sites的网站列出了几百个目前正在使用的社交网络。相亲网站、Listservs,以及兴趣组也可充当社交网络。社交网络的兴趣组或子集对邀请成员参加事件特别有用，诸如Google+ “圈”或Facebook “组”。个人可构建私有社交网络。常规社交网络网站允许成员比较有效率地传递与他们的朋友或社交网络中的其他连接相关的信息。社交网络通常结合用于在社交网络中的成员之间维护连接以及到可