作为导航仪的移动成像设备的制作方法

专利名称：作为导航仪的移动成像设备的制作方法
技术领域：
本发明涉及基于移动成像设备的朝向来获得信息，更具体地，涉及使得用户能够 通过确定移动成像设备的朝向以捕捉用于方向引导的视觉线索来在真实和/或虚拟的世 界中确定朝向方向。
背景技术：
三维(3D)向量地图被用于全球定位系统(GPS)地图系统，例如TomTom International BV和Garmin Ltd.的系统。这种地图可通过上空的“鸟瞰”视图或通过地 平面(ground-level)视图给出位置的透视图。透视图使得用户能够估计(gauge) —个人 离一个位置可能有多远。现有的GPS向量地图系统常常被预先编程了诸如餐馆和咖啡店之 类的某些本地目的地。司机可以自动滚动作为通过GPS跟踪的空间的线性运动的函数的这 些地图，但是地图信息通常是基于运动的方向的。另外，这种线性运动的尺度(scale)以及 地图上的相应导航通常被调整以适合驾驶而非步行移动。类似地，诸如个人数字助理(PDA)所使用的移动搜索系统之类的目前的移动搜索 系统通常使用2D鸟瞰地图视图来显示移动设备的当前位置周围一个半径内的本地结果， 而不是用户面对的方向上的本地结果。因此，目前的2D和3D地图系统通常提供行驶方向 上的或者关于位置的半径内的搜索信息。但是这些系统通常不能确定司机或用户面对的朝 向。例如，汽车可能反向移动，但是司机可能面向前方或侧面。本发明是基于这些考虑和其 他考虑而做出的。


本发明的非限制和非穷尽性实施例是参考附图来描述的。在附图中，各个图中相 似的标号指代相似的部分，除非另有规定。为了更好地理解本发明，将参考以下的具体实施方式
，该具体实施方式
结合附图 来阅读，其中图1例示了可实施本发明的示例性系统的一个实施例的示图；图2示出了示例性移动设备的一个实施例的示意图；图3例示了示例性网络设备的一个实施例的示意图；并且图4例示了用于基于移动设备所指向的方向来确定搜索结果的示例逻辑的流程 图。
具体实施例方式现在将在下面参考附图更完整地描述本发明，附图形成本发明的一部分并且通过 示例方式示出可实施本发明的具体示例性实施例。然而，本发明可体现为多种不同形式并 且不应被理解为限于这里提出的实施例；而是，这些实施例被提供以便本公开将更彻底和 完整，并且全面地向本领域技术人员传达发明的范围。本发明可体现为方法或设备等。因 此，本发明可采用完全硬件实施例、完全软件实施例或结合了软件和硬件方面的实施例的 形式。以下详细的描述因此不应在限制的意义上加以理解。在说明书和权利要求书中，以下术语采用这里明确关联的含义，除非上下文明确 指出并非如此。这里使用的短语“在一个实施例中”不一定指代同一实施例，虽然可能如此。 此外，这里使用的短语“在另一实施例中”不一定指代不同的实施例，虽然可能如此。因此， 如下所述，在不脱离发明的范围或精神的情况下，发明的各个实施例可容易地结合起来。此外，如这里所使用的，术语“或”是包含性“或”操作符，并且等同于术语“和/ 或”，除非上下文明确指出并非如此。术语“基于”是非排除性的，并且允许基于未被描述的 额外因素，除非上下文明确指出并非如此。另外，在说明书中，“一”、“一个”和“所述”的含 义包括复数引用。“在……中”的含义包括“在……中”和“在……上”。简言之，发明的实施例涉及基于移动成像设备的朝向方向(directional orientation)来获得信息。实施例使得用户能够通过确定移动成像设备的朝向以捕捉用于 方向引导的视觉线索(visual cue)来确定他们自己的朝向方向。视觉线索被用于确定移 动设备的朝向方向、基于朝向执行搜索、执行三维虚拟世界的朝向处理等等。朝向方向信息 还可与距离信息相结合以扩充或过滤信息。在一个实施例中，移动地图应用被与蜂窝电话手持相机一起使用，以改善用户导 航和发现感兴趣的被识别的位置。手持相机被用于跟踪定向运动和小尺度线性运动。一旦 用户的位置已被精确确定(pinpoint)(例如，通过GPS，通过用户输入等)，用户就可以通过 转圈和用手持相机捕捉视觉/光学线索来收集关于朝向方向的信息，所述线索例如是交叉 路口、商家店面、标志等。视觉线索与用于方向引导的3D向量地图的预定义信息相关联。在 另一个实施例中，来自手持相机的光学输入(例如，用于辨别手持相机的速度和方向的背 景中的跟踪样式(tracking pattern))被用于动态地在3D向量地图上导航。预定义的向 量地图信息可被发送到手机(handset)，以便更容易找到所识别的位置。例如，街道、建筑、 地标或其他感兴趣的点可能在若干个街区外并且相对于用户当前位置被高楼挡住了。类似 地，来自一个或多个源的本地商业信息也可在向量地图上提供。用户可通过指示朝向来管 理各种类型的信息和信息量，而不需要线性运动来标识方向。利用朝向数据和多种类型的 内容信息，本发明的实施例实现了更相关的移动搜索结果、移动导航和其他信息。朝向方向信息使得可以在方向上搜索“无限”远，并且每个搜索结果可利用相对于 用户目前位置的距离来标记。距离的指示可以是成比例的较小尺寸的图标、结果列表上的较 低排行、透明度或其他指示符。例如，用户可能停留于交叉路口，试图确定转向哪条路来找到 最近的(或更偏好的公司的)加油站。不必驶过每条道路，并且不必在虚拟地图上滚动或改变 缩放等级，用户就可以简单地将移动设备指向每条道路的方向并利用距离指示符接收结果。一个实施例还利用与移动设备的定向移动有关的信息。起初，移动设备经由GPS、 用户输入、当前场景的图像分析等来确立(establish)其目前的物理位置。移动设备还使用其成像组件来确立其初始的朝向方向。朝向可通过将图像与已知方向图像作比较来确 定。该比较可以在由移动设备捕捉并存储的图像上执行，在与已知对象的轮廓相重叠的取 景器中的图像上执行，在图像的组合上执行，或者使用其他图像处理技术来执行。替代的或 额外的技术可包括分析相对于日期和时间的太阳位置、接收将移动设备朝向指定方向的指 令并点击以确认、分析已知地点处的标志上的文本或符号等等。一旦初始朝向被确立，某些实施例就涉及检测朝向的改变和/或检测运动后的新 朝向。例如，移动设备可检测在设备绕用户转圈移动期间或之后该设备所指向的新方向。在 初始朝向处，在运动期间，并且/或者在新朝向处，移动设备可执行显示并基于朝向和朝向 的改变来移动地图。移动设备还可执行一个或多个内容搜索或者以其他方式获得与移动设 备所指向的(一个或多个)方向上的感兴趣点有关的内容信息。内容信息可叠加在所显示 的地图上，并且可基于朝向和朝向的改变来移动和/或改变。示例实施例的额外细节在下 面参考附图来描述。例示件操作环境图1例示了本发明可操作的环境的一个实施例。然而，执行本发明可能不需要所 有这些组件，并且在不脱离本发明的精神或范围的情况下，可进行组件的布置和类型的变 化。如图所示，系统100包括客户设备102-104、网络105和服务器106。网络105与 客户设备102-104和服务器106中的每一个通信并使能客户设备102-104和服务器106中 的每一个之间的通信。客户设备102-104可包括如下的几乎任何计算设备该计算设备能够从诸如内容 服务器108之类的另一个计算设备通过诸如网络105之类的网络接收消息并且向该另一个 计算设备通过该网络发送消息，该计算设备能够彼此之间通过诸如网络105之类的网络接 收和发送消息，等等。这样的设备的集合可包括通常使用无线通信介质来连接的设备，如蜂 窝电话、智能电话、寻呼机、对讲机、射频(RF)设备、红外(IR)设备、CB、组合了一个或多个 前述设备的集成设备，或者几乎任何移动设备，等等。类似地，客户设备102-104可以是能 够使用有线或无线通信介质来连接的任何设备，如个人数字助理(PDA)、口袋PC、可佩带的 电脑以及被装配为通过有线和/或无线通信介质来通信的任何其他设备。这样的设备的集 合还可包括通常使用有线通信介质来连接的设备，如个人计算机、微处理器系统、基于微处 理器的或可编程的消费电子产品、网络PC等。客户设备102-104内的每个客户设备可包括被配置为发送、接收和显示网页等的 浏览器应用。浏览器应用可被配置为采用几乎任何基于web的语言来接收和显示图形、文 本、多媒体等，所述基于web的语言包括但不限于标准通用置标语言(SMGL)、如超文本置标 语言(HTML)、可扩展置标语言(XML)、手持设备置标语言(HDML)、如无线置标语言(WML)、 WMLScript、JavaScript等。客户设备102-104还可包括被配置为向/从采用另一机制的 另一个计算设备发送和/或接收消息的消息传递应用，所述另一机制包括但不限于即时消 息传递(IM)、电子邮件、短消息服务(SMS)、多媒体消息服务(MMS)、因特网中继聊天(IRC)、 mlRCλ Jabber 等。网络105被配置成将一个计算设备耦合到另一个计算设备以使得它们能够通信。 网络105被使得能够采用任何形式的用于将信息从一个电子设备传送到另一个电子设备的计算机可读介质。另外，网络105可包括无线接口和/或有线接口，如除了局域网(LAN)、 广域网(WAN)之外的因特网、直接连接、如通过通用串行总线(USB)端口、其他形式的计算 机可读介质或者它们的任意组合。在LAN的互连集合(包括基于不同体系结构和协议的那 些LAN)上，路由器用作LAN之间的链接，使得消息能够从一个LAN被发送到另一个LAN。另 外，LAN内的通信链路通常包括双绞线或同轴线缆，而网络之间的通信链路可利用模拟电话 线、包括T1、T2、T3和Τ4在内的全部或部分的专用数字线路、数字信号级别3(DS3)、光学载 波3(003)、0(12、0(48、异步转移模式(ATM)、综合业务数字网(ISDN)、数字用户线(DSL)、包 括卫星链路在内的无线链路、或者本领域技术人员已知的其他通信链路。另外，远程计算机 和其他相关电子设备可经由调制解调器和临时电话链路而被远程连接到LAN或WAN。网络 105被构造成与各种通信协议和技术一起使用，所述各种通信协议和技术包括传输控制协 议/因特网协议(TCP/IP)、用户数据报协议(UDP)、无线应用协议(WAP)、全球移动通信系统 (GSM)、码分多址(CDMA)、时分多址(TDMA)、通用分组无线业务(GPRS)、超宽带(UWB)、IEEE 802. 16全球微波接入互操作性(WiMax)等等。实际上，网络105包括信息可借此在客户设 备102-104和/或服务器106之间传播的任何通信方法。如上所述用于在通信链路中传输信息的介质一般包括可被计算设备访问的任何 介质。计算机可读介质可包括计算机存储介质、有线和无线通信介质或其任意组合。另外， 计算机可读介质通常实施计算机可读指令、数据结构、程序模块或其他数据。这种数据可在 被调制的数据信号中通过通信介质(例如载波、数据信号或其他传输机制并且包括任何信 息递送介质)来传送。术语“被调制的数据信号”和“载波信号”包括这样的信号，该信号 的一个或多个特性以将信息、指令、数据等编码在信号中的方式被设置或改变。举例来说， 通信介质包括无线介质和有线介质，所述无线介质如声音空间或流体、RF、红外和其他无线 信号，所述有线介质如双绞线、同轴线缆、光纤、波导和其他有线介质。服务器106可包含多个计算设备或单个计算设备。服务器106可提供图像分析服 务，如确定直方图、执行OCR、将图像与先前存储的图像作比较、确定关于图像的信息、执行 数据库操作、执行对额外信息的搜索、存储关于图像的信息、跟踪用户行为等。服务器106 还可提供内容和/或其他服务，如网站、在线日志(journal)(例如，博客)、相片、评论、诸如 消息传递之类的在线服务、搜索、新闻、购物、打广告等等。服务器106还可提供管理服务， 例如，诸如网页之类的网络资源之间的关系的创建、修改和管理，等等。简言之，服务器106 可包括能够连接到网络105的任何计算设备并且可为网络用户管理服务，所述网络用户例 如是客户设备102-104中的至少一个客户设备的用户。可用作服务器106的设备包括专用 服务器设备、个人计算机、桌面型电脑、多处理器系统、基于微处理器的或可编程的消费电 子产品、网络PC等等。服务器106和/或客户设备102-104中的任何一个客户设备可在一 个或多个计算设备(如参考图2描述的客户端)上实现。例示性客户设备图2示出了用作参考数据收集器设备的根据本发明的一个实施例的示例性客户 设备200。在一个实施例中，客户设备200是诸如膝上型电脑之类的移动设备。移动设备的 另一个例子包括被布置成经由一个或多个无线通信接口来发送和接收诸如SMS消息之类 的消息和语音通信的PDA或蜂窝电话。时常，移动电子设备将能够通过连接到一个或多个 无线网络、连接到单个无线网络的多个节点、通过一个或多个信道与一个或多个网络通信或者以其他方式参与一个或多个通信会话来进行个人通信。一般，客户设备200可包括任 何移动的或固定的电子设备。这种设备包括膝上型电脑、掌上型电脑、PDA、手持计算机、蜂 窝电话、智能电话、寻呼机、射频(RF)设备、红外(IR)设备、组合了前述设备中的一个或多 个设备的集成设备等等。客户设备200还可包括其他电子设备，如个人计算机、多处理器系 统、基于微处理器的或可编程的消费电子产品、网络PC、可佩带的电脑等等。客户设备200可包括比图2所示的组件更多或更少的组件。然而，示出的组件足 以公开用于实施本发明的例示性实施例。如图所示，客户设备200包括经由总线224与海 量存储器230通信的处理单元222。海量存储器230包括RAM 232、ROM 234和其他存储装置。海量存储器230例示了 用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的计算机存储 介质的另一示例。海量存储器230存储用于控制客户设备200的低层操作的基本输入/输 出系统(“BI0S”)M0。海量存储器还存储用于控制客户设备200的操作的操作系统Ml。 将认识到，该组件可包括诸如Windows 、UNIX或LINUX 版本之类的通用操作系统或诸如 Windows Mobile , Symbian 操作系统之类的专用移动通信操作系统等。操作系统可包括 Java 虚拟机模块或与Java 虚拟机模块相接口，该Java 虚拟机模块使得能够经由Java 应用程序来控制硬件组件和/或操作系统操作。存储器230还包括一个或多个数据存储单元M2，该数据存储单元242可被客户 设备200用来存储程序244和/或其他数据等。程序244可包括计算机可执行指令，所述 计算机可执行指令当被客户设备200执行时发送、接收、呈递(render)和/或以其他方式 处理置标页面，如HTML页面、XML页面、WAP页面(有时被称为WAP卡)等。因此，程序244 可包括计算机可执行指令的浏览器程序，所述浏览器程序可在操作系统241的控制下运行 以实现和管理对置标页面和消息(例如，HTTP、TCP/IP、SMS、MMS, IM、电子邮件和/或其他 消息)、音频、视频的请求、接收和呈递并实现与另一个客户设备的另一用户的远程通信。应 用程序的其他示例包括日历、联系管理器、任务管理器、代码转换器、数据库程序、文字处理 程序、电子表单程序、游戏等。此外，海量存储器230存储图像处理模块246和地图模块M8，图像处理模块和地 图模块可在操作系统Ml的控制下作为外部模块、作为浏览器内的插入模块、在网页内或 经由其他配置来运行。图像处理模块246可执行图像数据、上下文信息、对图像数据的用户 请求以及其他与由移动设备获取或接收的图像有关的数据的初始处理或完整处理。地图模 块248可管理用于显示、透视、运动、与图像或内容的集成及其他地图操作的地图信息。客户设备200还包括电源226、一个或多个无线接口 250、音频接口 252、显示器 254、键盘256、照明器258、可选数据捕捉模块259、输入/输出接口沈0、可选触觉接口沈2、 可选全球定位系统(GPQ接收器沈4以及感知客户设备的运动、方向和/或朝向的可选传 感器。电源226向客户设备200提供电力。可再充电或不可再充电的电池可被用于提供 电力。电力还可由诸如对电池进行补充和/或再充电的AC适配器或供电底座(powered docking cradle)之类的外部电源来提供。客户设备200可以可选地与基站通信或直接与另一客户设备通信。无线接口 250 包括用于将客户设备200耦合到一个或多个无线网络的电路，并且被构造成与一个或多 个通信协议和技术一起使用，所述通信协议和技术包括但不限于TCP/IP、UDP、GSM、CDMA、TDMA、SMS、GPRS、WAP、UWB、IEEE 802. 16 (WiMax)等等。音频接口 252被布置成产生和/或接收诸如人类语声、音乐等之类的音频信号。 例如，音频接口 252可耦合到扬声器和麦克风(未示出)以使得能够与其他人远程通信和 /或生成用于某个动作的音频确认。显示器邪4可以是液晶显示器(LCD)、气体等离子体、 发光二极管(LED)或者任何其他类型的与客户设备一起使用的显示器。显示器邪4还可包 括被布置成从诸如来自人手的手写笔(stylus)或手指之类的物体接收输入的触摸感应屏 (touch sensitive screen)0键盘256可包括被布置成接收来自用户的输入的任何输入设备。例如，键盘256 可包括键盘、按钮数字拨盘等等。键盘256还可包括与选择和执行可改变的处理相关联的 命令钮。照明器258可提供状态指示和/或提供照明。照明器258可在特定时段或响应于 事件而保持活动。例如，当照明器258活动时，它可从背后照亮键盘256上的按钮并且在客 户设备有电时保持如此。另外，照明器258可在特定动作被执行(例如拨打另一客户设备) 时以各种样式来从背后照亮这些按钮。照明器258还可令光源处于使移动设备透明或半透 明的状态中以响应于动作来进行照明。照明器258还可被用作用于图像捕捉的闪光灯。诸 如相机之类的数据捕捉模块259可被包括在客户设备200中。客户设备可获得图像、视频、 温度、压力或其他数据。客户设备200还包括用于与诸如图2中未示出的其他输入或输出设备或者耳机 (headset)之类的外部设备通信的输入/输出接口沈0。输入/输出接口 260可以利用一 个或多个通信技术，如USB、红外、蓝牙 等。可选触觉接口 262被布置成向客户设备的用 户提供触觉反馈。例如，触觉接口可被采用以便在客户设备的另一个用户呼叫时以特定方 式振动客户设备200。可选GPS收发器264可以确定客户设备200在地球表面上的物理坐标，通常将 位置输出为经度和纬度值。GPS收发器264还可以采用其他地理定位机制来进一步确定 客户设备200在地球表面上的物理位置，所述地理定位机制包括但不限于三角测量、辅助 GPS(AGPS)、增强测量时间差(E-OTD)、小区标识符(Cl)、服务区域标识符(SAI)、增强定时 提前(enhanced timing advance) (ETA)、基站子系统(BSS)等。可以理解，在不同条件下， GPS收发器264可以为客户设备200确定毫米级的物理位置；在其他情况下，所确定的物理 位置可能不那么精确，例如米级或更大距离级别。可选传感器266可以检测移动设备的方向、朝向、运动或其他方面。传感器可读取 移动设备的静态信息或动态信息，如任何方面的改变。传感器266可包括加速度计、陀螺 仪、罗盘或者其他检测运动、方向等的传感器。传感器可包括或耦合到变送(transducing) 组件、信号处理组件和/或其他组件。例示性网络设备图3示出根据本发明的一个实施例的网络设备的一个实施例。网络设备300可包 括比示出的组件更多或更少的组件。然而，示出的组件足以公开用于实施本发明的例示性 实施例。网络设备300例如可代表图1的服务器106或另一客户设备。为了示例目的，网 络设备300将被描述为服务器设备。如图所示，服务器设备300包括经由总线3 与海量存储器330通信的处理单元 322。海量存储器330 —般包括RAM 332、ROM 3；34和其他存储装置。海量存储器330例示了一种类型的计算机可读介质，即计算机存储介质。计算机存储介质可包括以任何方法 或技术实现的、用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息 的易失性的和非易失性的、可移除的和不可移除的介质。计算机存储介质的其他示例包括 EEPR0M、闪存或其他半导体存储技术、CD-ROM、数字万用盘(DVD)或其他光学存储装置、磁 盒、磁带、磁盘存储装置或其他磁存储设备、或任何其他可用来存储所希望的信息并可被计 算设备访问的介质。海量存储器330存储用于控制服务器设备300的低层操作的基本输入/输出系统 (“BI0S”)340。海量存储器还存储用于控制服务器设备300的操作的操作系统341。将认 识到，该组件可包括诸如Windows、UNIX、LINUX、Solaris等版本之类的通用操作系统。操 作系统还可包括Java虚拟机模块或与Java虚拟机模块相接口，该Java虚拟机模块使得能 够经由Java应用程序来控制硬件组件和/或操作系统操作。海量存储器330还包括一个或多个数据存储单元342，该数据存储单元342可被 服务器设备300用来存储程序344和/或其他数据等。程序344可包括可被服务器设备 300运行以实施置标处理器应用的计算机可执行指令，所述置标处理器应用例如是用于发 送、接收和以其他方式处理HTTP通信的HTTP处理器应用，用于发送、接收和以其他方式处 理WAP通信的WAP处理器应用等等。类似地，程序344可以包括用于处理安全连接(如以 安全方式发起与外部应用的通信)的安全套接层(SSL)处理器应用。应用程序的其他示例 包括内容管理应用、消息传递应用、调度器、日历、web服务、代码转换器、数据库程序、文字 处理程序、电子表单程序等等。因此，程序344可以处理图像、音频、视频或置标页面，使得 能够与另一个电子设备的另一用户进行远程通信，以及/或者其他服务。此外，海量存储器330存储图像处理模块346。图像处理模块346可包括计算机可 执行指令，该计算机可执行指令可在操作系统341的控制下运行以分析图像、比较图像、确 定上下文信息、访问与位置相关联的信息、评估用户行为数据、确定的搜索项或执行其他与 图像有关的处理。在一个实施例中，图像处理模块346 —般与客户设备上的图像处理模块 通信。海量存储器330还可包括搜索模块348，该搜索模块348可以是图像处理模块346的 一部分或与图像处理模块346通信。搜索模块348可包含一般执行数据搜索的搜索引擎， 所述数据搜索例如是内容搜索、对到网络资源的链接的搜索、数据库搜索等。服务器设备300还包括用于与诸如键盘、鼠标、轮盘(wheel)、摇杆(joy stick)、 翘板开关(rocker switch)、袖珍键盘、打印机、扫描仪和/或其他图3未特别示出的输入设 备之类的输入/输出设备通信的输入/输出接口 360。服务器设备300的用户可以使用输 入/输出设备来与可以与操作系统Ml、程序344和/或其他模块分开或集成的用户接口交 互。与用户接口的交互包括经由显示器和视频显示适配器354的视觉交互。服务器设备300可包括用于计算机可读存储介质的可移除介质驱动器352和/或 永久介质驱动器354。可移除介质驱动器352可包括光盘驱动器、软盘驱动器和/或磁带 驱动器中的一个或多个。永久的或可移除的存储介质可包括以任何方法或技术实现的、用 于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的易失性的和非 易失性的、可移除的和不可移除的介质。计算机存储介质的示例包括CD-ROM 355、数字万 用盘(DVD)或其他光学存储装置、磁盒、磁带、磁盘存储装置或其他磁存储设备、RAM、ROM、 EEPR0M、闪存或其他存储技术、或任何其他可用来存储所希望的信息并可被计算设备访问的介质。经由网络通信接口单元350，服务器设备300可与诸如因特网之类的广域网、局域 网、有线电话网、蜂窝电话网或某些其他通信网络(如图1中的网络10 通信。网络通信 接口单元350有时被称为收发器、收发设备、网络接口卡(OTC)等。例示件逻辑图4例示了用于基于移动设备所指向的方向来确定搜索结果的示例逻辑的流程 图。在该示例实施例中，处理主要是在客户移动设备上执行的。但是至少某些操作可通过 网络利用服务器设备来执行。在操作402中，移动设备的当前物理地理位置被确定。当前位置可通过内建的GPS 组件、已知位置处的读取器(reader)或射频识别(RFID)标签、或者其他位置组件来确立。 作为替代，用户可以敲击、点击或以其他方式指出所显示的地图上的点，所述点可以返回纬 度、经度、海拔、街道地址、税务包裹号(tax parcel number)或其他位置信息。作为另一替 代，用户可简单地输入位置信息，如地址、交叉路口、建筑名称、地标名称或其他位置信息。在另一实施例中，移动设备的相机可以捕捉图像，该图像随后相对于已知的位置 信息而被分析。例如，相机可捕捉街道标志、告示牌、商家店面、建筑或其他场景的图像。文 本、符号、地标或其他信息可从图像中被分析以确定位置。图像分析和位置检测的更多细节 在 2008 年 5 月 22 日递交的、题为"Data Access Based On Content of Image Recorded By A Mobile Device”的共同拥有的美国专利申请序列No. 12/121，259中被描述，该美国专 利申请的全部内容通过引用结合于此。在操作404中，移动设备被用于确立移动设备所指向的初始朝向方向。该初始方 向可以通过多种方式来确立，并且可用于将移动设备与地图模块或其他服务同步。例如，基 于所确定的初始位置，移动设备可显示如下消息该消息指导用户沿已知街道、朝已知物理 物体、朝已知罗盘方向或用户可以容易地识别的其他方向来将移动设备进行指向。移动设 备还可以显示所确定的初始位置周围的区域的2D或3D地图，并且该地图可以显示移动设 备指导用户将移动设备指向的街道、物体或其他方向性项目的箭头、高亮图标或其他指示 符。该显示的地图可帮助用户将移动设备的方向确定为指向所指导的方向。移动设备还可 指导用户按下移动设备上的按钮，指示出用户已按指示对移动设备进行定向。在另一实施例中，移动设备可使用初始确定的位置周围的区域的3D第一人称透 视地图。更具体地，该3D地图可示出用户应将移动设备指向的建筑、地形或其他被呈递的 物体的3D图形场景。对于移动设备的相机馈给(feed)，3D图形场景可被示为半透明或轮 廓覆盖(overlay)。当用户将移动设备的相机镜头移到不同方向时，用户可以“识别出”相 机取景器中的图像何时与示出的3D地图“匹配”。类似地，与3D透视覆盖相比，移动设备可 连续扫描相机馈给并执行对某些样式的连续图像识别。如果匹配被检测到，则移动设备可 以自动辨认用户何时将相机镜头指向正确的方向。在又一实施例中，移动设备可使用GPS模块来检测该设备正在某个方向上运动， 并指导用户将移动设备指向用户正在(例如，乘小汽车、乘坐公共交通、步行等)行驶的方 向。再次，移动设备可指导用户按压按钮以指示移动设备被定向在所指导的方向上。在再一 个实施例中，移动设备可指导用户将移动设备相机镜头指向太阳的方向。在用户按下按钮 之后，移动设备可以获得有关一天中的当前时间的信息，并使用所确定的位置来计算移动设备指向的方向。此外，或者作为替代，移动设备可使用图像分析来评估阴影。在又一实施 例中，移动设备可包括罗盘。当用户按下按钮时，移动设备可从罗盘读取方向。按钮可以是 一般的物理按钮(例如，输入按钮)，可以是画面上显示的虚拟按钮，可以是专用的“方向” 按钮，或其他形式的按钮。基于初始方向，移动设备可以访问与初始方向相关的内容信息。在另一实施例中， 初始方向可被用作用于确定方向的改变的参考方向。在此实施例中，在操作406中，移动设备确定方向的改变。例如，移动设备可检测 在移动设备绕初始位置转圈移动期间或之后的新朝向方向。移动设备可分析运动期间由移 动设备拍摄的多个图像的每一帧，以确定图像中的移动。该移动指示出运动量和运动方向， 所以移动设备可以计算新的方向。在此实施例中，移动设备相机连续拍摄图片流，并针对诸 如线、块等之类的样式来分析它们。移动设备随后评估这些样式的运动，以便如果用户在相 对于背景的任何方向(或朝向)上移动了移动设备，则移动设备可以确定相对运动。移动 设备还可用类似的量(实际上可以是在相反方向上)来修改地图显示或其他显示内容。移 动设备可以检测连续样式之间的移动、或者第一捕获图像的第一样式和最后捕获图像的最 后样式之间的移动。这给出的印象是，所显示的地图固定在朝向物理世界的空间中，而移动 设备看起来在该地图上摇摄(pan)。在另一实施例中，移动设备可包括一个或多个加速度计、陀螺仪、罗盘、应变仪或 其他用于检测运动、方向或其他属性的组件。例如，三个加速度计可被用于检测三维上的运 动。相对于初始方向的运动可被用于确定新方向。当移动设备移动时或者在移动设备被保持在新方向之后，移动设备在操作408中 获得与当前方向相关联的内容信息。移动设备访问移动设备上和/或远程服务器处存储的 内容信息。移动设备可基于当前位置和方向信息来访问数据库或提交搜索请求。用户还可 输入关键字或其他搜索参数。例如，用户可输入地址、商业名称、产品类型或移动设备目前 指向的方向上用户可能感兴趣发现的其他搜索项。基于输入的搜索项、当前方向和当前位 置，移动设备或搜索服务器可以执行搜索或者可过滤搜索结果。类似地，用户可输入最大距 离，或者搜索系统可使用离当前位置的默认最大距离。结果可以被限于在指定距离内或在 大约指定距离的范围内的那些结果。内容信息被用地理位置信息加了标签。搜索系统可以确定相对于移动设备的当前 位置和方向的地理位置的范围。搜索系统随后可以确定被用所确定的范围内的地理位置加 了标签的内容。结果可以基于关键字或其他参数被进一步确定。例如，移动设备用户可能已 准许搜索系统或另一服务来跟踪移动设备的运动、网络交互、购物、游戏活动、或者其他使 用。该信息可被编译到与移动设备相关联的简档中。汇聚信息(aggregate information) 也可被编译并被针对若干其他设备或用户的行为进行统计分析。搜索系统可使用简档信息 和/或汇聚信息来进一步将搜索结果精炼(refine)为可能与移动设备用户更相关的信息。在另一示例中，在移动设备上所显示的地图中，用户可能已选择了指示某种类型 的信息(如餐馆)的标记。用于所选标记的相应搜索项可随位置、方向、距离和关键字一起 被提交以将结果限制在当前方向上的餐馆上。类似地，用户可选择标记或以其他方式指示出用户希望与目前在移动设备所指向 的方向上的其他用户有关的信息。例如，用户可能正在使用消息传递系统、利用用户ID登录到门户服务(portal service)中、使用可以管理被多级关系分隔开的人的关系的社交联 网系统、或者以其他方式提供搜索系统可访问的当前位置信息。在一个例子中，两个用户可 能正试图沿街道、在建筑物中的某处、在非常吵闹拥挤的屋子里或在另一个环境中定位彼 此。被选“人物”标记、输入的姓名、输入的用户ID或其他有关的搜索项可以被用来将结果 限制在与搜索项、当前方向和当前位置相关联的那些结果上。可选存在信息也可被搜索系 统用来确定最终结果。例如，私人用户可指示出他们想要对可能将其移动设备指向该私人 用户的方向的其他用户保持“不可见”。作为替代，群用户(group user)可指示出他们想要 使他们的存在仅对该群用户的联系列表中的用户是可知的。当确定搜索结果时，搜索系统还可以计算每个搜索结果和进行搜索的移动设备的 当前位置之间的距离。类似地，搜索系统可计算每个搜索结果和移动设备指向的当前方向 之间的偏移。该偏移可以是角度偏移、与方向线的线性偏移或其他偏移。在操作410中，距离信息和最终结果被提供给移动设备并被移动设备显示。移动 设备可将搜索结果显示为简单的列表或以图形方式显示。例如，移动设备可按照基于离移 动设备的当前位置的距离的次序来显示列表。距离可在每个搜索结果旁边被指定。类似地， 移动设备可在每个搜索结果旁边指示出偏移。搜索结果可包括指示信息的类型的图标或其 他图形。例如，用于另一用户的搜索结果可用化身(avatar)来指示。用于燃料站的搜索结 果可通过燃料符号来指示。类似地，颜色、字体或其他指示符可用来区分搜索结果。在另一实施例中，移动设备将搜索结果叠加到图形显示上。例如，移动设备可将图 标、文本或其他搜索结果信息叠加到所显示的3D向量地图上。搜索结果的部分可基于用户 选择的标记、输入的关键字、预定义的偏好、存在性参数、过去的行为、汇聚行为或其他过滤 器而被显示。某些搜索结果可以不落入移动设备显示的当前场中，并且可以不被显示直至 视图被修改或移动设备指向该搜索结果的相应物理方向为止。作为替代，实际的搜索结果 可随着移动设备的到处移动而动态地更新。在一个实施例中，结果被显示在3D透视视图上，所述3D透视视图简单地是来自移 动设备相机的取景器馈给。在另一实施例中，搜索结果被叠加到可表现为固定的3D透视地 图上，以使得当移动设备移动时，显示装置看起来在向量地图上摇摄。在一个实施例中，半 透明3D透视地图在背景图像上面勾勒诸如街道之类的元素的轮廓。位于移动设备当前位置的邻近的周边但不在当前视场中或在阈值距离以外的搜 索结果可以被缓存，以便在移动移动设备时快速地呈递。另外，或者作为替代，如果设备在 某个方向上保持静止，则可以离设备的当前位置越来越远地显示越来越多的搜索结果。距 离还可以通过搜索结果指示符的相对大小来指示，以对物理上接近和不接近的结果给予更 清晰的透视。对于结果列表，图形化显示的结果可在结果图标旁边具有距离指示符。又一实施例可提供“X光”搜索结果。该实施例可给予用户拥有“X光”设备的感 觉，所述“X光”设备能够看穿建筑物和地形以揭示某个方向上障碍物后面是什么。例如，结 果可被半透明地显示，或者障碍物可被半透明地显示。对于餐馆、燃料站、商店、用户生成的 内容或其他信息，可显示相应的图标或其他结果指示符。当用户已经大概知道用户在寻找 什么(例如，信息的类别或特定字符串)时，这对于搜索具体事物是有用的。在另一示例中，如果用户输入了地址，则搜索系统可提供指示与所确定的方向不 同的方向的搜索结果。这种情况下，用户可例如绕当前位置转圈地移动移动设备，直至地址结果进入眼帘(直接地或者穿过障碍物)。例如，当移动设备被移动到所输入的地址的方向 时，红点可被显示。这使得用户能够找到前进到所希望的地址的方向。类似地，又一实施例可提供“覆盖”和“发现”能力。该实施例可以向用户提供将 数字的或虚拟的覆盖置于物理地点上面的感觉，并允许用户不用特别寻找任何东西就能发 现内容。例如，诸如加了位置标签的图像或其他用户提供的评论之类的用户生成的内容等 可在移动设备用户的当前位置周围显示。当用户移动移动设备的方向时，加了位置标签的 图像、评论或其他内容可被显示。这对于社区服务一般是适用的。在可选操作412中，移动设备可检测用户激活了移动设备上的缩放功能。移动设 备确定对视场的相应改变。在一个实施例中，视场的改变可被简单地表示为移动设备所指 向的方向上距离范围的扩展。在另一实施例中，视场的改变可被表示为当前位置的偏移改 变。透视计算还可确定离方向线的线性偏移或角度的改变。在可选操作414中，搜索结果的显示可被更新以反映视场的改变。作为替代，新的 搜索可被请求，并且搜索结果可被更新。上述说明书、示例和数据提供了对本发明的成分的制造和使用的完整描述。例如， 搜索结果可被提供给音频输出设备，这在开车时或者对于法律意义上的盲人用户可能是有 用的。在另一实施例中，诸如web相机之类的可移动的成像设备可被耦合到计算设备，并且 仅仅可移动的成像设备移动位置和/或方向。由于本发明的很多实施例可在不脱离本发明 的精神和范围的情况下做出，因此本发明在于下文所附权利要求中。
权利要求
1.一种用于确定内容的方法，包括 确定移动设备的初始地理位置；确定所述移动设备的成像组件所指向的初始方向；确定所述移动设备的所述成像组件指向新方向的方向改变，其中所述方向改变是至少 部分地通过使用所述移动设备的所述成像组件而被确定的；确定与所述新方向并与位于所述初始地理位置的预定义范围内的内容位置相关联的 内容；以及将所确定的内容提供给将内容与内容位置指示符一起输出的输出组件，指示从所述初 始地理位置到所述内容位置的距离，并指示相对于所述新方向的内容位置。
2.根据权利要求1所述的方法，其中确定方向改变包括 利用所述移动设备的所述成像组件来捕捉多个图像；分析所述多个图像中的每个图像以确定所述多个图像中的每个图像中基本相同的图 像样式；确定所述多个图像中的第一图像的第一图像样式和所述多个图像中的最后图像的最 后图像样式之间的移动；以及基于所述移动来确定所述新方向。
3.根据权利要求1所述的方法，其中确定所述初始方向包括以下各项之一 检测所述移动设备的所述成像组件已指向已知方向；在所述移动设备上显示已知地理位置处的已知物体的样式，并检测所述移动设备已经 移动以使得所述样式覆盖来自所述移动设备的所述成像组件的相机馈给；检测所述移动设备的所述成像组件已指向所述移动设备的被检测的线性运动的方向；检测所述移动设备已指向太阳并基于所述初始地理位置、当前日期和当前时间来确定 所述新方向；以及 读取罗盘。
4.根据权利要求1所述的方法，其中确定内容包括通过网络将搜索请求发送到远程搜索系统，其中所述搜索请求包括所述初始地理位置 和所述新方向；以及通过所述网络从所述远程搜索系统接收搜索结果，其中所述搜索结果包括所确定的内容。
5.根据权利要求1所述的方法，其中确定内容包括 通过所述移动设备的用户输入组件接收搜索参数；以及基于所述搜索参数、所述初始地理位置和所述新方向来搜索内容数据库。
6.根据权利要求1所述的方法，还包括基于以下各项中的至少一项来过滤内容 与所述移动设备相关联的用户信息的简档；以及与多个用户与至少一个网络资源的交互有关的汇聚信息。
7.根据权利要求1所述的方法，其中将所确定的内容提供给所述输出组件包括以下各 项之一将所确定的内容覆盖到所显示的地图上；以及将所确定的内容覆盖到相机馈给上。
8.根据权利要求1所述的方法，其中将所确定的内容提供给所述输出组件包括 进一步检测所述移动设备的所述成像组件的方向性运动；以及如果所述成像组件移动到指向所确定的内容的方向，则指示所确定的内容位于所述成 像组件的视场内。
9.根据权利要求1所述的方法，还包括 检测所述成像组件的缩放操作； 基于所述缩放操作来确定缩放范围；确定与位于相对于所述初始地理位置并相对于所述新方向的所述缩放范围内的替代 内容位置相关联的替代内容。
10.根据权利要求1所述的方法，其中所确定的内容包括另一移动设备的位置信息。
11.一种保存令电子设备执行多个操作的指令的机器可读介质，所述多个操作包括权 利要求1的步骤。
12.一种用于确定内容的系统，包括 处理器；与所述处理器通信的成像组件； 与所述处理器通信的输出组件； 与所述处理器通信的用户输入接口 ；以及与所述处理器通信并存储使得所述处理器执行多个操作的指令和数据的存储器，所述 多个操作包括确定所述成像组件的初始地理位置； 确定所述成像组件所指向的初始方向；确定所述成像组件指向新方向的方向改变，其中所述方向改变是至少部分地通过使用 所述成像组件而被确定的；确定与所述新方向并与位于所述初始地理位置的预定义范围内的内容位置相关联的 内容；以及将所确定的内容提供给将内容与内容位置指示符一起输出的所述输出组件，指示从所 述初始地理位置到所述内容位置的距离，并指示相对于所述新方向的内容位置。
13.根据权利要求12所述的系统，其中所述指令还使得所述处理器执行以下操作 使得所述成像组件捕捉多个图像；分析所述多个图像中的每个图像以确定所述多个图像中的每个图像中基本相同的图 像样式；确定所述多个图像中的第一图像的第一图像样式和所述多个图像中的最后图像的最 后图像样式之间的移动；以及基于所述移动来确定所述新方向。
14.根据权利要求12所述的系统，还包括与所述处理器通信并确定初始位置的位置传 感器。
15.根据权利要求12所述的系统，还包括与所述处理器通信并与网络通信的网络接 口，其中所述指令还使得所述处理器执行以下操作通过所述网络将搜索请求发送到远程搜索系统，其中所述搜索请求包括所述初始地理 位置和所述新方向；以及通过所述网络从所述远程搜索系统接收搜索结果，其中所述搜索结果包括所确定的内容。
16.根据权利要求12所述的系统，其中所述指令还使得所述处理器执行基于以下各项 中的至少一项来过滤内容的操作与移动设备相关联的用户信息的简档；以及 与多个用户与至少一个网络资源的交互有关的汇聚信息。
17.根据权利要求12所述的系统，其中所述指令还使得所述处理器执行以下操作之将所确定的内容覆盖到所显示的地图上；以及 将所确定的内容覆盖到相机馈给上。
18.根据权利要求12所述的系统，其中所述系统包括移动设备。
19.一种用于确定感兴趣方向的方法，包括 确定移动设备的初始地理位置；确定与位于所述初始地理位置的预定义范围内的内容位置相关联的内容； 确定所述移动设备所指向的初始方向；确定所述初始地理位置的所述预定义范围内的区域的第一部分，其中所述区域的所述 第一部分与所述初始方向相关联；确定所述移动设备的成像组件指向新方向的方向改变；如果所述新方向指向所述内容位置所位于的所述区域的第二部分，则显示所确定的内容。
20.根据权利要求19所述的方法，还包括以下各项中的至少一项 利用加速度计来确定所述方向改变；以及将所确定的内容覆盖到所述区域的所述第二部分的图像上。
全文摘要
本发明的实施例涉及基于诸如相机电话之类的移动成像设备的朝向方向来获得信息。视觉信息由相机收集并用于确定相机的朝向方向、基于方向搜索内容、处理周围区域的3D虚拟图像、以及以其他方式使用方向信息。方向和运动可以通过分析图像的序列来确定。离当前位置的距离、输入的搜索参数和其他准则可被用于扩展或过滤用这样的准则加了标签的内容。具有距离指示符的搜索结果可被覆盖到地图或相机馈给上。各种内容可针对当前方向而被显示，或者诸如商业位置之类的所希望的内容可以仅当相机朝向所希望的内容时才被显示。
文档编号H04W4/02GK102067164SQ200980123321
公开日2011年5月18日 申请日期2009年5月20日 优先权日2008年6月20日
发明者古斯塔夫·桑德斯卓姆 申请人:雅虎公司