专利名称：：用于基于标签的可视搜索用户接口的方法、设备和计算机程序产品的制作方法
技术领域：
：本发明的实施例一般地涉及可视搜索技术，更具体地说，涉及用于基于标签的可视搜索用户接口的方法、设备、移动终端和计算机程序产品。
背景技术：
：现代通信时代带来了有线和无线网络的极;^展。计算机网络、电视网络和电话网络正在经历着前所未有的由客户需求推动的技术发展，同时提供了更加灵活和直接的信息传输。当前和未来的联网技术继续促进信息传输的容易性并为用户提供方便。其中需要增加信息传输的容易性并为用户提供方便的一个领域涉及向诸如移动终端之类的电子设备的用户提供各种应用和软件。可以从本地计算机、网络服务器或其他网络设备，或从诸如移动电话、移动电视、移动游戏系统、录像机、照相机之类的移动终端，或者甚至从移动终端和网络i殳备的组合来执行所述应用和软件。对此，已开发并将继续开发各种应用和软件以便向用户提供健全的能力，以在固定或移动环境中执行任务、通信、娱乐、收集和/或分析信息。随着带有照相机的移动电话的广泛4吏用，照相机应用对于移动电话用户正变得流行。当前正在出现基于图像匹配(识别)的移动应用并且该出现的实例是移动可视搜索系统。当前，存在具有各种范围和应用的移动可视搜索系统。但是，增加移动信息和数据服务的使用的一个障碍包括对可以执行应用的移动设备的用户接口(UI)的挑战。由于用户接口所施加的限制，移动设备有时无法用于信息检索，或在最好的情况下也会在用于信息检索的实用工具方面受到限制。已实现许多用于使移动设备更易于使用的方法，例如，包括用于使用数字键区(keypad)键入文本的自动字典、激活应用的语音识别、用以链接信息的扫描代码、可折叠和便携式键区、将书写数字化的无线笔、投影虛拟键盘的微型投影仪、基于接近度的信息标签以及传统的搜索引擎等。每种方法都具有缺点，例如，#^未存储在字典中的较长文本或单词时增加的时间、由于外部噪声或多人对话造成的语音识别系统的不精确、仅能够识别带有代码并在距离代码标签特定接近度以内的对象的有限灵活性、携带额外的设备(便携式键盘)、用于手写识别的训练设备、电池寿命上的减少等。假定照相机在诸如移动终端之类的设备中的普及性，希望开发一种提供用户友好的用户接口(UI)使得能够访问信息和数据服务的可视搜索系统。
发明内容本发明的示例性实施例的系统、方法、设备和计算枳一呈序产品涉及设计搜索技术(例如，移动搜索技术)，更具体地说，涉及用于基于标签的可视搜索用户接口和显示的方法、设备、移动终端和计算机程序产品。本发明的实施例的基于标签的用户接口允许减少所需的点击次数并提供了借助其在移动设备上立即显示所需(补充)信息的机制。在一个示例性实施例中，提供了一种用于提供改进的基于标签的用户接口和信息检索的方法。所述方法可包括接收用户所期望的信息的指示；接收基于所述指示检索的数据，所述检索的数据包括与标签关联的部分；以及使用相应的标签数据替换所述标签。在另一个示例性实施例中，提供了一种用于提供基于标签的可视搜索用户接口的计算机程序产品。所述计算机程序产品包括至少一个计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读程序代码部分。所述计算机可读程序代码部分包括第一、第二和第三可执行部分。所述第一可执行部分用于接收用户所期望的信息的指示。所述第二可执行部分用于接收基于所述指示检索的数据。所述检索的数据可包括与标签关联的部分。所述第三可执行部分用于使用相应的标签数据替换所述标签。在另一个实施例中，提供了一种用于提供基于标签的可视搜索用户接口的设备。所述设备可包括处理单元。所述处理单元可被配置为接收用户所期望的信息的指示；接tt于所述指示检索的数据，所述检索的数据包括与标签关联的部分；以及使用相应的标签数据替换所述标签。在另一个实施例中，提供了一种用于提供基于标签的可视搜索用户接口的设备。所述设备可包括用于接收用户所期望的信息的指示的装置；用于接收基于所述指示检索的数据的装置，所述检索的数据包括与标签关联的部分；以及用于使用相应的标签数据替换所述标签的装置。在概括地描述了本发明后，现在将参考附图，所述附图不必按比例绘制，并且其中图1是根据本发明的一个示例性实施例的移动终端的示意性框图；图2是根据本发明的一个示例性实施例的无线通信系统的示意性框图3是本发明的一个实施例的示意性框图；图4是本发明的服务器和客户端实施例的示意性框图；以及图5是根据本发明的一个实施例的提供基于标签的可视搜索用户接口的^f^的方法的流程图。具体实施例方式以下将参考附图更完整地描述本发明的各实施例，在附图中示出了本发明的某些但不是所有实施例。实际上，本发明可以体现为许多不同的形式并且不应被解释为限于在此阐明的实施例；提供这些实施例以便本公开将满足可适用的法律要求。在全文中，相同的标号指相同的单元。现在参考图1，其示出了将从本发明受益的移动终端(i殳备)10的框图。但是应理解，在此示出并且此后描述的移动终端只是将从本发明的实施例受益的一种类型的移动终端的示例，并且因此不应纟皮理解为限制本发明的实施例的范围。虽然出于实例目的在此示出并将在此后描述的移动终端10的若干实施例，但是其他类型的移动终端(例如，便携式数字助理(PDA)、寻呼机、移动电视、膝上型计算机以及其他类型的语音和文本通信系统)可以容易地使用本发明的实施例。此外，不是移动的设备也可以容易地^f吏用本发明的实施例。此外，虽然本发明的方法的若干实施例由移动终端10来执行或使用，但是所述方法可以由除了移动终端之外的设备来使用。此外，主要将结合移动通信应用来描述本发明的系统和方法。但是应理解，可以结合各种其他应用(在移动通信行业内和移动通信行业外)来利用本发明的系统和方法。移动终端10包括可操作地与发射器14和接收器16通信的天线12。移动终端IO还包括诸如控制器20或其他处理单元之类的分别向发射器14提供信号和从接收器16接收信号的设备。信号包括符合可应用的蜂窝系统的空中接口标准的信令信息，以及用户语音和成用户生成的数据。在此方面，移动终端10能够与一种或多种空中接口标准、通信协议、调制类型以及接入类型进行操作。通过例示的方式，移动终端10能够按照多种第一、第二和/或第三代通信协议等中的任何协议来操作。例如，移动终端10能够按照包括IS-136(TDMA)、GSM以及IS-95(CDMA)的第二代(2G)无线通信协议，包括宽带码分多址(WCDMA)、蓝牙(BT)、IEEE802.11、IEEE802.15/16以及超宽带(UWB)技术的笫三代(3G)无线通信协议来操作。所述移动终端还能够在包括AMPS以及TACS的窄带网络中操作。可以理解，诸如控制器20之类的装置包括实现移动终端10的音频和逻辑功能所需的电路。例如，控制器20可以包括数字信号处理器设备、微处理器设备、各种模数转换器、数模转换器以及其他支持电路。根据其各自的能力在这些设备之间分配移动终端10的控制和信号处理功能。控制器20因此还可以包括在调制和传输之前巻积地编码以及交织消息和数据的8功能。控制器20可以额外地包括内部语音编码器并且可以包括内部数据调制解调器。此外，控制器20可以包括运行可以存储在存储器中的一个或多个软件程序的功能。例如，控制器20能够运行诸如常规Web浏览器之类的连接性程序。所述连接性程序然后可以允许移动终端IO根据例如无线应用协议(WAP)来发送和接收Web内容，如基于位置的内容。移动终端IO还包括内含输出设备的用户接口，所述输出设备如常规的耳机或扬声器24、振铃器22、麦克风26、显示器28以及用户输入接口，其db^N皮耦合到控制器20。用户输入接口(其允许移动终端10接收数据)可以包括多种允许移动终端10接收数据的设备中的任何设备，如键区30、触摸显示器(未示出)或其他输入设备。在包括键区30的实施例中，键区30可包括常规的数字(0-9)和相关掩建(#，*)，以及用于操作移动终端IO的其他按键。可选地，键区30可包括常规的QWERTY键区。移动终端10还包括电池34(如振动电池组)，以便向操作移动终端IO所需的各种电路提电以及可选地提供机械振动作为可检测的输出。在一个示例性实施例中，移动终端10包括与控制器20通信的照相机模块36。照相机模块36可以是诸如设备或电i^L类的任何用于捕获图像或视频片段(videoclip)或视频流以便存储、显示或传输的装置。例如，照相枳4莫块36可以包括能够从所看到的对象形成数字图像文件或从记录的视频数据形成捕获的图像或视频流的数字照相机。照相机模块36可以能够捕获图像、读取或检测条形码以及其他基于代码的数据、OCR数据等。这样，照相^=莫块36包括从捕获的图像产生数字图像文件或从记录的视频数据产生视频流，以及读取基于代码的数据、OCR数据等所必需的所有硬件(如镜头、传感器、扫描器或其他光学器件)和软件。可选地，照相机模块36可以只包括查看图像或视频流所需的硬件，而移动终端10的存储设备40、42以从捕获的图像产生数字图像文件或从记录的视频数据产生视频流所必需的软件的形式，存储由控制器20执行的指令。在一个示例性实施例中，照相机模块36还可以包括诸如协同处理器(co-processor)之类的协助控制器20处理图像数据、视频流或基于代码的数据以及OCR数据的处理单元，以及包括用于压缩和/或解压缩图〗象数据、视频流、基于代码的数据、OCR数据等的编码器和/或解码器。编码器和/或解码器可以根据JPEG标准格式等来进行编码和/或解码。此外，或可选地，照相^f莫块36可以包括一个或多个视图，例如第一人照相M图和第三人地图视图。移动终端10还可以包括与控制器20通信的GPS模块70。GPS模块70可以是用于定位移动终端10的位置的任何装置、设备或电路。此外，GPS模块70可以是用于定位由照相W^块36捕获或读取的图像中的兴趣点(POI)(例如，商店、书店、饭店、咖啡店、百货商场、产品、公司、博物馆、历史地标等)，以及可具有条形码(或其他适合的基于代码的数据)的对象(或设备)的位置的任何装置、设备或电路。这样，此处所使用的兴趣点可以包括用户感兴趣的任何实体，如以上所述的产品、其他对象等和地理位置。GPS模块70可以包括用于定位图像中的POI或移动终端的位置的所有硬件。此外，或可选地，GPS模块70可以利用移动终端10的一(多)个存^i殳备40、42，以确定POI的图l象或移动终端的位置所必需的软件的形式，存储由控制器20执行的指令。此外，GPS模块70能够利用控制器20经由发射器14/接收器16向/从服务器(如图2所公开并在以下更完整地描述的可视搜索服务器54和可视搜索数据库51)发送/接收位置信息，如移动终端10的位置、一个或多个POI的位置、一个或多个基于代码的标签的位置，以及OCR数据标签。移动终端还可以包括搜索模块68。搜索模块可以包括可由控制器20(或由搜索模块内部的协同处理器(未示出))执行或体现的任何硬件和/或软件的装置，其能够在移动终端10的照相^I^莫块指向(零点击)POI、基于代码的数据、OCR数据等时，或在POI、基于代码的数据、OCR数据等与照相机模块36的视野内时，或在照相机模块在图像中捕获POI、基于代码的数据、OCR数据等时，接收与兴趣点关联的数据、基于代码的数据、OCR数据等(例如，用户感兴趣的任何实体)。在一个示例性实施例中，可以通过搜索模块68对图像的指示(其可以是捕获的图像或只是照相^N莫块36的视线范围内的对象)进行关于图像的指示的内容上的可视搜索10的性能的分析，以便标识其中的对象。在此方面，可以将图像(或对象)的特性与源图像(例如，来自可视搜索服务器54和/或可视搜索数据库51)相比较以尝试识别对象。然后可以确定与图像关联的标签。所述标签可以包括与对象关联的上下文元数据或其他类型的元数据信息(例如，位置、时间、POI的标识、徽标、个体等)。名为"ScalableVisualSearchSystemSimplifyingAccesstoNetworkandDeviceFunctionality"、序歹'J号为11/592,460的美国申请(其全部内容在此引入作为参考)中描述了一种采用此类能够利用标签(和/或生成标签或标签列表)的可视搜索系统的应用。搜索模块68(例如，经由控制器20)还可以被配置为生成包括与对象关联的一个或多个标签的标签列表。然后，可以将标签呈现给用户(例如，经由显示器28)，并且可从用户接收对关联于图像中的对象的关键字(例如，标签之一)的选择。例如，用户可以"点击"或以其他方式选择关键字，如果他或她希望与该关键字有关的更详细的(补充)信息。这样，关键字(标签)可以代表对象的标识或与对象相关的主题，并且才艮据本发明的实施例关键字(标签)的选择可以向用户提供与所希望的信息有关的补充信息，如一个或多个链接，其中链接可以是传统的Web链接、电话号码或特定应用，并且可以携带有题目或其他描述性说明或图例(legend)。此夕卜，补充信息还可以包括标题，其中标4IA独立(即，未与链接关联)的实际信息。标题可以是静态的或移动的。应当理解，链接、题目、实际信息和标题或它们的任意组合指补充信息或数据。但是，上述数据或补充信息只是将从本发明受益的所希望的信息类型的某些实例的说明，因此不应用于限制本发明的范围。例如，用户可以只是使用他或她的照相机电话的照相枳模块指向POI，与图像(或图像中的对象)关联的关键字列表将自动出现。在此方面，术语自动应被理解为意p木着无需用户交互以便生成和/或显示关键字列表。此外，响应于基于图像特性的识别而确定与图像(或图像中的对象)关联的标签或基于图像(或图像特性)与一个或多个源图像的比较而确定对象自身，可生成关键字列表。一旦显示了关键字列表，如果用户需要有关POIii的更详细的信息，用户就可单击或以其他方式选择一个关键字，与所选择的关键字对应的补充信息可被呈现给用户。搜索模块负责控制照相机模块36的功能，如照相机模块图像输入、跟踪或感应图像运动、与搜索服务器通信以便获取与POI、基于代码的数据、OCR数据等关联的相关信息，以及必要的用户接口和机制，用于向移动终端IO的用户可视地显示(例如，经由显示器28)或可听地呈现(例如，经由扬声器24)对应的相关信息。在一个示例性可选实施例中，搜索模块68可以在照相机才莫块36的内部。搜索模块68还能够使得移动终端10的用户可以从若干动作的列表中(例如，菜单或子菜单中)选择一个或多个动作，所述若干动作与相应POI、基于代码的数据和/或OCR数据等相关。例如，动作之一可包括但不限于搜索地理区域中的其他类似POI(即，补充信息)。例如，如果用户将照相机才莫块指向历史地标或博物馆，则移动终端可显示与所述地标或博物馆有关的候选项(补充信息)的列表或菜单，例如，该地理区域中的其他博物馆、具有类似主题的其他博物馆、详述POI的书籍、有关该地标的百科全书文章等。作为另一个实例，如果移动终端的用户将照相^块指向例如与产品或i殳备有关的条形码，则移动终端可显示与该产品相关的信息列表，包括设备的使用说明、对象的价格、最近的购买地点等。与这些类似POI相关的信息可以存储在存储器中的用户简档内。此外，搜索模块68包括媒体内容输入80(如图3中所公开并将在下文中更完整地描述)，其能够从移动终端10的照相机溪块36、GPS模块70或任何其他适合的单元接收媒体内容；以及标记控制单元135(如图3中所公开并将在下文中更完整地描述)，其经由媒体内,入80接收图像并能够创建一个或多个标签，如链接到物理对象的基于代码的标签、OCR标签和可视标签。然后将这些标签传递到可视搜索服务器54和可视搜索数据库51(如图2中所公开并将在下文中更完整地描述)，其中向用户提供与所述标签关联的信息。现在参考图2，其示例性示出了将从本发明受益的一种类型的系统。所述系统包括多个网络设备。如所示出的，一个或多个移动终端IO可以每个都包括天线12，用于向/从基站(BS)44或接入点(AP)62发送/接收信号。基站44可以是每个都包括运行网络所需的单元(如移动交换中心(MSC)46)的一个或多个蜂窝或移动网络的一部分。如本领域技术人员所熟知的，移动网络也可以被称为基站/MSC/交互功能(BMI)。在操作中，MSC46能够在移动终端10发出和接收呼叫时向/从移动终端10路由呼叫。MSC46还能够在移动终端10参与呼叫时提供到陆线干线(landlinetrunk)的连接。此外，MSC46能够控制向/从移动终端IO转发消息，并且还可以控制为移动终端10向/从消息收发中心转发消息。应指出的是，尽管在图2的系统中示出MSC46，但是MSC46只是示例性网络设备，并且本发明不限于在采用MSC的网络中使用。MSC46可以耦合到数据网络，如局域网(LAN)、城域网(MAN)，和/或广域网(WAN)。MSC46可以直接耦合到数据网络。但是，在一个典型实施例中，MSC46耦合到GTW48，而GTW48耦合到诸如因特网50之类的WAN。诸如处理单元(例如个人计算机、服务器计算机等)之类的设备又可以经由因特网50耦合到移动终端10。例如，如下所述，所述处理单元可以包括与如下所述的计算系统52(如图2所示)、可视搜索服务器54(如图2所示)、可视搜索数据库51等关联的一个或多个处理单元。BS44还可以耦合到信令GPRS(通用分组无线月艮务)支持节点(SGSN)56。如本领域技术人员所知的，SGSN56通常能够执行与MSC46类似的功能用于分组交换服务。SGSN56(如MSC46那样)可以耦合到诸如因特网50的数据网络。SGSN56可以直接耦合到数据网络。但是，在一个更典型的实施例中，SGSN56耦合到诸如GPRS核心网络58之类的分组交换核心网络。分组交换核心网络然后耦合到其他GTW48，如GTWGPRS支持节点(GGSN)60，并且GGSN60耦合到因特网50。除了GGSN60，分组交换核心网络还可以耦合到GTW48。此外，GGSN60可以耦合到消息收发中心。在此方面，GGSN60和SGSN56(如MSC46那样)能够控制诸如MMS消息之类的消息的转发。GGSN60和SGSN56还能够为移动终端10控制向以及从消息^中心转发消息。此外，通过将SGSN56耦合到GPRS核心网络58和GGSN60,诸如计算系统52和/或可视地图服务器54之类的设备可以经由因特网50、SGSN56和GGSN60耦合到移动终端10。在此方面，诸如计算系统52和/或可视地图服务器54之类的设备可以跨SGSN56、GPRS核心网络58和GGSN60与移动终端10通信。通过将移动终端10和其他i殳备(例如，计算系统52、可视地图服务器54等)直接或间接地耦合到因特网50，移动终端IO可以例如根据超文本传输协议(HTTP)与其他设备通信或彼此通信，由此执行移动终端10的各种功能。尽管在此未示出和描述每个可能的移动网络的每个单元，但是应理解，移动终端10可以通过BS44耦合到任意多个不同网络中的一个或多个网络。在此方面，所述一(多)个网络能够支持按照多个第一代(1G)、第二代(2G)、2.5G、第三代(3G)和/或未来移动通信协议等中的任意一种或多种协议来通信。例如，所述一(多)个网络中的一个或多个能够支持按照2G无线通信协议IS-136(TDMA)、GSM以及IS-95(CDMA)来通信。此外，例如，所述一(多)个网络中的一个或多个能够支持按照2.5G无线通信协议GPRS、增强数据GSM环境(EDGE)等来通信。此外，例如，所述一(多)个网络中的一个或多个能够支持按照3G无线通信协议(如采用宽带码分多址(WCDMA)无线接入技术的通用移动电话系统(UMTS)网络)来通信。如双模式或更高模式的移动站(例如，数字/模拟或TDMA/CDMA/模拟电话)那样，对于某些窄带AMPS(NAMPS)以及TACS，一(多)个网络也可以从本发明的实施例受益。移动终端10还可以耦合到一个或多个无线接入点(AP)62。AP62可以包括被配置为根据以下技术与移动终端IO通信的接入点例如，射频(RF)、蓝牙(BT)、Wibree、红外线(IrDA)或多种不同无线联网技术中的任何技术，包括诸如IEEE802.11(例如，802.11a、802.11b、802.11g、802.11n等)的无线LAN(WLAN)技术、诸如IEEE802.16的WiMAX技术，和/或诸如IEEE802.15的超宽带(UWB)技术等。AP62可以耦合到因特网50。与MSC46—样，AP62可以直接耦合到因特网50。但是，在一个实施例中，AP62通过GTW48间接地耦合到因特网50。此外，在一个实施例中，BS44可以净皮视为另一个AP62。如将理解的，通过直接或间接地将移动终端10和计算系统52、可视搜索服务器54和/或多个其他设备中的任意设备耦合到因特网50，移动终端10可以彼此通信，与计算系统52和/或可视搜索服务器54以及可视搜索数据库51等通信，由此执行移动终端10的各种功能，如向计算系统52发ili/接收数据、内容等，和/或从计算系统52接收数据、内容等例如，可视搜索服务器54可以处理来自搜索模块68的请求，并与可视搜索数据库51交互以便存储和检索可视搜索信息。此夕卜，可视搜索服务器54可以将各种形式的与目标对象(如POI)有关的数据提供给移动终端的搜索模块68。此外，可视搜索服务器54可以将与基于代码的数据、OCR数据等有关的信息提供给搜索模块68。例如，如果可视搜索服务器从移动终端的搜索模块68接收到照相^块所检测、读取、扫描或捕获的OCR数据(如文本数据)和/或条形码或任何其他代码(在此总称为基于代码的数据)的图像的指示，则可视搜索服务器54可以将所接收的基于代码的数据和/或OCR数据与兴趣点(POI)数据库74中存储的关联数据相比较，并且提供例如给定的一(多)个产品的比较购物信息、购买能力和/或内容链接，如到搜索模块的要经由显示器28显示的URL或web页面。也就是说，基于代码的数据和OCR数据(照相M块从其检测、读取、扫描或捕获图像)包含与比较购物信息、购买能力和/或内容链接等有关的信息。当移动终端接收到内容链接(如URL)或任何其他所希望的信息(如文档、电视节目、音乐录音等)时，移动终端可以利用其Web浏览器来经由显示器28显示相应的web页面，或通过麦克风26以音频格式呈现所希望的信息。此外，可视搜索服务器54可以通过地图服务器，将所接收的OCR数据(例如，照相机模块36所检测的街道标牌上的文字)与移动终端的地理区域和/或街道标牌的地理区域内的诸如地图数据和/或方向之类的关联数据相比较。应指出的是，以上只是可以与基于代码的数据和/或OCR数据关联的数据的实例，并且在此方面，可以将任何适合的数据与在此描述的基于代码的数据和/或OCR数据关联。可以将与一个或多个POI有关的信息链接到一个或多个标签，例如，与照相M块36所捕获、检测、扫描或读取的物理对象关联的标签。可以将与一个或多个POI有关的信息发送到移动终端10以便进行显示。可视搜索数据库51可以存储相关的可视搜索信息，包括但不限于媒体内容，后者包括但不限于文本数据、音频数据、图形动画、图片、照片、视频片段、图像及其关联的元信息，例如Web链接、地理位置数据(如在此所述，地理位置数据包括但不限于到各种媒体(如网站)的地理标识元数据等，并且该数据还可以包括绵度和经度坐标、高度数据和地名)、上下文信息等以便进行快速而高效的检索。此外，可视搜索数据库51可以存储与一个或多个POI的地理位置有关的数据，并且可以存储与各个兴趣点相关的数据，包括但不限于POI的位置、与POI相关的产品信息等。可视搜索数据库51还可以存储基于代码的数据、OCR数据等以及与基于代码的数据、OCR数据关联的数据，包括但不限于产品信息、价格、地图数据、方向、Web链接等。可视搜索服务器54可以向/从可视搜索数据库51发送/接收信息并且通过因特网50与移动终端10通信。同样，可视搜索数据库51可以与可视搜索服务器54通信，并且可选地或附加地，可以直接通过WLAN、蓝牙、Wibree等类似传输或通过因特网50与移动终端IO通信。在一个示例性实施例中，可视搜索数据库51可以包括可视搜索输入控制/接口。可视搜索输入控制/接口可以充当接口，用于用户(例如，企业主、产品制造商、公司等)将其数据插入到可视搜索数据库51中。用于控制将数据插入可视搜索数据库51的机制可以是灵活的，例如，可以基于位置、图像、时间等来插入新插入的数据。用户可以经由可视搜索输入控制/接口将与一个或多个对象、POI、产品等相关的条形码或任何其他类型的代码(即，基于代码的数据)或OCR数据(以及附加信息)下载或插入到可视搜索数据库51。在一个非限制性示例性实施例中，可视搜索输入控制/接口可以位于可视搜索数据库51的外部。如在此使用的，术语"图像"、"视频片段"、"数据"、"内容"、"信息，，以及类似术语可以互换地使用，以指代能够根据本发明的实施例来发送、接收和/或存储的数据。因尽管未在图2中示出，但是除了或替代通过因特网50将移动终端10耦合到计算系统52，移动终端10和计算系统52可以彼此耦合，并例如按照RF、BT、IrDA或多种不同的有线或无线通信技术(包括局域网、广域网、WiMAX和/或UWB技术)中的任何技术来通信。一个或多个计算系统52可以附加地或可选地包括能够存储内容的可移动存储器，所述内容可以在之后被传递到移动终端10。此外，移动终端10可以被耦合到一个或多个电子设备，如打印机、数字投影仪和/或其他多媒体捕获、生成和/或存^i殳备(例如，其他终端)。与计算系统52—样，移动终端10可以^t配置为按照诸如RF、BT、IrDA之类的技术或多种不同的有线或无线通信技术(包括USB、局域网、广域网、WiMAX和/或UWB技术)中的任何技术来与便携式电子设备通信。现在参考图3,提供了本发明的一个实施例的框图。标记控制单元90经由媒体内入80接收媒体内容，并通过执行基于OCR/代码的算法82、83(或可视搜索算法81)来执行OCR搜索或基于代码的搜索或可视搜索，以便生成与所接收的媒体内容关联的标签。例如，移动终端的用户可以将他/她的照相机模块指向对象或捕获经由媒体内容输入80被提供给标记控制单元卯的对象(例如，书籍)的图像。识别到对象(即书籍)的图4象在书籍封面上具有文本数据，标记控制单元90可以执行OCR算法82，并且标记控制单元卯可以根据其题目(在书籍封面的文本数据中标识)来为书籍进行标记(即，标签)。(此外，标记控制单元90可以标记书籍封面上检测到的文本以用作关键字，可以经由移动终端10的Web浏览器使用该关键字来在线搜索内容。)标记控制单元90可以代表用户存储此数据(即，书名)，或将此信息传递给可视搜索服务器54和/或可视搜索数据库51，以便当一个或多个移动终端的照相机模块36指向或捕获书籍的图像时，服务器54和/或数据库51可以将此数据(即，书名)提供给一个或多个移动终端IO的用户。移动终端10的用户可以在执行可视搜索算法81时生成附加标签。例如，如果照相机模块36指向诸如商店中的一盒谷物之类的对象，则与此对斜目关的信息可以经由媒体内入80被提供给标记控制单元90。标记控制单元卯可以执行可视搜索算法81，以便搜索模块68执行关于该盒谷物的可视搜索。可视搜索算法可以生成可视结果，例如，该盒谷物的图像或视频片段，并且在此图像或视频片段中可包^i者如价^f言息、有关盒装谷物品名(例如，CheeriosTM)的URL、制造商名称之类的被提供给标记控制单元的其他数据。此数据(例如，可视搜索结果中的价格信息)可以被标记或链接到盒装谷物的图像或视频片段(其被存储在代表用户的标记控制单元中)，以便当移动终端的用户以后将他的照相机模块指向或捕获盒装谷物的媒体内容(图像/视频片段)时，将向显示器28提供所述信息(例如，价制f息、URL等)。此外，可以将此信息传递给可视搜索服务器54和/或可视搜索数据库51，其可以在用户将照相积4莫块指向盒装谷物和/或捕获盒装谷物的媒体内容(图像/视频片段)时，向一个或多个移动终端10的用户提供所述信息。再次地，这节省了移动终端的用户4吏用键区30等手动输入元信息以l更创建标签所需的时间和精力。如上所述，当移动终端10的用户从可视对fj^r索内容时，可以使用通过标记控制单元卯生成的标签。此外，鉴于上述内容应指出的是，通过使用搜索模块28，用户可以从可视对象获得嵌入的基于代码的标签、获得添加到可视对象的OCR内容、基于位置和关键字(例如，来自OCR数据)获得内容，以及通过4吏用基于关键字的过滤来消除多个选择。例如，当搜索信息涉及书籍时，来自OCR搜索的输入可以包舍渚如作者姓名和书名之类的信息，其可以被用作关键字以过滤无关的信息。现在参考图4,其中示出了根据本发明的示例性实施例的能够彼此通信并与其他数据源通信的服务器160和客户端170。但是应指出的是，可以采用除服务器/客户端架构以外的其他架构。服务器160和客户端170可以是上述的服务器和客户端(例如，移动终端IO)的实例。此外，尽管以18下将在包括各种组件方面描述服务器160和客户端170中的每一个，但是应理解，所述组件可以分别体现为服务器160和客户端170的相应处理单元或处理器，或以其他方式由服务器160和客户端170的相应处理单元或处理器来控制。在此方面，以下描述的每个组件可以是净皮配置为执行以下将更详细描述的相应组件的对应功能的硬件、软件或硬件和软件的组合体现的任何设备、装置或电路。在此方面，月良务器160能够建立与一个或多个数据源(如数据源150)的通信。在此方面，数据源150相对于服务器160可以是现场的或不在现场(例如，本地或远程)。此外，数据源150可以包括用于其中存储的数据的各种不同的数据格式。某些格式源的实例可以包括RSS、XML、HTML和各种其他格式。服务器160、数据源150或与服务器160和/或数据源150通信的代理设备都可以被配置为在某些情况下在格式之间进行转换，以确保在服务器160处接收的数据处于可用格式。服务器所访问的数据的类型可以很广泛。数据类型的实例可以包括但不限于文本、链接、目录条目、邮政编码、地图、网站、图像、天气信息、交通信息、新闻、用户信息、资产以及许多其他类型。在一个示例性实施例中，服务器160还可以连接到中央传感器以获得数据。可以根据本发明的示例性实施例使用通过服务器160获得的数据，以便向客户端(用户)170提供补充信息。在此方面，如以下将更详细说明的，可以使用从数据源150或其他可访问数据源检索的相应数据，来替换与以上所述的类似的可与特定的检索数据(例如，特定图像(或图像中的对象))关联的标签。如图4所示，服务器160可以包括服务器数据检索组件100和服务器标签处理组件110，它们中的每个都可以是被配置为分别执行以下将更详细描述的服务器数据检索组件100和服务器标签处理组件110的对应功能的硬件、软件或硬件和软件的组合体现的任何设备、装置或电路。服务器数据检索组件100可以被配置为从数据源150或其他与服务器160通信的数据源检索(例如，通过拉回)数据。此外，服务器数据检索组件100可以被配置为对^的数据进行分类(无论是已从数据源拉回的此类数据，还是将此类数据推送到服务器数据检索组件100)。服务器数据检索组件100还可以被配置为在特定情况下緩存数据(例如，特别是如果此类数据是在例行(routine)基础上被检索)。服务器标签处理組件110可以被配置为处理传送到服务器标签处理组件110(例如，来自服务器数据检索组件100)的所检索的数据。在一个示例性实施例中，服务器标签处理组件110执行的处理可以包括以所检索的数据内的标签为1^出，用所检索的数据的其他部分替换所检索数据的多个部分。例如，在此方面，可以处理所检索的数据的一部分，以标识与之关联的标签，并且可用所检索的数据的其他部分(如果可用)替换与所述标签关联的那部分。在一个示例性实施例中，如上所述的数据替换可以是有条件的。例如，此类数据替换可以取决于其他数据变量和当前值或条件。换言之，可以使用条件语句或布尔表达式(例如，if/then或case语句)来定义条件，当满足条件时，可以触发使用来自所检索的数据的其他数据来替换与标签关联的数据。然后可以将处理后的数据传送到客户端170(或其他客户端)。表1示例性示出了可以在本发明的一个实施例中使用的标签列表的实例。但是应理解，表l中提供的标签只是实例并且绝非限制可以结合本发明的实施例一起使用标签。相反，表l只是表示标签(其可以由服务器标签处理组件110标识)可以为何种样式。<table>tableseeoriginaldocumentpage20</column></row><table>[PX.PIC.TEXT使用文本识别引擎识别的图片中的文本(在服务器上或在客户端上)。可以指定格式、语言和引擎类型曰期{PX.KEY.TEXTBOX(..)}显示文本框以及要求用户通过键区或键盘的文本输入当前用户的电话号码表l如图4所示，客户端170可以包括客户端数据检索组件120、客户端标签处理组件130以M户端数据显示组件140，它们中的每个都可以是21被配置为分别执行以下将更详细描述的客户端数据检索组件120、客户端标签处理组件130以及客户端数据显示组件140的对应功能的硬件、软件或硬件和软件的组合体现的任何设备、装置或电路。客户端数据检索组件120可以类似于上述的服务器数据检索组件100，除此之外，客户端数据检索组件不仅可以被配置为M户端数据源180或其他数据源检索(例如，通过拉回)数据，而JUl户端数据检索组件120还可以被配置为从服务器160检索数据(例如，通过服务器标签处理組件110)。客户端数据检索组件120还可以被配置为访问上述的不同类型和不同格式的数据。此外，客户端数据检索组件120可以被配置为连接到本地传感器以获取数据，所述数据包括但不限于GPS(或辅助GPS)、小区ID或其他位置信息、温度、速度、加速度、方向、图像传感器数据、OCR和/或条形码信息、指紋信息或其他生物测定信息、语音输入、键盘输入、游戏杆输入、鼠标输入、运动或任何其他传感器数据。客户端数据检索组件120还可以被配置为对^的数据进行分类(例如，无论是从数据源或从服务器160拉回此类数据，还;U艮务器160将所述数据推送到客户端数据检索组件120)。可以根据需要从可访问的源检索数据。但是，客户端数据检索组件120还可以被配置为在特定情况下緩存数据(例如，特别是如果此类数据被在例行的基础上检索)。客户端标签处理组件130可以类似于上述的服务器标签处理组件110。例如，在此方面，客户端标签处理组件130可以被配置为处理传送到客户端标签处理组件130(例如，从客户端数据检索组件120或从服务器160)的所检索的数据。在一个示例性实施例中，客户端标签处理组件130执行的处理可以包括以所检索的数据中的标签为基础，将所检索的数据的多个部分替换为所检索的数据的其他部分。例如，在此方面，可以处理所检索的数据的一部分以标识与之关联的标签，并且与所述标签关联的该部分可以被替换为所检索的数据的其他部分(如果可用)。在一个示例性实施例中，如上文关于服务器标签处理组件110的描述，如此处所述的数据替换可以是有条件的。例如，此类数据替换可以取决于其他数据变量和当前值或条件。换言之，可以使用条件语句或布尔表达式(例如，if/then或case语句)来定义M,当满足M时，可以触发使用来自所检索的数据的其他数据来替换与标签关联的数据。然后可以将处理后的数据传送到客户端数据显示组件140。当接收到来自客户端标签处理组件130的数据(例如，处理后的数据)时，客户端数据显示组件140可以被配置为显示所接收的数据或提供与所接收的数据对应的信息以便进行显示。在一个示例性实施例中，客户端数据显示组件140可以被配置为在确定是否或如何显示所接收的数据时考虑客户端170的状态(例如，搜索模式、接收键盘输入、接收来自可视搜索的结果等)。所显示数据的所有标签可以被替换为相关的标签数据(例如，参见表1)。可选地，只有那些满足条件要求的标签才被替换为相应的数据。在此方面，使用相应的数据替换标签可以在服务器标签处理组件110处发生，也可以在客户端标签处理组件130处发生。因此，例如，在某些实施例中，可以仅使用服务器标签处理组件110或客户端标签处理组件130中的一个。在一个实施例中，由客户端数据显示组件140显示的数据可以覆盖在取景器显示上或覆盖在照相机或移动终端的显示器上的活动浮见频或其他图像上。所显示的数据可以代表来自可视搜索的搜索结果，其基于用户置于例如照相机模块36的视线范围内的对象。所显示的数据可以包括链接、题目、标题和/或其他信息，它们都可以包括基于诸如位置、用户属性、时间、来自文本识别引擎的文本、社交网络输入或其他类似输入之类的因素来调整的动态信息。在此方面，虽然可视搜索可以返回一般关联的将被提供用来显示的链接，但是使用相应信息替换标签可以使得否则是静态的链接、题目或标题能够包括动态特性，这是由于使用可以是动态的相应数据替换标签。相应地，实际显示的链接可以是动态的。结果(例如，所呈现的用于显示的最终处理后的信息)可以以列表、循环、分层或任何其他类似形式来显示以使得用户能够与结果交互。在此方面，用户可以加亮强调(highlight)特定的结果(例如，不点击)并读取更多覆盖在显示器上的信息。再次点击才会导向另外的信息或执行其他功能。在一个示例性实施例中，为了在检索到新数据时更新变化的输入数据，可以采用两种特定的机制。例如，可以采用客户端推送/拉回更新机制175或服务器推il/拉回更新机制165。客户端推送/拉回更新机制175和服务器推送/拉回更新机制165都可以是被配置为分别执行客户端推iH/拉回更新机制175和服务器推送/拉回更新机制165的对应功能的硬件、软件或硬件和软件的组合体现的任何设备、装置或电路。例如，在此方面，服务器推送/拉回更新机制165和客户端推iH/拉回更新机制175可以被配置为允许对客户端170更新的客户端拉回或服务器推送。可以组合推送和拉回方法两者，或者在可选实施例中可以仅实现两种方法中的一个。图5是根据本发明的示例性实施例的方法和程序产品的流程图。应当理解，所述流程图的每个框或步骤以及流程图中框的组合，都可以由各种方式来实现，如包括一个或多个计算机程序指令的硬件、固件和/或软件。例如，可以通过计算机程序指令来体现一个或多个上述的过程。在此方面，体现上述过程的计算机程序指令可以由移动终端或服务器的存储设备存储，并由移动终端或服务器中的内置处理器执行。如将理解的，任何此类计算机程序指令都可以被加载到计算机或其他可编程设备(即，硬件)以产生一种机器，使得在所述计算机或其他可编程设备上执行的指令产生用于实现一个或多个流程图框或步骤中指定的功能的装置。这些计算机程序指令还可以存储在可以引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在计算机可读存储器中的指令产生一件产品，所述产品包括实现一个或多个流程图框或步骤中指定的功能的指令装置。所述计算机程序指令还可以被加载到计算机或其他可编程装置上，以引起在所述计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的过程，使得在所述计算机或其他可编程设备上执行的指令提供用于实现一个或多个流程图框或步骤中指定的功能的步骤。相应地，所述流程图的框或步骤支持用于执行所指定功能的装置的组合、用于执行所指定功能的步骤的组合、以及用于执行所指定功能的程序指令装置。还将理解，所述流程图的一个或多个框或步骤以及流程图中的框或步骤的组合，可以通过执行所指定功能或步骤的基于专用石更件的计算机系统或由专用硬件和计算机指令的組合来实现。在此方面，例如图5中示例性示出的用于提供基于标签的可视搜索用户接口的方法的一个实施例可包括，在操作200接收用户所期望的信息的指示。在操作210，可接收基于所述指示检索的数据。所检索的数据可以至少包括与标签关联的所检索的数据的一部分。在操作220，所述标签然后可以被替换为相应的标签数据。但是，在某些实施例中，可在替换所述标签之前确定是否满足标签替换条件，并且只有在满足所述标签替换M的情况下才会替换所述标签。在一个示例性实施例中，在^作230，所述方法还可包括提供所检索的数据的一部分用于显示的可选操作，其中使用为对于用户设备上显示的实时图傳教据的覆盖，来显示所检索的数据的所显示的部分。在一个示例性实施例中，所接收的用户所期望的信息的指示可以包括接收包含对象的图像的指示，并且所述方法还可以包括基于所述对象进行可视搜索。在另一个实施例中，替换所述标签可以包括查询标签表和相应的标签数据以便标识要用于替换所述标签的标签数据。在各个示例性实施例中，接收所检索的数据可以包括在客户端设备或服务器设备处接收数据。当在客户端设备处接收此类数据时，可以在将所检索的数据从与客户端设备通信的服务器拉回到客户端设备的拉回操作之后，或在将所检索的数据从与客户端设备通信的服务器推送到客户端设备的推送操作之后，接收所述数据。当在服务器处接收所述数据时，可以接收所述数据用于随后传送到客户端设备，其中接收所述数据以响应于将所检索的数据拉回到客户端设备的拉回操作，或响应于将所检索的数据推送到客户端设备的推送操作。在受益于上述说明和关联附图中提供的教导之后，本发明所属的领域25的技术人员将想到在此提出的本发明的许多修改和其他实施例。因此，应当理解，本发明的各实施例并不限于所公开的特定实施例并且修改和其他实施例也将被包括在所附权利要求的范围之内。尽管在此采用了特定的术语，但是它们仅在通用的和描述性的意义上使用并且不是为了限制的目的。权利要求1.一种方法，包括接收用户所期望的信息的指示；接收基于所述指示检索的数据，所检索的数据包括与标签关联的部分；以及使用相应的标签数据替换所述标签。2.根据权利要求1的方法，还包括提供所检索的数据的一部分的显示，分。3.根据权利要求2的方法，其中提供所述显示包括作为对于所述用户的设备上显示的实时图像数据的覆盖，显示所检索的数据的所述部分。4.根据权利要求1的方法，其中接收所述用户期望的信息的指示包括接收包含对象的图像的指示，并且其中所述方法还包括基于所述对象进行可视搜索。5.根据权利要求l的方法，其中替换所述标签包括查询标签表和相应的标签数据以便标识要用于替换所述标签的标签数据。6.根据权利要求l的方法，还包括在替换所述标签之前确定是否满足标签替换条件，并且只有在满足所述标签替换条件时才替换所述标签。7.根据权利要求l的方法，其中接收所检索的数据包括在将所检索的数据从与客户端设备通信的服务器拉回到所迷客户端设备的拉回操作之后，在所^户端设备处接收数据。8.根据权利要求l的方法，其中接收所检索的数据包括在将所检索的数据从与客户端设备通信的服务器推送到所述客户端设备的推送操作之后，在所^户端^殳备处接收数据。9.根据权利要求l的方法，其中接收所检索的数据包括在服务器处接收数据用于随后传送到客户端设备，响应于将所检索的数据拉回到所述客户端设备的拉回操作而接收所述数据。10.根据权利要求1的方法，其中接收所检索的数据包括在服务器处接收数据用于随后传送到客户端设备，响应于将所检索的数据推送到所ii^户端设备的推送操作而接收所述数据。11.一种包括至少一个计算机可读存储介质的计算机程序产品，所述计算机可读存储介质中存储有计算机可读程序代码部分，所述计算机可读程序代码部分包括用于接收用户所期望的信息的指示的第一可执行部分；用于接收基于所述指示检索的数据的第二可执行部分，所检索的数据包括与标签关联的部分；以及用于使用相应的标签数据替换所述标签的第三可执行部分。12.根据权利要求ll的计算机程序产品，还包括用于提供所检索的数据的一部分的显示的第四可执行部分，其中通过所述相应的标签数据替换所检索的数据的与所述标签关联的部分。13.根据权利要求12的计算枳4呈序产品，其中所述第四可执行部分包括用于作为对于所述用户的设备上显示的实时图像数据的覆盖来显示所检索的数据的所述部分的指令。14.根据权利要求ll的方法，其中所述笫一可执行部分包括用于接收包含对象的图像的指示的指令，并且其中所述方法还包括用于基于所iW象进行可视搜索的第四可执行部分。15.根据权利要求ll的计算机程序产品，其中所述第三可执行部分包括用于查询标签表和相应的标签数据以便标识要用于替换所述标签的标签数据的指令。16.根据权利要求ll的计算机程序产品，还包括用于在执行所述第三可执行部分之前确定是否满足标签替换条件的第四可执行部分，并且只有在满足所述标签替换条件时才执行所述第三可执行部分。17.—种包括处理单元的设备，所述处理单元被配置为接收用户所期望的信息的指示；接收基于所述指示检索的数据，所检索的数据包括与标签关联的部分;以及使用相应的标签数据替换所述标签。18.根据权利要求17的设备，其中所述处理单元还被配置为提供所检索的数据的一部分的显示，其中通过所勤目应的标签数据替换所检索的数据的与所述标签关联的部分。19.根据权利要求18的设备，其中所述处理单元还被配置为作为对于所述用户的设备上显示的实时图像数据的覆盖，显示所检索的数据的所述部分。20.根据权利要求17的设备，其中所述处理单元还被配置为接收包含对象的图像的指示，并基于所述对象进行可视搜索。21.根据权利要求17的设备，其中所述处理单元还被配置为查询标签表和相应的标签数据以便标识要用于替换所述标签的标签数据。22.根据权利要求17的设备，其中所述处理单元还被配置为在替换所述标签之前确定是否满足标签替换条件，并且只有在满足所述标签替换条件时才替换所述标签。23.—种设备，包括用于接收用户所期望的信息的指示的装置；用于接收基于所述指示检索的数据的装置，所检索的数据包括与标签关联的部分；以及用于使用相应的标签数据替换所述标签的装置。24.根据权利要求23的设备，还包括用于提供所检索的数据的一部分的显示的装置，其中通过所一目应的标签数据替换所检索的数据的与所述标签关联的部分。25，根据权利要求23的设备，还包括用于在替换所述标签之前确定是否满足标签替换条件并且只有在满足所述标签替换条件时才替换所述标签的装置。全文摘要一种提供基于标签的可视搜索用户接口的设备，其可包括处理单元。所述处理单元可以被配置为接收用户所期望的信息的指示；接收基于所述指示检索的数据，所检索的数据包括与标签关联的部分；以及使用相应的标签数据替换所述标签。文档编号G06F17/30GK101535997SQ200780042622公开日2009年9月16日申请日期2007年9月14日优先权日2006年9月17日发明者C·P·施洛特尔申请人:诺基亚公司