基于视觉提示的移动查询系统和方法

专利名称：基于视觉提示的移动查询系统和方法
技术领域：
本发明涉及人通过使用基于视觉提示的移动查询系统与可视图 像进行交互的领域。
背景技术：
登广告者希望顾客购买他们的产品/服务、或者可能釆取某种其 他行为，作为对广告的直接响应。然而，在大多数情况下，在广告和 顾客的行为之间不存在直接的、可估量的联系。因此，对于登广告者 来说，就难以估量他们的广告活动的效果。发明内容本发明涉及人通过使用基于视觉提示的移动查询系统与可视图 像进行交互的领域。引起用户兴趣的视觉提示可以是来自任意形式的牙见觉内容，诸如广告、标志、标记和社论(editorial)，或者可以是 日常事物，诸如花、路标、宠物、或人脸。视觉提示是可视图像，其 可以包括文本和/或图形和/或事物。媒体可以有很多种，诸如杂志、 报纸、布告板、海报、目录、直接邮寄广告、产品包装、建筑物、服 装或广告气球(blimp)。可视图像可通过各种方式来实现，诸如印刷 在纸上或织物上，在显示器上点亮背光、或者利用如TV的电子设备， 或者可视图像可以是日常事物。新式的移动电话包括有很多基于无线数据服务可用性的功能。这 些服务使得能够在移动电话与其他系统之间传送文本、音频、图像和 视频信息。移动电话的用户能够使用改善了设备有效性的应用，诸如 接收消息提示、与朋友共享图片、玩游戏、以及检取音乐来听。摄像 机电话引入了一种对于移动电话用户可用的新的信息来源收集功能。
本发明的移动查询系统和方法使用 一种具有嵌入式摄像机的联网移动设备，诸如摄像机电话、具有集成或者附加摄像机的PDA、或 者具有无线数据连通性的数字摄像机。本发明还使用无线网络数据服 务。这些服务基于一组分层的网络协议。图片消息发送是通用的应用， 其利用这些网络并对于摄像机电话的用户是可用的。图片消息发送应 用规定，将来自摄像机的数字图像(通常是由用户拍摄的近期照片) 包含在要从无线移动设备发送到远程设备的消息中，这些远程设备例 如是朋友和家人、在线个人照片簿、或者在线移动网站日志(log)。 用户通过输入接收者的移动电话号码或者电子邮件地址来指定接收 者。用户还可以从其移动设备上的个人联系列表、或者从所配置的熟 知目的地列表选择图片消息的目的地，诸如有标记的照片管理服务器。 用户的移动电话号码包含在所有发送的消息中，而且该号码对于接收 者的后续联系也是可用的，该号码通过类似的消息发送、语音呼叫、 或者通过4,进移动网站内容(pushing mobile web content)而可以。 本领域技术人员将多媒体消息发送服务(MMS)作为一种工业标准协 议和服务规范，其用于发送包含有文本和图像数据的消息以及其他类 型的数字内容。基于MMS的服务器还包括网关功能，用于通过诸如 SMTP的协议来与标准因特网消息发送应用和服务器相连。最常见的 是在MMS上实现图形消息发送，但某些无线运营商具有基于诸如 SMTP或者HTTP的其他因特网协议的另选实现方案。本发明还使用了在无线数据网络上对于移动电话用户可用的文 本消息发送服务。本领域技术人员将短消息服务(SMS)作为一种工 业标准协议和服务规范，用于发送包含有文本和诸如URL的二进制 信息以及下载/付费机制的消息。基于SMS的服务器还包括网关功能， 用于通过诸如SMTP的协议与标准因特网消息发送应用和服务器相 连。包括有视觉搜索算法的图像索引系统提供了一种机制，用于存储 多个图像并在该组图像中搜索与输入图像类似的图像。这些系统提供 有排名顺序的搜索结果，并为各个返回项提供了一个绝对分数。该分
数是匹配程度指示符。当具有最高级别的项的绝对分数低时，这些系 统提供阈值机制，该机制可用于确定在什么时候返回的具有最高排名 的、表示最匹配的项事实上根本不匹配。该阈值机制取决于如下事实， 即两个非匹配图像的分数间的数值差在概率上远小于在匹配图像和非 匹配图像的分数之间的数值差。基于图像应用类型对视觉搜索系统进行调整。例如，针对下列应用中的每一个调制视觉搜索系统使用双 音调图像的商标标志(trademark logo)搜索；使用灰度级图像的面 部识别；基于彩色图像的杂志广告搜索。当出现如下情形，即，自动 化系统表明最佳匹配接近于阈值时，对最佳匹配或不匹配作出最终决 定的操作员能够补充视觉查找系统。使个体用户能够利用可配置的优选项来建立私人帐户并存储有 关用户信息的私人化和用户登记系统是因特网网站的最常用的组成部 分，这些网站是诸如电子商务网站、门户网站(portal)、新闻服务、 家庭银行等。这些系统由用户通过web浏览器来访问，并提供用户个 人简档的初始登记和维护。这些系统提供适当的安全性并确保用户信 息的私密。如果这样配置，则还可通过移动因特网、使用移动手机web 浏览器来访问这些系统。销售自动化系统提供了开发、执行、管理和估量客户目标销售程 序的能力，这些程序包括数字和传统形式的顾客销售。提供有根据所 选输入变量和商业规则来创建对顾客请求的定制响应的设备。这些系 统管理人工的和自动化的工作流程。 一般地，响应是电子邮件、邮政 邮件和电话的形式。商业规则的一个简化示例是"对1972年8月出版 的Life Magazine中第38页的Swanson TV Dinners广告进行了邮件 回复的前1000个独特的邮件回复者，送给了他们"买2送1 (2 for 1) 的优惠券"，并使他们加入迪斯尼乐园抽奖"。将移动消息传送功能与 这种类型的系统进行组合，使得移动销售能够被包括在趣味性的可能 实现机制中。在网站上创建可达地个人思想和行为日志的实践被称为网络日 志(web log )或博客(blog )。移动网络日志称为移动博客(moblog )。
当用户在移动电话上输入文本并拍摄图像，并将数据上载到特定的博 客时，最典型的是通过发送正确寻址的图片消息时，就创建了移动博 客。博客和移动博客还可以包括有到因特网上的相关内容的链接。维 护博客或移动博客的人根据对他们思想和行为记录的保存来体现价 值。这种记录越来越多地包含多媒体内容与链接。博客机制的益处在 与日俱增，因为它使得包含附加信息变得更加容易。在商品和服务销售行业中的 一种通用的实践是直接响应销售，其 用于收集与个体消费者以及他们对产品、服务或事件的特殊兴趣有关 的信息，并影响他们的购买行为。直接响应销售活动涉及认知建立(awareness creation)或直接招揽(solicitation)， 以及一个或多个 响应渠道。认知建立可采用多种形式。例如直接发邮件、TV或无 线电广告、电子邮件消息、在杂志或报纸中印刷广告、海报或布告。 还有很多可能的响应渠道。例如邮件、电话、电子邮件消息、零售 店访问、"宾果卡(bingo card)”，、以及网站。该活动可以包括在试 图增加目标市场的响应率方面进行的刺激。例如竟赛、测验、免费 样品、以及优惠券。直接响应销售的目的是产生顾客线索，即与潜在顾客有关的信 息。该信息至少包含至少一个标识符，通过该标识符可以后续地联系 到该顾客。标识符的类型包括家用或商用电话号码、家用或商用地址、 移动电话号码、电子邮件地址、以及因特网聊天室屏幕名称。通过利 用这些标识符中的一个或多个，登广告者将釆取使顾客产生购买的技 术手段。在某些情况下，这些技术手段的目的是品牌的"持续印象"， 而在其他情况下则是直接招揽购买。要求顾客参与的竟赛是直接销售的流行形式。基于视觉提示的程 序示例是这样的其中要求将诸如产品包装、商店标记、或标记的特 定对象的图像包括在图片中，以参与竟赛或品牌促销。自动化系统(诸 如这里所公开的)接收摄像机电话提交的项目并处理图像内容，向用 户返回接受或拒绝该项目的响应。当在图像中未发现对象时进行拒绝， 并在响应中向用户通知如何参与促销。
顾客线索数据还用于提高登广告者对目标市场的了解。在该情况 下，可总体上观察并分析从顾客收集的附加信息，以发现模式(pattern)或趋势。该附加信息包括有"硬数据"，诸如年龄、性别和 位置的个人信息，以及"软数据，，，诸如最喜欢的运动和每周看电视的 时间。通过响应率来估量直接响应销售活动的效果。针对各种机制研究 了响应率，并且显示出这些响应率变化很大，但在大多情况下都确实 在1%以下(低于目标顾客响应的1%)。在某些情况下，可以准确地 估量响应率，例如，顾客直接响应特定的电子邮件招揽。在其他情况 下，不可能确定是什么提示顾客进行响应，例如，用户访问在印刷广 告上找到的公司网址，或者两周后在零售店买了某双鞋。当可以直接 估量响应率时媒体和响应渠道的价值会增加。登广告者使用文字、文本、视觉广告形式以及品牌来给顾客留下 持久印象。登广告者的费用与数量直接相关。例如，杂志的发行量或 者发行地点的量会直接关系到登广告者设置广告或标语的费用。该费 用一般由媒体报价为CPM，或每千人次访问费用(cost per thousand impressions)。用于满足CPM费率的量估计不保证人次访问的数量， 尤其是对于给定类型的媒体，量数据用作比较性统计。当利用具体的 统计量证明广告人次访问会持续较长时间时，该广告媒体的价值就会 增加。当利用实际人次访问的具体的、可证实的统计量来补充人次访 问的估计总额时，广告媒体的价值也会增加。当可通过诸如本发明的 移动查询服务系统的电子机制使诸如杂志页面或大型购物中心海报的 静态广告与其他媒体连接时，广告媒体的价值会再次增加。印刷媒体广告和户外广告通常包括动员行动(call-to-action)。 存在一组用于传达动员行动的方法。在某些情况下，动员行动是公开 的并且不会误解的，诸如"今天呼叫该号码进行定购"，在另外的情况 下，消息则更加巧妙。在这些形式的大多数广告中，存在的一种机制 是使顾客产生对广告的兴趣。 一般，这采用电话号码或网址的形式。 想要响应动员行动或想要寻找到更多与产品、服务或事件有关的信息
的人必须呼叫该号码或寻找诸如网站的其他来源。通常的情况是即使 人们可能有兴趣也不会响应，要么因为响应机制不方便，响应机制不 提供人们感兴趣的内容，要么因为随着时间的流逝，人们对想要响应 淡忘了 。本发明的移动查询系统可使用户在兴趣被激发的时候进行参 与，并提供基于用户可选的优选项的响应，并向用户提供价值。在广告和品牌管理行业中对交叉媒体销售(cross-media marketing)的使用在上升。在很多广告活动中，在无线电、TV、印 刷、直接邮寄广告、以及互联网媒体(media outlet )之间的搭卖(tin-in ) 是很平常的。移动电话是近期增加到可能销路行列中的，从使用文本 消息传送来涉及顾客查询奖励并访问信息显见。最简单的方式的移动 销售是通过向顾客发送文本或多媒体消息而使广告出现在移动电话 上。同样地，移动商务解决方案使用户可以使用移动web来从他们的 移动电话进行购买。由无线网络运营商提供的无线数据服务基于诸如GSM/GPRS， CDMA/lxRTT， WiFi (802.11a/b/g)， EDGE, CDMA2000, WCDMA的 协议。无线数据网络还可以提供基于位置的服务，其中可以确定移动 用户的位置或者确定用户的帐单邮政编码。本发明的特征在于 一 种系统和方法，其能够使用户使用摄像机电 话来显示他们对基于视觉提示的产品、服务、事件或者社论内容的兴 趣，或者能够使用户参与包括有视觉提示的特定促销或者其他活动。 将基于所表达的兴趣或者参与的响应提供给用户。视觉提示不必为此 而改变。在一般的使用中，用户对感兴趣的物品进行拍照并经由无线 数据服务将图像数据发送到移动查询服务器，达到了请求针对该视觉 提示的响应或者表明用户想要参与促销的效果。当移动查询服务器接 收到查询时，消息中的图像数据被用于在图像索引系统中进行匹配的 查阅。图像索引系统保存有多个图像(准确地讲是从所迷图像中提取 的数据)，并且与各个图像相关联的有响应函数。商务图像索引和视 觉查找系统的示例包4舌来自 Imagen Inc.的 Scene and Logo Classifier ，来自Idee Inc.的Espion SDK,来自PixLogic的PixServe 和PixSearch ，以及来自Evolution Robotics的ViPR。响应可以净皮 自动生成并直接传递到用户，或者触发代表用户的第三方动作。对用 户的典型响应是移动文本消息，该移动文本消息感谢用户对产品的兴 趣，同时提供与产品有关的附加信息或者从哪里可找到附加信息。其 他类型的可能响应的示例是向用户发送包含产品信息的电子邮件或 者邮政邮件；向用户发送图像或者音频/视频剪辑(clip)形式的移动 多媒体广告；使用户参与广告竟赛或者抽奖(sweepstakes);向用户 发送电子优惠券或者纸质优惠券；向用户发送到最近零售店或者具体 事件地点的指导；使用户能够通过改变连接到移动商务网站上的具体 购买网页而直接购买产品或者服务；为用户提供与因特网上当前可得 到的最佳购买价格有关的信息；为用户提供免费样品；使用户投票或 者进行测验；为用户的移动电话日历或者其他电子日历添加约会或者 提醒；使顾客服务代表呼叫用户；或者在链接到相应在线内容的用户 博客(blog)或者移动博客(moblog)中创建一个博客入口。在广告行业术语中，通过这种机制的来自顾客的查询是直接响应 渠道。因为可以得到与顾客有关的附加信息，所以直接响应机制的登 广告者或者媒体的作用和价值也在增加。本发明规定将所有的用户查 询都以日志记录到数据库中。如果附加消息可以得到，则也要记入日 志。示例是发源移动电话号码、请求的日期/时间、图像拍摄的日期/ 时间、当进行请求时的移动位置、用户简档(例如，年龄、性别、家 庭地址、工作/学校地址、联系信息)；以及提供的响应类型。如果响 应涉及到用户后来的交互，例如，购买产品，则该交互的结果如果可 以得到的话也要记入日志。然后从数据库产生报告，用于提供与顾客 兴趣以及模式有关的细节的变化程度。这些报告是为了特定的媒体和 登广告者创建的。例如，针对杂志出版商的报告提供有与读者对广告 产品或所读文章所产生的兴趣和交互有关的信息。该信息将包括有从数据库导出的人口统计数据。线索产生报告包括与查询了特定广告的 具体读者有关的信息。当可以识别作为用户请求的来源的媒体时，日志和报告机制的价
值会提高。例如，登广告者经常同时在几种杂志或报纸上进行相同的 广告复制，然而，出版商以及登广告者有兴趣知道用户基于特定出版 物上的广告进行查询。本发明提供了一种操作模式，其中通过将杂志 封面作为特定期刊号的标识符来实现对该杂志期刊号的识别。该模式 类似于上述的通用视觉提示匹配系统，然而，在用户表明所使用的该 杂志期刊号之前，正常的查询将会返回错误的响应消息。在对杂志的 具体页面进行正常查询之前，用户会首先基于杂志的封面进行请求。 与正常使用类似，用户会拍摄封面的图片并将图片发送到服务器。系统利用文本消息来响应用户，表明该杂志;故识别并被支持，以继续进 行正常查询。该动作将会在系统中创建临时用户状态，并且来自该用 户的后续查询将杂志名称和发行日期包括在所产生的日志条目中。通 过在数据库中保持杂志封面图像数据条目来支持该可操作模式。正常 的用户查询会首先搜索这些项，以确定用户状态是否应该被切换到不 同的杂志。通过这种方式，当用户在不同的杂志之间进行切换时，除 了如上所述请求新杂志之外，不要求进行专门的动作。本发明提供了一种用于识别媒体的另选方式。在一种另选方式 中，服务针对源自诸如杂志或者报纸这样的特定媒体的查询提供唯一 的目的地地址。该地址可以是电子邮件地址形式或者电话号码(包括 短代码(short-codes))形式，或者其中任一个的替换。在第二种另选方式中，系统通过跟踪和分析给定用户的当前和历史使用模式，推测出最有可能的媒体，其中，针对匹配来分析多组查 询，这些匹配对特定媒体来说是非常或很独特的。例如，如果匹配仅 产生一种来源杂志，则如果且仅如果已知一集合中的每个查询也都来 源于该杂志期号，才能够推断在时间上密集的这些查询来自该相同的 杂志。在对于一集合中的所有匹配存在多种可能来源的情况下，则针 对来源来分析该集合，该来源对于整个组是唯一的。用于支持该推断 处理的其他参数包括用户的历史使用模式、可能来源的流通数据、可 能来源的发行日期、当前查询的位置。在笫三种另选方式中，用户从其移动电话上的交互式菜单中的列
表选择媒体。如果媒体是户外的，则查询的日期/时间和位置被用于对发起查 询的地点和事件进行精确确定，该查询的日期/时间和位置用于唯一地 识别特定媒体。本发明还提供了对图像索引系统的维护。定期地在系统中添加或 删除用于支持匹配函数的图像数据。与各个图像记录相关联的有媒体 来源，和登广告者来源(如果可适用的话)。插入新广告副本的处理 通过针对新广告而对现有数据库进行首次查找，确保了在该系统中不 对相同的广告进行复制。在将相同的广告刊登到多种杂志的情况下， 会存在多种与该图像数据记录相关联的媒体来源。当相同的户外标语 或海报风格的广告展示在多个位置时，则可能存在多个与该图像数据 记录相关联的位置。本发明还包括如下功能，即，定制针对各个查询类型(杂志广告、 社论、户外海报、产品包装等)的响应功能，以及针对每个查询定义 多种可能的响应，其中实际的响应是由用户的优选项来决定的。图像 索引系统的维护设备通过定义多种与各个图像数据记录相关联的可能 响应类型，以支持这种定制。可能的响应类型示例是递送方法(电子邮件、移动文本消息、移动多媒体消息、移动web连接、语音呼叫、 邮寄、或组合)，包括到最近的零售店的路线说明、优惠券和折扣的 搜索、抽奖自动登记、免费样品的搜索和发送、创建与在线杂志社论 内容链接的博客入口、实时连接到首选移动因特网零售商、或者发送 诸如声音剪辑或图形的移动内容。通常将响应类型进行组合以定义完 全的响应函数。该方法通过使用户可以针对服务器如何响应不同类型 的查询来选择优选项，以针对每个用户将系统个人化。例如，针对基 于事件的广告，以电子邮件形式发送日历提醒消息。经由个人计算机 上的因特网和web浏览器、或者移动手机上的移动因特网和移动web 浏览器，通过登录到用户的服务帐户网页来设置这些优选项。在某些 情况下，这些静态的优选项可由用户经由移动因特网、通过实时地交 互选择来增加。由特定的初始响应提示的交互示例包括参与测验或投
票、玩在线游戏、提供参加特定竟技的信息、首要的静态优选项。支持移动交互提示的协议示例是双向SMS、 WAP Push、 WAP Bookmarks 、以及与WML或XHTML的SMS链接。使服务的用户知道任何给定媒体的可用性。示例包括描述服务 的特定社论内容；基于各种媒体的描述服务的特定广告，该特定广告 对于在所支持的广告上的服务品牌标记标识符是特定和唯一的；包括 有杂志的在线版本的特定广告或者社论内容；直接发送到用户的移动 电话的消息；或者与无线运营商和/或移动手机生产商的合伙销售项 目。服务用户还可以使用数字摄像机来拍摄图像，将图像传送到个人 计算机，并且将该图像数据经由因特网发送到服务器。这与使用移动 电话发送查询具有类似的效果。


本领域的技术人员根据优选实施例的以下描述及附图容易想到 其他的目的、特征和优点，其中图i是本发明的移动查询系统的优选实施例的示意图； 图2是针对本发明的移动查询服务器的优选实施例的框图； 图3是针对本发明的查询记录的示例； 图4是针对本发明的响应处理器的流程图； 图5是针对本发明的服务地址划分的图。
具体实施方式
在图l中，移动用户120看到视觉提示(文本和/或图形)110并 且4吏用揭/f象机电话(camera phone) 121对该;观觉提示拍照。移动用 户120使用移动网络130将图片发送到移动查询服务器100。移动查 询服务器100处理该查询。如果对于移动查询服务器100而言，移动 用户120是未知的，则响应文本消息经由移动因特网130被发送到摄 像才几电话121，通知该移动用户120如何进行登记，以使用移动查询
服务器100。在某些情况下，由于对于登记移动用户120而言仅要求 用户的移动号码，所以初始图片消息就足够了。如果视觉提示110对 于移动查询服务器100来说是未知的，则响应文本消息经由移动因特 网130被发送到摄像机电话121,通知移动用户120如何使用移动查 询服务器100,以及在哪里查找与当前支持的视觉提示有关的附加信 息。如果视觉提示IIO和移动用户120对于移动查询服务器IOO来说 都是已知的，则响应文本消息经由移动因特网130被发送到摄像机电 话121,通知移动用户120该查询成功，同时指示已经由该查询触发 的一些动作。在某些情况下，该响应文本消息是响应的全部，并且包 括有实现该查询的全部信息。如果移动用户120利用移动查询服务器 100能够进行另选的响应消息递送选择，则这种选择是可用的。在这 种情况下，作为电子邮件响应来发送该响应，该电子邮件响应代替了 文本消息响应、或者作为文本消息响应的附加响应。该可选的电子邮 件响应由移动查询服务器IOO通过因特网131发送到通过计算机终端 122访问因特网电子邮件服务的移动用户120。该电子邮件响应在内容 上可以与相应的文本消息响应相同，或者还可以包括附加的或者不同 的内容。移动查询服务器100可以采取从诸如媒体141、登广告者142和 零售商143、或者作为他们的代表的代理商(共同称之为分支机构140) 的多种源进行输入。该输入可包括以下形式的视觉提示数字图像表 示或物理再现、和/或文本。对于各个视觉提示来说，该输入可包括有 进行成功查询所需的相应信息，该信息为要采取的动作以及要产生的 适当响应的形式。动作和响应可以通过移动查询服务器100或者分支 机构140来执行。分支机构140通常通过邮政和包裹递送服务133、公共交换电话 网132、因特网131和移动网络130来联系各个预期顾客。在本发明 中，移动用户120是个人顾客/预期顾客，并且通过移动查询服务器100 来触发与分支机构140的联系，以由移动用户120实现成功查询。代 表移动用户120的、并且针对移动用户120的执^亍方式(fulfillment)
是可变的，可包括但不限于直销、商务以及提供信息的内容。响应模 式是可变的，可包括但不限于通过语音、网络聊天、另外通过电子邮件和文本消息、通过数字多媒体、通过网站转介(referral)以及通过 邮政邮件或者包裹来进行联系。采取的动作要么是自动的，要么是交互式的。代表移动用户120 来进行且无需移动用户120协助的自动动作有多种，可包括但并不限 于参加抽奖、对免费样品的签字、对日历提醒消息的签字、对杂志订 购的签字、向礼品登记处添加产品、向个人购物单添加商品、对俱乐 部会员的签字、创建链接到相应网站内容的个人博客入口、电子邮件 中的广告信息形式的兴趣提醒。交互式动作要求移动用户120通过移 动网络130和摄像机电话121、或者通过因特网131和计算机终端122 进行实时的或延期的订约，交互式动作可包括但不限于移动商务、电 子商务、参加在线竟赛、在线投票、在线赌博及下载诸如铃声和游戏 的移动内容。另选地，如果用户期望基于查询明确地控制有关查询的 某些动作，则所有自动动作都可以通过交互式提示命令而起作用。移 动用户120所经历的移动查询系统的实际行为是通过与移动查询服务 器100支持的各个视觉提示相对应的定制动作响应记录(custom action-response record)来确定的。移动用户120可通过移动查询月l 务器100的优选项接口 232建立个人优选项来直接地影响这种行为。在图2中，到达消息处理器210、用户查阅220、优选项查阅230 及图Y象查阅240 —起产生图3中示出的查询记录300，该查询记录300 被传送到响应处理器250。到达消息处理器210从移动网络130接收 查询消息。查询消息至少包括下面的信息用户移动电话号码，视觉 提示的数字图像，和传送了该消息的移动网络零售商的指示符。该信 息从消息中提取出并且被作为查询消息数据310传送到用户查阅220， 其,皮包括在新创建的查询记录300中。在用户查阅220中，移动电话 号码被用于在移动用户登记数据221中查找用户。如果找到用户，则 将针对该用户的登记数据作为用户联系信息330添加到查询记录300 中。用户账号320也被添加到查询记录300中。如果未找到用户，则 用户账号320为空。然后，用户查阅220向优选项查阅230传送部分 完成的查询记录300。优选项查阅23(M吏用该用户账号320在移动用 户优选项数据231中查找该用户个人的优选项。这些优选项作为用户 优选项340被添加到查询记录300中。如果用户帐户320为空，则没 有执行查询同时将用户的优选项340设置为空。然后，优选项查阅230 向图像查阅240传送部分完成的查询记录300。图像查阅240使用包 含在查询消息数据310中的视觉提示的数字图像，从图像数据索引241 中请求最佳匹配或无匹配的指示。针对最佳匹配的视觉提示ID 350被 添加到查询记录300中。如果无匹配，则在查询记录300中将视觉提 示ID 350设置为空。然后，图像查阅240将完成的查询记录传送到响 应处理器250。图4示出了访问查询记录300以执行其任务的响应处理器250的 控制流程。该任务是确定并发送适当的响应，并基于移动用户120的 查询、用户的优选项和动作响应程序数据251来产生适当的动作(如 果有的话)。通过分支机构140来执行这些动作。为了触发这些动作 的执行，响应处理器250确定动作的类型并且将用户的联系信息330 重新格式化为预设的格式。然后，通过诸如批量FTP文件传送、电子 邮件或者网站服务接口的电子手段定期地或者实时地传送该数据，或 者可以对数据进行打印并通过邮件或包裹递送员进行递送。与分支机 构140通信的方法、地址和格式被包括在动作响应程序数据251中。当响应处理器250确定文本消息响应应该被发送到移动用户120 时，将该文本消息寻址到查询消息数据310中的移动号码。为了处理 多个独立的移动网络，检取查询消息数据310中的移动网络运营商， 以确定哪一个移动网络网关服务器对文本消息进行路由。当响应处理 器250确定应当将电子邮件响应发送到移动用户120时，该电子邮件 被寻址到用户联系信息330中的电子邮件地址。可能的响应是提供离移动用户120最近的特定零售商的物理位置 的地址。如果移动用户120的当前位置从移动网络130是可达的，则 该位置用于计算最近的零售商。如果不可达，则如果通过用户登记接
口 222提供移动用户120的登记邮政编码，则该邮政编码可由响应处 理器250用在用户联系信息330中，并用于计算最近的零售商。如果 没有提供，则如果从移动网络130可得到移动用户120的帐单邮政编 码，则该帐单邮政编码可用于计算最近的零售商。如果不可得到，则 所产生的响应指示基于位置的响应是不可能的，直到通过用户登记接 口 222提供了登记邮政编码为止。零售位置存储在动作响应程序数据 251中，或者通过使用基于因特网的Web服务，由响应处理器250来 动态地检取。可能的响应是使得移动用户120能够使用移动电话121的移动商 务功能，购买视觉提示110中的产品。在这种情况下，该响应提供直 接链接，用于链接到移动用户120首选的移动商务零售商的产品购买 移动网页。该直接链接使移动用户120可以绕过通过移动网页寻找感 兴趣产品的步骤。如果能够针对该查询进行移动商务重定向，则响应 处理器250根据动作响应程序数据251进行确定。如果这样，并且用 户优选项330提供首选的移动互联网零售商，则所生成的响应包括一 链接，用于链接到该移动互联网零售商的产品购买移动网页，该链接 是从动作响应程序数据251中检取到的。而后，移动用户120具有购 买视觉提示110中指示的产品的选择权。动作响应程序维护设备252提供用于创建、更新和删除动作响应 程序数据记录的操作和维护功能。动作响应程序数据251和图像数据 242中的记录共用一公共字段。该字段是视觉提示ID 350。动作响应 程序数据记录在图像数据242中具有一个或者多个相应的记录，即， 多个图像可以指向单个响应程序。使用视觉提示ID 350来检取动作响 应程序数据记录。图像数据维护设备243提供用于创建、更新和删除图像数据记录 的操作和维护功能。以数字或者物理形式来提供从分支机构140的输 入，物理形式的输入通过图像数据维护设备140被扫描并转换成数字 形式。在将用于表示图像数据的另选输入格式，诸如TIFF、 PDF、 EPS、 DCS2、 JPEG存储到图像数据242中之前，利用图像数据索引241对其进行接受并标准化。利用被称为视觉提示ID 350的唯一 ID 创建图像数据记录，其中视觉提示ID350用于提供链接，链接到响应 程序数据251中的相应记录。当至少一个相应的动作响应程序记录被 链接到新的图像数据记录时，将该新记录标记为可用，并可用于使图 像数据索引241进行匹配。分支机构140可以针对特定推广项目或者利用诸如具体命名的杂 志的特定媒体来使用移动查询系统。图5示出了如何使用查询目的地 地址430来划分图像数据242和动作响应程序数据251。这提供了通 过创建唯一地址来管理和跟踪多个基于分支机构的程序的功能。向移 动用户120告知，要参加某个促销、或者利用某个媒体，对于所有通 信应该使用特定查询目的地地址430。对到达消息处理器210接收的 查询进行处理，以从接收消息中提取查询目的地地址并且将其加入查 询消息数据310中。响应处理器250使用查询目的地地址来选择合适 的图像数据部分410和动作响应程序数据部分420, 二者彼此匹配。 为移动查询服务器的通用地址保持单独的分区。电子邮件地址格式和 移动网络号码格式寻址方案都得到支持。移动网络编号计划包括"短 码，，寻址，这也是支持的。通过移动用户120访问用户登记接口 222和用户优选项接口 232, 以输入联系信息、个人信息和操作优选项信息。通用的实现方案是作 为因特网网站，并经由计算机终端122来访问。还可被实现为移动因 特网网站并通过移动电话121来访问。移动用户120有时候可以再次 访问这些接口，以提供附加信息并且更新优选项。通过这种方式，移 动用户120能够提高或者降低利用移动查询服务器进行参与的级别。创建并维护事件日志261以用于跟踪系统的使用。从所有主要处 理部件来将数据记入日志。通过将诸如顾客引导、广告性能、媒体性 能、人口统计数据和用户模式的合适的数据递送到分支机构140，事 件日志261和报告生成系统260对移动查询服务器的商业目的提供支 持。报告生成260包括专用策略监控功能，以将个人数据的公开限制 到规定级别。
尽管在某些附图(而非其他附图)中示出了本发明的具体特征， 但这仅仅是从方便的角度考虑的，根据本发明的每个特征都可以与任 何或者所有其他特征相组合。
其他的实施例对于本领域的技术人员来说是容易想到的，并且在 下述权利要求的范围之内。
权利要求
1、一种基于视觉提示实现移动查询及响应系统的方法，其中用户利用具有图像拍摄和发送功能的联网移动设备来拍摄和发送图像，该方法包括:提供可搜索记录，这些记录包含所存储的图像数据以及与该数据相关联的响应信息；从移动设备接收所拍摄的图像；使用所接收的图像来执行对记录的至少部分自动化搜索，以在这些记录中找到与所发送的图像匹配的一个或多个图像；如果找到匹配，则检取与该匹配图像的所存储图像数据相关联的响应信息；并且使用该响应信息向用户发送回复。
2、 根据权利要求1所述的方法，其中所述回复被发送给所述移 动设备。
3、 根据权利要求1所述的方法，其中所述设备是移动电话或个 人数字助理(PDA)。
4、 根据权利要求1所述的方法，还包括确定发送所接收图像的 用户是否之前已经登记为用户。
5、 根据权利要求4所述的方法，其中确定发送所接收图像的用 户是否之前已经登记为用户是基于从其接收图像的联网移动设备的标 识符。
6、 根据权利要求4所述的方法，其中对用户的回复至少部分地 依赖于用户之前是否已进行过登记。
7、 根据权利要求4所述的方法，还包括确定先前存在的针对该 授权用户的优选项。
8、 根据权利要求6所述的方法，其中响应信息包括一组预定查 询响应。
9、 根据权利要求1所述的方法，其中响应信息包括产品来源信息。
10、 根据权利要求9所述的方法，其中所述产品来源信息包括因 特网地址或街道地址。
11、 根据权利要求1所述的方法，其中所述响应信息包括提供与 网页的直接链接。
12、 根据权利要求1所述的方法，其中所述响应信息包括产品信息。
13、 根据权利要求1所述的方法，其中所述响应信息包括内容提 供商信息。
14、 根据权利要求1所述的方法，其中所述响应信息包括内容提 供商信息。
15、 根据权利要求1所述的方法，其中所述响应信息包括图像信自
16、 根据权利要求15所述的方法，其中所述图像信息包括视频图像。
17、 根据权利要求15所述的方法，其中所述图像信息包括静止图像。
18、 根据权利要求1所述的方法，其中所述响应信息包括音频信息。
19、 根据权利要求1所述的方法，其中所述回复包括电子邮件或 邮政邮件消息。
20、 根据权利要求1所述的方法，其中所述回复包括电话联系。
21、 根据权利要求1所述的方法，其中所述回复包括与用户的多 个联系。
22、 根据权利要求1所述的方法，其中所述回复包括对响应于所 述匹配而采取的动作的确^人。
23、 根据权利要求21所述的方法，其中所采取的动作包括参加竟赛。
24、 根据权利要求1所述的方法，其中所述回复包括改变游戏玩 法。
25、 根据权利要求1所述的方法，还包括在数据库中将与所述查 询有关的信息记入日志。
26、 根据权利要求25所述的方法，其中记入日志的信息包括发 端移动电话号码、查询的日期和时间、图像拍摄的日期和时间、发出 查询的地点、用户简档、以及所做回复的类型。
27、 根据权利要求25所述的方法，还包括从数据库产生报告。
28、 根据权利要求27所述的方法，其中所述报告包括人口统计数据。
29、 根据权利要求27所述的方法，其中所述报告包括与具体图 像有关的信息。
30、 根据权利要求1所述的方法，还包括对作为被拍摄图像的来 源的媒体进行识别。
31、 根据权利要求30所述的方法，其中对作为被拍摄图像的来 源的媒体进行识别包括使用出版物封面作为识别图像。
32、 根据权利要求31所述的方法，其中所述用户首先基于出版 物封面进行查询，然后可以仅基于该出版物中的图像进行查询。
33、 根据权利要求32所述的方法，其中出版物的标识符和基于 出版物中的图像的查询都被存储在查询数据库中。
34、 根据权利要求30所述的方法，其中对作为被拍摄图像来源 的媒体进行识别包括至少对来自用户的近期查询进行跟踪和分析。
35、 根据权利要求34所述的方法，其中对作为被拍摄图像来源 的媒体进行识别还包括确定在时间上密集的近期查询是否来自单个媒 体来源。
36、 根据权利要求34所述的方法，其中对作为被拍摄图像来源 的媒体进行识别还包括确定近期查询的地点。
37、 根据权利要求30所述的方法，其中对作为被拍摄图像来源 的媒体进行识别包括用户从传送到移动设备的一系列选择中选择一个 来源。
38、 根据权利要求30所述的方法，其中对作为被拍摄图像来源 的媒体进行识别包括确定查询的日期、时间和地点。
39、 根据权利要求l所述的方法，其中所述记录还包括至少一个 媒体来源。
40、 根据权利要求39所述的方法，其中所述记录还包括登广告 者的标识符。
41、 根据权利要求1所述的方法，还包括使用户可以选择回复优选项。
42、 根据权利要求l所述的方法，其中所拍摄的图像包括唯一服 务标识符。
43、 根据权利要求42所述的方法，其中所述唯一服务标识符包 括在位置上与广告非常靠近的视觉信息。
44、 根据权利要求l所述的方法，其中所述设备包括数字摄像机 和用于基于因特网发送摄像机图像的设备。
45、 根据权利要求1所述的方法，还包括维护可搜索记录数据库。
46、 根据权利要求45所述的方法，其中向分支机构提供对可搜 索记录数据库的受限访问，以维护与该分支机构相关联的记录。
47、 一种基于视觉提示的移动查询和响应系统，其中用户利用具 有图像拍摄和发送功能的联网移动设备拍摄图像，并将图像发送到系 统，该系统包括一个或多个可搜索数据库，这些数据库包含所存储的图像数据以 及与该数据相关联的响应信息，其中该数据库包括匹配图像识别信息；图像查阅装置，用于使用接收的图像执行记录的搜索，以在记录 中找到与所发送图像匹配的图像；响应处理器装置，其响应于图像查阅装置，检取与该匹配图像的 所存储图像数据相关联的响应信息，并使用该响应信息来向用户发送 回复。
全文摘要
一种基于视觉提示的移动查询和响应系统以及方法，其中用户利用诸如蜂窝电话或PDA的具有图像拍摄和发送性能的联网移动设备来拍摄和发送图像。提供有可查找记录，这些记录包括有被存储的图像数据和与这些数据相关联的响应信息。由用户发送的图像被用于执行记录搜索，以在记录中找到与发送图像匹配的图像。如果找到了匹配，则检取与该匹配图像的所存储图像数据相关联的响应信息，并且该响应信息用于向用户发送回复。
文档编号G06Q30/00GK101395626SQ200580015644
公开日2009年3月25日 申请日期2005年4月15日 优先权日2004年4月16日
发明者戈赫特·鲁塞尔, 约翰·波波洛 申请人:Mobot公司