使用图像导出信息作为因特网和其他搜索引擎的搜索标准的制作方法

专利名称：使用图像导出信息作为因特网和其他搜索引擎的搜索标准的制作方法
技术领域：
本发明的领域是数字成像。
技术背景几年前，本发明人首先提出了使用数字地捕获的图像来识别在图像内的 对象、然后使用这样的识别从各种数据库检索信息的思想。示例包括*使用本地设备(蜂窝电话、数字照像机、PDA或者其他设备)来 捕获在美术馆中的一个对象的图像，从图像数据识别所述对象， 然后向用户提供关于对象的信息(即与所述对象相关)；*使用本地设备(蜂窝电话、数字照像机、PDA或者其他设备)来 捕获沿道路行驶的汽车的图像，从图像数据识别样式和型号，然 后向用户提供到与那个特定的样式和型号相关联的网站的链接； 使用本地设备(蜂窝电话、数字照像机、PDA或者其他设备)来 捕获在杂志中的条形码、标识或者其他标记的图像，使用在所述 标记中包含的信息来识别产品，并提供与那个产品相关的电话号码或者其他联系信息；
*使用本地设备(蜂窝电话、数字照像机、PDA或者其他设备)来 拍摄饭馆的广告牌，从在照片中包含的条形码、特殊目标、书面 语言或者其他信息来识别饭馆，并且使用那个信息来访问数据库， 以向用户提供饭馆的位置、菜单或者电话号码；并且 *使用本地设备(蜂窝电话、数字照像机、PDA或者其他设备)来 捕获在体育馆处的标记的图像，使用从所述图像提取的信息来自 动为用户购买入场券，并且向用户纟是供可以用于绕过普通购票者 的长队的入场代码。 在这样的实施例中，具体考虑可以本地(即在蜂窝电话、PDA或者捕获 图像的其他设备上)地、远在服务器地或者更优选地使用这两者的某个组合 执行图像的分析。还考虑可以访问任何可用的数据库以提供返回的信息，所 述数据库包括在因特网上的可公共访问的数据库。但是，未意识到可以将这 些思想与标准搜索引擎的搜索能力结合。
在19世纪90年代，Yahoo!TM引入了将因特网上可访问的网页加索引、' 并且提供搜索引擎来访问所述索引的思想。从那时起，已经开发了许多其他 的搜索系统，其使用各种搜索方法、算法、硬件和/或软件的所有方式。接受 用户的关键信息的输入、然后使用这样的关键信息来向用户提供感兴趣的信 息的所有的这样的系统和方法在此被称为搜索引擎。当然，所述用户可以是 自然人以及设备(计算设备或者其他设备)、算法、系统、组织或者任何其他 实体。在搜索信息中，搜索引擎可以使用任何适当的搜索域，其中包括例如 *数据库(包括例如关系数据库、对象数据库或者XML数据库)； *网络资源，包括例如因特网内可访问的网页；以及 *公共或者专用的文件或者信息的集合(例如文件、信息和/或公司 或者其他组织的消息)，诸如由LEXIS 保存的集合。 在通常的搜索中，关键信息以包括文本、数字、串或者其他机器可读的 信息类型的关键字的形式被提供到搜索引擎。搜索引擎然后搜索网页的索引 以进行匹配，并且向用户返回因特网统一资源定位符("URL")的超链接列' 表以及其中使用所述关键字的上下文的一些筒要的显示。有时可以在超链接 的列表中找到感兴趣的信息，但是更常见的是通过直接链接到所列出的网页 而找到感兴趣的信息。以文本串的形式向搜索引擎提供关键信息具有固有的困难。其包括在要 输入的文本的选择中的策略，甚至相对于关键字的格式(例如使用通配符) 的策略。另一个困难是小的计算和/或电话设备(例如电话，包括移动和非移 动电话)具有小和/或有限的键盘，因此使得文本输入困难。

发明内容
本发明提供了设备、系统和方法，其中(a)使用配备了照像机的蜂窝 电话、PDA或者其他图像捕获设备来捕获数字照片、视频、MPEG、 AVI或, 者其他图像；(b)自动从图像提取或者导出关键字或者其他的搜索标准；(c) 所述搜索标准被提交到搜索引擎，以获得感兴趣的信息；以及(d)作为结果 产生的信息的至少一部分被发送回捕获所述图像的设备本地或者其附近。
如此使用的一些图像将包括符号内容，其自身并且自然而然地足够相对 不模糊。这样的符号内容例如可以是电话号码或者网站地址。在这种情况下， 符号内容搜索标准可以有益地用作在搜索标准中的文字。在其他的情况下， 会需要相当对的附加处理。例如，汽车的图像有可能需要被处理以确定样式 和型号，并且该信息(例如MercedesTMS50()TM)可以然后被发送到搜索引擎 以用作搜索的关4定字。也考虑一些图像的处理将仅仅导致最佳的猜测。因此， 汽车的侧视图不能被分析为特定的样式和型号，并且在这种情况下，系统可 以提供诸如SUV或者汽车的更上位的术语。
总的来说，本发明提供可以适应于将对象或者图像经由诸如因特网的网
络链接到信息的技术和处理，其不需要修改被链接的对象。不需要使用用于
将对象链接到数字信息的传统方法，因为可以单独通过其外观来标识图像或
者对象，所述传统方法包括向对象应用条形码、无线电或者光学收发器或者
发送器或者其他一些识别手段，或者修改图像或者对象以便在其中编码可检
测的信息。用户或者设备甚至可以通过"链接"到对象来与所述对象交互。
例如，用户可以通过"指向和点击"自动售货机来链接到自动售货机。他的
设备将通过因特网连接到拥有所述自动售货机的公司。所述公司继而建立到
所述自动售货机的连接，由此用户将建立与所述自动售货机的通信信道，并 且可以与其交互。
本发明考虑任何适当的分解算法。很清楚，较快和较准确的算法优于较 慢和较不准确的算法。特别优选的是，选择算法使得至少一些处理可以发生在捕获图像的设备本地。这样的处理可以在许多情况下消除无线发送详细的 图像的必要，并且可以消除对于可能被过量预定的远端服务器的依赖。因此， 可以在移动(客户)设备和服务器之间任意地分布所述图像处理的一些或者 全部，其包括图像/对象检测和/或在图像中检测的符号的解码。换句话说，可 以在客户设备中执行一些处理，并且在服务器中执行一些处理，而不用指定 在每个中执行那个具体的处理，或者可以在一个平台或者另一个平台上执行 所有的处理，或者可以组合所述平台使得仅仅有一个平台。可以以并行的计 算方式来实现图像处理，因此便利于系统相对于数据库大小和输入的通信量 负荷的缩》文。还考虑一些适当的算法将考虑在捕获图像时对象相对于用户的位置和方 向，可以根据在图像中的对象的外观来确定所述位置和方向。其可以是通过在比GPS更准确或者可用于不能接收GPS信号的区域的被动定位器系统、安 全系统中的多个照像机扫描的人们的位置和/或身份，不需要从汽车发送的特 定汽车的位置，和许多其他使用。因此，本发明的目的是提供一种不需要修改对象而识别数字捕获的图像 的系统和方法。另 一个目的是以数字捕获设备的制造商从未考虑过的方式来使用数字捕 获设备。另 一个目的是允许从对象的部分视图标识对象。另一个目的是提供与工作的设备的通信手段，而不要求与其公共连接。 通过下面本发明的优选实施例的详细说明以及附图，本发明的各个其他目的、特征、方面和优点将变得更清楚，在附图中，相同附图标号表示相同的组件。


图l是示意方框图顶层算法流程图；图2是图像捕获的理想化的视图；图3A和3B是本发明的处理细节的示意方框图；图4是本发明的不同解释的示意方框图； ' 图5是用于蜂窝电话和个人数据助理(PDA)应用的、类似于图4的示 意方框图；以及图6是宇宙飞船应用的示意方框图。
图7是一种系统的示意图，在所述系统中，本地设备捕获图像，从图像
自动得出搜索项，搜索项被提交到搜索引擎来产生结果集，并且来自结果集 的信息被发回所述设备。
具体实施例方式
图1-6是从2002年11月5日提交的优先权PCT申请PCT/US02/35407 复制的。在本申请下面给出那些附图的讨论。 搜索引擎相关的实施例
在图7中，系统400总体包括便携成像设备410、远端服务器420、电子 通信网络425和搜索引擎430。
一般，便携设备410捕获对象415的图像412;并且向服务器420发送 关于所述图像的信息413。设备410和服务器420的至少一个分别从图像412 和所发送的信息413的至少一个得出搜索项421A、 421B。所述设备410和服 务器420的至少一个使得经由网络425向搜索引擎430提交搜索项421A、 421B,搜索引擎430使用网页的索引432或者其他信息。搜索引擎然后使用 搜索项421A、 421B来产生结果集434,并且使得所述结果集434的至少一部 分被发送回便携设备410。在上述的讨论中，应当明白，关于图像的信息可 以包括整个图像、图像的 一个或多个子集以及从图像得出但是未包含在图像 内的名称或者其他信息。也应当理解一个人可以在他的/她的便携设备和服务 器之间使用代理服务器，简而言之，本申请考虑使用在移动客户机和服务器 之间的迂回通信(不必然是直接连接)的任何复杂性。
设备410可以是蜂窝电话、PDA、笔记本计算机或者以光学方式捕获图 像的任何其他便携设备。通过"以光学方式捕获"表示一些种类的光敏阵列， 其输出可以被处理以包括视觉上可感知的图像。从另一个视角看，设备410 可以是具有电话能力、特别是具有蜂窝电话能力的任何照像机。利用当前的 技术，设备410通常具有透镜或者其他的光聚焦机构，虽然考虑在电子上的 进步可以消除对于任何物理聚焦机构的需要。不具有光学部件的设备不满足 术语"以光学方式捕获"，并且仅仅能够从因特网或者其他来源下载图像。
当然考虑蜂窝电话或者提供在此讨论的服务的其他设备将操作允许其如 此进行的软件。那个软件可以驻留在所述设备上、外部存储器(存储卡)上或者按照需要进入页面。
对象415 (在一个或多个优先权申请中被称为"感兴趣的事情")可以是 任何视觉上可感知的对象，而与维数无关。所考虑的"二维对象"包括其中 相关信息大致以二维的格式的对象，所述对象包括在杂志或者其他印刷^ 某体 中的广告和文章以及在广告牌上的照片或者设计、街道标记、饭馆或者其他
商业标记、用户手册和在博物馆的绘画等等。
被考虑的三维对象包括其中从对象的形状和/或对象的表面的外观得出 相关信息的基本上所有的物理对象。因此，在此认为汽车具有三个相关维， 其中，形状和其他维传达关于样式和型号的信息。类似地，在建筑物内的當 户可以认为具有三个相关维，其中，可以从整个物理尺寸、细节等搜集制造
商或者分发商的身份。作为另一个示例，可以认为饮料容器具有三维；可以 从容器的形状获得信息，但是也可以从在容器上的标签、印刷品、标识、文 本或者其他这样的可视标记获得另外的信息(从在容器上的可视标记获得信 息使得能够在具有相同的物理形状的不同容器之间进行区分)。所考虑的三维 对象包括其中从随着时间的变化得出相关信息的基本上所有的物理对象。例 如，鸟的速度或者其飞行模式或者人的性别可以在一段时间在多个图像中捕 获，并且可以是相关信息，以及可以被缩小为用于提交到搜索引擎的搜索项 (在一个或多个所述优先权文件中被称为关键信息)。当然，此处许多对象被 认为具有两个、三个或者四个维。因此，可以通过在机动车侧面上的二维标 识、机动车的三维形状和其四维加速度或者处理特征的每个来提供汽车的相 关信息。
特别考虑对象可以包括动画和非动画的对象。在动画对象中包括人们的 脸部和生物统计学信息，所述生物统计学信息诸如在人的手指上的指紋图案 和人的虹膜等等。
图像412被考虑为像素的任何阵列。在大多数情况下，所述像素规则地 排列，但是这不是绝对必须的。在大多数情况下，所述像素的数量也大于 19,200 ( 160x 120),诸如78,800 ( 320 x 240 )，但是它们的数量可以少于此。 更优选的图像具有更大的像素计数，包括例如256,000 (640 x 400)，更优选 的是至少2百万，甚至更优选的是至少4百万。不必在便携设备实际构造图 像。因此，陈述"便携设备捕获对象的图像，，包括设备接收数据和从自对象 发出或者发射的光得出数据的情况，即使所述数据从未作为视觉可感知的图像被提供到用户，并且即使所述数据被发送到远端服务器而未被所述设备收 集到图像中。
被发送到服务器的信息可以包括关于图像的内容的任何相关信息。因此，
信息413可以包括整个图像或者图像的一部分。例如，当用户拍摄条形码的 画面(不论是二维、三维或者任何其他的配置)时，设备410可以处理图像 412以去除除了条形码本身之外的颜色和所有的背景，然后仅仅发送包含所 述条形码的图像的一部分来作为被发送的信息413。在其他情况下，考虑设 备410可以充分地处理图像413以导出一个或多个关键字，然后仅仅发送关 键字作为被发送的信息413。也考虑所有的可能组合。因此，用户可以拍摄 GucciTM手袋的照片，设备412可以从所述图像导出字"Gucci",减除除了手 袋之外的背景，然后发送(a)字"Gucci";以及(b)手袋的图像，作为被 发送的信息413。在这种情况下，所述处理可以是反复的。因此，设备可能 开始发送字"Gucci"作为第一发送信息，从搜索引擎接收用于指示衣服配件 的结果集，然后减除除了手袋之外的背景，并且发送手袋图像作为第二被发 送的信息。如上所述，特别考虑设备410可以向服务器420发送从图像以数 学方式导出的数值/数字数据。示例包括服务器420可以用于服务器识别处理 中的图像特征和特性，而不发送原始图像。
现在应该清楚，被发送的信息不必限于图像信息。景象、声音、文本和 所有种类的其他信息可以被包括在被发送的信息中， 一些被发送的信息可以 从图像直接导出， 一些被发送的信息可以从图像间接地导出。另夕卜，设备410 也可以捕获诸如声音的非可视信息，并且该信息也可以发送。因此，考虑所 述设备可以捕获青蛙的声音，捕获湖或者森林的图像，并且发送两者作为搜 索项(或者进一步分析为搜索项)。
远端服务器420在其没有到设备410的硬连线链接的含义上是远端的。 服务器420可以是单个设备，也可以是耦接到一起的任何数量的设备，就像 例如在服务器群(server farm)中那样。考虑适当的服务器的所有的方式。因 此，服务器可以使用任何合理的硬件，使用任何合理的软件和通信协议等来 工作。
在与所述设备的交互上，可以在服务器420和设备410之间以任何适当 的方式来分配如上所述的各种分析任务。例如，在相对于Gucci 手袋如上 所述的反复操作中，考虑设备410可以充分地分析图像以向搜索引擎430发送术语"Gucci"作为初始搜索项，并且服务器420随后可以承担下述任务 减除除了手袋之外的图像的背景，并且发送手袋的图像作为第二搜索项。在另一个示例中，服务器420可以确定原始图像提供的信息不足，并且 通过设备410向用户发送消息，引导用户拍摄另一个图像(诸如从另一个角 度、更近地或者更详细地)。事实上，服务器420可以引导用户完整地拍摄另 一个对象的图像，以便帮助确定第一对象的身份。因此，用户可以拍摄在球 类运动的付费显示的第一图像，向服务器提供那个图像以识别，然后指令用 户拍摄信用卡的图像，用户要使用所述信用卡来对于球类运动的入场支付费 用。服务器可以然后针对所述信用卡处理所述付费，并且提供用户可以打印 的进入代码以通过电子控制的门。在另 一个示例中，用户可以使用他的蜂窝电话来捕获在五金商店的螺丝 刀套件的图像，并且所述蜂窝电话可以向Google 或者某些其他的搜索引擎 发送从所述图像导出的信息以找出比较价格。服务器420随后可以指令用户 反转包装，并且拍摄所述套件的另一个图像，这一次是从包装的背面。以这 种方式，在用户的设备、服务器和搜索引擎之间进行反复的交互。也应当明白，存在其中搜索引擎从不与便携设备通信的实施例。例如， 服务器可以进行搜索查询，得到结果，并且将它们提供到便携设备，或者甚 至提供到电视机或者除了便携设备之外的其他的设备。词语"搜索引擎，，在此考虑为包括专用于信息的加索引、搜索和检索的 任何系统。诸如GoogleTM、 Yahoo!TM、 MSN 和Alta Vista 的大多数熟悉的 搜索引擎主要或者全部聚焦在对来自因特网的万维网部分的网页加索引。★ 如Lexis/Nexis 的其他搜索引擎聚焦在对数据的专有集合加索引，所述专有 集合可以包括到因特网网页的链接。词语"搜索项，，在此考虑为包括由搜索 引擎用来访问它们的加索引系统的任何关键字或者其他信息。在大多数基子 网络的搜索引擎的情况下，所述关键字当前是文本。在这种情况下，用户通 常输入一个或多个关4定字，其中，术语"关键字，，以极广的意义使用以包括 U)可能在词典中找到的字；(b)在任何词典中找不到的固有名称、数字串 和其他项；以及(c)被解释为通配符、截断词等的字符。这样的搜索引擎已 经开始使用包括例如图像和/或声音的非文本的关键字来试验。所有的这样的 可能关键字落入所考虑的搜索项的范围内。因此，所考虑的搜索项包括关键字、图像的一部分以及标识、条形码或者其他符号。具体上考虑在一些情况下，图像将包含搜索项的文字(例如在 电影海报上的电影的名称)，在一些情况下，图像将不包含这样的文字(例如 树或者其他植物的画面，其中，搜索项是植物的名称)。在任一种情况下，任 何组合的设备和/或服务器可以执行导出搜索项并且将其提交到 一个或多个 搜索引擎的一个或多个任务。网络425可以是任何可工作的电子网络，包括公共和专用接入网以及两 者的组合。优选的网络包括因特网、即将到来的因特网II和蜂窝电话网络等。 虽然未明显地示出，在图7中的通信线全部被考虑为在适当时为单向或者双 向的通信。而且，考虑通常包括多个网络。因此，例如，在设备410和服务 器420之间的通信将很可能发生在蜂窝电话(未示出)和因特网网络(例如 425 )的某个组合上，而在服务器和搜索引擎之间的通信很可能发生在因特网 和本地服务器群网络的某个组合上。结果集434可以是任何大小和组成，但是很可能被定制为适应设备410。 它的益处很小，例如向蜂窝电话发送几十个网页，蜂窝电话不具有足够的显 示面积来正确地观看它们。因此，考虑结果集434可以被削减或者否则在被 发送到设备410之前由服务器处理(所述服务器当然一般由数字420表示， 并且不必是与在被发送的信息413的发送中较早使用的相同的方框)。因此， 诸如当搜索项被服务器420而不是设备410提交到搜索引擎时，服务器420 或者某个其他的处理器可以在将结果提供到设备410之前处理它们。但是， 设备410也以使用由服务器提供的搜索信息直接地访问搜索引擎。四个考虑 的搜索模式包括下述1. 服务器420构造搜索URL (由搜索引擎地址和关键字构成)，并且将 其发送到便携设备410。所述便携设备然后通过向搜索引擎发送搜索URL而 执行搜索引擎查询，并且搜索引擎向便携设备发回一个或多个网页。2. 服务器420向便携设备410发送关键字和可选的搜索引擎地址。便携 设备构造搜索URL,向搜索引擎发送搜索查询，并且接收作为响应的一个或 多个网页。3. 服务器420向搜索引擎发送搜索查询，并且接收响应。服务器可选地 处理所述搜索响应(其可以是任何形式的)，并且向便携设备提供某个结果。 所述结果可以例如包括被发送到便携设备的文件或者在某个服务器上的网 页，并且那个网页的URL被发送到便携设备。4.在上述的任何模式或者"直接链接"模式中，结果可能不是搜索结果 页面，而是一些其他类型的信息或者行为。例如，服务器可以识别对象，并 且由此向另一个服务器发送代码，所述另一个服务器使得发生行为。其一个 示例是使用蜂窝电话来点击自动售货机以从所述自动售货机购买某物。另一 个示例是点击在报纸上的TV列表，使得服务器改变在用户之前的电视机的 频道。因此，陈述"搜索引擎使得结果集434的至少一部分被发回便携设备410" 应当在此被解释为表示与所述结果集相关的至少一些信息(所述信息可以或 者不可以逐字地被包括在结果集中)被发回所述设备，而不论直接地或者通 过搜索引擎间接地被发送。特别考虑结果集可以包括至少一个超链接地址。特别考虑结果集可以包括下面类型的信息统一资源定位符(URL);统 一资源标识符(URI);因特网协议(IP)地址；电话号码；射频或者频道； 电视频率或者频道；以及物理位置或者地址。向用户显示的结果可以是交互 的。在这种情况下，用户可以通过直接地与对象交互、通过链接到被引用的 网页或者两者的某个组合来采取进一步的行为。或者，如上所述，所述结果 可以使得另 一个服务器/计算机或者机器执行某个行为，诸如分发产品或者改 变频道。从方法的视点看，使用搜索引擎来获得信息的方法被考虑包括使用使 能蜂窝电话的便携设备来拍摄对象的图像；运行计算机软件，其自动从所述 图像的至少一部分导出第一搜索项；向搜索引擎提交第一搜索项；并且，向 所述设备发送信息。 一些优选的方法还包括使用设备来拍摄对象的第二图 像；运行计算机软件来从第二对象的至少一部分导出第二搜索项；并且，将 第二搜索项与第 一搜索项一起提交至搜索引擎。其他优选的方法包括步骤 提交第一搜索项可以有益地包括向远端服务器发送所述图像的至少一部分； 在所述服务器上运行软件；并且，服务器向搜索引擎发送搜索项。其他的优 选方法包括远端服务器，其向设备提供一个或多个搜索项，并且所述设备向 搜索引擎提交所述一个或多个搜索项。可以以任何适当的方式来实现数据(不论是可视的或者另外的)的分析 以产生搜索项。有益的技术包括例如信号分析、傅立叶分析、模式匹配、模 式识别、图像识别、对象识别、子波分析、分量分析等。示例可以有益地从包括名称、类型、大小、颜色、位置(position)和地点(location) 的一个或多个属性来导出搜索项，并且通过算法、表格/数据库查找表、硬件 设备或者其他适当的手段来执行所述导出。例如，考虑一个示例，其中，被 成像的对象是查理.卓别林主演的名称为"摩登时代"的电影的彩色版本的海 报。设备410和/或服务器420可以将文本"摩登时代电影海报"和"彩色版 本，，识别为属性，并且可以由其确定搜索项，诸如"摩登时代"、"彩色的"、 "查理.卓别林"和"经典电影"。可以通过人类用户、机器算法或者两者的 某个组合来确定在这种情况下的属性和搜索项。
在另一个示例中，用户拍摄笔记本计算机的图像。算法检测在图像中的 笔记本计算机，并且将其识别为由ZZZ公司制造的型号5。所述算法然后确 定属性"ZZZ型号5"和对应的搜索项"在线购物"、"ZZZ"、"笔记本"和"5"。
特别感兴趣的一个实施例包括使用图像和/或视频输入的搜索。所述设备 捕获单个图像、多个图像、运动图像和/或视频的一个或多个(这些信息类型 的每一个和全部以下被称为"图像，，)。事实上，可以通过多于一个电子成像
设备来捕获图像，所述电子成像设备诸如数字照像机、配备了照像机的移动 电话或者安全照像机或者多个这样的设备。经由图像/对象识别技术(软件和 /或硬件)在图像中识别一个或多个对象。所述一个或多个对象的身份用于在 表格/数据库中查找一组文本关键字搜索项，其然后被提供到搜索引擎。搜索 引擎返回(例如以具有超链接的网页的形式)与在图像中识别的对象相关联 的信息地址。用户然后根据信息地址的至少一个来访问信息和/或计算资源。
另 一个被考虑的实施例包括使用手语输入的搜索。捕获以手语作出手势 的人的图像。图像/运动识别技术用于将手语翻:^奪为文本或者其他的机器可理 解的数据，诸如文本。机器可理解的数据被直接发送到搜索引擎，或者用于 确定搜索项，所述搜索项继而被发送到搜索引擎。搜索引擎返回与手语或者 其部分含义相关的信息地址。
另一个实施例包括使用语音输入的搜索。因此，通过声音捕获和/或记录 设备来捕获人的语音。语音识别处理因此用于识别语音，并且将其翻译为机 器可理解的数据(诸如文本)。机器可理解的数据被直接发送到搜索引擎，或 者用于确定搜索项，其继而被发送到搜索引擎。搜索引擎返回与人的语言或 者其部分的含义相关的信息地址。
本发明的一个特别优选的实施例包括使用配备了照像机的便携设备的搜索。在此，通过具有网络连接的便携设备(例如蜂窝电话)来捕获图像。然 后使用图像识别处理来识别在图像中的至少一个对象。识别处理可以在便携 设备、远端服务器中被执行，或者在其中每个中分布和/或否则共享以及部分 地被执行。根据一个或多个对象的身份，从数据库检索对应于一个或多个对 象的文本关键字。如同图像识别的情况那样，虽然可以在便携设备或者在便 携设备和服务器的组合上执行所述处理，但优选的是，这个处理发生在远端
服务器上。文本关键字然后被发送到搜索引擎。作为HTTP事务，通过向因
特网搜索引擎网站发送关键字而实现这个过程，并且所述搜索关键字被嵌入
在被发送到搜索引擎网站的URL中。优选的是，从便携设备启动HTTP事务， 以便搜索结果被直接地返回到便携设备。在这种情况下， 一般首先使得搜索 关键字在便携设备上可以被获得；如果在远端服务器上确定了所述关键字， 则首先将他们从服务器发送至便携设备。所述搜索引擎结果作为网页被返回 到便携设备，所述网页可以随后显示在便携设备的万维网浏览器中。如果通 过服务器启动HTTP事务，则通过一个或多个各种手段使得结果网页可以在 便携设备上观看(可以向便携设备发送结果网页的地址，或者可以向便携设 备发送整个网页，或者可以在服务器上将网页存储或者转换为另 一个形式， 其后，便携设备被引导到所存储或者转换的页面的地址等)。 图像分析
下面描述优选的图像分析技术，其中，图1示出了整个处理流程和步骤。 在下面的部分中更详细地说明这些步骤。
在图2中，对于图像捕获10,用户12使用计算机、移动电话、个人数 字助理或者配备了图像传感器的其他类似的设备14 (诸如CCD或者CMOS 数字照像机)。用户12将图像捕获设备14的传感器与感兴趣的对象16对齐。 然后，通过适当的手段来启动链接处理，所述适当的手段包括用户12按下 在设备14或者传感器上的按钮；通过在设备14中的软件自动识别要获取的 图像；通过用户语音命令；或者通过任何其他的合适手段。设备14捕获它所 指向的景象的数字图像18。这个图像18被表示为三个独立的二维像素矩阵， 其对应于输入图像的原始的RGB (红色、绿色、蓝色)表示。为了在这个实 施例中标准化所述分析处理，如果设备14以除了 RGB格式之外的格式提供 图像，则实行向RGB的变换。如果需要，可以以任何标准的颜色格式来执行 这些分斗斤。如果服务器20与设备14物理地分离，则用户获取的图像使用传统的数字网络或者无线网络手段从设备14发送到图像处理器/服务器20。如果已经 以向重建的图像18中引入压缩人为因素的方式压缩了图像18 (例如经由有 损的JPEG离散余弦变换)，则例如通过在附加处理之前向所重建的图像应用 传统的去斑点过滤器，可以部分地去除这些人为因素。可以使用对于输入图像18进行运算并且确定输入图像是否包含可识别 的符号，诸如条形码、矩阵代码或者字母数字字符的鉴别器算法来实现图像 类型确定26。如果找到了这样的符号，则所述图像18被发送到解码符号28 处理。根据所述鉴别器算法找到符号的置信度，图像18还可以或者替换地包 含感兴趣的对象，并且因此也能够或者替换地被发送到处理流的对象图像分 支。例如，如果输入图像18包含条形码和对象，则根据检测条形码的清楚性， 可以通过对象图像和符号图像分支来分析图像，并且在识别中具有最高的成 功率的分支将用于识别对象和从对象链接。然后可以在解码符号28中分析所述图像以确定符号的位置、大小和特 性。最好，按照它们的类型来分析所述符号，并且提取它们的内容信息。例 如，条形码和字母数字字符将产生数字和/或文本信息。对于对象图像，我们可以有益地在输入图像分解步骤34中执行将高分辨 率输入图像"分解"为几个不同类型的可以计量的显著的(salient)参数。这允 许数据库的多个独立的会聚性的搜索处理并行发生，这大大地改善了在数据 库匹配36中的图像匹配速度和匹配强壮性。然后，确定来自解码符号28或 者图像数据库匹配36或者两者的最佳匹配38。如果特定的URL (或者其他 的在线地址)与所述图像相关联，则执行URL查找40,并且通过URL返回 42来返回因特网地址。在优先权文件中给出了代码的示例，以及其他的细节， 包括分段、分段组产生、边界框产生、几何归一化、子波分解、彩色立方体 分解、形状分解、低分辨率灰度级图像产生、灰度级比较、子波比较、彩色 立方体比较和组合匹配分数的计算。图3A和3B示出了可以在数据库匹配操作内发生的优选的处理流程。在 此，算法呈现为包含四个嵌套的循环(loop)，并且在最内部的循环中具有四 个并行的处理。这个结构仅仅用于呈现和解释。任何实际实现(虽然很可能 在最内层执行相同的操作)可以具有不同的结构，以便从诸如并行计算和数 据索引化技术的处理速度增强技术获得最大的益处。同样重要的是，注意可以对于每个内部比较独立地实现所述循环结构，而不是在图3A和3B中所示
的共享途径。
优选的是，使用并行处理在多个CPU (中央处理单元)和/或计算机之间 划分任务。可以以若干方式来划分整个算法，所述方式诸如
共享外部循环在这种技术中，所有的CPU运行整个算法，包括外部循环， 但是一个CPU在第一个N个循环中运行所述循环，另一个 CPU在第二个N个循环中运行所述循环，全部同时进行。
共享比较在这种技术中， 一个CPU执行循环功能。当执行多个比较 时，它们每个被传送到独立的CPU以并行地被执行。 '
共享数据库这种技术需要在CPU之间划分数据库搜索，以便每个CPU 负责搜索数据库的一部分，并且通过多个CPU并行地搜索 多个部分。这实质上是如上所述的"共享外部循环"技术 的一种形式。
实际的实现方式可以是上述技术的某种组合，其优化在可以获得的硬件 上的处理。
用于最大化速度的的另 一种技术是数据索引化。这种技术涉及使用数据 位于何处的先验知识仅在包含可能的匹配的数据库中的那些部分进行搜索。 可以使用各种形式的索引化，诸如散列表、数据划分(即在特定位置存储在 特定值范围内的数据)、数据分类和数据库表格索引化。这样的技术的一个示
例是在形状比较算法中，如果要对于数据库搜索具有值为A的区域的入口， 则所述算法将知道哪些数据库入口或者数据区域具有这个近似值，并且不必 搜索整个数据库。
图4示出了一种替代的分析技术的简化配置。具有实线的方框表示处理、 软件、物理对象或者设备。具有虚线的方框表示信息。处理以感兴趣的对象 开始目标对象100。在消费者应用的情况下，目标对象100可以例如是饮 料罐头、音乐CD盒、DVD视频盒、杂志广告、海报、电影院、商店、建筑 物、汽车或者用户感兴趣或者希与之望交互的任何其他对象。在安全应用中， 目标对象100可以是例如人、护照或者司机的驾驶执照等。在工业应用中， 目标对象100可以是例如机器中的一部分、装配线上的一部分、仓库中的盒 子或者轨道上的飞船等。终端102是计算设备，其具有"图像"捕获设备，诸如数字照像机103、 摄像机或者将物理对象转换为对象的数字表示的任何其他设备。图像可以是 单个图像、 一系列图像或者连续的视频流。为了说明简单，这个文件以单个 图像来一般地描述数字图像，但是，本发明和这个系统可以使用如上所述的 所有的图像类型。
在照像机103捕获目标对象100的数字图像后，图像预处理104软件将 数字图像转换为图像数据105以发送到识别服务器106并且由其分析。通常， 提供网络连接，其能够提供与识别服务器106的通信。图像数据105是从目 标对象100的原始图像提取或者转换的数据，并且具有适合于通过对象识别 107而识别目标对象100的信息内容，所述对象识别107可以是软件或者硬 件。图像数据105可以依赖于本发明的具体实施例而采取许多形式。在所述 优先权文件中给出了具体示例。
图像数据105被从终端102发送到识别服务器106。识别服务器106接 收图像数据105，并且将其传送到对象识别107。
识别服务器106是一组功能，其通常存在于与终端102分离的计算平台 上，但是可以存在于同一计算平台上。如果识别服务器106存在于分离的计 算设备(诸如在数据中心中的计算机)，则经由网络或者网络的组合来实现向 识别服务器106的图像分量105的发送，所述网络诸如蜂窝电话网络、无线 因特网、因特网和有线网络。如果识别服务器106与终端102存在于同一计 算设备上，则所述发送仅仅由从一个软件组件或者处理向另一个传送数据构 成。
将识别服务器106置于与终端102分离的计算平台上使得能够对于对象 识别107和数据库108功能使用强大的计算资源，因此经由网络连接向终端 102提供这些计算资源的强大能力。例如，通过在数据中心中可以获得的处 理能力、大的存储器和存储容量将使得从几百万的已知对象的数据库中识别 对象的实施例变得容易；在便携设备中很难具有这样的计算能力和存储。终 端102和识别服务器106在同一计算平台上还是是分离的单元是架构判定， 其依赖于系统响应时间、数据库记录的数量、在终端102上可以获得的图像 识别算法计算能力和存储等，并且，必须对于本发明的每个实施例进行这个 判定。根据当前的技术，在大多数实施例中，这些功能将在分离的计算平台 上。识别服务器106的整体功能是根据图像数据105确定和提供对应于目标 对象100的目标对象信息109。
对象识别107和数据库108 —起作用以
1. 检测、识别和解码在图像中的符号，诸如条形码或者文本。
2. 识别在图像中的对象(目标对象100)。
3. 提供对应于目标对象100的目标对象信息109。所述目标对象信息109 通常G艮据所述实施例)包括对应于目标对象100的信息地址。
对象识别107检测和解码在输入图像中的符号，诸如条形码或者文本。 这是经由适合于这个任务的算法、软件和/或硬件组件而完成的。这样的组件 是商业上可以获得的(来自MVTec的HALCON软件包是一个示例)。对象识 别107也检测和识别目标对象100的图像或者其一部分。这是通过下述方式 而完成的分析图像数据105，将结果与在数据库108中存储的、用于表示 多个已知对象的图像的其他数据相比较，并且如果目标对象100的表示被存 储在数据库108中则识别所述目标对象100。
在一些实施例中，终端102包括软件，诸如万维网浏览器(浏览器110)， 其接收信息地址，经由诸如因特网的一个或多个网络连接到该信息地址，并 且与在该信息地址的另一个计算设备交换信息。在消费者应用中，终端102 可以是配备了照像机103和无线因特网连接的便携蜂窝电话或者个人数字助 理。在安全和工业应用中，终端102可以是类似的便携手持设备，或者可以 在位置和/或方向上被固定，并且可以具有无线或者有线的网络连接。
也存在其他的对象识别技术，其包括在数据库中存储对象的三维模型(而 不是二维图像)、并且将输入图像与目标对象的这些模型相关联的方法，所述 方法被对象识别技术执行，其中许多对象识别技术可以商业地获得并在现有 技术中。这样的对象识别技术通常由将新的输入图像与多个已知图像相比较， 以及检测在新的输入图像和一个或多个已知图像之间的对应性组成。所述已 知图像是从多个视角看的已知对象的视图，因此允许在相对于照像机103的 任意方向识别二维和三维对象。
图4为了简化将对象识别107和数据库108示出为分离的功能。但是， 在许多实施例中，对象识别107和数据库108非常紧密地互相依赖，以至于 它们可以被作为单个处理。
通常期望数据库108可升级以使得能够从数据库108中的非常大量的(例如数百万的)已知对象识别目标对象100。算法、软件和计算硬件必须被设 计为一起起作用以迅速地执行这样的搜索。用于迅速地执行这样的搜索的一种示例软件技术是使用用于将图像数据105与在数据库108中存储的数据相 比较的度量距离比较技术以及数据库群集和多分辨率距离比较。在Song, Kim 和Ra的2000年的"Fast Exhaustive Multi-Resolution Search Algorithm Based on Clustering for Efficient Image Retrieval" 中描述了这种技术。除了这样的软件技术之外，还可以使用并行处理计算架构来实现大数据 库的快速搜索。在对象识别107中使用非度量距离的情况下，并行处理特别m :士 4《A'A S "来;2: :玄< 4由A AA 4士 4>、卫7 4b 阳,V卜，V、《历通过将数据库在多个CPU上分配而搜索完整的数据库。如上所述，对象识别107也可以检测在目标对象100上的标识标记。例 如，目标对象100可以包括标识号或者条形码。这个信息可以被解码并用于 标识或者帮助标识在数据库108中的目标对象100。这个信息也可以作为目' 标对象信息109的一部分被传递。如果作为目标对象信息109的一部分而包 括有所述信息，则其可以被终端102或者内容服务器111用来在具有类似外 观并且仅仅在标识标记上不同的许多这样的对象中标识一特定的目标对象 100。例如在目标对象100是具有网络连接的活动设备(诸如自动售货机)并 且内容服务器与目标对象100建立通信的情况下，这种技术是有用的。与全 球定位系统的结合可以被用来通过类似对象的位置来标识对象可以以硬件、软件或者两者的组合实现对象识别107。在一个或多个所 述优先权文件中给出了每个类别的示例和附加的细节。在大多数实施例中，浏览器110将是万维网浏览器，其被嵌入在终端102 中，能够经由诸如因特网之类的一个或多个网络访问网站和与网络通信。但 是，在一些实施例中，诸如仅仅涉及显示目标对象100的身份、位置、方向 或者状态的那些情况，浏览器110可以是向人类用户或者向另一个软件组件 或者应用显示或者提供目标对象信息109的软件组件或者应用。在其中浏览器110是万维网浏览器的实施例中，浏览器110连接到位于 在目标对象信息109中包括的信息地址(通常是因特网URL)的内容服务器 111。这个连接通过协作的终端102和浏览器110来实现。内容服务器lll是 信息服务器和计算系统。虽然可以使用任何信息交换技术，但是通常经由标 准因特网和无线网络软件、协议(例如HTTP、 WAP等)和网络来完成在终端102和内容服务器111之间的连接和交换的信息。物理网络连接依赖于特 定实施例的系统架构，但是在大多数实施例中，其将涉及无线网络和因特网p
这个物理网络将很可能是用于连接终端102和识别服务器106的同一网络。
内容服务器111向终端102和浏览器IIO发送内容信息。这个内容信息 通常与目标对象100相关，并且可以是文本、音频、视频、图形或者可以被 浏览器110和终端102使用的任何形式的信息。终端102和浏览器110在一 些实施例中向内容服务器111发送附加信息。这个附加信息可以是诸如终端 102的用户的身份或者终端102的用户的位置的信息(从GPS系统或者射频 测距系统确定)。在一些实施例中，这样的信息通过无线网络载波被提供到内 容服务器。
用户可以与内容服务器111执行进行中的交互。例如，依赖于本发明的 实施例和应用，用户可以
如果目标对象100是音频记录(例如致密音频盘)，则收听流音频 样本。
经由在线交易来购买目标对象100，并且向链接到终端102的账户、 独立用户、银行账户或者信用卡开出购买数量的账单。 在一些实施例中，内容服务器111可以驻留在终端102内。在这样的实
施例中，在终端102和内容服务器111之间的通信不经由网络发生，而是在
终端102内发生。
在其中目标对象100包括或者是能够经由诸如因特网的一个或多个网络 与其他设备或者计算机通信的设备、并且其中目标对象信息109包括特定的 目标对象100的足够的标识(诸如标记、编号或者条形码)的实施例中，内 容服务器111经由诸如因特网的一个或多个网络连接到目标对象100并且与 其交换信息。在这种类型的实施例中，终端102连接到内容服务器111，并且 内容服务器111连接到目标对象100。因此，终端102和目标对象IOO可以经 由内容服务器111通信。其使得虽然缺少在目标对象100和终端102之间的 直接连接，但是用户能够与目标对象100交互。
图5示出了使用蜂窝电话、PDA或者配备了计算能力的便携设备、数字 照像机和无线网络连接来作为对应于在图4中的终端102的终端202的实施 例。在这个实施例中，终端202经由诸如蜂窝电话网络和因特网的网络与识 别服务器206和内容服务器211通信。这个实施例可以用于诸如下面的应用("用户"表示操作终端202的人，.终端202是蜂窝电话、PDA或者类似的设备，"指向和点击"表示用户捕荻 目标对象200的图形并且启动向识别服务器206的图像数据205的传送的操 作)。用户对于包含记录的音乐的致密盘(CD)或者包含记录的视频的数字视 频盘(DVD)"指向和点击"终端202。终端202浏览器连接到对应于CD或 者DVD的URL，并且显示用户可以从中选4奪选项的菜单。用户可以从这个 菜单收听CD的流音频样本或者DVD的流-视频样本，或者可以购买CD或者 DVD。用户对于印刷媒体广告、海报或者宣传电影、音乐记录、视频或者其他 娱乐的广告牌"指向和点击"终端202。浏览器210连接到对应于被宣传的 项目的URL,并且用户可以收听流音频样本，购买流4见频样本，获得播出时 间，或者购买项目或者票。用户对于电视机屏幕"指向和点击"终端202以实时地与电视机节目交 互。例如，所述节目可以包括涉及在有限时间内降价的产品促销，在促销期 间在这个电视机节目上"指向和点击"的用户被链接到他们可以以促销价格 购买所述产品的网站。另一个示例是交互电视节目，其中，用户根据屏幕内 容在特定时间在电视机屏幕上"指向和点击，，以登记投票，指示行为或者连 接到一网站，通过该网站，他们可以与屏幕节目实时交互。用户在诸如消费产品、产品的广告、海报等的对象上"指向和点击"，终 端202与销售产品的公司通电话，并且消费者就公司的产品或者服务与公司 代表直接进行讨论。在这种情况下，在目标对象信息209中包括公司电话号 码。如果目标对象信息209也包括公司URL,则用户可以同时经由语音和因 特网(经由浏览器210)与公司交互。用户在配备了到诸如因特网的网络的连接、并且具有唯一的标识标记(诸 如编号)的自动售货机(目标对象200)上"指向和点击"。终端202连接到 操作自动售货机的公司的内容服务器211。识别服务器通过标识和解码所述 唯一的标识标记来标识特定的自动售货机。特定机器的身份被包括在目标对 象信息209中，并且从终端202发送到内容服务器211。具有所述特定自动 售货机(目标对象200)的标识的内容服务器211启动与自动售货机的通信。 用户使用他的终端202与所述自动售货机进行交易，诸如购买产品，所述终端202经由内容服务器211与自动售货机通信。
用户在诸如飞机部分的机器的一部分上"指向和点击"。终端202然后显 示与所述部分相关的信息，诸如维护指令或者维修历史。
用户在杂志或者报纸文章上"指向和点击"并链接到流音频或者视频内 容、更多的信息。
用户在汽车上"指向和点击"。通过在终端202中的GPS接收器、通过 蜂窝网络无线测距或者通过另一种技术来确定终端202的位置。终端202的 位置被发送到内容服务器211。所述内容服务器向用户提供关于汽车的信息， 诸如价格和特点，并且进一步根据所述位置信息向用户提供销售所述汽车的 附近的汽车销售商的位置。这种相同的技术可以用于将用户引导到在用户"指 向和点击"的杂志广告中出现的、销售项目的附近的零售商店。
对于视力受损的人们在商店中的任何项目上点击，所述设备向你说出所述项目的名称和 价格(所述项目必须在数据库中)。
在报纸或者杂志文章上点击，设备向你读出所述文章。 在标记(建筑物、街道标记等)上点击，并且所述设备向你读出所 述标记，并且提供任何附加的相关信息(所述标记必须在数据库内)。
图6示出了用于飞船应用的本发明的一个实施例。在这个实施例中，系 统的所有组件(除了目标对象300)都在飞船上。目标对象300是另一个飞 船或者对象。这个实施例用于确定目标对象300相对于飞船的位置和方向， 以便可以在相对于目标对象300导航、引导和操纵所述飞船时使用这个信息。 这个实施例的 一个示例使用是自主的飞船会合(rendezvous)和外层空间会合 (docking)。
这个实施例通过将由照像机303捕获的图像与在数据库308中存储的、 来自不同方向的目标对象300的视图相比较，由图像中的目标对象300的位 置、方向和大小确定目标对象300相对于飞船的位置和方向。目标对象300 的相对位置和方向在目标对象信息中被输出，以便飞船数据系统310可以在 计划轨道和」操纵中使用这个信息。
因此，已经公开了使用从图像导出的信息来作为因特网和其他搜索引擎 的搜索标准的特定实施例和应用。但是，对于本领域内的技术人员显然，在 不脱离在此的发明概念的情况下，除了已经描述的那些之外的许多修改是可能的。因此，除了在所附的权利要求的精神之外，本发明的主题不被限制。 而且，在解释说明书和权利要求中，应当以与上下文一致的最广的可能方式 来解释所有的术语。具体上，术语"包括"应当被解释为以非排他的方式引 用元件、组件或者步骤，用于表示被引用的元件、组件或者步骤可以存在、 被利用或者与未明确地引用的元件、组件或者步骤结合。当说明书和权利姜
求引用从由A、 B、 C、...和N构成的组中选择的某些内容的至少一个时，所 述文本应该被解释为仅仅要求来自所述组的一个元素，而不是A+N或者B+N等。
权利要求
1.一种系统，包括便携设备，其以光学方式捕获图像，并将关于所述图像的信息发送至远端服务器；所述设备和服务器的至少一个从所述图像和发送的信息的至少一个导出搜索项；所述设备和所述服务器的至少一个使得所述搜索项被提交到对于公共可访问的信息加索引的搜索引擎；并且所述搜索引擎使用所述搜索项来产生结果集，并且使得所述结果集的至少一部分被发回所述便携设备。
2. 按照权利要求1的系统，其中，所述便携设备包括蜂窝电话通话能力。
3. 按照权利要求l的系统，其中，所述搜索项作为文字包含在图像中。
4. 按照权利要求1的系统，其中，所述搜索项不作为文字包含在图像中。
5. 按照权利要求l的系统，其中，所述设备导出所述搜索项。
6. 按照权利要求l的系统，其中，所述设备通过服务器将所述搜索项提 交至搜索引擎。
7. 按照权利要求l的系统，其中，所述设备将所述搜索项直接提交至搜 索引擎。
8. 按照权利要求l的系统，其中，所述服务器导出所述搜索项。
9. 按照权利要求l的系统，其中，所述服务器将所述搜索项提交至所述 搜索引擎。
10.按照权利要求1的系统，其中，所述搜索项包括关键字。
11.按照权利要求1的系统，其中，所述搜索项包括图像的一部分。
12.按照权利要求1的系统，其中，所述搜索项包括符号。
13.按照权利要求11的系统，其中,所述符号包括标识。
14.按照权利要求11的系统,其中,所述符号包括条形码。
15.按照权利要求11的系统,其中，所述结果集包括至少一个超链接地
16.按照权利要求11的系统，其中，所述搜索引擎从由GoogleTM、Yahoo!TM、 MSNTM和Alta Vista 构成的列表中选择。
17. —种蜂窝电话，其运行软件，该软件允许所述蜂窝电话作为按照权 利要求1的系统中的所述设备工作。
18. —种使用搜索引擎来获得信息的方法，包括 使用蜂窝电话使能的便携设备来拍摄对象的图像； 运行计算机软件，该软件从所述图像的至少一部分自动地导出第一搜索项；将所述第一搜索项提交至所述搜索引擎；并且 将所述信息提交至所述设备。
19. 按照权利要求16的方法，还包括使用所述设备来拍摄对象的第二 图像；运行计算机软件，以从第二对象的至少一部分导出第二搜索项；并且， 将所述第二搜索项与所述第一搜索项一起提交到搜索引擎。
20. 按照权利要求16的方法，其中，所述提交所述第一搜索项的步骤包 括向远端服务器发送所述图像的所述至少一部分；在服务器上运行所述软— 件；并且服务器向搜索引擎发送所述搜索项。
21. —种便携设备，包括 便携电源；以光学方式捕获图像的照像机部分；以及处理器，其处理指令以从图像导出搜索项，并且向搜索引擎发送该搜索项。
22. 使用下面的步骤导出结果集 使用便携设备捕获图像；所述便携设备向远端服务器发送关于所述图像的信息；所述设备和服务器的至少一个自动地从所述图像和所述发送的信息的至 少一个导出搜索项；所述设备和服务器的至少一个使得所述搜索项被提交到对于公共可访问 的信息加索引的搜索引擎；并且搜索引擎使用所述搜索项来产生所述结果集。
全文摘要
从由配备了照像机的蜂窝电话、PDA或者其他图像捕获设备捕获的图像自动导出搜索项，所述搜索项被提交到搜索引擎以获得感兴趣的信息，并且作为结果产生的信息的至少一部分被发回到捕获所述图像的设备本地或者其附近。
文档编号G06F17/30GK101288077SQ200680038392
公开日2008年10月15日 申请日期2006年8月10日 优先权日2005年8月15日
发明者罗纳德·H·科恩, 韦恩·C·邦西克 申请人:埃韦里克斯技术股份有限公司