专利名称：用于图像处理的系统和方法
技术领域：
本申请涉及处理用于显示的图像。
背景技术：
当计算机和计算机网络变得越来越能访问各种图形信息，人们需求获得信息的更多方法。特别地，现在人们期望在道路上、家里或办公室里能访问以前仅能从连接到适当提供的网络的固定连接个人计算机获得的信息。他们想要来自他们的手机的新闻中的当前人物的图像、具有来自他们的个人数字助理(PDAs)的带有家庭照片的电子邮件，以及具有来自他们的掌上电脑的具有嵌入图片的最新文档。当旅行时，不管是在本地、国内还是国际，他们还想要易于使用、便携式设备中的所有信息。便携性通常要求设备的尺寸小，反过来限制可用于显示内容的屏幕面积。当在小屏幕上显示时，这一限制可能要求便携式设备将图像降低到模糊或不可识别的状态。另外，图像可以显示以更大尺寸显示，但用户必须滚动来查看图像的一些部分。另外，一些图像可以与将图像的部分定义为“热点”或链接的图像映射(imagemap)相关联，用户可以选择来执行动作，诸如导航到网页。一些目前的便携式设备不保持与所定义的图像的部分的链接。相反，这些设备将链接与图像分开，以及将它们列为除图像外的文字链接。然而，这些分开的链接不再与由图像提供的环境相关联来引导选择链接中的用户。将链接与图形环境分开会扰乱用户理解有关链接的内容。
发明内容
本文档公开了用于处理用于在无线设备上显示的图像的方法和系统。根据一个方面，公开了一种处理图像用于在移动通信设备上显示的计算机实现的方法。该方法包括基于图像映射，提取图像的部分，其中，图像映射与图像的部分有关，生成包括所提取的图像的部分的文档，以及将所生成的文档传送到远程设备用于显示。另外，将可选链接分配给所提取的图像的部分。在一个实施方式中，该方法可以包括从远程设备接收对具有图像和图像映射的初始文档的请求，以及将所生成的文档存储在数据库中。响应对初始文档的将来的请求，传送所存储的所生成文档。请求可以包括与远程设备的显示性能有关的信息。该方法可以包括基于显示性能，修改所提取的图像的部分的尺寸。另外，该方法可以包括基于显示性能，修剪所提取的图像的部分。在另一实施方式中，该方法可以包括从远程网络服务器检索初始文档。可以通过将初始文档中的要素组织成文档对象模型树和遍历该树来定位图像映射，选择图像映射。可以通过连续地解析初始文档中的要素以定位图像映射来选择图像映射。可以使用面部识别算法，生成图像映射的内容，其中，内容包括用来指定用于提取的图像的部分的坐标。同时，也可以使用光学字符识别算法，生成图像映射的内容，其中，内容包括用来指定用于提取的图像的部分的坐标。作为一个例子，图像映射包括用来指定所提取的图像的部分应该调整大小以便在移动设备浏览器上显示的标记语言标签。也可以提取与所提取的部分相邻的区域，使得该区域和部分的组合具有预定大小或形状。同时，也可以生成图像数据，用于在与所提取的部分相邻的区域中显示，使得所生成的图像数据和所提取的部分的组合具有预定大小或形状。在另一实施方式中，可以基于图像映射，提取图像的第二部分，以及将第二部分包括在所生成的文档中，用于在远程设备上显示。显示部分的位置基于图像映射，其中，图像映射进一步包括位置指示器。同时，显示部分的位置基于图像的内容。第二部分和第一部分可以具有相同大小和形状。
根据另一方面，公开了一种用于选择图像的部分用于在移动设备上显示的计算机实现的系统。该系统包括解析器，从第一电子文档选择图像和图像映射，用于提取图像的部分的装置，其中部分的位置和周界线基于图像映射，文档生成器，生成包括所提取的图像的部分的第二电子文档；以及接口，将第二电子文档传送到远程设备。根据另一方面，公开了一种用于提取图像的部分用于在移动设备上显示的系统。该系统包括提取器，基于与图像有关的坐标，将图像划分成图块；文档生成器，将用于显示的所述图块中的至少一个编码在电子文档中；以及接口，将电子文档传送到远程设备。在此所述的系统和技术可以提供一个或多个下述优点。系统可以从图像选择和提取部分，以便用户可以更方便地在便携式设备上查看图像。系统可以提取图像中感兴趣的部分来显示。同时，系统可以允许远程设备保持用于在图像映射内使用的链接的图形环境。保持该图形环境是可能的，即使远程设备不具有显示图像映射的算法。另外，系统可以通过诸如存储器和处理能力之类的具有有限资源的便携式系统实现，诸如移动电话。在附图和下述描述中，阐述一个或多个实施方式的细节。实施方式的其他特征、对象和优点从说明书和附图以及从权利要求将是显而易见的。
现在，将参考附图，详细地描述这些和其他方面。图I是根据一个实施方式的用于处理将在无线通信设备上显示的图像的系统的示意图。图2是根据一个实施方式的由图I的系统处理前后的图像的示意图。图3是显示更多细节的图I的系统的框图。图4是当处理将在无线通信设备上显示的图像时，能执行的示例性操作的流程图。图5是包括图像的网页的示例性文档对象模型(DOM)树。图6是表示根据一个实施方式的用于在便携式通信设备上显示而处理的超文字标记语言(HTML)代码的示意图。
图7是通用计算机系统的示意图。各个图中的类似参考符号表示类似元件。
具体实施例方式图I是根据一个实施方式的用于处理将在无线通信设备104上显示的图像102的系统100的示意图。处理包括基于指定待提取的图像102的部分106A的图像映射(未示出)，提取图像102的部分106A。处理进一步包括生成包括部分106A的文档和将所生成的文档传送到远程无线通信设备104，如由箭头108所示。图像102可以包含在具有格式，诸如字处理文档、独立图像文件、电子邮件消息或网页的初始文档中。在一个实施方式中，初始文档包含具有相关联图像映射的图像。图像映射可以包括具有与它们相关联的动作的信息，诸如指定图像内的一个或多个区域的矩形的对角的坐标。例如，图I的图像部分106A描述美国的东北部。用户可以选择该图像部分 106A以及浏览器可以指向描述东北部的旅游业的网站。在一些实施方式中，通过来自远程无线通信设备104、由对具有图像102的初始文档的请求，由箭头110表示，启动文档的处理。图像处理系统112接收该请求。图像处理系统112中的代码转换器114处理该图像102以及图像处理系统112将包含图像部分106A的生成文档传送到无线通信设备104。在其他实施方式中，在没有来自无线通信设备104的请求的情况下，图像处理系统112将所生成的文档发送到无线通信设备104。例如，电子邮件消息中的图像可以由图像处理系统112处理并且被发送给无线通信设备104，而不需要由无线通信设备104请求。在一些实施方式中，图像处理系统112从远程网页服务器116检索出示文档，由箭头118表示。例如，无线通信设备104的用户可以查看从网络搜索检索的网页链接的列表。该列表可以包括指定远程网络服务器116的网页的网页链接，例如http://www. remotewebserver. com/initial document, html。图像处理系统112可以修改当用户选择上述网络连接时访问的实际统一资源定位符(URL)，以便使链接首先定向到图像处理系统112，诸如在下述URL中http:/www. google, com/ u = www.remoteewebserver.com/initial_document. html。这里，www. ROORle. com是图像处理系统112的网络地址。URL中的“？ U = www.remoteewebserver. com/initial_document. html ” 参数指不图像处理系统 112 从远程网络月艮H 116 请求位于 www. remoteewebserver. com/initial document, html 白勺丰刀$台^1 丰当，如由箭头120表示。图像处理系统112处理初始文档以及将所生成的文档传送到无线通信设备 104。图2是根据一个实施方式的由图I的系统处理前后的图像102的示意图。例如，初始文档202可以是描述美国(US)的不同区中的旅游目的地的网页。图2示出处理前的初始文档202和处理后所生成的文档204的例子。初始文档202中的图像102包括包含几个地区206A-E的图像映射。区域206A-E表示具有与它们相关联的动作的图像102的区域，诸如到另一网页的超链接，到电子邮件地址的超链接或到文件传送协议(FTP)站点的超链接。
例如，选择东北区206A可以将用户带到列出US的东北州中的旅游目的地的另一网页，或可以发起具有定向到旅游业的东北US版的成员的“To:”字段的电子邮件消息。另夕卜，区域206A-E可以表示图像102中特别感兴趣的区域。例如,人物的图像可以具有作为定义区的人的脸。另外，一群人的图像可以具有在特定人周围的定义区，如果该图像附有提及那个人的文字。所生成的文档204包含对应于初始文档202中的区域206A的图像部分106A。在图2的实施方式中，所生成的文档204还包含对应于图像102中的其他区域206B-E的其他图像部分106B-E。在图2所示的实施方式中。使用图像映射中的区域206A-E，图像处理系统112中的代码转换器114可以从图像102提取图像部分106A-E。特 别地，图像部分106A-E中的每一个分别对应于图像映射中的区域206A-E中的每一个。图3是表示更多细节的图I的系统100的框图。图3表示图像处理系统112和与之通信的设备。图像处理系统112可以实现为例如互联网搜索提供者的通用系统的一部分。图像处理系统112具有允许与诸如互联网的网络358进行通信的接口 352。图像处理系统112可以与诸如无线通信设备104和远程网络服务器116的各种设备通信。用于任一设备的通信流可以是双向的，以便图像处理系统112可以从设备接收诸如命令的信息，并且也可以将信息发送到这些设备。从设备接收的命令和请求可以提供给请求处理器366，其可以解释请求，将其与预定义的可接受请求关联，以及诸如以命令的形式，将其传递给图像处理系统112的另一部件以便执行特别动作。例如，在图像处理系统112是互联网搜索提供者的通用系统的一部分的实施方式中，请求可以包括搜索请求。请求处理器366可以使搜索引擎370生成对应于搜索请求的搜索结果。搜索引擎370可以使用数据检索和搜索技术，诸如由GooglePageRand 系统使用的技术。然后，使用在结果上执行必要格式化的响应格式器368，将由搜索引擎370生成的结果再提供给初始请求者。搜索引擎370可以依赖多个其他部件，用于其适当操作。例如，搜索引擎370可以参考网站的索引372，而不是每次进行请求时，搜索网站本身，以便使搜索更有效。可以使用由可以连续地扫描用于改变信息的潜在信息源的网络爬行器376所收集和格式化的信息来形成索引372。代码转换器114可以访问系统存储器374。系统存储器374可以是用于诸如应用程序，维护例程和管理和报告软件之类的操作系统所需的文件的一个或多个存储位置。在一些实施方式中，代码转换器114可以将所生成的文档204存储在系统存储器374中。图像处理系统112响应用于初始文档202的将来的请求，传送所存储的生成文档204。代码转换器114可以包括用来处理初始文档202和图像102的几个部件。解析器302可以从初始文档202选择图像102和与图像102有关的图像映射304。解析器302可以使用应用编程接口(API)解码整个初始文档202来访问初始文档202的内容。例如，如果初始文档202是网页，解析器302可以使用文档对象模型(DOM)API，访问网页的要素或文档对象。使用DOM API，使用各种数据结构，诸如阵列、队列或树，解析器302可以将来自初始文档202的文档对象加载到存储器中。DOM可以允许随机地，或以不同于在初始文档中指定的顺序访问文档对象。另外，解析器302可以将初始文档202输入为一系列字符或字符串。字符或串可以与指定图像存在及其相关联图像映射的预定标识符集进行顺次比较。图像映射304可以包含定义图像映射304的一个或多个标记语言标签305。例如，超文字标记语言(HTML)将标签用于图像以及将“〈map〉”用于图像映射。〈map〉标签可以包含分别使用“cords”属性和“href”属性，指定图像102中的区域206A-E中的每一个的坐标和超链接的〈area〉标签。〈area〉标签也可以包含指定图像102中的区域的形状的〈shape〉属性，诸如矩形、圆形或多边形。如果图像具有相关联的图像映射，<img>标签可以包括“usemap”属性。当随机地解析文档内容时，诸如通过D0M,能使用“usemap”属性来定位与图像有关的图像映射。“usemap”属性可以在图像映射304的名称前，该图像映射304的名称用来定位和访问诸如图5中所示的DOM树500的数据结构内的图像映射304。代码转换器114也可以包括提取器306，该提取器306使用包含在图像映射304中的坐标来从图像102提取图像部分106A。坐标可以表示所提取的图像部分106A的位置和周界线。坐标可以是标记语言的分量，诸如在如上所述的HTML标签中的属性。在一些实施方式中，映射映射内容生成器310可以将图像部分的坐标312提供给 提取器306。映射映射内容生成器310可以包含面部识别(FR)模块314和光学字符识别(OCR)模块316，分别确定图像或图像部分内的面部和文字的坐标。映射内容生成器310可以包含其他模块，诸如识别高对比度的区域来定位图像内的对象(例如相对于亮色天空的暗建筑物)。坐标312也可以补充或修改位于图像映射304中的坐标。例如，FR模块314可以确定位于由图像映射定义的图像部分中的面部的坐标。或者，映射内容生成器310可以提供用于不具有包括在初始文档202中的相关图像映射的图像的坐标312。例如，OCR模块316可以确定位于不具有图像映射的图像中的文字的坐标，生成用于该图像的图像映射，以及用坐标312填充图像映射。代码转换器114可以在将部分106A-E合并在所生成的文档204前，对所提取的部分106A-E进行进一步修改。例如，来自无线通信设备104的请求110可以包括有关无线通信设备104中的显示的物理性能的显示性能信息318，诸如显示尺寸和分辩率。代码转换器112可以使用显示性能信息318来确定例如，对无线通信设备104来说，图像部分106A-E是太大还是太详细以便有效地显示给用户。在这种情况下，映射内容生成器310可以使用模块，诸如FR模块314和OCR模块316，来集中于图像部分106A中的相关信息，诸如面部或文字上。映射内容生成器310的输出可以包括由提取器306使用的坐标312来定义如何处理所提取的部分。例如，坐标312可以定义将要修剪的图像部分106A的区域。修剪可以包括平移图像，以便使其居于面部或文字中央，以及移除周围图像数据，以便最终修剪的图像以更小尺寸显示。坐标312可以包括沿X和y轴的点，其中，这些点定义所修剪图像的边界。在另一实施方式中，可以使用显示性能信息318来确定由映射内容生成器310生成的坐标312。例如，如果显示性能信息318表示对无线通信设备104显示来说，图像102太大或太详细，那么RF模块314和OCR模块316能生成定义图像102中的相关信息的坐标312，如上所述。在另一实施方式中，坐标312可以由提取器306使用，通过放大或缩小图像102或图像部分106A来修改图像102或图像部分106A的尺寸。例如，FR模块314或OCR模块316可以分别定位图像102中的面部或文字，以及可以生成定义这些特征周围的区域的坐标。映射内容生成器310可以使用显示性能信息318，生成放大或缩小系数，以便确定在无线通信设备104上显示图像102的大小。例如，缩小图像的每一像素可以是线性相应像素的加权和，诸如在下述等式中P0 = P0XSMP1X 2/5权重可以与缩小系数关联。例如，缩小系数可以用来查找索引中的权重，或可以用作用于权重集的乘数来产生用于缩小过程的适当最终权重。例如，显示性能信息318可以包含由无线通信设备104使用的显示的分辩率，诸如480像素乘以600像素。映射内容生成器310可以提供减小大于480像素乘以480像素的图像的缩小系数，使其适合在无线通信设备104上显示的分辩率内。从映射内容生成器310输出的坐标312可以包括沿x和y轴的点以及放大或缩小系数。提取器306可以使用坐标312来确定如何处理图像102或图像部分106A。例如，如 果坐标312包括缩小系数，提取器306可以有选择地移出图像102或图像部分106A中的像素。在一些实施方式中，映射内容生成器310确保所提取的部分是预定大小和形状。例如，映射内容生成器310可以确保与圆形图像部分相邻的图像数据被提取以便图像部分106A是矩形形状。在其他实施方式中，图像数据生成器320生成与图像部分相邻的区域中的图像数据，以便确保该图像部分具有预定大小和形状。例如，图像数据生成器320可以在圆形图像部分后增加黑色矩形背景以便确保图像部分106A是矩形。另外，图像数据生成器320可以确定图像部分106A的颜色值，以及生成用于图像部分106A后的背景的对比或互补图像数据。代码转换器114也可以包括文档生成器322。在一种实施方式中，文档生成器322使用由提取器306提供的图像部分106A和来自初始文档202的内容，创建生成文档204。例如，图像102内的区域206A可以具有指定与到另一网页的超链接的相关联HTML属性。文档生成器322可以将可选链接324添加到对应于与初始文档202中的区域206A相关联的超链接的生成文档204的图像部分106A中。如果超链接是到另一网页的链接，生成文档204内的可选链接324可以包含图像处理系统112的网络地址。以与上述搜索列表类似的方式，超链接首先将网页请求定向到图像处理系统112，其中，图像处理系统112将检索网页并在处理网页后，将其转发到无线通信设备104。例如，初始文档202可以包含到第二远程网络服务器326的另一文档的下述超链接http://www. secondwebserver. com/another document, html文档生成器322修改超链接，以便将其首先定向到图像处理系统112，诸如在下述URL 中http://www.google.com/ usecondwebserver. com/another_document. html图4是当处理将在无线通信设备104上显示的图像时执行的示例性操作400的流程图。例如，能在图像处理系统112中执行操作400。在计算机程序产品中存储的处理器执行指令能执行操作400。操作400可以在可选步骤402中，以请求远程设备的初始文档开始。例如，无线通信设备104的用户可以将用于初始文档202的请求110发送到图像处理系统112。
在可选步骤404中，图像处理系统112接收用于初始文档的请求。在可选步骤406中，如果对应于初始文档的生成文档已经存在于操作400中，移动到步骤426。如果所生成的文档仍未存在操作400，移动到可选步骤408。例如，图像处理系统112可以使用生成文档的索引列表来快速地确定生成文档是否存在。在一些实施方式中，对应于无线通信设备的可能显示性能，对每一初始文档，可以存储多个生成文档。例如，显示性能信息318可以表示无线通信设备104是具有128乘以128像素的显示分辩率的移动电话。当生成文档时，该信息318可以与文档标识符一起存储。可以将后续请求与文档标识符和显示性能信息进行比较以便确定是否应当生成新文档。在上述情形下，如果具有128乘以128像素的显示分辩率的不同或相同设备请求同一初始文档，可以查询索引来确定该初始文档是否具有与该像素分辩率相关联的版本。如 果有，返回该文档，而不生成新文档。在可选步骤408中，可以从远程网络服务器重新请求初始文档。在可选步骤410中，远程网络服务器接收请求，以及在可选步骤412中，远程网络服务器将响应发送到包括初始文档的请求。例如，图像处理系统112从做为CNN 网页主机的远程网络服务器116请求网页，诸如www. cnn. com。CNN 网络服务器116将包括用www. cnn. com的网页的响应发送到图像处理系统112。在步骤414中，基于可以包含在初始文档中的图像映射，提取包含在初始文档中的图像的一个或多个部分。例如，代码转换器114内的解析器302识别包含在初始文档202中的图像102和图像映射304。提取器306使用图像映射304，提取图像部分106A。或者，图像映射304可以不包含在初始文档102中。相反，映射内容生成器310可以生成由提取器306使用的图像映射来提取图像部分106A。在可选步骤416中，将可选链接分配给图像部分。例如，代码转换器114可以将可选链接324分配给图像部分106A，诸如通过将超链接分配给位于与图像部分106A相关联的〈img>标签周围的铺〈a>标签的“href”属性。在可选步骤418和420中，可以分别使用面部识别算法和光学字符识别算法，生成图像映射的内容。例如，FR模块314或OCR模块316或两者可以分别向集中在面部或文字的图像部分的提取器306提供坐标312。步骤414至420可以以不同顺序出现。例如，面积识别和光学字符识别可以出现在提取图像部分前。在步骤422，对远程设备，生成包括图像部分的文档。例如，文档生成器322使用所提取的图像部分106A和初始文档202，创建生成文档204。在可选步骤424，将生成文档存储在响应对初始文档的后续请求而访问的数据库中。例如，代码转换器114可以将生成文档204存储在系统存储器374中。在一些实施方式中，代码转换器114可以生成文档204 —起，存储用来修改生成文档204中的图像的显示性能信息318。在步骤426，将生成文档传送到远程设备。例如，图像处理系统112的接口 352通过网络358，将所生成的文档204传送到无线通信设备104。操作400可以在步骤428完成，其中，在远程设备上显示生成文档。图5是包括图像的网页的示例性文档对象模型(DOM)树500。图5表示用于初始文档202的示例性DOM树500。在一个实施方式中，初始文档202以超文字标记语言(HTML)格式。初始文档202中的每一 HTML标签可以由树500中的节点表示。在一些实施方式中，解析器302将初始文档202解析成DOM树500，以及遍历树500来定位图像、图像映射或两者。在图5的例子中，在初始文档202中，DOM树500包含分别表示标签、〈head标签和〈body〉标签的<html>节点510、〈head>节点522以及〈body〉节点524。〈body〉节点524具有子〈map〉节点532。〈map〉节点532及其子女可以指定用来提取图像部分的区域206A-E的坐标。〈body〉节点524也具有子<img>节点534。<img>节点534是用于图像102的占位符。<img>节点534的“src”属性536表示图像102的位置和名称。<img>节点534的“usemap”属性538表示与图像102相关联的〈map〉节点532的名称或ID。〈map〉节点532可以具有几个子〈area〉节点542A-C。〈area〉节点542A-C的每一个可以具有指定与之相关联的图像部分的坐标的“coords”属性544和当选择图像部分时，指定待执行的超链接的“href”属性546。
图6是示出根据一种实施方式的用于在无线通信设备104上显示而处理的HTML代码的示意图。图6表示在由图像处理系统112中的代码转换器114处理前初始文档202中的HTML代码以及在由代码转换器114处理后在生成文档204中的HTML代码。初始文档202可以包含〈map〉标签602，其子〈area〉标签604A-E分别指定与区域206A-E相关联的坐标和超链接。初始文档202还包含<img>标签606，其是用于图像102的占位符，具有名称“us_region. gif”以及相关联的〈map〉标签602,具有名称“us_region_map”在一些实施方式中，解析初始文档202并加载到存储器中，诸如在图5的DOM树500中。其中，〈map〉标签602对应于DOM树500中的〈map〉节点532。〈area〉标签604A-E对应于DOM树500的〈area〉节点542A-C，以及<img>标签606对应于DOM树500的<img>节点534。生成文档204可以包括单个<img>标签608A-E和<a>标签,后面称为〈anchor〉标签610A-E。新<img>标签608A-E的每一个指定由代码转换器114提取的图像部分中的一个。这里，“src”属性中的<img>标签608A-E的名称分别包括初始图像102的名称和〈area〉标签604A-E的坐标。<img>标签608A-E的每一个分别是〈anchor〉标签610A-E的子女，指定与相关“href”属性中的图像部分相关联的超链接。在一些实施方式中，初始文档202中的HTML标签或属性包含有关特定设备，诸如无线通信设备104应当如何调整图像102的大小，以便显示的信息。例如，HTML代码可以包括分别识别用于特定类型设备的标签，诸如识别移动设备、个人数字助理、移动电话和特定类型的移动电话的内容的〈mobile〉标签、〈PDA〉标签、〈cell phone〉标签和<Motorola_v66>标签。标签还可以识别特定类型内容，诸如分别识别图像中的肖像图像和文字的〈face〉标签或〈text〉标签。映射内容生成器310可以使用这些标记来确定提供给提取器306的坐标312。在一些实施方式中，使每一提取图像部分的大小和形状相同。例如，可以使用能在无线通信设备104上显示的最大大小和形状来提取图像部分106A-E。显示性能信息318可以包括由无线通信设备104使用的显示器的尺寸。映射内容生成器310可以生成放大和缩小系数以便能将图像部分206A-E中的两个或多个调整成与显示尺寸的大小相同。在一些实施方式中，按不同于〈area〉标签604A-E的顺序的顺序显示图像部分，诸如通过按HTML内的大小、形状、类型、超链接或其他相关联信息分组图像部分。例如，可以同时列出具有到同一网络地址的超链接的图像部分。根据区域206A-E的初始大小，可以按降序或升序列出图像部分。在一些实施方式中，使用图像部分的内容来排序图像部分，诸如通过一起分组面部、文字或文字样式。例如，包括粗体或大文字的图像部分可以在纯文本或小文字前列出。包含面部的图像部分可以在不包含面部的其他图像部分前列出。参考图3，可以由包括在初始文档102的图像映射304中的位置指示器308，指示显示顺序或定位。例如，位置指示器308可以指定首先显示面部，或首先显示图像部分106A，接着显示图像部分106B，其次显示图像部分106C。在另一实施方式中，可以由映射内容生成器310生成位置指示器308并输出，由文档生成器322使用，其可以使用位置指示器308来按特定顺序生成具有图像部分106A-E的文档204。图7是通用计算机系统700的示意图。根据一种实施方式，系统700能用在上述操作400中。例如，系统700可以包括在图像处理系统112、无线通信设备104、远程网络服务器116和第二远程网络服务器326中的任何一个或全部中。系统700包括处理器710、存储器720、存储设备730和输入/输出设备740。使用系统总线750，互连部件710、720、730和740的每一个。处理器710能处理用于在系统700内执行的指令。在一个实施方式中，处理器710是单线程处理器。在另一实施方式中，处理器710是多线程处理器。处理器710能处理在存储器720中或存储设备730上存储的指令，以便显示用于输入/输出设备740上的用户接口的图形信息。存储器720在系统700内存储信息。在一个实施方式中，存储器720是计算机可读介质。在一个实施方式中，存储器720是易失性存储单元。在另一实施方式中，存储器720是非易失性存储单元。存储设备730能为系统700提供海量存储。在一个实施方式中，存储设备730是计算机可读介质。在各种不同实施方式中，存储设备730可以是软盘设备、硬盘设备、光盘设备或磁带设备。输入/输出设备740为系统700提供输入/输出操作。在一个实施方式中,输入/输出设备740包括键盘和/或指示设备。在另一实施方式中，输入/输出设备740包括用于显示图形用户界面的显示单元。能在数字电子电路中、或在计算机硬件、固件、软件或组合中，实现所述特征。该装置可以以有形嵌入信息载体，诸如机器可读存储设备或传播信号中的计算机程序产品中实现，用于由可编程处理器执行，以及可以由执行指令程序的可编程处理器，执行方法步骤以便通过在输入数据上操作和生成输出，执行所述实现的功能。能够以在包括从数据存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向其传送数据和指令的至少一个可编程处理器的可编程系统上执行的一个或多个计算机程序有利地实现所述特征。计算机程序是能直接或间接在计算机中使用来执行某种活动性或产生某种结果的指令集。能以任何形式的编程语言，包括编辑或解释语言编写计算机程序，以及能以任何形式展开，包括作为独立的程序模块、组件、子例程或适合用在计算环境中使用的其他单元。用于执行指令程序的适当处理器举例来说，包括通用和专用微处理器，以及任何类型计算机的单独处理器或多处理器的一个。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令、和数据的一个或多个存储器。通常，计算机也将包括或可操作地耦合，以便与用于存储数据文件的一个或多个海 量存储设备通信；这些设备包括磁盘，诸如内部硬盘和可移动盘；磁光盘和光盘。适用于有形地嵌入计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，举例来说，包括半导体存储设备，诸如EPROM、EEPROM和闪存设备；磁盘，诸如内部硬盘和移动盘；磁光盘和⑶ROM和DVD-ROM盘。处理器和存储器可以由ASICs (专用集成电路)补充或包含在其中。为提供与用户的交互，能在具有向用户显示信息的显示设备，诸如CRT(阴极射线管)或IXD(液晶显示器)监视器、以及用户能向计算机提供输入的键盘和指示设备，诸如鼠标或跟踪球的计算机上实现这些特征。能在包括后端部件，诸如数据服务器，或包括中间件部件，诸如应用服务器或互联网服务器，或包括前端部件，诸如具有图形用户界面或互联网浏览器的客户计算机，或它们的任何组合的计算机系统中实现这些特征。系统的部件能由数字数据通信的任何形式或介质，诸如通信网络来连接。通信网络的例子包括例如LAN、WAN和形成互联网的计算机和网络。计算机系统能包括客户机和服务器。客户机和服务器通常彼此远离以及通常通过网络相互作用，诸如所述的实例。客户机和服务器的关系依赖于在各个计算机上运行并具有彼此的客户机-服务器关系的计算机程序来发生。尽管上面已经详细地描述了一些实施方式，但其他改进是可能的。该公开内容部分论述包括HTML的电子文档，但可以由所述系统处理任意多种格式，包括XML (可扩展标记语言)、WML (无线标记语言)、TOF (便携式文档格式)、字处理格式和图像格式。在图中描绘的逻辑流程不要求所示的特定顺序，或顺序来实现所需结果。同时，可以提供其他的步骤，或可以从所述流程删除步骤，以及其他部件可以添加到所述系统或从其移出。因此，其他实施方式在下述权利要求的范围内。
权利要求
1.一种选择图像的部分以在计算设备上显示的方法，包括 在计算机系统处从计算机设备接收对包括图像的第一电子文档的请求； 基于所述计算机系统作出的对所述图像的光学分析确定所述图像的多个部分的坐标，其中所述光学分析识别所述图像中的与所述图像中的其它项目视觉上不同的项目； 使用所确定的坐标识别第一布置的所述图像的多个子图像，所述多个子图像对应于所述多个部分； 生成包括第二布置的所述多个子图像的第二电子文档，所述第二布置不同于所述第一布置，其中所述第二布置基于所述多个子图像的一个或多个属性将所述多个子图像分组，其中据以在所述第二布置中将所述多个子图像分组的所述一个或多个属性包括图像大小和图像形状；以及 向所述计算设备提供所述第二电子文档。
2.如权利要求I所述的方法，其中所述光学分析包括光学字符识别(OCR)，并且其中所述光学分析识别的所述项目包括所述图像中的文本。
3.如权利要求I所述的方法，其中所述光学分析包括面部识别，并且其中所述光学分析识别的所述项目包括所述图像中的面部。
4.如权利要求I所述的方法，其中所述光学分析包括光学对象识别，并且其中所述光学分析识别的所述项目包括所述图像中的视觉上不同的对象。
5.如权利要求4所述的方法，其中所述光学对象识别基于所述图像中的具有至少阈值水平的对比度的区域识别所述图像中的对象。
6.如权利要求I所述的方法，进一步包括基于所确定的坐标生成所述图像的图像映射； 其中所述多个子图像是基于所生成的图像映射而创建的。
7.如权利要求I所述的方法，进一步包括基于所确定的坐标修改与所述图像相关联的预先存在的图像映射； 其中所述多个子图像是基于所修改的图像映射而创建的。
8.如权利要求7所述的方法，其中修改所述预先存在的图像映射包括使用所确定的坐标修改包含在所述预先存在的图像映射中的坐标。
9.如权利要求7所述的方法，其中修改所述预先存在的图像映射包括利用所确定的坐标补充包含在所述预先存在的图像映射中的坐标。
10.如权利要求7所述的方法，进一步包括 获取指示所述计算设备的显示的大小的信息； 基于所获取的信息和所述预先存在的图像映射，识别所述图像映射所限定的对于所述计算设备的所述显示而言太大的所述图像的一个或多个部分； 对于所述图像的所识别的部分中的每一个，选择该个识别的部分中与所识别的项目中的一个或多个相对应的坐标，其中所识别的项目中的所述一个或多个至少部分地位于该个识别的部分中并且被确定为与所述计算设备的用户具有至少阈值水平的相关性；以及 基于所选择的坐标修剪所识别的部分，其中对应于所识别的部分的子图像是基于经修剪的所识别的部分而创建的。
11.如权利要求10所述的方法，其中使用所选择的坐标修剪所识别的部分，使得被确定为具有至少所述阈值水平的相关性的所述一个或多个所识别的项目在所获得的修剪过的部分中居中。
12.如权利要求10所述的方法，其中所识别的部分被修剪以对应于所述计算设备的所述显示的所述大小。
13.如权利要求I所述的方法，其中据以在所述第二布置中将所述多个子图像分组的所述一个或多个属性包括所述多个子图像的内容。
14.如权利要求13所述的方法，其中所述内容包括在所述多个子图像中描述的项目。
15.如权利要求I所述的方法，其中所述第二布置包括在所述第二电子文档中其类似属性被分组在一起的子图像。
16.一种选择图像的部分以在计算设备上显示的系统，所述系统包括 计算机系统； 所述计算机系统的接口，其被配置为接收来自计算设备的对包括图像的第一电子文档的请求； 用于基于所述计算机系统作出的对所述图像的光学分析确定所述图像的多个部分的坐标的装置，其中所述光学分析识别所述图像中的与所述图像中的其它项目视觉上不同的项目； 所述计算机系统的图像提取器，其被配置为使用所确定的坐标识别第一布置的所述图像的多个子图像，所述多个子图像对应于所述多个部分； 所述计算机系统的文档生成器，其被配置为生成包括第二布置的所述多个子图像的第二电子文档，所述第二布置不同于所述第一布置，其中所述第二布置基于所述多个子图像的一个或多个属性将所述多个子图像分组，其中据以在所述第二布置中将所述多个子图像分组的所述一个或多个属性包括图像大小和图像形状；以及 其中所述接口进一步被配置为向所述计算设备提供所生成的第二电子文档。
17.如权利要求16所述的系统，进一步包括基于所确定的坐标生成所述图像的图像映射； 其中所述多个子图像是基于所生成的图像映射而创建的。
18.如权利要求16所述的系统，进一步包括基于所确定的坐标修改与所述图像相关联的预先存在的图像映射； 其中所述多个子图像是基于所修改的图像映射而创建的。
全文摘要
本发明涉及用于图像处理的系统和方法。一种处理用于在移动通信设备上显示的图像的计算机实现方法包括基于图像映射，提取图像的部分。该图像映射可以与该图像的部分有关。该方法还包括生成包括所提取的图像的部分的文档以及将所生成的文档传送到远程设备用于显示。该方法还可以包括将可选链接分配给所述图像的所提取的部分以及从所述远程设备接收对具有所述图像和图像映射的初始文档的请求。另外，该方法可以包括将所生成的文档存储在数据库中，以及响应对该初始文档的进一步请求，传送所存储的所生成文档。
文档编号G06F17/30GK102708116SQ20121003537
公开日2012年10月3日 申请日期2006年9月22日 优先权日2005年9月22日
发明者迈克尔·F·吕克 申请人:谷歌公司