通过词汇表示的图像管理的制作方法

专利名称：通过词汇表示的图像管理的制作方法
通过词汇表示的图像管理
背景技术：
由于在互联网上可得到的日益增加的数字图像和视频内容，使用个 人计算机和其它数字硬件来处理和显示数字图像已经得以普及。普及增 加的一个结果是，由于大量存在的图像而使得检索所需图像变得越来越 复杂。传统上，所需图像常常是通过图像的文件名来检索的。
但是，文件名往往不能提供图像或视频内容的充分说明，使用户能 够确定图像或视频内容包含什么。因此，在传统的数据库中存储的图像 和视频的内容经常是带标签储存的，所述标签提供了内容的简要说明。 例如，包含黑色道路上的蓝色汽车的图像可包括例如"汽车"、"蓝色" 和"道路"的标签。这些标签通常是人工输入到数据库中的，费力费时。
例如，关于说明颜色，说明图像和视频的自动化方法已包括基于颜 色编码的系统，所述颜色编码用多维颜色空间中的位置或坐标来表示颜 色分量。换言之，已经用表示颜色空间中的位置或坐标的数字数据数学 地表示了颜色。虽然有关颜色的数据可相应于颜色空间明确定义颜色， 但这些表示通常不能给人们直观地传达有关颜色的信息。


对本领域的技术人员而言，通过如下参照附图的说明，本发明的特
征将是明显的，在附图中
图1示出了根据本发明的实施例的图像管理系统的框图，该图像管
理系统可采用在此公开的基于文本的图像数据库创建和图像检索过程 的各种实施例。
图2示出了一原始图像的结构图以及根据本发明的实施例由该原始 图像所得的语素词汇组织图。
图3A示出了根据本发明的实施例的用于创建图像数据库的方法的
流程图。
图3B示出了根据本发明的实施例的在图3A中讨论的语素词汇处理 步骤中执行的各个步骤的更详细的流程图。图4示出了根据本发明的实施例的在通过实施图3A中所述的方法
所创建的数据库中检索图像的方法的流程图。
具体实施例方式
出于简约和说明的目的，本发明通过主要参照其一优选实施例来说 明。在下面的说明中，为提供对本发明的透彻的了解，规定了许多具体 的细节。但很显然，对本领域的技术人员，实施本发明并不限于这些具 体的细节。在其它情况下，并没有详细说明众所周知的方法和结构，以 免不必要地与本发明混淆。
在此公开了管理图像的方法和系统。特别是，在此公开的管理图像 的方法和系统中，多个图像的各种特征可以用人可读的词汇来表示。这 些表示包括图像中各对象之间的关系，所述关系也可以用人可读的词汇 来表示。通过使用这里公开的方法和系统，可以创建可通过定义了各种 图像特征的文本术语来检索的图像的数据库。此外，可通过使用文本搜 索项搜索数据库或通过与输入图像进行比较来检索期望的图像。
一般而言，在一个例子中，用户可以像文本式文件所用的搜索那样 访问和搜索数据库以得到一个或多个图像。因此，这里公开的方法和系 统可以使用户以相对更直观的方式搜索图像。
参照图1,图1示出了基于一实施例的图像管理系统100的框图， 所述图像管理系统IOO可采用这里公开的基于文本的图像数据库创建和 图像检索过程的多种实施例。所示图像管理系统100包括通信接口 102、 处理电路104、存储电路106、用户接口 108、图像输入设备110和数据 库120。图像管理系统100可包括另外的组件，这里说明的一些组件可 被去除和/或修改，而不偏离图像管理系统100的范围。
通信接口 102用于实现可包括在计算机设备中的图像管理系统100 和未图示的外部设备间的通信。例如，可使通信接口 102与另一计算机 设备双向交流信息。通信接口 102可以为网络接口卡(NIC)、串行或 并行连接、通用串行总线(USB) 口、火线接口、闪存接口、软盘驱动 器或任何其它适宜于与图像管理系统1 0 0通信的设置。
在一个实施例中，处理电路104用于处理数据、控制数据访问和存 储、发出指令以及控制其它期望的操作。在例如下文公开的方法的至少 一个实施例中，处理电路104可包括设置为执行由合适的介质提供的期望程序设计的电路。举例来说，处理电路104可以是处理器和其它设置 为执行可执行指令的结构的一个或多个，可执行指令例如包括软件、固
件和/或硬件电路指令。处理电路104因此可包括例如硬件逻辑、引脚 网格阵列(PGA)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、 状态机或其它结构自身或其与处理器的组合。
存储电路106用于存储诸如可执行代码或指令的程序设计(如软件 和/或固件)、电子数据、图像数据、与图像数据关联的元数据、数据 库或其它数字信息，并且可以包括处理器可用的介质。处理器可用的介 质可在任何计算机程序产品或制造品中包含，它们可包含、储存或保持 程序设计、数据和/或数字信息，为包括处理电路104的指令执行系统 所用或与之结合使用。举例来说，处理器可用的介质可包括诸如电、磁、 光、电磁、红外或半导体介质等物理介质中的任一种。处理器可用的介 质的別的例子例如包括可携式磁性计算机盘，如软盘、压缩盘、硬驱、 随机存取存储器、只读存储器、闪存、高速緩冲存储器和/或其它能存 储程序设计、数据或其它数字信息的配置。
存储电路106中和/或通过网络或其它传播媒介传递、并且配置为控制 适当的处理电路的程序设计来实现。举例来说，程序设计可通过适当的 介质来提供，包括，例如包括在制造品112中，包括在例如通过通信接 口，通过诸如通信网(如互联网和/或个人网)、有线电连接、光连接和 电磁能等合适的传输媒介传递的数据信号(如调制载波、数据包、数字 表示等)中，或用其它适当的通信结构或介质来提供。例如，包括处理 器可用的代码的程序设计可作为在包含在载波中的数据信号来进行传 递。
存储电路106还可与数据库120通信，可由处理电路104创建数据 库来存储图像和/或图像的语素词汇表示。如下文更具体地讨论的 那样，可创建数据库120来广泛地支持通过基于文本的搜索查询的图像 搜索和检索，就像文本文件搜索和检索中使用的那样。
用户接口 108配置为与用户进行交互，包括给用户传送数据(如显 示数据供用户观察、用声音向用户传递数据等)和从用户处接收输入(如 触觉输入、声音指令等)。相应地，用户接口 108可包括配置为描绘视 觉信息的显示器114 (例如阴极射线管，液晶显示器等)和键盘、鼠标
7和/或其它合适的输入设备116,以支持与图像管理系统100的用户交 互。
在一个实施例中，用户可采用用户接口 108将搜索项输入到图像管 理系统100,所述搜索项与基于文本的搜索所用的搜索项相似。
图像输入设备110可以是提供与供给图像管理系统100的例如照 片、视频拍摄帧等图像相对应的电子图像数据的任何适当的设备。例如， 图像输入设备110可包括例如平板彩色照片扫描仪的扫描设备、数码相 机、数码摄像机、另一图像管理系统等。
图像输入设备110可进而实施为向图像管理系统100输入搜索标 准。举例来说，可通过图像输入设备110将图像扫描到图像管理系统 100,图像可如下所述进行语素词汇处理。然后，将语素词汇处理后的 图像的特征与存储在数据库120中的语素词汇处理后的图像的特征进行 比较，以便例如找到图像数据库120中与扫描图像相似的图像。
根据一例，处理电路104可量化多个图像形成基本单位(例如像素) 的可包括例如RGB、 Ub等的图像数据，以确定具有一致的或共同的特 征的图像区。 一致或共同的特征可包括，例如，图像中具有相同颜色的 毗连区。如下文详细说明的那样，量化图像数据可进一步进行语素词汇 处理，从而把图像数据转化为人可读的词汇。
术语"语素词汇处理"可定义为包括辨别图像中各个区的一个或多 个特征和使用人可读的词汇来标识的处理。 一个或多个特征可包括例如 各个区相对于彼此的位置、各个区的颜色、各个区的大小等。此外，所 述一个或多个特征可包括各个区相互之间的关系和图像的边界。换句话 说，如下文详细说明的那样，可对已词汇化量化的图像进行形态处理。
术语"词汇化量化"可定义为包括使用例如英语或其它语言的词语 等人可读的词汇中人可理解的词语说明图像中内容或对象的视觉特征。 人可理解的词语可与图像数据相关联，可用来辅助或利于例如在创建图 像的可搜索的数据库120中的图像管理。如在此所公开的，人可理解的 词语也可辅助或利于从图像的可搜索数据库120中检索图像。
人可理解的词语可使用普通人易懂的自然语言说明图像内容的特 征，如颜色、灰度或颜色及灰度。人可理解的词语可包括例如人可读和 可理解的词汇中的词汇颜色名称，人可读和可理解的词汇例如，作为人 类语言的一部分、易于为人所阅读和理解的内容，这与机器语言或代码不同，虽然程序员也可以理解机器语言或代码，但机器语言或代码通常 需要某种类型的数学关系到颜色的映射或理解。人容易辨认的词汇颜色 名称的例子包括黑、红、蓝、绿、黄、橙等。
人可理解的词语还可包括在人可读和可理解的词汇中的量化词汇 大小标示。人容易辨认的量化词汇大小标示例如包括非常小、小、中、 大、非常大等。应清楚理解，根据说明图像中包含的对象相对于彼此或 否则的话相对于某个其它特征的大小中期望的粒度等级，词汇大小标示 可包括另外或其它的大小标示。
人可理解的词语还可包括在人可读和可理解的词汇中的词汇相对 位置标签。词汇相对位置标签例如可说明第 一对象相对于第二对象位置 的位置、第一对象或第二对象相对于图像的位置、第一对象或第二对象 相对于图像的一个或多个边界的位置等。词汇相对位置标签可另外或替 代地说明第一对象是否接触第二对象或其它对象。在任何方面，人容易
辨认的词汇相对位置标签的例子包括北、南、东、西、左、右、中心、 上、下等。这样，词汇相对位置标签可以是根据例如说明图像中对象的 相对位置中期望的粒度等级而随意详尽或广泛。
根据一个例子，对颜色来说，与各量化支(bin)对应的词汇颜色 名称可通过相对多人口的定义的集合来产生。因此，在一些例子中，在 至少一种实施方式中采用了描述可见电磁光谱中的频率范围的词语，所 述词语是容易理解的人类词汇词语，而不同于标识电磁能的、或许只有 受过这些技术术语教育的技术人员才懂的技术术语。词语可以指任何有 意义的词汇符号序列，举例来说可包括缩写和词条。
在一个针对颜色的实施例中，词汇化量化的类别或支的数量根据用 来表征图像的颜色名称的数量来确定。 一旦图像词汇化量化，说明图像 内容的词语(例如词汇颜色名称)就与图像的图像形成基本单位关联起 来。下面详细讨论词汇化量化的更多细节。
此处所述的形态处理可对已经如上所述进行了词汇化量化的图像 进行。也就是说，词汇颜色名称中与图像形成基本单位的颜色内容相对 应的合适的一个，与图像的图像形成基本单位中的每一个相关联。 一般 来说，形态处理辨别图像有一致或共同特征的多个区。在一个更具体的 例中，图像的多个区在词汇颜色名称中的一个与这些区中的每一个相关 联并与相应区的颜色对应时，被找出。形态处理可包括滤除掉给定区中不具有共同特征的图像形成基本单位，并将这些图像形成基本单位的内 容改为共同特征。可以用下文讨论的不同的方案来提供滤除。
与所产生的区相关的信息可与初始的图像数据关联，并使用存储电 路106例如作为图像的元数据存储，所述初始的图像数据例如是词汇化 量化和语素词汇处理之前的图像的图像数据，可用于再现图像的真实复 制。在一个实施例中，可用元数据辨别和检索相应图像的期望的初始图 像数据。
与得到的区有关的信息，可称为区信息，可包括表示该区的图像形 成基本单位的颜色的词汇颜色名称。例如，区信息还可包括区的量信息 和位置信息，所述量信息例如是该区的图像形成基本单位以像素数或占 总体百分比计的数量。在一个实施例中，位置信息可标识与该区的所有
图像形成基本单位的平均x和y位置对应的相应区域的形心。在另 一例 中，量信息可由词汇量标示表示，位置信息可由词汇相对位置标签来表示。
参照图2提供如何获取词汇表示及怎样用其来说明图像的更详细的 例子，图2描绘了原始图像200和从原始图像200所得的语素词汇组织 图220。
如图2所示，原始图像200可包括使用将在下面详细讨论的量化方 法生成的分割的图像。在其它例中，可使用其它分割图像的方法，例如， 产生图像的多个片段并给每一个片段分配一种单一的颜色。在任何情况 下，原始图像200包括多个对象，包括具有外部颜色204和内部颜色206 的水壶202。在水壶202的把手部内是第三颜色208,由于阴影，所述 第三颜色208可能比水壶202的周围区域暗。此外，将水壶202周围的 各对象标记为210a-210c。
对原始图像200的图像数据处理后，可创建语素词汇组织图220。 图2的语素词汇组织图220包括原始图像200中各区的图形表示。更具 体地说，语素词汇组织图220 —般根据其大小、颜色、相应位置和形态 来描绘各对象的图形表示。因此，语素词汇组织图220根据其形心、大 小和颜色图形式地描绘了水壶2 02的各部分2 04-2 08和水壶202周围的 各个区"Oa-210c。因此，例如，水壶202的外部颜色204用具有外部 颜色204的相对大的圓圈204'来图形地表示，其形心位于语素词汇组织 图2M的中心附近。此外，具有外部颜色204的区的图形表示204'描绘成通过各线222分别与具有内部颜色206和第三颜色208的各区的图形 表示206'和208'接触。图形表示204'- 208'也描绘成与水壶202周围 的区210a-210c的图形表示210a'- 210c'接触。
根据一个例子，处理电路104可用语素词汇组织图220来获得原始 图像200中的对象的词汇表示。举例来说，处理电路104可确定图形表 示204'- 210c'的颜色，可为图形表示204'- 21 Oc'分配词汇颜色名称， 如上所述。此外，处理电路104可确定图形表示204'非常大、图形表示 210b'和210c'中等、图形表示206'和208'小、图形表示21 Oa'非常小。 此外，处理电路104可根据确定的大小来分配词汇大小标示。
处理电路104还可确定图形表示204'- 210c/相对于彼此的相对位 置和/或相对于图像200的边界的相对位置。处理电路104也可为图形 表示204'- 210c'分配词汇相对位置标签。例如，处理电^^104可存储 表明图形表示206'位于图形表示204'的上方和图形表示210c/位于图 形表示204'的右边的指示。
作为另一个例子，处理电路104可将语素词汇组织图220分成多个 虚拟条带。例如，语素词汇组织图220可分为3个等分的虛拟条带，横 向延伸过语素词汇组织图220。此外，每个条带可分成若干区域。语素 词汇组织图220分成的条带和区域的数量例如可取决于各区域的密度。 也就是说，例如，如果有更大的区域密度，处理电路104可将语素词汇 组织图220分成更多个区域。如下面更详细地讨论的那样，当条带被穿 过时，区域就可被确定，从而使得能够生成区域，以及区域中包含的图 形表示的词汇表示。
现在参照图3A,其示出了根据一个实施例的创建图像数据库的方 法300的流程图，其中该数据库可通过人可读的词汇检索。该方法300 可使用处理电^各104进行。然而，在其它实施例中，其它方法可包括更 多、更少和/或替代的步骤。
在步骤302,处理电路104可以通过收到用户的命令、在预定的时 间段、自动等启动方法300。 一旦开始，处理电路104可在步骤304获 取要处理图像的图像数据。图像数据可包括多个图像形成基本单位(例 如，像素)的RGB数据。因此，例如，处理电路104可操作，来将图像 数据转换到期望的颜色空间，如Ub。
在任何情况下，如步骤306所示，处理电路104可对图像数据进行语素词汇处理。可如上结合图2所述，对图像数据进行语素词汇处理， 来生成图像中所含的各区域的人可读的词汇表示。下面将结合图3B更 为详细地讨论一种对图像数据进行语素词汇处理的方式。
在步骤306,图像数据可通过一系列允许从图像中的颜色均匀区去 除杂散颜色的多个分辨率下的形态操作进行形态处理。在步骤306,图 像可形态地过滤以将图像表示为各自包括 一 种单——致颜色的多个图 形表示。 一般情况下，图形表示定义为其中多数图像形成基本单位具有 一致或共同的特征(词汇化量化产生的共同词汇颜色名称)而图形表示 的其它不 一致的图像形成基本单位可被改变或滤除到该 一致的特征。对 图像数据进行形态处理的各种方式的更详细的说明在题为"图像处理方 法、图像管理系统以及制造品，，的美国专利申请号待定、提交日2006 年7月27号、委托案件号200408243-1和题为"图像管理方法、图像 管理系统以及制造品"的美国专利申请号待定、提交日2006年7月 27号、委托案件号200408244-1中有所说明。上述两个指出的申请的公 开在这里一并引用并入。
如在步骤308所示，处理电路104可控制存储电路106，将词汇表 示作为人可读的词汇储存在数据库120中。如下文详述的那样，该数据 库120可通过文本查询进行搜索。此外，图像可存储在数据库中，图中 区域的人可读的词汇表示可存储在图像的元数据中。
在步骤310，处理电路104可确定方法300是否将继续进行。例如， 处理电路104可确定方法300要继续，以便建立和储存另外的图像的词 汇表示。但是，如果没有更多的图像，处理电路104将在步骤312结束 方法300。
现在特别参照图3B,其中详细地示出了根据一个实施例的与图3A 中的步骤306相应执行的各个步骤。因此，图3B说明了根据一个实施 例的语素词汇处理图像的步骤。
在步骤320，处理电路104可产生在例如图像200的图像中的各对 象或区的图形表示。特别是，例如，处理电路104可将量化图像的各单 独的图像形成基本单位与多个相应图形表示中的一个相关联。图像的量 化考虑了允许滤除图形表示中的不 一 致的颜色的离散结果。
对象可以通过确定图像中哪些区包含一致或共同的特征来定义成 相应的图形表示。 一致或共同的特征例如可包括图像中具有相同颜色的毗连区。此外，如果多个区被确定为对应于原始图像中一个单个的部分 或对象，例如由于在该部分或对象中出现的颜色梯度导致该部分或对象 的词汇化量化被分为多个区，那么，这些区可合并。在任何情况下，参
照图2，相应的图形表示可能包括外部颜色204、内部颜色206、第三 颜色208和围绕水壶2 02的区210a-210c。
在一个实施例中，对单个的图形表示，处理电路104可关于接触或 毗接相应的主题图形表示的其它图形表示来分析相应的主题图形表示， 如果某些条件得到满足，处理电路104可合并多个合适的图形表示。一 旦找出毗接主题图形表示的各区域，处理电路104获取图像的初始图像 数据，例如在词汇或形态处理前的，与主题图形表示和毗接图形表示对 应的图像数据的内容，并可使用该初始图像数据计算这些图形表示的各 自的平均值，例如，示例性Lab颜色空间的平均亮度及色度L、 a和b 值。主题图形表示的平均值可例如使用欧几里德度量与各毗接的图形表 示的平均值的每一个进行比较
欧几里德距离=少1)2..."—少《)2 (公式l)
其中各x值对应于主题区的平均L、 a、 b值，各y值对应于所分析的毗 接区的平均L、 a、 b值。
如果将主题图形表示与相应毗接图形表示进行比较的公式1的结果 低于某一阈值，那么，这两个图形表示可相互合并。在一个实施例中， 可选择阈值来区分在原始图像中是如此相似以致它们应当合并的多个 图形表示的合并，例如，选择阈值以辨别多个相似的接近量化支之间的 边界的图形表示，与不合并显然包括不同颜色内容的图形表示，例如， 量化到不同的支没有因颜色穿入多个相似的量化支中而发生。在一个实 施例中，可对毗接主题图形表示的各其它图形表示重复该分析。在一个 实施例中，合并后的图形表示可以表示图像中使用单个图像图形表示的 单个对象。
一旦区域被确定并在适当时合并，包括每个图形表示的词汇颜色名 称、量和位置的图形表示信息例如可作为元数据与相应的图像关联起 来。下面更详细地讨论确定和分配图形表示信息的词汇表示的不同方式。在步骤322,处理电路104可确定各图形表示的形心和大小。处理 电路104可根据图像中图像形成基本单位或对象的布置，确定图形表示 的这些特征。在任何情况下，在步骤324,处理电路104可以例如以与 图2描绘的语素词汇组织图220类似的方式，将各图形表示绘制在语素 词汇组织图上。
在步骤326,处理电路104可确定各图形表示的词汇颜色名称。如 上所述，处理电路104可确定人可理解的词语来说明图像中各个区的词 汇颜色名称，如黑、红、蓝、绿、黄、橙等。
在步骤328,处理电路104可为各图形表示确定词汇大小标示。词 汇大小标示可包括例如非常小、小、中，大、非常大等。在一个实施例 中，处理电路104可将图形表示的大小相互比较，以确定词汇大小标示。 在另一个实施例中，处理电路104可将图形表示的大小与预设的标准比 较，以确定词汇大小标示。在这个例子中，例如，处理电路可以决定， 如果图形表示低于整个图像的预定百分比，图像表示就是小。
在步骤330，处理电路104可形态处理量化图像以确定各图形表示 之间的关系。特别是，例如，处理电路104可确定各图形表示相对于彼 此的位置以及在图像自身上的相应位置。步骤330的形态处理可包括一
个或多个等级的不同分辨率下的形态处理(滤除)。在一个实施例中的 多级处理的更多细节在欧布拉多和佩尔发表在《SPIE可视通信和图像处 理》(2006年1月15-19号，加利福尼亚州圣何塞)上的"多分辨率 颜色补块提取"中有详述，其教义在这里全部引用并入。
此外，处理电路104可使用多个形态滤除器生成多分辨率级下的图 像的抽象表示。这些形态滤波器可用于改变保存在图像的抽象表示中的 细节的多少。例如，在较低的分辨率水平，较小的图形表示被消除，从 而留下了图像的非常粗的抽象表示和词汇表示。形成对比的是，在较高 的分辨率水平，更大程度的细节被保留，相对较小的图形表示在抽象表 示中表现，提供了图像更具体的词汇表示。
在任何情况下，处理电路104可确定哪个图形表示与其它图形表示 中的哪一个接触，哪一个图形表示与图像的边界接触等。进而/或者， 处理电路l(M可将图像或图像的语素词汇组织图表示分为多个虚拟条 带，每个条带包含零个或多个虚拟区域。在这种情况下，处理电路104 可例如扫描过所述虚拟条带以确定虛拟区域相互间的相对位置。例如，处理电路104可确定区域A位于图像的中心，与位于其北部的区域B及 位于其东部的区域C相邻。
在步骤332,处理电路104可为虚拟区域分配人可读的词汇表示。 因此，例如，参考图2,处理电路104可确定用虚线224表示、从组织 图的左上角取出的第一区包括图形表示210a'和208'。例如，假设 图形表示210a'是淡灰色的且图像表示20『是深灰色的，处理电路104 可为第一区域224分配人可读的词汇表示，表明一个非常小的、浅灰色 的图形表示位于一个小的深灰色图形表示的左边。此外，假定图像表示 204'是橙色，处理电路104可为位于中间的区域226分配指示非常大的 橙色图形表示的人可读的词汇表示。换句话说，处理电路104可确定第 一区域224是在中央区域226的西北方。此外，处理电路104可确定一 个非常大的橙色图形表示位于一个小的深灰色补块的右下方，所述小深 灰色补块位于一个非常小的浅灰色补块的右方，等等。
处理电路104可以对其余区域重复这一处理，从而确定和分配其余 图形表示的人可读的词汇表示。此外，如步骤308所示，人可读的词汇 表示可存储在基于文本的可检索数据库中。
现在谈到图4，其示出了用于在通过实施方法300所创建的数据库 120上检索图像的方法400的流程图。该方法400 —般性地说明了查询 数据库120以检索到一个或多个所需图像的方式。特别是，方法400使 类似于检索文本文件所用的、基于文本的查询能够应用在寻找和检索图 像文件中。
在步骤402,处理电i 各104访问数据库120。此外，在步骤404,处 理电路l(M可接收搜索查询。在一个例子中，可通过用户接口 108接收 搜索查询作为一个或多个搜索项。在本例中，处理电路104可解析一个 或多个搜索项以确定该一个或多个搜索项的各种特征。例如，如果搜索 查询包"fe项"海滩"，处理电^各104可以确定与期望的项匹配的图j象在
层次上，处理电路104可确定含有蓝天和米色沙地的图像匹配项"海滩，， 的特征。在任一情况下，处理电路104可确定与搜索查询项相关的不同 区域的相对位置。
除词汇颜色名称外或者作为其替代，处理电路104可通过输入108 接收搜索所需图像的请求，其所用搜索标准包括的特征例如在要检索的期望图像中的 一 个或多个区域的诸如词汇颜色名称、量和/或位置信息。 请求可指定要检索的图像的一个或多个区域，例如，"找中间顶部有大 蓝色区域、正中间有中等红色区域、中间底部有黄色区域的图像，，，如
步骤406所示，处理电路104可使用搜索标准和与存储的图像相关联的 区域信息，搜索存储在存储电路106中的图像，并根据其与搜索标准匹 配的密切程度对存储图像进行分级。
在执行搜索中，处理电路104可使用输入的文本搜索请求创建搜索 表示，其代表了可用来搜索存储图像的指定的词汇颜色名称、量和/或 位置信息。搜索表示可以是例如以与颜色、量和位置相对应的三个矢量 的形式。
在另一个例子中，搜索查询可通过图像输入设备110例如作为扫描 的图像而收到。在这个例子中，处理电路104可如上参照图3A和图3B 所述那样对扫描的图像进行语素词汇处理，以获得扫描图像的词汇表 示。因此，举例来说，如果扫描的图像包括海滩图片，处理电路104可 确定扫描图像包含一个在非常大的米色区之上的非常大的蓝色区。
在这个例子中，处理电路104可以根据与扫描图像的相应相似度对 存储在数据库120中的图像进行分级。处理电路104可以建立搜索图像 的至少 一个区域的区域信息以创建搜索表示，利用与各存储图像相关联 的区域信息，使用搜索表示搜索存储的图像。特别是，例如，在步骤406, 处理电路104可访问数据库120以取回响应搜索查询的一个或多个图 像。因此，就上述海滩例来说，处理电路104可检索在非常大的米色区 之上有非常大的蓝色区的所有图像。
在上面所述的任 一 例中，处理电路1 0 4可访问存储图像的区域信息， 将搜索标准与存储图像的区域的区域信息进行比较，来试图找出期望的 图像。处理电路104可以使用词汇颜色名称、量和位置信息来进行比较 操作。例如，可使用词汇颜色名称、量和位置信息来计算搜索标准的至 少一个区域相对于每一个储存图像的区域的距离。处理电路104可配置 为将搜索标准与每一个存储图像的相似性分级为，与图形表示的大小成 正比、与图形表示的形心成反比、与图形表示的颜色差异成反比的关系。 例如，可用下式计算两幅图像1和2之间的距离戸/c/;5V2e, * / 加Wze^
其中，
公式2
处理电路1 04可响应由与相应区域对应的计算出的距离指示的图像 的区域的相似性，提供指示所比较的图像的相似性的信息。例如，存储 的图像可从最近或最相似到最远或最不相似进行分级。如步骤408所示， 处理电路104可以使用显示器116描绘搜索结果，用户可以选择想要的 图像来阅览。可从存储电路106获得选定图像的初始图像数据，使用显 示器116进行显示。
为方便搜索表示相对于与存储图像有关的信息进行的处理，处理电 路104可最开始将搜索表示的最大图形表示与存储图像的最大图形表示
进行比较，如果发现较大图形表示足够相似，就随后继续分析较小尺寸 的图形表示。
这里说明和解释了本发明的优选实施例及其变形。这里所用的术 语、说明和附图仅仅是说明性的而不是限制性的。本领域的技术人员将 认识到，在本发明的精神和范围内可能有多种变化。本发明的精神和范 围将由下面的权利要求及其等同物来界定，其中除非另有说明外，所有 术语都是指最广的合理化的范畴。
权利要求
1.一种图像管理方法(300)，包括获得(304)包含对象的图像的图像数据；产生(320)对象的图形表示(204′-210c′)；确定(322)图形表示(204′-210c′)的形心和大小；确定(324)形心的位置；根据所确定的形心位置，确定(328)图形表示(204′-210c′)的形态，其中所述图形表示(204′-210c′)的形态包括图形表示(204′-210c′)相互之间的物理关系；对图形表示(204′-210c′)的形心位置、大小、颜色和形态，分配(332)人可读的词汇表示；和将所分配的人可读的词汇表示存储(308)在数据库(120)中，所述数据库(120)可通过人可读的词汇进行搜索。
2. 如权利要求l所述的方法(300 ),还包括 对包含多个图形表示(204'- 210cO的图像，确定(330 )该多个图形表示210c')相互之间的形态；和分配(332 )该多个图形表示210cO的相对位置的词汇表示。
3. 如权利要求2所述的方法(300 ),其中分配该多个图形表示 (204'- 210cO的词汇表示还包括分配与哪个图形表示(204'- 210cO和哪个图形表示(204'- 210cO接触、以及哪个图形表示(210cO 和相应图像的至少一个边界接触有关的词汇表示。
4. 如权利要求l、 2或3所述的方法(300 ),其中产生对象的图 形表示(204'- 210cO还包括量化图像以确定具有至少一个一致和共同 的特征的图形表示(204'- 210cO,来确定该多个图形表示(204'-210cO 。
5. 如权利要求l、 2、 3或4所述的方法(300, 400 ),还包括 响应收到搜索查询，从数据库中检索出(406 )至少一个图像，其中搜索查询包括基于文本的查询。
6. —种图像管理系统(100 ),包括处理电路(104),配置为获得多个图像的图像数据，所述处理电路(1 04 )配置为生成该多个图像中所含对象的图形表示(2 04' - 210O , 确定图形表示的形心和大小，确定图形表示的形态，以及分配图形表示 (204'- 210cO的形心位置、大小、颜色和形态的人可读的词汇表示； 和存储电路(106 )，配置为存储该多个图像和存储该多个图像的多 个人可读的词汇表示。
7. 如权利要求6所述的图像管理系统(100)，其中处理电路(104 ) 还配置为量化图像以确定相应的图像中具有至少一个一致和共同的特 征的图形表示，来由此确定多个图形表示(204'- 210c')。
8. 如权利要求6或7所述的图像管理系统(100 ),其中，处理电 路(104 )还配置为将形心的位置绘制在语素词汇组织图(2M)上，将 语素词汇组织图(220 )分成多个虚拟区域(224， 226 ),以及#^据虚 拟区域(224, 226 )和包含在虚拟区域(224， 226 )中的图形表示(204'-210cO之间的关系，分配图形表示(204'- 210cO的形态的人可读的表 示。
9. 如权利要求6、 7或8所述的图像管理系统(100 ),其中，处 理电路(104 )配置为响应收到搜索查询从存储电路(106 )中检索出至 少一个图像，并且其中处理电路(104 )还配置为确定搜索查询的一个 或多个特征，其中该一个或多个特征至少定义了期望图像中的各图形表 示(204'- 210c')的相对位置。
10. —种在其上包含一个或多个计算机程序的计算机可读存储介 质，所述一个或多个计算机程序实现图像管理的方法(300),所述一个 或多个计算机程序包括一 系列指令来获得(304 )多个包含对象的图像的图像数据；产生(320 )对象的图形表示(204'- 210c。;确定(322 )图形表示(204'- 210cO的形心和大小；为该多个图像中的每一个确定(324 )形心的位置；根据标绘的形心位置，确定(328 )图形表示(204'- 210c')的形态，其中所述图形表示(2 04' - 210cO的形态包括图形表示(2 04' - 210cO相互之间的物理关系；为该多个图像中的每一个分配(332 )图形表示(204'- 210cO的形心位置、大小、颜色和形态的人可读的词汇表示；和将所分配的人可读的词汇表示存储(308 )在数据库(120)中，所述数据库(120)可通过含有人可读的词汇的搜索查询进行搜索。
全文摘要
在一种图像管理的方法(300)中，获得(304)包含对象的图像的图像数据。产生(320)对象的图形表示(204′-210c′)，确定(322)图形表示(204′-210c′)的形心和大小。确定(324)形心的位置，以及确定(328)基于形心位置的图形表示(204′-210c′)的形态。分配(332)图形表示(204′-210c′)的形心位置、大小、颜色和形态的人可读的词汇表示，并存储(308)在数据库(120)中，所述数据库可通过人可读的词汇进行搜索。
文档编号G06F17/30GK101529422SQ200780038845
公开日2009年9月9日 申请日期2007年10月17日 优先权日2006年10月17日
发明者P·吴, P·奥布拉多 申请人:惠普开发有限公司