专利名称：索引和搜索图形元素的方法和设备的制作方法
技术领域：
本发明涉及一种索引图形元素的索引方法和设备、使用索引方法的搜索方法、用于搜索图形元素集合特别是属于各个信息单元的封面图像集合的搜索设备、以及包括搜索设备的用户电子产品。
封面图像指一个信息单元专有的、并用来识别该信息单元的图像。包含封面图像的信息单元包括特别是数字格式的多种物资，例如书、音乐唱片、音频或视频CD、DVD、电影海报、家用视频、照片。本发明可以用来搜索任何图像集合。
背景技术：
在包括数据存储的用户电子产品中数据的存取是一个关键特性。研究和经验表明某些人更容易记住颜色而不是名称。具备这种能力的人倾向于通过封面颜色搜索CD，而不是通过他们往往记不住的艺人和/或唱片名称搜索。直到如今，在浏览大音乐集合的电子工具中仍很少支持这类搜索。
WO-A-0221530公开了一种设备，用于重现有序的信息单元，例如TV节目。从例如视频节目的有序信息单元开始，该设备产生长度显示，该长度显示对例如平均颜色这样的视频帧内容的特定描述进行编码，并允许视频节目中的内容驱动导航。在视频节目中视频帧的顺序是预定的。
发明目标和简述本发明的一个目的是帮助索引和搜索图像集合或信息单元集合，人们可以通过封面颜色识别这些集合。本发明的另一个目的是帮助浏览任何类型的信息内容，人们将参考颜色提交这些信息内容。
本发明的另一个目的是根据图形元素的颜色，以对应于人们通常参考颜色的方式来索引图形元素。
本发明的另一个目的是制备一种搜索设备，其中查询以对应于人们通常参考颜色的方式而提出。
根据本发明，通过索引图形元素的索引方法获得所述目的，包括以下步骤通过为彩色属性的至少一种颜色提供多维彩色空间的一组坐标，确定图形元素的彩色属性，如果所述至少一种颜色符合第一条件，减少所述至少一种颜色的该组坐标到一个色调值，如果所述至少一种颜色符合第二条件，减少所述至少一种颜色的该组坐标到一个亮度值，并对索引所述图形元素的索引数据进行分类，所述索引数据包括从彩色属性的所述至少一种颜色得出的色调值和/或从彩色属性的所述至少一种颜色得出的亮度值。
图形元素表示包括至少一种颜色说明的任何数据，包括图示数据、数字化的图像或图画、视频帧、图标、这些元素中的一个元素的部分等。彩色属性表示可通过参考一种颜色或多种颜色描述的图形元素的任何特征，包括图形元素中的平均颜色、图形元素中的主颜色、图形元素中颜色的统计分布、图形元素的负颜色等。
本发明的一个基本思想是根据需要由索引数据表示的特征，通过选择最相关和最重要类型的索引数据，浓缩图形元素的颜色方面的主要特征到少量的索引数据。本发明的另一个基本思想是，从人类观察者的角度，在经验上可将颜色分成两类。一方面，对于人类观察者，存在位于可见光谱范围内即彩虹颜色中的颜色。这些颜色被称为真彩色，一般由名称指示，例如红色、橙色等。尽管很明显感觉一种颜色是红色，它可以较亮或较暗，与该颜色是红色相比，这类信息可以次要地考虑。从人类观察者的角度，感觉为真彩色的最重要或最容易记住的信息是它处于光谱中的位置。因此，对于第一类颜色，最重要的索引数据是准确地表征它在可见光谱中的颜色位置的参数，即色调值。色调值指这样一种参数，它一般以其在通用颜色系统例如蒙赛尔、HSL、HSB等中的名称称呼。另一方面，存在人类观察者不能在可见光谱中找到位置的颜色，即，感觉它既不是红色，也不是蓝色等。从物理的角度，这些颜色是波长混合的结果，其中人眼感觉不到任何主颜色或不能从无关紧要的总发光度感觉到颜色。这些颜色包括白色、灰色或黑色，以及无限的不能用语言表达的颜色，它们将被称为灰色。从人类观察者的角度，这类颜色最重要或最容易记住的信息是它是亮的还是暗的。因此，对于第二类颜色，最重要的索引数据是准确表征发光度的参数，即亮度值。亮度值涉及这样一个参数，它表征通用颜色系统例如蒙赛尔、HSL、HSB等中的发光度，在现有技术中它一般被称为“亮度”、“光亮度”、“发光度”或“水平”。
这样，通过使用彩色属性的一种或多种颜色的多维表示首先确定图形元素的彩色属性。这种多维表示使其能够表征和准确重现任何可能的颜色或细微差别。例如，一些常规计算机系统可以处理超过16,000,000种颜色。现有技术中已经知道多种颜色的常规多维表示，它们可以用作初始级。考虑现有的彩色表示，总是存在至少三个颜色参数。在标准图像处理软件应用程序例如Adobe PhotoShop 5.5中使用的一些已知的彩色表示为-色调、饱和度和亮度(HSB)-红色、绿色、蓝色(RGB)-青色、洋红色、黄色和黑色(CMYK)HSB系统是优选的，因为该系统易于理解且大多数情况它的参数对应于观察者观看一种颜色所感觉到的特征。色调代表色谱中的特定位置。饱和度代表颜色深度，即它是全色还是浅色。最后，亮度确定它是亮色还是暗色。
这样，可以产生颜色的约化表示，它作为图形元素的索引数据保存。如果满足第一条件，该约化表示是色调值，如果满足第二条件，该约化表示是亮度值。优选地第一条件应该与上述第一类颜色相匹配，优选地第二条件应该与上述第二类颜色相匹配。这样，颜色的多维表示转换成单个参数。可以设计第一和第二条件以映射或投射整个彩色空间到色调轴和亮度轴。一个优选实施例中，可以设计这种投射使得彩色空间的每个点对应于一个且仅对应于一个色调值或亮度值。而且，色调轴和亮度轴可以集成到单个复合轴，以映射整个彩色空间到单个轴，该轴表示了关于每种颜色的重要信息。这种复合轴可用于分类所有颜色到单个列表，并以直观显著的方式为颜色排序。
将颜色的表示从一个彩色空间转换到另一个空间转换的转换技术在现有技术中已知。这些技术可用于从任意常规彩色空间的一组坐标中计算色调值或亮度值。很明显，当从HSB彩色空间开始时，计算是最小的。得出的索引数据具有短且重要的优点，所以它能有效地分类或检索图形元素。
权利要求2中定义的措施具有这样的优点，即可以设计彩色空间的预定区域，以满意的精确度包含上述第一和第二经验颜色类型。当使用HSB彩色空间时，这些经验类型到彩色空间区域的映射特别简单。不过，也可使用更复杂的条件以考虑颜色自身属性之外的特性，例如，相邻像素的颜色。
权利要求3中定义的措施提供了通常感觉为真彩色的颜色的简单且通常可接受的定义。有利地，将彩色空间的其他部分考虑成第二经验类型的颜色。
权利要求4中定义的措施具有这样的优点，即产生的索引数据以压缩的格式表征图形元素中的颜色分布。例如，索引数据可以采用复合彩色柱状图形式，其中每个像素要么是灰色要么是真彩色。这种柱状图可以以一维表示。
权利要求5中定义的措施具有这样的优点，即根据颜色种类即给定常用名称的颜色组，例如红色、黄色、绿色、黑色、白色等，色调谱和亮度谱可以分段。因此，从由色调和亮度以及色调和亮度谱的预定段组成的组中选择索引数据允许映射或投射整个彩色空间到单组基于普通语言的颜色范畴。一个优选实施例中，可以设计这种映射使得彩色空间的每个点映射到一个且仅映射到一个种类范畴。根据权利要求5中分类的索引数据，可以实现简单和有效的搜索方法，其中查询对应于常用语言术语，其中通过简单地浏览合适的范畴响应这样的查询，检索图形元素，而不需要转换该查询到更复杂的抽象数据。
权利要求6中定义的措施具有这样的优点，即图形元素集合可以分类成列表或阵列，它们可用于图形元素的后续检索和分级。例如，彩色属性可以是图形元素的平均颜色或图形元素中的主颜色。图形元素可以根据该单个颜色分类成具有行和列的阵列，其中每行或每列由其索引数据落到色调或亮度预定义段的图形元素组成。当索引数据在搜索方法中使用时，搜索的结果可以根据索引数据的分类显示。因为可以在输入查询之前对索引数据进行分类，在检索期间基本没有涉及到计算。因为图形元素在列表中的顺序或阵列中的行的顺序或列的顺序对应于增强或降低色调值或亮度值，所以这种分类具有直观的意义。因此，通过选择匹配子集的一个匹配部分，可以容易且快速地执行基于所需颜色的图形元素的检索。
本发明还提供使用上述索引方法来搜索图形元素集合的搜索方法，所述搜索方法包括以下步骤用所述索引方法索引集合中的每个图形元素；接收至少一个指定至少一种所需颜色的输入；确定对应于所述至少一个输入的搜索查询，如果所述至少一种所需颜色包括一个真彩色，则所述搜索查询属于一个色调值或色调范围，如果所述至少一种所需颜色包括一个灰度颜色，则所述搜索查询属于一个亮度值或亮度范围；分析图形元素的索引数据，用于选择其索引数据包括基本与搜索查询相匹配的至少一个色调或亮度值的图形元素；以及从集合中检索所选的图形元素。
使用本搜索方法，人们仅使用脑海中的视觉信息而不是名称或数字或其他算术信息就可以搜索图形元素集合或包括图形元素的信息单元。因为在索引图形元素时涉及耗时的计算，例如在搜索之前执行彩色图像中颜色的统计分布的评估，且对于每个查询不需要重复，并且因为索引数据本身是更浓缩的，所以搜索过程可以快速地执行。而且，因为查询基于一个或多个所需颜色的说明，用于输入查询的用户界面可以制备得简单且界面友好。
权利要求8中定义的措施具有这样的优点，即查询信息是很直观的，这是因为用户可以根据彩色色标中的彩色部分的颜色和所需图像中颜色之间的相似性来选择最相似的彩色部分。
彩色部分可以对应于颜色种类，例如绿色、蓝色、红色、黄色、黑色、白色等。这样，用户界面可以很简单。一个备选实施例中，彩色部分定义成图形元素的索引数据中色调和亮度值分布的函数。这具有这样的优点，即彩色部分的颜色可以再现，其颜色非常类似于图形元素中可以发现的平均颜色或主颜色。
权利要求9中定义的措施具有这样的优点，即标记可以用作滤波器以选择色调或亮度的预定范围。当提供少量位置时，可以使用索引数据执行预计算以加速图形元素的后续检索。标记可以是任何形式，例如箭头或在复合彩色色标上重叠的方形窗口。另一个优选实施例中，允许标记沿着彩色色标连续地移动。这使标记平滑地移动，以准确选择复合彩色色标上示出的任何颜色。
受益于权利要求10中定义的措施，就图形元素的各自单色属性来讲，复合彩色色标的设计给出了图形元素分布的概览。因此，彩色色标中的彩色部分的长度正比于图形元素的数目，其相应的索引数据落在由彩色部分表示的给定范围。为此，可以调整与彩色部分和/或彩色部分长度对应的各个范围到图形元素集合。例如，就每个彩色部分的单色属性方面来讲，每个彩色部分可以具有相同的长度并可以定义相应的范围，以使基本相等数量的图形元素与每个彩色部分相关联。另一个优点是彩色色标仅包括这样的彩色部分，其相应的亮度或色调值或色调范围与至少一个图形元素的索引数据相匹配。这样，复合彩色色标的所有部分都是有用的，并且在显示器上优化了复合彩色色标的大小。
本发明还提供用于索引图形元素的索引设备，包括颜色分析仪，通过为彩色属性的至少一种颜色提供多维彩色空间的一组坐标，确定图形元素的彩色属性，如果所述至少一种颜色符合第一条件，减小所述至少一种颜色的该组坐标到一个色调值，如果所述至少一种颜色符合第二条件，则减小所述至少一种颜色的该组坐标到一个亮度值；存储装置，存储用于索引所述图形元素的索引数据，所述索引数据包括从该彩色属性的所述至少一种颜色得出的色调值和/或从该彩色属性的所述至少一种颜色得出的亮度值。
本发明还提供一种用于搜索图形元素集合的搜索设备，包括-如上面定义的索引设备，用于索引集合中的每个图形元素，-用户可操作输入装置，用于接收至少一个指定至少一个所需颜色的输入，并用于确定对应于所述至少一个输入的搜索查询，如果所述至少一种所需颜色包括真彩色，所述搜索查询属于色调值或色调范围，如果所述至少一种所需颜色包括灰色，所述搜索查询属于亮度值或亮度范围，-图形元素检索控制器，用于分析图形元素的索引数据，以便选择其索引数据包括至少一个基本与搜索查询匹配的色调值或亮度值的图形元素，并从集合中检索选出的图形元素。
本发明还提供用户电子产品，它涉及数据存储并包括如上定义的搜索设备。举例来说，这种用户电子产品可以是移动电话、音频和/或视频播放器、膝上电脑、机顶盒等。
举例来说，参考附图，通过此后描述的实施例，本发明的这些和其他方面都将显而易见并得到阐述。
附图简述
图1是根据本发明的一个实施例的图像搜索设备的示意图，图2示出了根据本发明一般实施例的搜索方法的流程图，图3示出了用于根据本发明第一实施例的搜索方法的用户界面屏幕，图4示出了用于根据本发明第二实施例的搜索方法的用户界面屏幕，图5示出了在图4的搜索方法中计算用于分级所检索出图像的分值的方法，图6示出了用于根据本发明第三实施例的搜索方法的用户界面屏幕，图7示出了用于根据本发明第四实施例的搜索方法的用户界面屏幕，图8的HSB彩色空间的剖面图示出了用在根据本发明实施例的索引方法中的两个预定区域，图9示出了用于根据本发明实施例的图像索引的复合彩色柱状图，图10示出了用于根据本发明实施例的图像索引的分段复合彩色柱状图。
发明详述图1示出了适用于执行本发明的索引和搜索方法的计算机系统的一个实施例。图像搜索系统1包括有效地耦合到显示器3的处理器2、例如鼠标或其他装置的指针装置4、键盘5、海量存储装置6和可寻址存储器7。海量存储装置6主要用于存储包括图示图像和数字化照片的图像。海量存储装置6中，图像可以存储到信息单元数据库8中，其中信息单元可以是图像本身或包括该图像的更为复杂的对象。本发明的一个实施例中，信息单元数据库8是音乐唱片数据库，其中每个信息单元包括下面的域唱片名称、艺人姓名、音轨(以任何合适的音频文件格式，例如MP3)和封面图像(以任何合适的图像文件格式，例如JPEG)。封面图像域包含唱片封面的数字图像。
存储器7存储控制处理器2的软件应用程序9，用于实现根据图8到10描述的图像索引方法和根据图2到7描述的图像搜索方法。这些图像搜索方法使用户能够和计算机系统交互，以便检索和显示具有某些彩色属性的一个或多个图像。这些图像搜索软件应用程序9包括图像分析仪12，分析数据库8中的图像并产生包含涉及这些图像的图像索引数据的图像索引文件13。图像索引文件13可以和图像一起存储或分离地存储。用户界面控制器11提供显示器3上的用户界面屏幕，并监视指针装置4和键盘5的输入以在用户界面详细描述搜索查询。搜索查询被传递到图像检索和显示控制器10，该图像检索和显示控制器10检索与查询相匹配的图像并在显示器3上显示它们。显示器3是常规设计，应该具有足够空间和彩色分辨率用以显示由图像检索和显示控制器10提供的图像。
现在参考图8到10，描述了多种索引方法，它们由图像分析仪12执行，用于产生图像索引文件13。
根据第一实施例，每个图像的索引是基于平均颜色的。相应地，执行下面的步骤a)图像中每个像素的颜色以色调、饱和度和亮度坐标计算。计算图像中的平均色调、平均饱和度和平均亮度。通过将所有像素的色调值相加并将该总和除以像素数目来计算平均色调。可以类似地计算平均饱和度和平均亮度。
b)图8表示HSB彩色空间在恒定色调平面的剖面图，并示出了HSB彩色空间80划分成两个预定区域81和82。这种划分根据人类观察者一般怎样感觉或描述平均颜色来表征平均颜色。图8中，区域81包括一般感觉为真彩色的颜色，即，彩虹的颜色(电磁波的可见光谱)。包括彩色空间80的其他部分的区域82包含一般感觉为灰色的颜色，即，所有和彩虹中的颜色关系不大的颜色，包括白色、灰色和黑色。
区域81具有下饱和度边界83。实际上，当图像的平均饱和度很低时，平均色调与观察者观看图像将感觉到的颜色关系很小。如果是饱和度正好等于0的黑-白图像的情况，色调是没有意义的。在这种情况下，图像中的平均颜色对于人类观察者来说基本是灰色的，所以它能够完全由平均亮度值决定，而不管色调值如何。例如，下饱和度边界可以选择在10到25％之间。图8所示的优选实施例中，下饱和度边界是0-255色标上的32。
区域81具有下亮度边界84。实际上，当亮度接近或等于0时，图像的平均颜色感觉为基本黑色或黑色，而不管色度和饱和度值如何。例如，下亮度边界可以选择在5到25％或更低的值之间。图8所示的优选实施例中，下亮度边界是0-255色标上的16。
区域81还具有上亮度边界85。实际上，当亮度接近最小或最大值时，图像的平均颜色感觉为基本白色或白色，而不管色调和饱和度值如何。例如，上边界可以选择在75到95％之间。图8所示的优选实施例中，上亮度边界是0-255色标上的248。
c)如果平均颜色属于区域81，仅存储平均颜色的色调值作为索引文件13中的图像的索引数据。如果平均颜色属于区域82，仅存储平均颜色的亮度值作为索引文件13中的图像的索引数据。
因此，对于数据库8中的每个图像获得了单个索引数据。该单个索引数据可以用来以直观明显的方式例如以单列表的方式对图像进行分类，并以简单的方式检索图像。
根据第二实施例，每个图像的索引基于颜色的统计分布。因此，执行下面的步骤a)图像的每个像素的颜色以色调、饱和度和亮度坐标的方式计算。
b)对于图像的每个像素，确定该像素是属于上述区域81还是属于区域82。
c)如图9所示，产生图像的复合彩色柱状图86，它包括代表全部色调谱的半轴87和代表全部亮度谱的半轴88。例如，色调值和亮度值以0到255之间的1字节整数表示。属于区域81的像素在半轴87的竖条中计算，而不管亮度和饱和度值如何。属于区域82的像素在半轴88的竖条中计算，而不管色调和饱和度值如何。
d)复合彩色柱状图86作为索引文件13中的图像的索引数据保存。复合彩色柱状图86具有这样的优点，即它在单个水平轴上表示图像中的所有颜色。它可以根据颜色在图像中的普及程度而对颜色进行分类。半轴87和88的分辨率不能太高，以便不冲淡彩色分布的主要图案。图9中示出的柱状图具有任意数目的像素，它仅起示意性目的。
根据第三实施例，图像中颜色的分布根据预定的颜色种类进行分类。因此，色调谱划分成6个预定的色调段，它们对应于下面的真彩色种类红色、橙色、黄色、绿色、蓝色和紫色。这些段的定义在表1中概括。亮度谱被划分成三个预定的亮度段，它们对应于下面的灰色种类白色、灰色和黑色。这些段的定义在表1中概括。
表1B代表亮度值，H代表色调值。所有值都在0-255的色标上测量。
第三实施例中，以与第二实施例中类似的方式产生复合彩色柱状图。不过，如图10所示，半轴87和88的分辨率与预定段匹配。因此，对于属于彩色空间的区域82的像素，该复合彩色柱状图具有三个计数(或条)，对于属于彩色空间区域81的像素，具有七个计数(条)。应当注意红色种类包括两个条。在一个没有示出的修改方案中，可以修改半轴87以合并对应于该红色种类的两个条。图10中示出的分段的复合彩色柱状图89具有任意的像素数，它仅起示意性目的。分段的复合彩色柱状图89具有这样的优点，即由计算参数表示的颜色的统计分布映射到单组范畴，该组范畴与人们以简单方式描述彩色的常用范畴以及术语相匹配。分段的复合彩色柱状图89可以作为索引文件13中图像的索引数据存储。
根据索引方法的第四实施例，如上所述产生分段的复合彩色柱状图89，通过选择分段的复合彩色柱状图89中具有最高像素计数的段来确定主要的颜色种类。不是将整个柱状图存储到索引文件13中，图像可以仅使用主要颜色种类和落在相应段中的像素计数或比例来索引。同样，这种简单的索引数据可以以直观明显的方式例如矩阵方式对图像进行分类，并以简单的方法检索图像。
提出数量限制以区分何时一种颜色应当一般被感觉为真彩色和何时它应该一般被感觉为黑色或白色即灰度值的情况。因为这种区别大概是心理上的感觉，所以可以使用其他的数量限制。而且，Microsoft在软件应用程序PowerPoint中的彩色系统中使用的上述数量限制可以被修改，并根据监视器、图形卡和具有对彩色再现有影响的计算机系统的所有软件和硬件部件而调整。相同的情况应用于数量限制，以描述颜色种类。
应当注意画出真彩色和灰色之间清晰的界线大概是主观感觉，不同人的解答可能不同。例如，很苍白的颜色将被一个人感觉为真彩色而被另一个人感觉为白色。因为这个原因，在一个修改的实施例中，可以定义一个过渡区域，其中一种颜色同时符合色调值索引条件和亮度值索引条件。该实施例中，在复合彩色柱状图的两部分中都计数落在该过渡区域中的像素。这样，两个图像具有相同的色调分布，具有较苍白颜色的图像将在涉及灰度值的柱状图部分具有较高的像素数目。例如，过渡区域(未示出)具有位于图8中示出的边界83、84和85中心的U型带形式，并且在它们的两端向外伸展。
图2的流程图表示根据本发明一般实施例的图像搜索方法的概述。首先，在图像输入步骤20，大量的图像输入到图像搜索系统1并存储到信息单元数据库8以在搜索过程使用。例如，通过用数字化转换器将图像数字化、通过以常规图形设计应用程序组合图像，或者通过从其他装置例如远程计算机或数码相机下载图像，将所述图像输入到信息单元数据库8。如所述的，图像可以是例如数字化音乐唱片这样的更复杂数据结构的一部分。图像可以被常规压缩技术压缩以减小它们的存储需求。在图像分析步骤21中，图像分析仪12分析每个图像以产生存储在图像索引文件13中的索引数据。在可选的图像分类步骤22中，图像分析仪12使用图像的索引数据以对图像进行分类，作为它们彩色属性的函数，使得图像的后续检索加速。在用户界面屏幕产生步骤23，用户界面控制器11产生在显示器3上显示的用户界面屏幕。在查询输入步骤24，用户使用指针装置4或键盘5和用户界面屏幕将一个查询输入到图像搜索设备。图像检索步骤25中，图像检索和显示控制器10使用索引数据从数据库8中检索基本与查询相匹配的图像。作为可选项，可以计算用于分级每个检索出的图像的分值。在图像显示步骤26，在显示器3上显示检索出的图像以被观察者进一步识别。
下面描述该搜索方法的详细实施例。
第一实施例中，图像的索引和搜索基于平均颜色。图3中示出了用于详细描述查询和可视化所检索图像的相应的用户界面屏幕30。
在图像分析步骤21，图像分析仪12根据索引方法的第一实施例分析每个图像。涉及图像的平均颜色的亮度值或色调值保存到索引文件13中。
在图像分类步骤22，图像分析仪12根据索引数据将图像分成两个子集，即其索引数据是色调值的图像分到第一子集，其索引数据是亮度值的图像分到第二子集。每个子集中，图像根据它们各自的索引数据值例如以升序或降序在列表中分级。描述每个子集的组合和内部顺序的集合索引存储在图像索引文件13中。
在用户界面屏幕产生步骤23，用户界面控制器产生在用户界面屏幕30上显示的复合彩色滑动条31。该复合彩色滑动条31由用于输入属于色调值的查询的真彩色色标32、用于输入属于亮度值的查询的灰色色标33、可沿真彩色色标32和灰色色标33移动的光标34、以及分别用于向上或向下移动光标34的控制按钮35和36组成。
真彩色色标32是以渐变方式表示色谱的直条，可能具有某些间隙。真彩色色标32由相邻的均匀的彩色部分32a组成。每个部分32a具有一个真彩色，它具有各自的色调值。部分32a根据色调值排序，例如向上增加和向下方向减少或以其它方式。这样，真彩色色标2看上去类似于彩虹。
第一实施例中，例如根据下面的步骤产生真彩色色标32a)根据显示器3上的像素数目，真彩色色标32的预设长度即L被第一子集中的图像的数目即N除。数字R＝L/N代表每个图像的彩色色标长度。
b)如果数字R大于1，将为每个图像产生一个彩色部分32a，所述彩色部分的色调值等于相应的索引数据的色调值。
c)如果数字R小于1，每个彩色部分32a将从第一子集匹配多个图像。例如，产生具有一个像素长度的彩色部分32a。分级图像的第一子集被连续地划分到每个都包括[1/R]或[1/R]+1个图像的组。对于每个所述组产生一个彩色部分32a，彩色部分32的颜色的色调值从该组中的图像的索引数据中得出。例如，彩色部分32a的色调值可以作为该组中图像的索引数据的平均值或最高值或最低值计算。然而，因为仅使用索引数据，产生真彩色色标32时不考虑第一子集中图像的平均饱和度和平均亮度。设置全部真彩色色标32的亮度和饱和度，以避免在每个彩色部分示出颜色时的含糊不清。例如，饱和度可以设置在相应谱的上部，亮度可以设置在相应谱的中间。
以上述方式产生的真彩色色标32给出第一子集中的图像集合的概述，确保了沿着真彩色色标32的图像的基本均匀的分布，并当光标34沿着真彩色色标32移动时允许所检索图像的列表的平滑滚动。没有示出未被第一子集中的任何图像匹配的色谱部分。因此，真彩色色标32可以包括色调方面的一些突变过渡。
上述真彩色色标产生方法中，为每个彩色部分分配最小长度以获得由用户给出的颜色方面的可能最好分辨率以便选择所需颜色。然而，可以以类似的方式构建具有多于一个像素长度的彩色部分32a。
灰色色标33是代表以渐变方式从白到黑的灰度谱的直条，可能具有一些间隙。灰色色标33由相邻均匀的灰色部分33a组成。每个部分33a具有灰度颜色，它具有各自的亮度值和零饱和度。部分33a根据亮度值分类，例如向上增加向下方向减少，或以其它方式。灰色色标33以与真彩色色标32相同的方式产生，所以读者可以参考上述真彩色色标产生的描述，用图像的第二子集代替图像的第一子集以及用亮度值参数代替色调值。
在查询输入步骤24，使用指针装置4或键盘5，通过把光标34放置在沿着复合彩色滑动条31的某个位置，用户输入一个查询到图像搜索系统。用户仅需要注意彩色部分32a和33a的外形以选择最好地表示了所需图像中平均颜色的彩色部分32a或33a。更准确地，把光标34放置在沿着真彩色色标32的彩色部分32a的位置产生属于色调的查询，所述色调的查询参考所述部分32a的颜色的色调值。把光标34放置在沿着灰色色标33的彩色部分33a的位置产生属于亮度的查询，并且参考所述部分33a的颜色的亮度值。因此，在第一实施例中，查询仅包括亮度值或色调值而没有其他信息。从用户的角度，查询仅是期望的真彩色或灰色。
在图像检索步骤25，图像检索和显示控制器10检索数据库8中的与查询最佳匹配的一个或多个图像。使用在步骤22获得并存储在索引文件13中的集合索引，图像检索和显示控制器10仅需要跳到合适子集中分级图像列表中的合适相继位置，即跳到与查询最佳匹配的图像索引数据，并检索相应的图像识别代码或地址，以及列表中一定数目即M的相邻图像的这些图像识别代码或地址。然后从数据库8检索出M个图像。所有这些几乎不需要计算，因为图像的分级在集合索引中已经写入。
从图3可以看出，图像显示步骤26中，检索出的图像37以平行于复合彩色滑动条31的一维列表的形式以一定的顺序显示，该顺序对应于关于平均颜色变化的相应彩色色标32或33的取向。如果光标34在彩色色标32和33之间的过渡处移动，第一子集末端的图像与第二子集末端的图像相邻显示，所以对于任何位置的光标34，显示连续的列表。灰色色标33可以在真彩色色标32之上或之下。
图3的实例中，M＝3，即显示三个图像37。每个图像37代表音乐唱片的封面。唱片的名称和艺人姓名也从数据库8检索并在与相应图像37相邻的位置38显示。待显示图像的数目M同时可以预设或由用户定义。可以提供放大按钮和缩小按钮(未示出)以选择同时显示的图像的数量即列表部分。
因此，具有平均真彩色的CD封面被它们的平均色调值排序，而不管饱和度和亮度如何。这些值在CD封面的色调排序列表中仍将改变。不具有平均真彩色的CD封面，即其平均饱和度值低和/或其平均亮度值很高或很低的CD封面被根据它们的平均亮度值排序，而不管饱和度和色调值如何。所有CD/MP3唱片封面基于它们的平均颜色排序并在一维列表中显示，通过滑动条31可以全部浏览。该滑动条以压缩格式示出了封面的颜色使得能够快速跳到所需CD封面的部分。
已经发现这样的情况，其中尽管图像的平均颜色属于区域81，但平均色调值可能是无意义的。例如，这将在图像包括很多不同颜色或有限组颜色的相等分布时发生。在这些情况下使用平均亮度值而不是平均色调值索引这些图像是明智的。因此，决定图像应该使用色调值或亮度值索引的原则可以基于更复杂的条件，而不是仅基于相对于彩色空间区域的平均颜色的位置。图像中颜色的分布将考虑到这些更复杂的条件，以检测存在很多不同颜色或有限组颜色的相等分布的图像。这些条件可以通过用户测试确定。
下面参考图4描述搜索方法的第二实施例。
第二实施例中，根据上述索引方法的第二实施例执行图像分析步骤21。图像分类步骤22在第二实施例中省略。
从图4可以看出，第二实施例的用户界面屏幕40具有两个相同的复合彩色滑动条44和45，它们看上去类似于第一实施例的复合彩色滑动条31。然而，在复合彩色滑动条44和45中，灰色色标15是预定义的色标，它跨越从黑到白的整个亮度谱，而不管图像中颜色的实际分布如何。同样，真彩色色标16是预定的色标，它跨越整个色调谱，而不管图像中颜色的实际分布如何。标记46和47具有方形窗口的形式，它们在两个复合彩色滑动条44和45上跨越色标的一部分。
在查询输入步骤24，基于两个标记46和47的位置输入查询。每个标记用作连续滤波器，这将参考图5解释。
图5的上部是对应于图4中标记46和47位置的搜索查询的示意图。查询表示为位于复合轴上的一组两个滤波器48和49，该复合轴包括代表灰色色标15的部分52和代表真彩色色标16的部分53。标记46和47在复合彩色滑动条44和45上的位置分别决定了滤波器48和49的位置。滤波器48和49表示为方块滤波器(square filter)，滤波器48的总权重大于滤波器49的总权重。然而，滤波器48和49可以以不同的形状例如尖形给出，以获得更多的选择性。
图5中，中间的图表示图像的复合彩色柱状图41，其中部分43涉及亮度谱而部分42涉及色调谱。对应于每个图像的类似的柱状图保存在索引文件13中。一旦输入查询，则对于每个索引的图像计算滤波器48和49与相应的复合彩色柱状图41的乘积，这导致两个峰值50和51。获得了用于分级图像的分值，它是峰值50和51的积分(面积)和。在图5的示意图中很明显，假设所有沿着复合彩色柱状图的部分42的色调值与沿着真彩色色标16的色调值相匹配，所有沿着复合彩色柱状图的部分43的亮度值与沿着灰色色标15的亮度值相匹配。
在检索步骤25中，从数据库8检索图像，从最高分级分值开始并沿此继续。在图像显示步骤26，如图4所示，检索出的图像37和相应的名称38在根据分级分值而分级的列表中显示。这样，具有查询中所选颜色最大比例的图像在列表头显示。普通滑动条54用来向上和向下滚动该列表。
用户界面屏幕30可以包括一个例如是电位计形式的选择器(未示出)，用于改变光标46和47的长度并且相应改变滤波器48和49的宽度。这样，用户可以定义查询的选择性水平。
根据另一个修改方案，通过为第二复合彩色滑动条45提供ON/OFF开关(未示出)，用户界面屏幕30和40可以集成到单个用户界面屏幕，这将导致计算机系统从对应于搜索方法的第一实施例的工作模式切换到对应于搜索方法的第二实施例的工作模式。
上述第二实施例中，在复合彩色滑动条44和45中存在层次，因为给予滤波器48比滤波器49更多的权重。一个备选实施例中，可以使用相同的权重使得两个复合彩色滑动条44和45具有总的等效功能。
理论上，光标46和47可以被定位使得在复合滑动条的灰色色标和真彩色色标上都有重叠。尽管相应的查询可以通过将所述查询划分成属于色调的查询和属于亮度的查询处理，但是这种查询几乎没有意义。这样，优选地防止两个光标的位置重叠，所以光标将跳跃色标之间的边界，直接从真彩色色标16的端部位置跳跃到灰色色标15的端部位置。
下面参考图6描述搜索方法的第三实施例。在图像分析步骤21中，图像分析仪21根据索引方法的第四实施例分析每个图像，使得每个图像的索引数据定义了对应于颜色种类并且与图像中像素的最高比例匹配的色调或亮度的主要的段。
图像分类步骤22中，每个图像被分类到对应于颜色种类的范畴。
用户界面屏幕60包括位于一侧上的垂直分段的复合彩色滑动条61、图像显示区域62、用于滚动所检索图像37的水平滑动条63、以及用于选择同时显示的行和列数目的一个视图选择器64。
分段的复合彩色滑动条61包括每个上述颜色种类的彩色键61a。设置键61的颜色以提供该范畴的清晰的定义。图6中，键从顶部到底部的顺序对应于表1的顺序。然而，如果范畴是空的，可以抑制相应的彩色键。
在查询输入步骤24，光标65垂直地移动，以根据视图选择器64的状态选择键61a或一组相邻的键61a。例如借助指针装置4移动时，光标65仅能跳到对应于键61a的离散的位置。检索步骤25中，每个所选键61a用作滤波器，使得分类到相应范畴的图像被检索并在一行中显示。在每行中，图像可以以很多方式分类，例如，随机地或根据主要段的像素的准确比例或根据其他参数分类。例如，单选按钮(未示出)可以包括在用户界面屏幕60上，用于为用户选择分类参数。在一行内用于分类图像所需的相应索引数据应当优选地在图像分析步骤21期间收集，所以在检索时几乎没有计算。
视图选择器64具有三个单选按钮。图6中，按钮64c被启动，使得同时显示三行图像，可同时显示高达9个图像。在这种情况下，光标65具有三个键的长度。按钮64a的启动导致计算机系统一次显示一个图像。在这种情况下，光标65调整大小到一个键的长度。水平滑动条63使用户能滚动图像37的行。按钮64b的启动导致计算机系统一次在两行显示4个图像。在这种情况下，光标65调整大小到两个键的长度。因为范畴是预定义的，所以每行可以包括不同数目的图像。这样，在一些行的末尾可以存在空白空间。所选范畴的图像也可以以列显示而不是以行显示。
现在参考图7描述搜索方法的第四实施例。第四实施例结合了搜索方法的第二和第三实施例的特点。根据索引方法的第三实施例执行图像分析步骤21，以获得类似于图10中示出的作为每个图像索引数据的分段的复合彩色柱状图。省略了分类步骤22。
用户界面屏幕70包括类似于第三实施例的分段的复合彩色滑动条61的两个垂直分段复合彩色滑动条分段的复合彩色滑动条71具有彩色键71a和光标72，调整光标72的大小使得一次选择一个范畴，分段复合彩色滑动条73具有彩色键73a和光标74，调整光标74的大小使得一次选择一个范畴。
查询输入步骤24中，基于两个光标72和74的部分输入查询。和搜索方法的第二实施例类似，每个光标用作连续滤波器。每个图像的分级分值以该实施例中相同的方法计算。两个实施例的主要区别在于，图像的复合彩色柱状图现在对应于亮度和色调谱的预定粗略的分段，并且还在于，光标72和74具有少量对应于该段的预定位置。因此，从光标72和74允许的不同位置得出的滤波器是预定义的，并且，图像的分段复合彩色柱状图和每个可能滤波器的乘积可以提前计算并积分。然后，对应于给定查询的用于分级分值的计算需要很少的计算，即，它是每个图像两个部分分值的和。水平滑动条75使得人们能滚动所检索的图像37。相应的名称38在图像37下显示。
如果查询包括相同范畴的双重选择，查询可以以特定的方式解释，以集中到其中所述范畴是主要的图像上。例如，仅检索出其中任何其他范畴集合小于像素的5％的那些图像。
一个实施例中，封面图像37可以具有数据库8中相应音频或视频文件的链接，所以双击检索出的图像将启动音频或视频软件应用程序并播放相应的文件。
上述实施例的复合彩色滑动条可以与搜索图像的其他工具组合。例如，可以在用户界面屏幕中提供按钮操作的滤波器，以便-仅检索具有大量颜色或少量颜色的图像，以使得照片与艺人图片区分开，-仅检索包含由模板定义的特定目标(例如乐器或人脸)的图像。各种形状识别方法可以用于此目的。上述滤波器列表没有限制意思。当使用其他搜索工具时，每个图像的索引数据将使用相应的数据(例如，一个指示了存在给定目标的标志等)完成。
动词“包含”和“包括”及其变化形式的使用并未将那些在权利要求中未提及的元件或步骤排除在外。而且，元件之前所用的不定冠词“一个”并未将多个元件排除在外。本发明可以借助硬件以及软件实现。多个“装置”可由同一硬件实现。
在各权利要求中，括号内的参考符号不应被理解成是对该权利要求的限制。
权利要求
1.一种索引图形元素的索引方法，包括以下步骤-通过为彩色属性的至少一种颜色提供多维彩色空间(80)的一组坐标，确定图形元素的彩色属性，-如果所述至少一种颜色符合第一条件，减小所述至少一种颜色的该组坐标到一个色调值，-如果所述至少一种颜色符合第二条件，减小所述至少一种颜色的该组坐标到一个亮度值，-存储用于索引所述图形元素的索引数据(13)，所述索引数据包括从该彩色属性的所述至少一种颜色得出的色调值和/或从该彩色属性的所述至少一种颜色得出的亮度值。
2.如权利要求1所述的索引方法，其中如果该颜色属于彩色空间的第一预定区域(81)，符合所述第一条件，如果该颜色属于彩色空间的第二预定区域(82)，则符合所述第二条件。
3.如权利要求2所述的索引方法，其中彩色空间的所述第一区域被饱和度的下边界(83)、亮度的下边界(84)以及亮度的上边界(85)的至少其中之一包围。
4.如权利要求1所述的索引方法，其中所述彩色属性是图形元素中颜色的统计分布，其中所述索引数据(86，89)包括从图形元素的大量像素中的每一个像素中得出的色调值和/或亮度值。
5.如权利要求1所述的索引方法，还包括以下步骤根据色调谱(87)的预定段对索引数据中的每个所述色调值进行分类，并且根据亮度谱(88)的预定段对索引数据中的每个所述亮度值进行分类。
6.如权利要求1所述的索引方法，其中图形元素集合(8)被索引，所述彩色属性包括用于集合的每个图形元素的单个颜色，所述索引方法还包括用图形元素的索引数据产生集合索引的步骤，以便根据所述单个颜色是否符合所述第一和第二条件而使图形元素分类到两个子集，并根据从所述单个颜色得出的是色调值还是亮度值对每个子集中的图形元素进行排序。
7.一种搜索图形元素集合的搜索方法，包括以下步骤-通过如权利要求1所述的索引方法索引(21，22)集合中的每个图形元素，-接收(24)至少一个指定至少一种所需颜色的输入，确定对应于所述至少一个输入的搜索查询，如果所述至少一种所需颜色包括真彩色，所述搜索查询属于色调值或色调范围，如果所述至少一种所需颜色包括灰色，所述搜索查询属于亮度值或亮度范围，-分析(25)图形元素的索引数据，用于选择其索引数据包括至少一个基本与搜索查询相匹配的色调值或亮度值的图形元素，以及-从集合中检索选出的图形元素。
8.如权利要求7所述的搜索方法，还包括以下步骤-产生(23)和显示至少一个包括真彩色色标(32，16)和灰色色标(33，15)的复合彩色色标(31，44，45，61，71，73)，该真彩色色标(32，16)划分成具有对应于各个色调值或色调范围的真彩色的彩色部分(32a，61a)，该灰色色标(33，15)划分成具有对应于各个亮度值或亮度范围的灰色的彩色部分(33a，61a)，-产生和显示一个标记(34，46，47，65，72，74)，它可以在所述复合彩色色标上移动，用于接收输入，其中根据所述复合彩色色标上的所述标记的位置指定相应的所需颜色。
9.如权利要求8所述的搜索方法，其中所述复合彩色色标(61)的所述彩色部分(61a)对应于色调或亮度的预定范围，所述标记(65)允许沿着复合彩色色标移动到离散的位置，所述位置每次通过一个彩色部分从一个偏移到另一个。
10.如权利要求8所述的搜索方法，其中所述彩色属性包括一种单色，对于集合的每个图形元素，所述索引数据包括从所述单色获得的色调或亮度值，其中设计复合彩色色标(31)的彩色部分(32a，33a)以便对于沿着复合彩色色标(31)的标记(34)的所有位置，获得匹配图形元素的基本均匀的密度。
11.一种索引图形元素的索引设备(1)，包括-颜色分析仪(12)，通过为彩色属性的至少一种颜色提供多维彩色空间(80)的一组坐标，确定图形元素的彩色属性，如果所述至少一种颜色符合第一条件，减小所述至少一种颜色的该组坐标到一个色调值，如果所述至少一种颜色符合第二条件，则减小所述至少一种颜色的该组坐标到一个亮度值，-存储装置(6，7)，存储用于索引所述图形元素的索引数据(13)，所述索引数据包括从该彩色属性的所述至少一种颜色得出的色调值和/或从该彩色属性的所述至少一种颜色得出的亮度值。
12.一种搜索图形元素集合(8)的搜索设备(1)，包括-如权利要求11所述的索引设备，用于索引集合中的每个图形元素，-用户可操作输入装置(11，4，5)，用于接收至少一个指定至少一个所需颜色的输入，并用于确定对应于所述至少一个输入的搜索查询，如果所述至少一种所需颜色包括真彩色，所述搜索查询属于色调值或色调范围，如果所述至少一种所需颜色包括灰色，所述搜索查询属于亮度值或亮度范围，-图形元素检索控制器(10)，用于分析图形元素的索引数据(13)，以便选择其索引数据包括至少一个基本与搜索查询匹配的色调值或亮度值的图形元素，并从集合中检索选出的图形元素。
13.如权利要求12所述的搜索设备，还包括-复合彩色色标产生装置(11)，用于产生在显示单元(3)上可显示的复合彩色色标(31，44，45，61，71，73)，所述复合彩色色标包括真彩色色标(32，16)和灰色色标(33，15)，所述真彩色色标划分成具有对应于各个色调值或色调范围的真彩色的彩色部分(32a，61a)，所述灰色色标划分成具有对应于各个亮度值或亮度范围的灰色的彩色部分(33a，61a)，-标记产生装置(11)，用于产生一个标记(34，46，47，65，72，74)，它在显示单元上可显示，并能在所述复合彩色色标上移动以检索输入，其中根据所述复合彩色色标上的所述标记的位置指定相应的所需颜色。
14.一种用户电子产品，它涉及数据存储并包括如权利要求12所述的搜索设备。
全文摘要
在一种索引方法中，通过提供多维彩色空间(80)中的一组坐标确定图像中的平均颜色或颜色的统计分布。如果该颜色符合第一条件，每种颜色的该组坐标减小到一个色调值，即，该颜色被认为是真彩色(81)，如果该颜色符合第二条件，每种颜色的该组坐标减小到一个亮度值，即该颜色被认为是灰色(82)。索引图像的索引数据包括从每种颜色得出的色调值或亮度值。该索引方法用在一种搜索图形元素集合的搜索方法中。一个输入指定了所需颜色。如果所需颜色分别包括真彩色或灰色，则相应的搜索查询属于色调值或亮度值。
文档编号G06F17/30GK1849601SQ200480025680
公开日2006年10月18日 申请日期2004年8月23日 优先权日2003年9月8日
发明者V·P·布伊尔, M·H·J·德赖耶 申请人:皇家飞利浦电子股份有限公司