专利名称：提取不受照明变化影响的颜色的方法和装置及其呈现方法
技术领域：
本发明涉及一种图像检索方法，并尤其涉及一种从图像中提取不受照明变化影响的颜色(illumination invariant color)的方法和装置以及呈现从图像中提取的不受照明变化影响的颜色的方法。
背景技术：
现有各种图像检索方法。其中之一是基于文本的图像检索方法，其中文本附属于图像并且通过存取文本检索需要的图像。当使用文本检索图像时，在用于描述画面的文本表达上存在限制。而且，对于检索图像的不同用户图像的语义解释会有变化，使得总体上与用户需要检索的图像不同的图像被检索并输出的情况频繁发生。
另一种方法是基于内容的图像检索方法，其中需要检索的图像的主要特性被用于检索图像。用在基于内容的图像检索方法中的图像中的主要特性特征包括颜色、结构、形状、运动信息等。当使用图像中的这些主要特性特征检索图像时，找到想要被用户检索的图像的概率增加了。因此，该方法能够降低由于基于文本的图像检索中的语义不同而发生的检索误差。
在基于颜色的检索中，其中其为基于内容的检索方法的一种类型，通过使用在图像的各种信息中关于图像的像素颜色的分布、种类或位置的信息找到相似的图像。在基于颜色的检索中的领先的检索方法是使用MPEG-7颜色描述符的图像检索方法，这是当前由ISO/IEC 15938-3采用的标准。颜色描述符被大致地分为四种类型主要颜色描述符、颜色结构描述符、颜色布局描述符和可伸缩颜色描述符。
当预定的颜色或少量颜色表示整个图像或图像的一部分中的特征时，使用主要颜色描述符。
颜色结构描述符使用直方图和(together with)局部颜色结构信息。当特性信息被提取时，不独立地提取每个像素上的颜色信息，而是考虑到相邻像素上的颜色信息而被提取。
颜色布局描述符表示一种颜色的空间分布。假定通过将x-y平面均匀分割预定的尺寸而获得的单元是块(bin)，则图像中现有的颜色的空间分布能够用具有64位值的块的号码来表示。由于当使用颜色布局描述符时相似的计算能够以非常简单的方式执行，能够快速地执行检索。而且，自然图像或者颜色草像能够被用作为查询。因此，该颜色布局描述符能够被恰当地应用在视频浏览和检索中。
可伸缩颜色描述符表示通过Harr变换编码的颜色直方图的定性表示(qualitative expression)，并使用色调饱和度值(HSV)颜色空间。由于两个图像之间的相似性由可伸缩颜色描述符之间的加重平均距离确定，相似的计算能够快速执行。
但是，使用通过使用上述的MPEG-7颜色描述符表示的颜色信息的图像检索方法对照射敏感。因此，当图像被拍照时，由于周围照明的小小差异，具有同样内容的图像可以具有不同的颜色信息，使得图像检索不被精确地执行。例如，由于由时间和天气变化引起的颜色信息变化(例如，图像中的亮度和阴影)、由不同的照明(例如白炽灯或荧光灯)引起的颜色信息变化或当相同的图像由不同的图像获取装置(例如由不同的制造商生产的摄像机)获取时颜色信息变化发生时，自然图像不可能被精确地检索。
发明内容
因此，本发明提供一种不受照明变化影响的图像检索方法和装置，其中为了不受照明变化影响检索图像，储存在图像数据库中的查询图像和多个图像被转换为在标准照明下照明颜色的图像并且转换的图像的颜色信息被互相比较。
一方面，本发明提供一种不受照明变化影响的图像检索方法，包括输入查询图像；从查询图像中检测照明颜色并把照明颜色转换为标准照明颜色；通过使用颜色描述符提取查询图像的颜色信息；和通过把提取的颜色信息与数据库的颜色信息相比较来检索相似的图像，其中数据库预先将各种图像转换为标准照明颜色图像并提取和储存图像的颜色信息。
另一方面，本发明提供一种不受照明变化影响的图像检索装置，包括接收查询图像的查询图像输入单元；标准照明颜色转换单元，其从查询图像中检测照明颜色并把照明颜色转换为标准照明颜色；查询图像颜色信息提取单元，其通过使用颜色描述符提取转换的查询图像的颜色信息；数据库，其预先将需要被检索的各种图像转换为标准照明颜色图像并提取和储存图像的颜色信息；和相似图像检索单元，其通过把被转换为标准照明颜色图像的查询图像的颜色信息与储存在数据库中的各种图像上的颜色信息相比较来找到相似的图像。
另一方面，本发明提供一种标准照明颜色转换方法，包括从输入的查询图像中除去低亮度部分和自亮度部分；在除去低亮度部分和自亮度部分后从剩余像素中检测图像的照明颜色；并将检测到的照明颜色转换为标准照明颜色。最好，检测步骤，包括把低亮度部分和自亮度部分已经被除去的查询图像的每个像素的三基色值XYZ转换为色度坐标(x，y)；把转换的色度坐标投影在一个x-y平面上；将x-y平面均匀分割为预定尺寸的格子；计数每个分割的格子中存在的投影像素的数量；如果计数结果表示格子的计数值小于预定值则除去格子中的像素；和在除去后计算剩余格子的中心坐标的平均值，并确定平均值作为输入图像的标准照明颜色。
另一方面，本发明提供一种计算机可读介质，它含有嵌入其中的计算机程序用来执行上述的图像检索方法和标准照明颜色转换方法。
另一方面，本发明提供一种从图像中提取不受照明变化影响的颜色的方法，包括输入图像；通过将图像的照明转换为标准照明，将所述图像呈现为不受照明变化影响的图像；和通过使用包括主要颜色描述符、可伸缩颜色描述符、颜色布局描述符和颜色结构描述符的多个颜色描述符中的一个，从不受照明变化影响的图像中提取颜色信息。
另一方面，本发明提供一种用于从图像中提取不受照明变化影响的颜色的装置，包括图像输入单元，用于输入图像；标准照明颜色转换单元，用于通过将图像的照明转换为标准照明，将所述图像呈现为不受照明变化影响的图像；和颜色信息提取单元，用于通过使用包括主要颜色描述符、可伸缩颜色描述符、颜色布局描述符和颜色结构描述符的多个颜色描述符中的一个，从不受照明变化影响的图像中提取颜色信息。
另一方面，本发明提供一种呈现从图像中提取的不受照明变化影响的颜色的方法，包括相应于包括主要颜色描述符、可伸缩颜色描述符、颜色布局描述符和颜色结构描述符的多个颜色描述符中的一个，配置颜色描述符类型，所述颜色描述符类型被用来从通过将图像的照明转换为标准照明而获得的不受照明变化影响的图像中提取颜色信息；和通过使用颜色描述符类型来配置从不受照明变化影响的图像中提取的颜色信息。
通过下面结合示例性地示出一例的附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中图1是本发明的图像检索程序的流程图；图2是用于检测查询图像中的照明颜色并转换颜色为标准照明颜色的步骤的流程图；图3A到3D是用于解释转换颜色为标准照明颜色的程序的图；图4是用于描述图像的颜色描述符的表达形式的实施例的图；图5A和5B表示了使用本发明的图像检索方法之前和之后的检索结果；图6表示了用在一个实验中的室外自然图像的例子；图7表示了用在实验中的在室内拍照的物体的固定图像的例子；图8是执行上述图像检索方法的图像检索装置的框图；及图9是标准照明颜色转换单元的详细框图。
具体实施例方式
参照图1的本发明的图像检索程序的流程图，首先，在步骤S110，用户输入查询图像和不受照明变化影响检索图像的请求。在步骤S120，照明颜色在查询图像中被检测并且颜色被转换为标准照明颜色。在步骤S130，通过使用颜色描述符提取查询图像的颜色信息。在步骤S140，通过把提取的颜色信息与数据库中的颜色信息相比较搜索出相似的图像，其中数据库预先把各种图像转换为标准照明颜色的图像并提取和储存图像的颜色信息。
参照图2，现在将详细说明用于检测在查询图像中的照明颜色并把检测到的颜色转换为标准照明颜色的步骤S120。图2是用于检测查询图像中的照明颜色并将颜色转换为标准照明颜色的步骤S120的流程图。
首先，在步骤S210中，在输入查询图像中，低亮度部分和自亮度部分被除去。在步骤S220中，图像的照明颜色从剩余像素中被检测，并且在步骤S230检测到的照明颜色被转换为标准照明颜色。
用于在输入查询图像中除去低亮度和自亮度部分的步骤S210按照下述步骤执行。首先，输入查询图像的红、绿和蓝(RGB)像素值被转换为国际照明委员会(CIE)三基色值XYZ。
接着，通过使用转换的三基色值XYZ，具有低亮度值的像素被除去。有很多种用于确定一个像素是否具有低亮度值的方法。例如，如果一个像素的Y值包括在所有像素的Y值的最低的5％中，可以确定该像素具有低亮度值。
下面，通过获得自发光阈值，图像中的自亮度像素被除去。自亮度像素是指诸如太阳和电灯的发光物体的图像的像素。自发光阈值也能够通过使用现有技术方法获得，并且具有大于阈值的值的像素作为自亮度像素被确定并除去。
用于从剩余像素中检测输入图像的照明颜色的步骤S220按照下述步骤执行。首先，在低亮度部分和自亮度部分被除去的查询图像中每个像素的三基色值XYZ被转换为色度坐标(x，y)。例如，色度坐标的x值可以通过诸如X/(X+Y+Z)的公式计算，而色度坐标的y值可以通过诸如Y/(X+Y+Z)的公式计算。
图3A到3D是用于解释转换颜色为标准照明颜色的处理的图。参照图3A到3D，现在将详细说明转换处理。
首先，转换的(x，y)值被投影在x-y平面上。接着，获得如图3A所示的图形。如图3B所示，这样获得的x-y平面被均匀分割为预定尺寸的块。例如，x-y平面可以被分为60×60的格子平面。接着，每个块中的像素数量被计数并储存。如果该数量小于任意的阈值，则该块被除去。
接着，获得图3C中的结果。接下来，通过用剩余块的中央坐标值的总和除以剩余块的数量，获得平均色度(xav，yav)310并且被确定为输入图像的照明颜色。特别的是，通过用剩余块的x中央坐标值的总和除以剩余块的数量获得xav，并且通过通过用剩余块的y中央坐标值的总和除以剩余块的数量获得yav。
最后，现在将解释把检测的照明颜色转换为标准照明颜色的步骤S230。首先，找到对应于标准色温6500K的日光位置上的标准照明色度坐标(xc，yc)320。接着，通过使用平均色度(xav，yav)310，标准照明色度坐标(xc，yc)320和布拉福德颜色自适应转换矩阵，输入图像的每个像素的三基色值XYZ被转换为标准照明的三基色值X′Y′Z′。最后，这样转换的标准照明的三基色值X′Y′Z′被转换为RGB值。
在通过使用预定颜色描述符提取查询图像的颜色信息的步骤S130中，使用上述各种颜色描述符。即，通过使用用于表达查询图像和数据库图像中的图像的颜色的MPEG-7标准颜色描述符描述图像。
图4是用于描述图像的颜色描述符的表达形式的实施例的图。该实施例包含关于四种颜色描述符的信息。
在通过比较提取的颜色信息与数据库中的颜色信息用于搜索相似图像的最终步骤S140中，其中数据库预先转换各种图像为标准照明颜色的图像并提取和储存图像的颜色信息，通过计算提取的颜色描述符之间的距离，检索结果按距离增加的顺序输出。
图5A和5B示出了使用本发明的图像检索方法之前和之后的检索结果。
使用当现有技术的图像检索方法并且给出用于检索与邮箱图像非常相似的图像的命令时，与邮箱图像完全不同的图像被输出。但是，当使用本发明的图像检索方法时，如图5B所示获得精确的结果。
表1a到1d表示使用本发明的图像检索方法时的增益变化。
表1a
表1b
表1c
表1d
表1a是当使用MPEG-7标准中定义的CCD数据组时的结果，并表示当使用根据本发明的不受照明影响的检索方法时，当使用参数时增益增加了0.11，而不使用参数时增益增加了0.08。该结果是希望的，因为使用不同的照明具有相同的内容的图像很少包括在CCD数据组本身中。
表1b是当使用如图6所示的自然室外图像时的结果。表1c是使用如图7所示的室内拍照的物体的组图时的结果。表1d是MPEG-7CCD数据组和室外自然图像一同使用时的结果。参照表1b到1d，其示出了本发明的检索方法是优秀的。
图8是执行上述图像检索方法的图像检索装置的框图。
图像检索装置包括查询图像输入单元810，标准照明颜色转换单元820，查询图像颜色信息提取单元830，数据库840和相似图像检索单元850。
查询图像输入单元810接收用以检索不受照明变化影响的图像的请求和来自用户的查询图像。
标准照明颜色转换单元820检测查询图像中的照明颜色并把颜色转换为标准照明颜色。为此，低亮度部分和自亮度部分被除去，图像的照明颜色从剩余像素中检测，并且检测到的照明颜色被转换为标准照明颜色。这些程序已经在上文中被详细地说明了。
查询图像颜色信息提取单元830通过使用预定的颜色描述符来提取查询图像的颜色信息。即，图像通过使用MPEG-7标准颜色描述符被描述，描述符表达了查询图像和数据库图像的颜色。
数据库840把需要检索的各种图像预先转换为标准照明颜色并提取和储存图像的颜色信息。
通过把转换为标准照明颜色的查询图像的颜色信息与储存在数据库中的各种图像的颜色信息相比较，相似图像检索单元850找到相似的图像。
图9是标准照明颜色转换单元820的详细框图。
噪声消除单元910除去输入的查询图像中的低亮度部分和自亮度部分。在噪声消除单元910除去噪声后，照明颜色检测单元920从剩余像素中检测图像的照明颜色。转换单元930把检测到的照明颜色转换为标准照明颜色。
本发明可以在一种计算机可读存储介质上用一种代码实现，该代码能够由计算机读出。计算机可读存储介质能够是储存了计算机可读数据的各种记录装置。
计算机可读存储介质包括诸如磁性存储介质(例如ROM、软盘、硬盘等)、光学可读介质(例如CD-ROM、DVD等)的存储介质和载波(例如通过互联网的发送)。而且，计算机可读记录介质能够分布在通过网络连接的计算机系统上并能够以分布模式储存并执行计算机可读代码。
尽管本发明已经参照上述实施例被说明，但是本发明不限于上述实施例，并且很显然的是，在不背离由所附权利要求限定的本发明宗旨和范围的前提下对本发明进行各种形式和细节上的修改是可以由本领域技术人员实现的。因此，本发明的范围不由以上的说明确定而由所附的如权利要求确定。
如上所述，不改变颜色描述符的结构或使用颜色信息的现有技术检索方法中的相似性比较方法，通过只加入标准照明转换的上述步骤，使得本发明实现不受照明变化影响的图像检索。即，提供一种方法，通过它当图像使用颜色信息检索时，在不同照明下拍得的同一图像能够被检索。根据该方法，用户在不同的时间点、在不同的天气条件、不同的照明和用不同的拍摄装置拍得的同一图像能够被有效地检索。
权利要求
1.一种从图像中提取不受照明变化影响的颜色的方法，包括输入图像；通过将图像的照明转换为标准照明，将所述图像呈现为不受照明变化影响的图像；和通过使用包括主要颜色描述符、可伸缩颜色描述符、颜色布局描述符和颜色结构描述符的多个颜色描述符中的一个，从不受照明变化影响的图像中提取颜色信息。
2.一种用于从图像中提取不受照明变化影响的颜色的装置，包括图像输入单元，用于输入图像；标准照明颜色转换单元，用于通过将图像的照明转换为标准照明，将所述图像呈现为不受照明变化影响的图像；和颜色信息提取单元，用于通过使用包括主要颜色描述符、可伸缩颜色描述符、颜色布局描述符和颜色结构描述符的多个颜色描述符中的一个，从不受照明变化影响的图像中提取颜色信息。
3.一种呈现从图像中提取的不受照明变化影响的颜色的方法，包括相应于包括主要颜色描述符、可伸缩颜色描述符、颜色布局描述符和颜色结构描述符的多个颜色描述符中的一个，配置颜色描述符类型，所述颜色描述符类型被用来从通过将图像的照明转换为标准照明而获得的不受照明变化影响的图像中提取颜色信息；和通过使用颜色描述符类型来配置从不受照明变化影响的图像中提取的颜色信息。
全文摘要
提供一种提取不受照明变化影响的颜色的方法和装置及其呈现方法。一种从图像中提取不受照明变化影响的颜色的方法，包括输入图像；通过将图像的照明转换为标准照明，将所述图像呈现为不受照明变化影响的图像；和通过使用包括主要颜色描述符、可伸缩颜色描述符、颜色布局描述符和颜色结构描述符的多个颜色描述符中的一个，从不受照明变化影响的图像中提取颜色信息。根据本方法，不改变颜色描述符的结构或者使用颜色信息的相似性比较，仅仅通过加入标准照明转换的上述步骤实现不受照明变化影响的颜色的提取和呈现。
文档编号G06K9/46GK1916939SQ200610121668
公开日2007年2月21日 申请日期2002年11月27日 优先权日2001年11月27日
发明者金相均, 崔良林, 金昌容, 朴斗植 申请人:三星电子株式会社