通过度量嵌入进行的图像比较的制作方法

专利名称：通过度量嵌入进行的图像比较的制作方法
通过度量嵌入进行的图像比较 战
为了在因特网上或者在计算设备中搜索文本、图像、想法、网站等，可以输 入文本关键字以开始该搜索。常规地，在计算环境中搜索图像限于输入概括该图像 的文本关键字或者输入概括该图像的视觉对象或视觉特征的文本关键字。常规地， 不将搜索的关键部分转换成文本就难以而搜索图像。由此，常规的图像搜索实际上 是文本搜索。
执行成功的图像搜索的难处在于图像本身。图像远比文字复杂。这是因为图 像玎被修改以至经修改的图像在数学意义上不同于原始图像，但对于人类视觉系统 来说，此二者彼此间在视觉上是难以分辨的。因此，如果用户使图像变亮或变暗、 改变对比度、微调颜色、裁剪、或者压缩图像等等，这时尽管图像可能看上去一样， 但是量化此图像的参数已经显著改变。为避免这种复杂性，仅以文字概括图像并执 行图像的文字搜索是比较容易的。
需要一种在数学上——信息上捕捉图像的方法，促使图像搜索能以输入图像 本身开始，并能以找到该图像的可能被以很多不同的方式一一例如由图像编辑软 件——修改的匹配版本来成功地结束。
概要
提供通过度量嵌入——即以可数字地作出比较，而不必直接依赖于被比图像 的视觉方面的形式——来进行图像比较的系统和方法，。在一种实现中，从每一待
比较的图像创建一张图(graph)，诸如具有顶点和边的无向图。可利用像素的各 种特征来创建此图。从-图像创建一张图可部分地由小波变换技术获得系数矢量值 来完成。可加入降噪处理以产生可靠的图以供比较。例如，在小波变换处理之后， 不显著的值可被置零，并且图像或图可被按比例縮小。
之后，上述图度量可被嵌入树，诸如对应于每一图像的一族分层结构的充分 分离的树(hierarchical well-separated trees, HST)中。这些对应于一图像的HST可 被递归地聚簇，直到表示图像的图被分割。这些已嵌入图信息的树族被差分以获得它们表示的图像的相似性度量。在一
种实现中，由于表示一图像的树族既被递归地创建，因此对根HST及其相关的子 树迭代地应用树差分技术。在一种实现中，此差分包括汇编图像之间的最小差值的 矩阵，以及矢量化此矩阵以使一归一化过程可找到以单个相似性度量来概括图像之 间的最小差值的平均值或中值。
附图简要说明


图1是表示一图像的示例性图的示意图。
图2是一经由差分嵌入有图度量的树族来进行的示例性图像比较的示意图。 图3是一示例性图像比较系统的示意图。 图4是一示例性图像比较引擎的框图。
图5是一经由对各子节点集合进行迭代比较来进行的示例性图像比较的示意图。
图6是图像比较的示例性方法的流程图。
具体说明
在此描述的系统和方法提供图像比较技术。这些图像比较技术可被用于执行 因特网图像搜索或用于从图像池等中识别源图像的经修改版本。例如，用户可能借 助于照片编辑软件修改源图像，或者通过裁剪和压縮源图像以备将此图像包含在电 子邮件消息中。在此描述的系统和方法提供从其他图像中搜索或者找到这样的经修 改图像的途径。
图1示出一种图像比较方法的示例性实现，其中图像100的像素值由一无向 图102表示。该无向图102中的每一顶点表示图像中的一对应像素。在一个实现中， 形成此图102的图像处理级包括小波变换的应用，小波变换建立系数矢量值，丢弃 太小——即低于一选定阈值的值。在无向图102中各顶点之间的边可根据位于边的 两端的这一对像素之间的值的差值来加权。将被用于确定边的加权的像素特征可从 诸如密度、能量等许多不同类型的像素特征中选择。这样，结果获得的无向图102 可按比例缩小以节约处理功率并降低噪声。这种无向图102在此可宽松地称作为经 预处理图像，因为随图形成过程之后还有进一步的处理。
树族104,诸如嵌入了图度量的分层结构的充分分离的树可从在上述图像预处 理级中创建的无向图102推导出。树族104是通过聚簇方法建立的，此方法使一初
始簇递归通过足够的迭代次数以将经预处理图像分割成若干充分分离的树。用于这
种方法的典型的树族104包括大约十棵树(母树和子树)。
如图2所示，为从一组图像中找到一幅图像， 一种差分技术找到原始图像的 树族104与多个待比较的其他图像各自的树族(如204， 204'，204"，204'")之间的 相似性度量。与原始图像100间具有最髙相似性度量的图像被选定为最佳匹配。
在一种实现中，上述差分技术只是通过对每棵树的每个节点赋予形状矢量以 及采用在不同待比较图像的相应节点之间得到最小差值的相似性度量值的方式引 入工作量。也就是说，在横跨表示两幅图像的的两个树族的树中，聚合出一差值矩 阵。对此矩阵赋一矢量，之后将该矢量的分量平均化或者归一化以建立一相似性分 数。因此，为了从图像池中找到一图像的拷贝或者该图像的经修改版本，可比较这 些相似性分数以揭示有希望的匹配。
示例性系统
图3示出用于比较图像的示例性系统300。计算设备302通信地耦合于因特网 304。该计算设备302主存图像比较引擎306。这种连网计算环境只是为了举例的 目的而示出。其他类型的计算和网络环境也可主存本主题。图像比较引擎306使图 像搜索308成为可能。 一目标或"源"图像310可由用户或者由系统300的组件选 择。图像比较引擎306将源图像310与例如在因特网304上找到的其他图像比较， 并返回每--比较的相似性度量。图像比较引擎306可指定源图像与一组候选图像的 成员之间的最佳匹配。
作为搜索来自因特网304的一组图像的替代，图像比较引擎306还可搜索文 件目录中、数据库中、或作为电子邮件消息的附件存储在一文件夹中等的一组图像。
示例性引擎
图4更详细地示出图3的示例性图像比较引擎306。图4的图像比较引擎306 意图为概览目的提供一示例布置。图示组件或相似组件的许多其他布置是可能的。 这样的图像比较引擎306可在硬件、软件，或者硬件、软件、固件的结合等中执行。
图像比较引擎306的图示的示例布置包括图像图化引擎402及图像比较器 404。图像图化引擎402产生表示图像的图和树族104，而图像比较器404找到多 个树族104之间的相似性度量，以试图将一候选图像与源图像100匹配。
图像图化引擎402进一步包括以下图像预处理组件灰度级化器406，小波变
换引擎408，以及比例缩小器410。这些组件产生一经预处理图像412，即可从其 产生树族104以表示图像100并允许图像比较的图。图像图化引擎402进一步包括 树创建引擎414。此树窗建引擎414进一步包括簇递归器416、树修剪器418、以 及重运行过滤器。这些组件产生各种嵌入有用于表示不同图像的图度量的树族(例 如104， 104，)。
以上介绍的图像比较器404进一步包括树差分引擎422及聚合器424。树差分 引擎422进一步包括最小差值引擎426，此最小差值引擎426又进一步包括树拓扑 比较器428和簇拓扑比较器430。聚合单元424进一步包括差值矩阵432，以及矢 量引擎434和归一化器436，归一化器436产生量化一对图像之间的相似性的相似 性度量438。
图像图化引擎
在图像图化引擎402的图像预处理组件中，灰度级化器406可接收一彩色RGB 图像输入，并例如通过RGB值的L2规范将此输入转化为灰度级。
在一种实现中，小波变换引擎408执行三阶Haar小波变换。结果获得的系数 矢量中的小值可被取阈为零，也就是说，绝对值小于一阈值一一例如0.15的系数 换为零。随后，对这些系数矢量应用一小波重建过程，并且比例縮小器410将结果 按比例縮小至大约70像素宽以产生经预处理图像412。
树创建引擎414从经预处理图像412产生Jt棵分层结构的充分分离的树 (HST)。典型地，k- 10。这些HST可通过递归的分层结构聚簇分解过程来产生。 树创建引擎414从设置图节点G的初始簇等于经预处理图像412开始。簇尺寸参 数由r表示，并且经预处理图像412中的像素数目由W指定。r的典型值在大约l 与大约-2之间。参数r的某些调整可改善结果。
簇递归器416选择一簇C,并选择一随机点xEC,。如果C,的所有点都在离点 x距离r(logAO的范围内，则不必进行进一步处理，并且将C,作为树返回。否贝廿， 从一反型(inverse-type)分布中选中一半径d。也就是说，如果经预处理图像412 包含JV个像素，则对于参数r的一给定值，簇递归器416在均匀分布的
上选择 一x值，并设定of--r(logAO(logx)。
随后，簇递归器416设定C,+1=5(:c，^，从而使一球体的中心从一之前的点jc 到以一新点x且以d为半径，并在Cw递归构建一棵树，并设定(7，= C,/Ci+1。此 过程可以C'代替C,反复执行。由此构建的这些递归树形成C,的子树，直到C,.被
分割。结果获得的多棵树是嵌入有经预处理图像412的度量的HST树族104。
树修剪器418通过将那些对应的簇包含的像素数目低于某一阈值——典型地 为100个像素的节点修剪掉来降低图像中噪声的影响。应当注意的是，q,+u-别jc，力 HC,.，也就是说，该簇与上述球体不相同，而是包含于该球体内的像素集合。像素 集合通常并不十分像球体，因此下述的形状矢量承担更多的重要性。在一种实现中， 树修剪器418可通过在树创建的末尾修剪掉小节点来避免要确定簇的尺寸最大为 KlogAO的初始步骤。
类似地，如果结果获得的树所具有的节点少于一阈值数目，例如少于6个节 点，则重运行过滤器420通过重新运行整个树创建过程来降低噪声。换言之，小的 树表示不良的聚簇，且该树应当以不同的聚簇参数重新创建。
图像比较器
在图示的图像比较器404的示例中，树差分引擎422从源图像100的树族104 接收一棵树，诸如HST。树差分引擎422类似地从一候选图像的树族104'中接收 一棵树。
给定这两棵树——例如HST——树差分引擎422具有一产生它们之间的差值 度量的最小差值引擎426。在一种实现中，树拓扑比较器428将这些树的拓扑结构 纳入考虑，而簇拓扑比较器430将与这些树的节点相关联的簇的拓扑结构纳入考 虑。给定一子HST，最小差值引擎426以其母HST的直径来按比例縮放每一边缘 的权重。对每一节点v，最小差值引擎426通过将该簇在v的位置与两个形状参数 《,力和级联来赋一矢量flvE 口4。这些参数可这样获得:计算该簇在v的凸包H， 并设定心《为H内任意两点间的最大距离，以及《 -min础max少eHp(:c，力，其中P (;^)是在图像图中;c到;;的距离。
如图5中所示，给定两个HSTr502和C/502'，树差分引擎422递归计算一
树差分函数"treediff(r，t/)"，以及在各子节点集合之间映射。r502及C/502，的根 下的子树分别被设定成U乂,和"卩^。树差分引擎422令^=|卜,,- |，其中A是
上述口4中的形状矢量。最小差值引擎426随后令&为使&最小化的(iV)对；令
&为使去除"所在的行和列后的^最小的(W)对，依此类推。s;序列描述r502
的根下的子树与C/502'的根下的子树之间的匹配。若、^a,，则多个子树将是不失配的。树差分引擎422递归地对匹配子树(例如，顶层匹配子树(504，504');(506，506'); (508,508，))；及后续各层的匹配子树，诸如(510,510，)等)计算treediff函数，从该 &对产生4。为对《求和，树差分引擎422随后累加每一匹配对的边权重之差值， 以及矢量flv的差值。若r或C/有任何失配的子树，则树差分引擎422累加那些子 树的边权重的总和(但不利用矢量av)。树差分引擎422获得结果总和，其是r 和C/的treediff函数值。
在一种实现中，除了通过形状矢量的最小值来匹配子树，树差分引擎422还 执行多层穷举搜索。在某些情况下这可提供更好的结果。若treediff(r，C/，0)是上述 的差分函数，则treediff(r，C/，力意图产生子树r与C/之间的所有可能匹配。因此， 从一顶层开始，树差分引擎422在每次匹配中为每一对调用treediffi[r，t/，t/-l)，并 返回在所有匹配中匹配总值的数学最小值。由于上述树修剪器418通常通过修剪掉 那些对应的簇包含的像素低于阈值数目的节点来优化这些树，因此r和C/的子树 的数量不大。由于对treediff(r，i/，力的顶层调用中c/的典型值只有2或3，因此产生 一穷举匹配是可行的。
在比较两幅图像(如G和/f)以获得相似性度量的背景中，上述图像图化引
擎402从每一图像计算/fe棵HST (典型地y^10)。每一图像的树族(104,104')分 别是U〉和,其中1《i《k。聚合器424形成 -treediff(7;，J7,)作为差值矩 阵432。矢量引擎434根据《-min,ij形成矢量d。在某些实现中，此最小值运算 是不对称的，因此Ajj《Aji。归一化单元436随后聚合treediff函数的结果 厶(0，//)-鹏朋^)或厶(0，//)=鹏^朋(力。后者，即按中值(median)的聚集在某些 实现中可能给出较佳的结果，这可能是由于其对异常值较不敏感(类似于有噪图像 中使用的中值滤波器与均值滤波器的对比)。
在一变形例中，使用边缘检测器(图未示)在树创建引擎414中聚簇。因此， 在小波变换引擎408的低通作用之后，可通过Canny边缘滤镜(图未示)来处理 图像，且结果获得的树被聚簇。由于Canny边缘滤镜并不保证对象被闭合边缘曲 线包围，因此在此情形中可利用高斯平均计算像素值差值来创建用于HST的图像 图。这会有阻碍聚簇越过边缘端点之间的小间隙的作用。在很多情况下，当树差分 引擎422以这种方式应用此Canny边缘滤镜时，结果所得的HST产生良好的结果。
示例性方法
图6示出用于进行图像比较的一示例性方法600。在该流程图中，各操作在各
个框中概述。此示例性方法600可由硬件、软件、或者此二者的组合来执行，例如， 由示例性图像比较引擎306的组件执行。
在框602，从每一待比较图像创建一张图。用图表示图像以使该图像可与其他 图像数字地比较相似性或不相似性涉及可靠地量化组成图像的像素，例如通过用 图像中相邻像素的差值来加权图的边。若图像是彩色的，则可使用像素的色彩分量 来创建此图，或者可将该彩色图像灰度级化，并且可利用像素的其他各种非色彩特 征来创建此图。用于从图像创建图的引擎，例如示例性图像比较引擎306,可包括 其他预处理组件以使此图成为用于比较目的的可靠的图像指标。
通过小波变换获得系数矢量值有助于从图像创建图。产生用于比较图像目的 的可靠图的主要因素之一在于，从图中消除不相关的噪声。因此，在小波变换之后， 不显著的值可被置零，从而减少本方法必须处理的信息总量。将图像和/或图按比 例缩小到有效率的尺寸对创建图也是有利的。
在方框604中，为每-张图创建树族。在本示例性方法600的该部分中，表 示待比较图像的图尽管量化了图像，但是仍不容易适合于可数字地实施的数学比较 技术。因此，并不试图直接比较图，而是将每一张图的度量嵌入树族中。举例来说， 分层结构的充分分离的树(HST)，十分适合于可数字地高效率实施的数学比较技 术。由此，图像变成图，图进而变成相关的树族。这些树的簇和节点允许数学上地 比较图像，即以一种可数字地操纵并且不直接依赖于图像的视觉质量的用于比较的 形式来比较图像。
在框606，两幅待比较图像的树族彼此差分以获得一相似性度量。也就是说， 这些嵌入有图信息的树族被比较以获得它们表示的图像的相似性度量。在一种实现 中，由于表示图像的树族是递归地创建的，因此树差分技术被迭代地应用于根HST 以及它们相关的子树。在一种实现中，所述差分包括汇编差值矩阵并使该矩阵矢 量化，从而使一平均化(或寻找中值)过程可以用单个相似性度量来概括这些差值。
在此描述的系统和方法可将图度量嵌入树的度量中并且畸变近似很低。给定 一定义度量的一般化图，嵌入树度量具有Q(")的失真(其中"是G中的点的数目)。 然而给定一图G，树族度量{7^}随同嵌入G—7}(以使得给定任意两点，有矽 EG)，在随机选择的7;上，K的预期失真是O(logn)。
结论
上述的主题可由硬件、软件、固件等或者它们的组合来实现。在某些实现中，
该主题可在由计算设备或通信设备执行的诸如程序模块等的计算机可执行指令的 一般化背景中描述。通常，程序模块包含执行特定任务或实现特定抽象数据类型的 例程、程序、对象、组件、数据结构等。所述主题也可在分布式通信环境中实施， 其中任务由通过通信网络链接的多个远程处理设备通过无线通信来执行。在无线网 络中，程序模块可同时位于本地和远程通信设备储存媒介，包括存储器储存设备。 以上讨论描述了用于进行图像比较的示例性系统和方法。尽管以结构特征和/ 或方法动作专用的语言来描述所述主题，但应当理解，在所附权利要求书中定义的 主题并不必限于前述的具体特征或动作。确切而言，以上描述的具体特征和动作是 作为实现权利要求的示例性形式公开的。
权利要求
1、一种方法，包括将第一图像表示为一第一图，并将第二图像表示为一第二图，其中所述第一和第二图中的每个顶点对应于各自图像中的一个像素；为每一无向图中的顶点之间的每一条边赋一权重，其中所述权重对应相邻像素值之间的差值；从所述第一图导出一第一族树，并从所述第二图导出第二族树，其中所述树族中嵌入了图度量；以及基于所述第一与第二树族之间的差值度量确定所述第一和第二图像的差值度量。
2、 如权利要求1所述的方法，其特征在于，将所述第一和第二图像表示为第一 和第二图包括，用小波变换来处理每一图像。
3、 如权利要求2所述的方法，其特征在于，所述小波变换包括三阶Haar小波变换。
4、 如权利要求2所述的方法，进一步包括按比例縮小每一图像以降低经预处理 图像中产生的噪声。
5、 如权利要求2所述的方法，进一步包括将每一图像按比例縮小至大约70个像 素宽以形成经预处理的图像。
6、 如权利要求1所述的方法，其特征在于，导出树族包括，通过图像的递归分 层结构聚簇分解导出一族分层结构的充分分离的树。
7、 如权利要求6所述的方法，其特征在于，所述递归分层结构聚簇分解包括 从所述经预处理的图像中选择一簇像素，在所述像素簇中选择一随机像素位置;c，选择簇尺寸r、以及等于-r(logAO(logx)的半径A其中W是所述经预处理的图像中的像 素数量；生成所述像素簇的多个子簇，直到所述像素簇被分割，其中所述生成包括从点；c 以连续半径递归地构建子簇，其中每一子簇被设定成先前获得的簇除以具有当前半径 的簇的比率。
8、 如权利要求1所述的方法，其特征在于，确定所述第一树族与第二树族之间 的差值包括比较第一树族和第二树族的拓扑结构，以及比较与所述第一和第二族的 树节点相关联的簇的拓扑结构。
9、 如权利要求1所述的方法，其特征在于，确定所述第一树族与第二树族之间 的差值包括计算与所述第一树族和所述第二树族的每一节点相关联的簇的凸包以获 得该节点的多个形状参数，通过将所述簇中与所述节点相关联的位置与所述各形状参 数级联来向每一节点赋一形状矢量，以及找到使所述第一与第二树族各自的子节点集 合的形状矢量之间的差值最小化的差值度量。
10、 如权利要求9所述的方法，进一步包括通过形成所述形状矢量的差值最小 化的矢量并归一化所述矢量的分量，来聚合所述各树的节点上的差值。
11、 如权利要求l所述的方法，进-步包括为所述第一图像和--组图像中的成 员连续地重复所述方法，以找到所述组中与所述第一图像具有最高相似性的成员。
12、 一种包括多条可执行指令的存储介质，所述指令在由计算设备执行时实现权 利要求1所述的方法。
13、 一种图像比较引擎，包括图像图化引擎，用于从对应的图像导出无向图，其中所述无向图的顶点对应于所 述图像中的像素；树创建引擎，用于从每一无向图导出一族树； 树差分引擎，语言确定各树族中对应节点之间的最小差值； 聚合器，语言汇编各树族之间的差值的矩阵；以及 矢量引擎，语言从所述差值矩阵导出两幅图像的相似性度量。
14、 如权利要求13所述的图像比较引擎，其特征在亍，所述图像图化引擎包括 语言处理彩色图像的灰度级化器、语言确定像素系数矢量值的小波变换引擎、以及语 言减小图像尺寸并降低噪声的比例缩小器。
15、 如权利要求13所述的图像比较引擎，其特征在于，所述树创建引擎进一步 包括簇递归器，用于将由无向图表示的图像分割成充分分离的簇。
16、 如权利要求13所述的图像比较引擎，其特征在于，所述树创建引擎进一步 包括树修剪器，用于去除与拥有的节点的数目低于阈值的对应簇相关联的树节点。
17、 如权利要求13所述的图像比较引擎，其特征在于，所述树创建引擎进一步 包括一重运行过滤器，用于在有树具有的节点的数目低于阈值的情况下在所述图像图 化器处重新启动一幅图像。
18、 如权利要求13所述的图像比较引擎，其特征在于，所述树差分引擎进一步 包括最小差值引擎，所述最小差值引擎包括树拓扑比较器和簇拓扑比较器。
19、 一种系统，包括 用于从对应图像导出图的装置；用于从每一图导出一族树的装置；以及用于确定两幅不同图像的树族之间的最小差值的装置。
20、如权利要求19所述的系统，进一步包括用于选择一图像的装置、以及用 于基于所述树族之间的最小差值从一组图像中找到与所选图像最相似的图像的装置。
全文摘要
提供通过度量嵌入进行图像比较的系统和方法。在一实施例中，从每一待比较图像创建一张图。随后将表度量嵌入每一图像的树族中。将不同图像各自的树族之间的最小差值汇编为一矩阵，从该矩阵获得用于进行图像比较的相似性度量。
文档编号G06K9/54GK101194272SQ200680018455
公开日2008年6月4日 申请日期2006年4月27日 优先权日2005年5月31日
发明者M·凯瑞, R·文卡特萨 申请人:微软公司