用于低景深图像分割的方法和装置的制作方法

专利名称：用于低景深图像分割的方法和装置的制作方法
技术领域：
本申请要求下列优先权(1)2002年10月17日提交的、申请号为60/419,303、标题为″Segmentation of Image with Low Depth-of-Field Using Higher Order Statistics Test andMorphological Filtering by Reconstruction(通过重建使用更高阶统计测试和形态过滤的具有低景深的图像分割)″的美国临时专利申请；和(2)2003年2月28日提交的、申请号为60/451,384、标题为″Automatic Segmentation of Low Depth-of-Field Image UsingMorphological Filters And Region Merging(使用形态过滤器和区域归并的低景深图像的自动分割)″的美国临时专利申请。这两个临时申请中的每一个申请都通过参考的方式在此全部引入以供所有用途。
本发明总体而言涉及数字图像技术，尤其涉及用于将一个图像划分成同类区域的一种方法和装置。
背景技术：
自动图像分割是最具挑战的计算机视觉问题之一。图像分割的目标是将一个图像划分成若干同类的区域。景深(DOF)是指在一个画面中所感知的“锐”聚焦的最近到最远点的距离。低DOF是一种摄影技术，通常用于协助了解二维照片中的深度信息。低DOF通常是指当感兴趣的对象(OOI)处在“锐”聚焦而背景对象是模糊的、非聚焦时的一种状态。图1A至1C是低DOF图像的示例性说明。图1A的蝴蝶，即感兴趣的对象被高度聚焦，而背景是散焦的。图1B的足球运动员和足球是感兴趣的对象，因为二者都是高度聚焦的，而背景是散焦的。类似地，参考图1C，鸟是高度聚焦的，而图像的其余部分是散焦的。具有低DOF图像的分割可用于许多应用，例如用于基于内容的检索的图像索引、基于对象的图像压缩、视频对象提取、3D微观图像分析以及用于深度估计的范围分割。
假设锐聚焦的区域包含足够的高频分量，则应该有可能通过比较高频内容的量而将聚焦的区域与低DOF图像区别开来。有两种用于该低DOF图像分割的方法基于边缘和基于区域的方法。基于边缘的方法通过测量在每一边缘像素的散焦量而提取对象的边界。该基于边缘的算法已经展示出用于分割人为对象以及具有锐边界边缘的对象的准确度。但是，这一方法常常不能检测自然对象的边界边缘，结果产生不连贯的边界。
另一方面，基于区域的分割算法依靠检测图像中的高频区。此处，一个合理的起点将通过计算该高频分量来测量每一像素的聚焦程度。为此目的，已经使用了若干方法，比如平方反高斯(SSAG)函数的空间求和、高频带中的小波系数方差、高频小波系数的通用换算统计描述以及局部方差等。单独利用高频分量常常在聚焦和散焦区域中都导致误差。在散焦区域中，尽管由于散焦而模糊，但也会存在高频分量足够强的繁忙(busy)纹理区域。这些区域易于被错误地分类为聚焦区域。相反，具有接近稳定的灰度级的聚焦区域也可能在这些区域中产生错误。因此，仅依赖OOI的锐利细节对于基于区域的DOF图像分割方法来说会是一种限制。而且，尽管结合了用于高分辨率分类的细化算法，该通用换算方法也易于产生不平稳的边界。
图2是诸如照相机的这样的典型图像捕获装置的光学几何结构的示意图。透镜100具有如下缺点该透镜仅对来自由熟悉的透镜方程式给出的距离-z的点的光加以聚焦1z′+1-z=1f,---(2)]]>其中z′是成像平面102至透镜100的距离，f是焦距。在其它距离的点被成像为小圆圈。该模糊圈的大小能够如下确定在距离为-z的点被成像在距透镜为z′的点，此处1/z′+1/-z＝1/f，所以(z‾′-z′)=f(z‾+f)f(z+f)(z‾-z).---(3)]]>如果成像平面102处于能够在距离为-z正确地接收对象的聚焦图像的位置，则在距离为-z的点将产生直径为dz′|z‾′-z′|]]>的模糊圈，其中d表示透镜100的直径。景深(DOF)是对象得到“足够好”的聚焦的距离范围，所谓“足够好”的聚焦是指模糊圈的直径小于该成像装置的分辨率。当然，该DOF取决于使用的是什么传感器，但在任何情况下，显然的是该透镜孔径越大，该DOF越小。当然，当采用大孔径时，在聚焦过程中的误差将变得更严重。如图2所示，df104和dr106分别表示该″景深″的前后界限。利用低DOF，模糊圈的直径变小，因此仅有OOI处在锐聚焦，而背景中的对象则是模糊而非聚焦的。另外，基于色彩和强度信息的分割技术将受到不佳的提取结果的影响。
因此，为了解决现有技术的问题而需要提供一种方法和装置，以便对与低景深相关的图像进行分割，从而可将感兴趣的对象从背景中准确和有效地提取出来。

发明内容
广泛地讲，本发明通过提供一种方法和系统而满足这些需要，本发明的方法和系统将图像数据变换为基于频率的图像数据，并且简化该基于频率的图像数据以便更有效地从该图像数据提取感兴趣的对象(OOI)。应该理解，本发明能够以很多方式实施，包含作为一种方法、一种系统、计算机代码或装置。下面描述本发明有创造性的几个实施例。
在一个实施例中，提供一种用于划分图像数据的方法。该方法以根据频率信息限定一个图像特征空间为开始。然后通过形态工具简化该图像特征空间的数据。随后，将已过滤的图像特征空间的区域指派作为初始的感兴趣对象。在此，该区域被称为一个种子区域，该种子区域与被指派给已过滤的图像特征空间的区域的最高值相关。已过滤的图像空间的每一个区域都与基本稳定的频率级相关。然后，通过一种区域归并技术更新所过滤的图像特征空间的初始OOI的边界。随后执行自适应阈值确定以便确定该初始感兴趣的对象的大小与图像数据大小的比。
在另一个实施例中，提供一种图像分割的方法。该方法以从图像数据产生更高阶统计(HOS)图为开始。然后简化该HOS图。随后，确定与该修改的HOS图的一个聚焦区域相关的一个边界。然后通过自适应阈值的确定来确定该聚焦区域的最终分割。
在另一实施例中，提供了用于从图像提取感兴趣的对象的方法。该方法以根据频率信息限定图像特征空间为开始。然后，过滤该图像特征空间，以便使聚焦区域和散焦区域平滑，同时保持分别与该聚焦区域和该散焦区域相关的边界。
在又一个实施例中，提供具有用于图像分割的程序指令的一个计算机可读介质。该计算机可读介质包括用于从图像数据产生一个更高阶统计(HOS)图的程序指令。包括用于修改该HOS图的程序指令。提供用于确定与所修改的HOS图的一个聚焦区域相关联的一个边界的程序指令。还包含用于根据与聚焦区域相关的值的大小与图像数据大小的比来确定该聚焦区域的最终分割的程序指令。
在另一个实施例中，提供了图像捕获装置。该图像捕获装置包括一个透镜，该透镜被配置成用于聚焦在景深(DOF)之内的对象。图像记录组件被与该图像捕获装置包括在一起。该图像记录组件被配置成用于从通过透镜接收的图像信息产生包括该DOF之内的对象的数字图像。该图像记录组件能够产生该数字图像的一个更高阶统计(HOS)图，以便从该数字图像提取在该DOF之内的对象。
在再一个实施例中，提供了一个图像搜索系统。该图像搜索系统包括一个具有透镜的图像捕获装置，该透镜被配置成用于聚焦在一个景深(DOF)之内的对象。包括与该图像捕获装置相互通信的图像提取组件。该图像提取组件被配置成用于提取在该DOF之内的对象。包括与该图像提取组件相互通信的图像内容检索系统。该图像内容检索系统被配置成用于接收对应于在该DOF之内的对象的数据。该图像内容检索系统被进一步配置成用于识别在所接收的数据和所收集的图像数据之间的OOI的匹配。
根据下面结合附图的实例说明对本发明的原则进行详细描述，使得本发明的其它方面和优点变得显而易见。


通过下面结合附图的详述描述，将使本发明容易理解，相同的附图标记指示相同的结构单元。
图1A至1C是低DOF图像的示例性说明。
图2是诸如照相机这样的典型图像捕获装置的光学几何结构的示意图。
图3A-3C表示根据本发明的一个实施例的原始图像和相关联的图像特征空间，说明了应用更高阶统计的效果。
图4A-4E示出根据本发明一个实施例的图示说明低DOF图像(4A)的HOS图(4B)、将通过重建的形态过滤应用到HOS图(4C)、应用区域归并的结果(4D)以及应用自适应阈值确定的结果(4E)。
图5A-5C表示根据本发明一个实施例的区域归并技术的图示说明。
图6-1至6-4提供针对与此处描述的实施例的分割技术相关联的每一个步骤的四个系列的实验结果。
图7-1至7-4示出四个系列的图像，这四个系列的图像能够对现有分割技术的结果与通过应用此处描述的实施例而产生的结果进行比较。
图8是根据本发明的一个实施例的用于从一个图像提取感兴趣的对象的方法操作的流程图。
图9是根据本发明一个实施例的一个图像捕获装置的简化示意图，该图像捕获装置具有被配置成用于提取与低景深图像相关联的感兴趣的对象的电路。
图10是根据本发明的一个实施例的一个图像搜索系统的简化示意图。
具体实施例方式
本发明所描述的是一种用于从低景深(DOF)图像提取感兴趣的对象(OOI)的系统、装置和方法。但是，根据随后的描述，对于本领域普通技术人员而言显而易见本发明可以在没有这些详细说明的某些或全部的细节下加以实践。在其它实例中，没有详细描述公知的过程操作，以免不必要地使本发明不清楚。图1A-C和图2在″背景技术″部分中加以描述。此处使用的术语“大约”是指该基准值的+/-10％。
本发明的实施例提供一种方法和系统，该方法和系统用于将与低景深(DOF)图像相关联的、锐聚焦的感兴趣对象(OOI)从该图像中的其它前景或背景对象分离出来。因此，具有低DOF的图像可被划分成聚焦区域和散焦区域。使用与该图像数据相关联的频率信息，而不是颜色或强度信息，来划分该图像。不同于其中使用强度、纹理或颜色的属性来发现区域的强度或彩色图像的分割，对于自动提取聚焦的OOI来说，焦距暗示(focus cue)可起到最重要的作用。低DOF图像被变换成用于分割的适当的特征空间。在一个实施例中，通过为该低DOF图像中的所有像素计算更高阶统计(HOS)而实现到该适当特征空间的变换，以便产生一个HOS图。然后，利用如下所述的通过重建的形态过滤来简化(即修改)该HOS图。OOI的边界被定义，且通过区域归并被更新。随后，通过自适应阈值的确定来确定最终OOI。因此，为很多应用提供了与该低DOF图像数据相关联的OOI的准确提取。
为了建立聚焦图像的散焦模型，常常通过2-D高斯函数描述由散焦引起的模糊效应Gσ(x,y)=12πσ2exp(-x2+y22σ2)---(1)]]>其中，σ是控制散焦量的传播参数或过滤比例。因此，一个散焦图像Id(x，y)的模型能够被建立，作为聚焦图像If(x，y)和高斯函数Gσ(x，y)的线性卷积Id(x，y)＝Gσ(x，y)*If(x，y). (4)如公式(4)中所示，由于该散焦的图像被低通过滤，所以该图像中的高频分量被去除或被减少。假设锐聚焦的区域包含足够的高频分量，则应该有可能通过比较高频内容的量来将该聚焦的区域与该低DOF图像区别开来。
使R表示一组像素，R＝{(k，1)；1≤k≤K，1≤1≤L}，其中该图像大小是K×L。目标是将R划分成锐聚焦的感兴趣的对象(OOI)，感兴趣的对象将用OOI表示，而其余区域用OOIC表示。
使P＝{Ri，i∈{1，…，N}}，表示R的一个划分。图像的OOI被定义成如下OOI=Ui=1NooiRi.---(5)]]>其中Ri是第i个连通区域，而Nooi表示属于OOI的区域的数目。换言之，OOI表示聚焦的感兴趣的对象，由P的Nooi个区域组成。方程式(5)自然允许定义多个OOI，即OOI可以由分离的子-OOI组成。
分割的初始步骤包括将输入的低DOF图像I变换成最合适的特征空间。应该理解，特征空间的选择可以取决于分割算法所针对的应用。例如，该特征空间可以表示一组小波系数，或局部方差像场。
在一个实施例中，针对特征空间变换应用更高阶统计(HOS)。更具体地说，为该图像中的全部像素计算四阶矩。应该理解，该四阶矩具有抑制高斯噪声的能力，由此提高了提取OOI的最终准确度。在(x，y)的四阶矩定义如下m^(4)(x,y)=1NηΣ(s,t)∈η(x,y)(I(s,t)-m^(x,y))4---(6)]]>其中η(i，j)是中心定位在(i，j)的一组像素， 是I(x，y)的取样均值(即m^(x,y)=1NηΣ(s,t)∈η(x,y)l(s,t)]]>)，以及Nη是η的大小。由于四阶矩值的动态范围极大，所以每一像素的值被降低比例并且以255为限，从而使得每一像素从
取值。该结果图像被称为HOS图，并且它被定义为HOS(x,y)=min(255,m^(4)(x,y)/100).---(7)]]>针对所有像素应用方程式(7)，产生HOS图，O＝{HOS(x，y)；(x，y)∈R}。
图3A-C表示根据本发明的一个实施例的原始图像和相关联的图像特征空间，说明了应用更高阶统计的效果。图3C示出按照在此所描述的从图3A绘制的低DOF图像产生的HOS图。将它与图3B示出的局部方差图加以比较，可见看出，图3C的HOS图在聚焦区中产生出更密和更高的值，同时抑制散焦区域中的噪声。即，OOI 1100c示出比图像110b具有更清楚的实心白色区域。
应该理解，上述的特征空间变换，即为了定义HOS图而应用HOS计算，使得最终能够为图像分割而采用更充分的特征空间限定。在一个实施例中，从该低DOF图像变换的HOS图具有0到255的灰度级。0-255范围之内的更高值对应于聚焦区域的更高电位。由于聚焦的平滑区域也不能通过HOS计算检测到，同时一些散焦的区域可能产生噪声，所以需要一种适当的用于HOS图修改的工具来分别消除在聚焦和散焦区域中的暗片和亮片。
数学形态学被公知为通过利用给定结构单元的开和闭的已确定组合来平滑噪声灰度级图像的一种方法。若干种形态工具依靠的是被称为腐蚀和膨胀的两个基本变换组。使B表示一个窗口或平的结构单元，使Bx，y为B的平移并使它的起点定位在(x，y)。随后，在构造用于图像简化的形态过滤器中使用由结构单元B造成的HOS图O的腐蚀εB(O)ϵB(O)(x,y)=min(k,l)∈Bx,yHOS(k,l).---(8)]]>类似地，该膨胀δB(O)(x,y)=max(k,y)∈Bx,yHOS(k,l).---(9)]]>基本的腐蚀和膨胀允许定义诸如形态开与闭的形态过滤器形态开γB(O)和闭B(O)由下式给出γB(O)＝δB(εB(O))，B(O)＝εB(δB(O)). (10)形态开操作器γB(O)采用后面跟随着膨胀δB(·)的腐蚀εB(·)。腐蚀使得图像变得更暗而膨胀使得图像变得更亮。形态开(或闭)通过消除没有落在结构单元B中的亮(或暗)分量来简化原始信号。因此，形态操作器能够被直接地用于二进制图像而无需任何改变。
形态过滤器的一个特征是，该过波器不允许完美保存对象的边界信息。因此，在某些情况中这可能是一个缺陷。为了克服此缺陷，可以采用通过重建的过滤器。虽然在性质上类似于形态开和闭的过滤器，但是该通过重建的过滤器依靠不同的腐蚀和膨胀操作器，使得它们的定义会稍微复杂一些。原始图像O相对于基准图像OR的尺寸1的基础的短程(geodesic)腐蚀ε(1)(O，OR)被定义如下ε(1)(O，OR)(x，y)＝max{εB(O)(x，y)，OR(x，y)}，(11)而相对于OR的O的双短程膨胀δ(1)(O，OR)由下式给出δ(1)(O，OR)(x，y)＝min{δB(O)(x，y)，OR(x，y)}，(12)因此，该短程膨胀δ(1)(O，OR)使用经典的膨胀操作器δB(O)膨胀该图像O。膨胀的灰度值大于或等于在O中的原始值。但是，如下面讨论的那样，短程膨胀将这些灰度值限制到基准图像R的对应灰度值。
因此，通过迭代基本版本的ε(1)(O，OR)和δ(1)(O，OR)获得任意大小的短程腐蚀和膨胀。例如，无限大小的短程腐蚀(膨胀)，即所谓的利用腐蚀(膨胀)的重建由下式给出利用腐蚀的重建(rec)(O，OR)＝ε(∞)(O，OR)＝ε(1)·ε(1)·…·ε(1)(O，OR)(13)利用膨胀的重建γ(rec)(O，OR)＝δ(∞)(O，OR)＝δ(1)·δ(1)·…·δ(1)(O，OR)(14)应该理解，(rec)(O，OR)和γ(rec)(O，OR)在一定次数的迭代之后将达到稳定。在一个实施例中，通过重建的形态开γ(rec)(εB(O)，O)和通过重建的形态闭(rec)(δB(O)，O)这两个简化过滤器都可以被认为是γ(rec)(O，OR)和(rec)(O，OR)的特例。
与形态开类似，通过重建的形态开首先应用基本的腐蚀操作器εB(O)来消除没有落在结构单元B中的亮分量。但是，不是仅在随后应用一个基本的膨胀，而是通过利用膨胀操作器γ(rec)(·，·)的重建来恢复还没有被完全去除的分量的轮廓。通过选择O作为基准图像R实现重建，这将保证对于每一像素来说，所得的灰度级将不高于原始图像O中的灰度级。
在此描述的方案的一个实施例中，通过重建的形态闭-开作为一个简化工具被应用到HOS图。应该理解，通过重建过滤器的形态闭-开的一种强处在于它填充小暗孔并消除孤立的小亮片，同时完美地保留其它分量和它们的轮廓。当然，被消除的分量的大小取决于结构单元的尺寸。
图4A-4C表示根据本发明一个实施例的低DOF图像的HOS图以及将通过重建的形态过滤器应用到HOS图的示意图。图4D和4E将在后面被说明。图4A是一个示例性的低DOF图像。图4B是通过计算针对图4A的图像数据的每一像素值的HOS而产生的结果HOS图。可以看出，图4B包括感兴趣的对象中的暗片，该暗片限定为两个足球运动员和足球114a。另外在散焦区域中存在亮片，例如区域116b中的亮片。通过HOS图的简化，例如将通过重建的形态过滤器应用到图4B的HOS图，消除了该聚焦区域中的小暗片。即，图4C表示一个简化的HOS图，其中通过如上所述地应用通过重建的形态过滤器来实现简化。例如，足球114c不包含足球114b的暗片。同样，当比较图4C与图4B时，散焦区域中的小亮片被消除。因此，如图4C所示，该聚焦的平滑区域被很好地覆盖，同时分散的小区域被该过滤器去除。
对于着重于将图像或场景划分成在强度上同类的区域的典型形态分割技术来说，在通过形态过滤器的简化之后可以进行标记提取和分水岭算法。标记提取步骤例如通过识别在简化步骤中获得的稳定灰度级的大区域来选择初始区域，其中该简化步骤可以是上述讨论的形态过滤器的应用。标记提取之后，大量像素不被指派给任何区域。这些像素对应于主要集中在该区域轮廓周围的不确定的区域。将这些像素指派给一个给定区域可被视为精确地定义该划分或分割的判定过程。一个形态判定工具是分水岭算法，该算法以类似于区域增长技术的方式来对像素进行标记。
与着重于划分图像的传统的基于强度的分割不同，该低DOF图像分割的任务是从该图像提取聚焦的区域(即OOI)。可以通过使用如下面描述的非常可能是OOI的种子区域来归并相似的聚焦区域。
在一个实施例中，在初期将每个平区(flat zone)作为一个区域处理而不管其大小，这意味着即使一个像素区也可能成为一个区域。然后，假设与最高值相关联的区域属于初始OOI，而具有从0至TL值的区域属于初始OOIc。参考图4C，简化的HOS图通常包括不确定区域，例如具有值v(TL＜v＜255)的区域112c，这些值被指派给OOI或OOIc。本领域普通技术人员将理解，OOI是指感兴趣的对象，同时OOI是用于数学表达式的参考。这样的指派更新该OOI，并且可通过使用在不确定区域和当前OOI、OOIn(即在第n次迭代中的OOI)之间的边界信息来执行。因此，通过计算规格化的重叠边界(nob)而将第n次迭代中的第i个不确定区域Rn，i指派给OOIn的算法如下面讨论地执行此功能。
给定一个划分Pn，通过下式给出在第i个不确定区域Rn，i∈Pn和OOIn之间的规格化重叠边界(nob)。
nobn,i=cardinal(BRn,i)∩OOIncardinal(BRn,i),---(15)]]>其中Rn，i的边界像素的集合被定义为BRn,i={x∉Rn,i|minr∈Rn,i||r-x||≤Tb}.]]>应该理解，当该不确定区域Rn，i与OOIn不相邻时，方程式15得到零值，而当Rn，i被OOIn的边界像素完全包围时，方程式15得到1值。因此，在本发明的一个实施例中，在0和1之间的值可被用于判定将在Pn中的不确定区域指派给OOIn还是OOInc。在本发明的另一个实施例中，用于限定一个区域的边界像素的阈值Tb简单地被设为1。显然，不确定区域Rn，i∈Pn属于OOIn或任何其它区域。在假设的测试项中，Ho:Rn,i⊆OOIn;Hi:Hoc.---(16)]]>规格化的重叠边界(nob)的模型可以建立成一个连续的随机变量nob(随机变量应该使用粗体)，取在
中的nob值。如果nobn，i大于阈值，则区域Rn，i被归并到OOIn。随后该划分Pn和OOIn被更新，得到渐增的OOIn序列，并且最终收敛到OOI.。在一个实施例中，通过如下的似然比测试来计算用于找到该阈值Tnob的一个起点(应该理解，为了简化符号，已经降低了该迭代指数n)如果P(ooi|nobi)＞P(ooic|nobi)，则将Ri指派给ooi；否则指派给ooic。其中ooi表示具有先验概率P(ooi)的OOI类别，而ooic表示具有先验概率P(ooic)＝1-P(ooi)的非OOI的类别。P(ooi|nobi)和P(ooic|nobi)表示分别对应于H0和H1的后验条件概率。如果在表达式的两边应用贝叶斯定理，并且各项被重新排列如下面所示 左边的比率被已知为似然比，整个方程式通常被称为似然比测试。由于该测试是以选择具有最大后验概率的区域类别为基础的，所以该判定准则被称为最大后验(MAP)准则。该判定准则也可被称为最小误差准则，因为平均地讲，这一准则产生最小数目的不正确判定。而且，由于感兴趣的对象和背景对象可能是任意的大小和任意的形状，所以可以采用相等的先前值，即(P(ooi)＝P(ooic))，因此该表达式减化为最大似然(ML)准则
利用指数分布建立该类别条件概率密度函数的模型，产生p(nobi|ooic)=λie-λ1nob1u(nobi)]]>p(nobi|ooi)=λ2e-λ2(1-nobi)u(1-nobi)---(19)]]>其中u(x)表示阶跃函数。上述分布近似建立了该真实数据的模型p(nobi|ooi)会在nobi＝1附近具有高值，并且随着nobi→0迅速衰减，同时p(nobi|ooic)会在nobi＝0附近具有高值，并且随着nobi→1快速衰减。最终，通过如下描述的方式重新排列方程式18和19而获得用于nobi的最佳阈值 参数λ1和λ2可以根据实际数据加以估算。但是，如果在指数分布之间呈现对称性(λ1＝λ2)，则用于最佳阈值的表达式可以被近似并且被简化为Tnob=λ2λ1+λ2+ln(λ1/λ2)λ1+λ2≈12.---(21)]]>因此，如果nobi大于Tnob，则Ri就被归并到OOI，并且OOI被更新。这一过程一直迭代到没有归并发生为止。应该理解，值1/2是一个示例值，并且本发明不局限于值1/2，因为用于Tnob的任意合适的值都可以被选择。
图5A-5c表示根据本发明一个实施例的区域归并技术的图示说明。图5A中，nobi大于Tnob，因此Ri122归并到OOI0中，而Rk126则不归并到OOI0中，因为nobk小于Tnob。换句话说，Ri122和OOI0120a之间的共享边界大于Ri122的整个边界的1/2，从而使Ri122归并到OOI0120a中以便来定义图5B的OOIi120b。由于Rk126和OOI0120a之间的共享边界小于1/2，所以Rk126不被归并到OOI0120a中。如上所述，Tnob可以是0和1之间(包括0和1)的任何适当的值。在下一次迭代中，如图5B中示出，因为nobj＞Tnob，所以Rj124a归并到OOIk120b中，产生图5C的OOI2120c。为了加快该过程，在本发明的一个实施例中，能够预先将很小的区域归并到具有最接近的值的相邻区域。例如，作为一个初始步骤，Rj124a可被归并到区域Ri122中。图4D示出将区域归并应用到图4C的简化HOS图的结果。例如，通过应用上述的区域归并技术，图4 C的区域112c被归并到图4D的OOI 118中。
通过自适应阈值确定来执行与聚焦区域(即OOI)相关联的最终大小判定。该自适应阈值的判定可基于这样的假设，即OOI占据了该图像的一个合理的部分。以TA＝255开始，降低该阈值，直至OOI的大小变得比图像大小的大约20％要大为止。例如参照图5C，Rk126不可被确定为一个OOI，因为OOI2120c的大小比该图像大小的大约20％要大。但是，如果OOI2120c的大小比该图像大小的约20％要小，则Rk126可被认为是该OOI的一部分。应该理解，对于自适应阈值确定，本发明不局限于图像大小值的20％，在此可选择OOI大小与该图像大小的比的任何适当值。参考图4E，可将自适应阈值确定技术应用于图4D，以便产生图4E的图像。
在此处讨论的实施例已经被实现并且已经在从JPEG压缩的CORELTMCD-ROM图像集合中选择的低DOF图像上作了测试。彩色图像首先被变换成用于该测试的灰度级图像。测试图像都没有用于此测试的同类散焦区域。用于η的3乘3的相邻关系被使用在上面定义的方程式6中。在这些测试中，阈值TL被设置为20。本领域普通技术人员将理解，最重要的参数之一是该形态过滤器的结构单元(SE)的大小。对于所有试验，该大小被设置为31×31，除了图4A所示图像之外。由于图4A所示足球114a的大小太小，所以在应用31×31的SE时，过滤器就去除了该球。为了更好的主观结果，针对图4A仅采用21×21的SE。
图6-1至6-4提供针对与此处描述的实施例的分割技术相关联的每一个步骤的四个系列的实验结果。每一系列的第一个图像是一个低DOF图像。每一系列的第二个图像是从相应的低DOF图像产生的一个HOS图。每一系列的第三个图像是一个简化的HOS图，其中通过重建的形态过滤器已经被应用到每一相应的HOS图。每一系列的第四个图像示出已经将区域归并应用到相应的简化HOS图的图像。每一系列的第五个图像是已经将自适应阈值确定应用到每一系列的相应的第四个图像而得到的图像。因此，该第五图像显示的是从应用了在此描述的实施例而得到的提取的OOI。
图7-1至7-4示出四个系列的图像，这四个系列的图像能够对分割技术的结果与应用此处描述的实施例而产生的结果进行比较。每一系列的第一个图像是一个低DOF图像。每一系列的第二图像示出从基于高频小波系数和它们的统计的通用换算方法得出的结果。每一系列的第三图像示出从应用了具有基于马尔可夫随机场(MRF)模型的分割的局部方差方案得出的结果。每一系列的第四图像示出从应用在此描述的方案所得出的结果。如该说明所展示的那样，由于在块方面的初始分类原因，即使结合用于高分辨率分类的细化算法，从第二系列的图像获得的结果也是块状的。由于在MRF模块中采用了平滑约束，所以对于每一系列的第三个图像使用的算法会导致邻接的非OOI区域趋向于被连接。每一系列的第四个图像中示出的建议方案在具有低DOF的各种图像上产生更准确的结果。为了比较的目的，每一系列的第五个图像提供了通过人工分割产生的一个参考。
还可以通过使用客观准则来评估所建议算法的分割性能。被建议来评估视频对象分割算法性能的一个基于像素的质量测量可被用于提供客观准则。从该参考OOI估算的OOI的空间失真被定义为d(Oest,Oref)=Σ(x,y)Oext(x,y)⊗Oref(x,y)Σ(x,y)Oref(x,y),---(22)]]>其中Oest和Oref分别是估算和参考的二进制掩码，而是二进制″异或″操作。下面的表格1提供了从下列三项得出的结果的空间失真测量1)图7-1至7-4的每一系列中的第二图像的高频带中的小波系数的方差，2)图7-1至7-4的每一系列中的第三图像的局部方差方案，以及3)由图7-1至7-4的每一系列中的第四图像表示的建议的方案。通过人工分割获得参考图，如图7-1至7-4的相应的第五个图像所示。由于二进制″异或″操作，OOI上的像素被设置为1，否则为0。如表格1所示，表示在此描述的实施例的方案具有比其它方法低的失真测量，并且这些测量被很好地与主观评价匹配。
表格1


图8是根据本发明的一个实施例的用于从一个图像提取感兴趣的对象的方法操作的流程图。该方法以操作140开始。此处，定义一个图像特征空间。该图像特征空间以频率信息为基础，如上面参照被应用到与图像特征空间相关联的图像的每一像素的高阶HOS所描述的。该方法然后进到操作142，其中过滤该图像。根据本发明的一个实施例，通过重建的形态过滤器被用于过滤该图像空间。如上所述，该形态过滤器简化了该图像空间。即，通过根据图4A-4E描述的形态过滤器，消除与聚焦区域或散焦区域相关联的孔和孤立片。在一个实施例中，通过识别同类区域的内部而产生初始OOI。具有该简化HOS图中的最高值的区域可以起到用于该初始OOI的种子区域的作用。在一个实施例中，该值是以该同类区域的频率级为基础的。
图8的方法随后进入操作144，在该操作中，执行区域归并，即确定感兴趣的对象的边界。首先将每个平区作为一个区域处理而不管其大小，这意味着即使一个像素的区也可以成为一个区域。随后假设与最高值vh相关联的区域属于一个初始OOI，而具有从0至TL值的区域属于初始OOIc。例如，在图4-(c)中，简化的HOS图包含具有值(Ti，vh)的不确定区域，其中vh等于255。那些不确定区域被指派给OOI或OOIc。通过考虑到在不确定区域和当前OOI、OOIn(即在第n次迭代中的OOI)之间的边界关系迭代地执行这样的指派。在一个实施例中，通过如上参考图5A-5C讨论的规格化的重叠边界(nob)的计算来应用区域归并。该方法然后进到操作148，在该操作中，定义感兴趣的对象的最终大小。在此，如上述参照图4E和图5C讨论的那样，可使用自适应阈值的确定来确定该感兴趣的对象的最终大小。即，如果与该感兴趣的对象相关联的大小比该整个图像大小的一个定义的百分比要小，则扩大该感兴趣的对象，直至该感兴趣的对象的大小达到该定义的百分比为止。在一个实施例中，该定义的百分比是整个屏幕大小的大约20％。
图9是根据本发明一个实施例的一个图像捕获装置的简化示意图，该图像捕获装置具有被配置成用于提取与低景深图像相关联的感兴趣的对象的电路。图像捕获装置150包括能够聚焦在一个感兴趣的对象上的透镜152。通过转换块164，将感兴趣的对象和相关联的背景信息转换成数字图像。然后操作该数字数据，以便提取该感兴趣的对象。此处，微处理器153(例如专用集成电路)被配置成如这里所述地提取感兴趣的对象。
图9的微处理器153包括图像提取电路154。图像提取电路154由图像特征变换电路156组成，电路156被配置成用于产生如上所述的一个HOS图。过滤电路158被配置成用于确定与景深中的对象相关联的边界。归并电路160被配置成用于分析与HOS图相关联的频率信息，以便组合该HOS图的相关同类区域。归并电路160还可以包括能够执行上面参照自适应阈值确定描述的功能的电路。存储介质162被提供用于存储所提取的感兴趣的对象。当然，执行特征提取功能和聚类/元数据生成函数的代码可被硬编码在一个半导体芯片上。本领域普通技术人员将理解，图像提取电路154能够包含被配置成提供上述功能的逻辑门。例如，能够采用硬件描述语言(HDL)来合成固件和逻辑门布局，以便提供此处描述的必要功能。
图像捕获装置150可以是任何图像捕获装置，例如显微镜、望远镜、照相机、摄像机等。应该理解，图像提取电路150可以集成到图像捕获装置150或被配置为插板。类似地，存储器162可被包括在图像捕获装置150中，或是分离的。因此，任何显微镜、望远镜或任何低DOF图像都可被操作，以便可以提取一个感兴趣的对象。还应该理解，该图像捕获装置可以与能够按照此处描述地提取感兴趣的对象的通用计算机进行通信。
图10是根据本发明的一个实施例的一个图像搜索系统的简化示意图。图像捕获装置150被配置成用于通过透镜152在块164中捕获数字图像数据。所捕获的数字图像数据可在图像提取组件166上加以处理，图像提取组件166被配置成用于提取低景深图像的感兴趣的对象。应该理解，在本发明的一个实施例中，图像提取组件166可以是一个通用计算机。即，图像提取组件166根据在此讨论的提取方案来提取感兴趣的对象。图像提取组件166与内容检索系统168相互通信。内容检索系统168与网络170相互通信。因此，可以根据所提取的感兴趣的对象来在一个分布式网络上执行图像搜索。
总之，在此描述的实施例提供了一种方法和系统，该方法和系统根据低DOF图像的像素的更高阶统计来将该低DOF图像中的像素分到两个区域中。该低DOF图像被变换成一个适当的特征空间，这就是本文所谓的HOS图。应用通过重建的形态过滤器来简化该HOS图。应用了该形态过滤器之后，应用区域归并技术。随后为了最终选定与该感兴趣的对象相关联的大小而使用自适应阈值确定。
应该理解，通过采用用于简化的强大的形态工具，即使对于聚焦的平滑区域，该建议的方案也能很好地执行，只要这些平滑区域的边界包含高频分量(即边缘)。但是，如果该聚焦的平滑区域太大，则此处描述的实施例可能不如上述的有效。如果该算法被配置成结合了一些语义或人类的知识，则可以解决这一障碍。对于本领域普通技术人员显而易见的是，所建议的算法与低DOF摄影技术相结合将能够扩展到视频对象分割，因为从任意视频序列中提取视频对象仍然具有很高的挑战性。另外，在此所描述的实施例可被应用到其中期望提取例如显微、摄影等感兴趣的对象的任何适当的低景深图像。
如果理解了上述的实施例，则应该清楚，本发明可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作包括那些要求对物理量进行物理的操作。一般来讲，尽管不是必须，但这些量采取能被进行存储、传输、组合、比较以及其它操作的电或磁信号的形式。而且，所执行的操作在术语上常被称为例如产生、识别、确定或比较。
上述发明可以利用其它计算机系统配置加以实现，包括手持装置、微处理器系统、基于微处理器的或可编程的消费电子装置、微型计算机、大型计算机等。本发明还可以在分布式计算环境中加以实现，在该环境中，通过经通信网络链接的远程处理装置来执行任务。
本发明还可以具体化为计算机可读介质上的计算机可读代码。该计算机可读介质是能够存储以后可由计算机系统读取的数据的任何数据存储装置。该计算机可读介质还包括其中含有计算机代码的电磁载波。计算机可读介质的实例包括硬盘驱动器、网络附加存储(NAS)、只读存储器、随机存储器、CD-ROM、CD-R、CD-RW、磁带和其它光学和非光学数据存储装置。该计算机可读介质还可以在由网络耦合的计算机系统上加以发布，以使该计算机可读代码以发布的形式加以存储和执行。
虽然为了清晰理解的目的已经对上述发明进行了详细的描述，但是显而易见的是，可以在所附的权利要求书的范围之内进行一定的改变和修改。因此，本实施例应被视为说明性的，而不是限制性的，并且本发明将并不局限于此处所给出的细节，而是可以在所附的权利要求书的范围及其等效范围内加以修改的。在这些权利要求中，单元和/或步骤并不暗含任何特定的操作次序，除非在这些权利要求中明确地给出说明。
权利要求
1.一种用于划分图像数据的方法，包括如下步骤根据频率信息定义图像特征空间；利用形态工具过滤该图像特征空间的图像数据；将所过滤的图像特征空间的区域指派为初始的感兴趣的对象；识别该过滤的图像特征空间的初始感兴趣的对象的边界；并且确定该初始感兴趣对象的大小与图像数据大小的比。
2.根据权利要求1所述的方法，其中识别该过滤的图像特征空间的初始的感兴趣的对象的边界的方法操作包括如下步骤计算表示如下的一个值的规格化的重叠边界，该值指示在该初始的感兴趣的对象和与该初始的感兴趣的对象在边界上接壤的区域之间共享的边界像素；如果该值大于阈值，则该方法包括如下步骤将所述与该初始的感兴趣的对象在边界上接壤的区域归并到该初始的感兴趣的对象中。
3.根据权利要求1所述的方法，其中所述根据频率信息定义图像特征空间的方法操作包括如下步骤为与该图像特征空间相关联的每一像素值计算更高阶统计(HOS)。
4.根据权利要求3所述的方法，其中该HOS被配置成用于计算与每一像素值相关联的四阶矩。
5.根据权利要求1所述的方法，其中所述利用形态工具过滤该图像特征空间的图像数据的方法操作包括如下步骤以保持该感兴趣的对象的边界的方式将该形态工具应用到该图像特征空间的图像数据。
6.根据权利要求1所述的方法，其中所述利用形态工具过滤该图像特征空间的图像数据的方法操作包括如下步骤去除与该图像特征空间的聚焦区域相关联的暗片；并且去除与该图像特征空间的散焦区域相关联的亮片。
7.根据权利要求1所述的方法，其中所述将所过滤的图像特征空间的区域指派为初始的感兴趣的对象的方法操作包括如下步骤识别与基本稳定的频率级相关联的该图像特征空间的区域；并且根据该基本稳定的频率级向所识别的区域中的每个区域指派一个值，其中与该初始的感兴趣的对象相关联的该过滤的图像空间的区域被指派一个最高值。
8.一种图像分割的方法，包括如下步骤从图像数据产生更高阶统计(HOS)图；修改该HOS图；确定与该修改的HOS图的聚焦区域相关联的边界；以及根据该聚焦区域的相关值的大小与图像数据大小的比来确定该聚焦区域的最终分割。
9.根据权利要求8所述的方法，其中所述从图像数据产生更高阶统计(HOS)图的方法操作包括如下步骤依比例缩放与每一像素相关联的值；以及限定与每一像素相关联的值的最大值。
10.根据权利要求8所述的方法，其中所述确定与该修改的HOS图的聚焦区域相关联的边界的方法操作包括如下步骤确定指示在该聚焦区域和边界接壤的区域之间共享的边界量的值；和如果该值大于阈值，则该方法包括如下步骤归并该聚焦区域和该边界接壤的区域。
11.根据权利要求8所述的方法，其中所述根据该聚焦区域的相关值的大小与图像数据大小的比来确定该聚焦区域的最终分割的方法操作包括如下步骤降低阈值，直到该聚焦区域的相关值的大小与该图像数据大小的比变为大于大约20％为止。
12.根据权利要求8所述的方法，其中该聚焦区域是感兴趣的对象。
13.根据权利要求8所述的方法，其中所述修改该HOS图的方法操作包括如下步骤通过腐蚀将重建应用到与该HOS图相关联的像素值；和通过膨胀将重建应用到该像素值，该通过膨胀应用重建包括如下步骤恢复与该HOS图相关联的分量的轮廓。
14.根据权利要求8所述的方法，其中所述根据该聚焦区域的相关值的大小与图像数据大小的比来确定该聚焦区域的最终分割的方法操作包括如下步骤定义阈值；在该阈值上确定该聚焦区域的相关值的大小；和减小该阈值，直至该聚焦区域的相关值的大小大于该图像数据大小的大约20％为止。
15.根据权利要求8所述的方法，进一步包括如下步骤识别该修改的HOS图的同类区域的内部；和将标记指派给该同类区域。
16.一种用于从图像提取感兴趣的对象的方法，包括如下步骤根据频率信息定义图像特征空间；以及过滤该图像特征空间，从而使聚焦区域和散焦区域平滑，同时保持分别与该聚焦区域和该散焦区域相关联的边界。
17.根据权利要求16所述的方法，进一步包括如下步骤归并相似的聚焦区域，以便定义感兴趣的对象(OOI)；并且确定该OOI的大小与该图像特征空间的比。
18.根据权利要求16所述的方法，其中所述根据频率信息定义图像特征空间的方法操作包括如下步骤为该图像的每一像素值计算更高阶统计(HOS)；以及从所计算的HOS定义HOS图。
19.根据权利要求16所述的方法，其中所述过滤该图像特征空间从而使聚焦区域和散焦区域平滑同时保持分别与该聚焦区域和该散焦区域相关联的边界的方法操作包括如下步骤将通过重建的形态过滤器应用到该图像特征空间。
20.一种包含用于图像分割的程序指令的计算机可读介质，包括用于从图像数据产生更高阶统计(HOS)图的程序指令；用于修改该HOS图的程序指令；用于确定与该修改的HOS图的聚焦区域相关联的边界的程序指令；以及用于根据该聚焦区域的相关值的大小与图像数据大小的比来确定该聚焦区域的最终分割的程序指令。
21.根据权利要求20所述的计算机可读介质，其中所述用于从图像数据产生更高阶统计(HOS)图的程序指令包括用于依比例缩放与每一像素相关联的值的程序指令；以及用于限定与每一像素相关联的值的最大值的程序指令。
22.根据权利要求20所述的计算机可读介质，其中所述用于确定与该修改的HOS图的聚焦区域相关的边界的程序指令包括用于确定指示在该聚焦区域和边界接壤的区域之间共享的边界量的值的程序指令；以及用于在该值大于阈值的情况下归并该聚焦区域和该边界接壤的区域的程序指令。
23.根据权利要求20所述的计算机可读介质，其中用于根据该聚焦区域的相关值的大小与图像数据大小的比来确定该聚焦区域的最终分割的程序指令包括减小该阈值直至该聚焦区域的相关值的大小与该图像数据大小的比大于大约20％为止的程序指令。
24.根据权利要求20所述的计算机可读介质，其中所述用于修改该HOS图的程序指令包括用于通过腐蚀将重建应用到与HOS图相关联的像素值的程序指令；用于通过膨胀将重建应用到该像素值的程序指令；所述用于通过膨胀应用重建的程序指令包括用于恢复与所述HOS图相关联的分量的轮廓的程序指令。
25.根据权利要求20所述的计算机可读介质，进一步包括用于识别该修改的HOS图的同类区域的内部的程序指令；以及用于将标记指派给该同类区域的程序指令。
26.一种图像捕获装置，包括一透镜，被配置成用于聚焦景深(DOF)之内的对象；一图像记录组件，被配置成用于从经过该透镜接收的图像信息产生包括DOF之内的对象的数字图像；该图像记录组件能够产生该数字图像的更高阶统计(HOS)图，以便从该数字图像提取该DOF之内的对象。
27.根据权利要求26所述的图像捕获装置，其中该图像记录组件包括过滤电路，该过滤电路被配置成用于确定与该DOF之内的该对象相关联的边界。
28.根据权利要求26所述的图像捕获装置，其中该HOS图根据与该数字图像相关联的频率信息定义特征空间。
29.根据权利要求28所述的图像捕获装置，其中该图像记录组件包括特征变换电路和归并电路，其中该特征变换电路被配置成用于产生该HOS图，该归并电路被配置成用于分析该频率信息以便组合该HOS图的相关同类区域。
30.根据权利要求26所述的图像捕获装置，其中该图像捕获装置是从由显微镜、望远镜、照相机和摄像机组成的组中选出的。
31.一种图像搜索系统，包括包含透镜的图像捕获装置，该透镜被配置成用于聚焦景深(DOF)之内的对象；与该图像捕获装置相互通信的图像提取组件，该图像提取组件被配置成用于提取该DOF之内的对象；以及与该图像提取组件相互通信的图像内容检索系统，该图像内容检索系统被配置成用于接收与该DOF之内的对象相对应的数据，该图像内容检索系统进一步被配置成用于识别在所接收的数据与所收集的图像数据之间的匹配。
32.根据权利要求31所述的图像搜索系统，其中该图像捕获装置是从由显微镜、望远镜、照相机和摄像机组成的组中选出的。
33.根据权利要求31所述的图像搜索系统，其中该图像提取组件是通用计算机。
34.根据权利要求31所述的图像搜索系统，其中该图像提取组件被集成到该图像捕获装置中。
35.根据权利要求31所述的图像搜索系统，其中该图像内容检索系统包括一数据库，被配置成用于存储所收集的图像数据；以及一数据库查询系统，被配置成用于通过比较与所接收的数据相关联的签名索引和与所收集的图像数据相关联的签名索引来识别在所接收的数据和所收集的图像数据之间的匹配。
36.根据权利要求31所述的图像搜索系统，其中该对象是感兴趣的对象。
全文摘要
本发明提供了一种用于从图像中提取感兴趣的对象的方法。该方法以根据频率信息定义图像特征空间开始。然后，过滤该图像特征空间，以便使聚焦区域和散焦区域平滑，同时保持分别与该聚焦区域和该散焦区域相关联的边界。通过区域归并和自适应阈值确定来对该过滤的图像特征空间进行操作，以便提取感兴趣的对象。还提供了一种计算机可读介质、一种图像捕获装置以及一种图像搜索系统。
文档编号G06F17/30GK1497494SQ200310102420
公开日2004年5月19日 申请日期2003年10月17日 优先权日2002年10月17日
发明者C·金, C 金 申请人:精工爱普生株式会社