从图像中检测对象的设备和方法

从图像中检测对象的设备和方法
【专利摘要】一种从图像中检测对象的设备和方法。所述设备包括：显著区域检测器，从图像中检测显著区域；第一特征提取器，从检测的显著区域提取第一图像特征；第一识别器，利用第一分类器来基于提取的第一图像特征识别第一对象所在的区域；图像划分器，将图像划分为多个块；第二特征提取器，从分割的块提取第二图像特征；第二识别器，利用第二分类器来基于提取的第二图像特征识别第二对象所在的区域；提取器，基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓。
【专利说明】从图像中检测对象的设备和方法
【技术领域】
[0001]本发明涉及视觉和模式识别领域。更具体地讲，涉及一种从图像中检测对象的设备和方法。
【背景技术】
[0002]对象检测是视觉技术中的一个重要技术，其在智能视频监视、基于内容的图像/视频检索、图像/视频注释、辅助的人机交互中有非常重要的应用。
[0003]对象检测主要基于经验的技术和基于学习的技术。基于经验的技术着眼于低层次图像特征，例如灰度、梯度等，利于预先设定的规则、门限等完成对象的提取和分割。根据所处理的数据不同，分为二维技术和三维技术。基于学习的技术利用较高层次的图像特征，例如纹理、小波、圆度等，使用训练集训练出分类器，而后在需要处理的图像上进行检测。
[0004]现有的对象检测技术主要存在如下问题:只针对特定应用场景中的于某一类或少数几类结果，不能扩展到形状、尺寸、外观不同的对象；现有技术不能精确提取目标边界和轮廓；现有技术速度慢，不能实时运行。
[0005]因此，需要一种能够克服上述至少一个缺点的对象检测方案。

【发明内容】

[0006]本发明的目的在于提供一种从图像中检测对象的设备和方法，以克服上述至少一个缺点。
[0007]本发明的一方面提供一种从图像中检测对象的设备，其特征在于，包括:显著区域检测器，从图像中检测显著区域；第一特征提取器，从检测的显著区域提取第一图像特征；第一识别器，利用第一分类器来基于提取的第一图像特征识别第一对象所在的区域；图像划分器，将图像划分为多个块；第二特征提取器，从分割的块提取第二图像特征；第二识别器，利用第二分类器来基于提取的第二图像特征识别第二对象所在的区域；提取器，基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓。
[0008]可选地，提取器包括:候选区域产生单元，利用第一对象所在的区域和第二对象所在的区域之间的位置关系，生成候选区域；代价图生成单元，生成描述所述轮廓的可能位置的代价图；路径提取单元，从代价图中提取总代价最小的路径作为所述轮廓。
[0009]可选地，第二识别器将被分类为第二对象的块所组成的联通域之中的面积最大的联通域识别为第二对象所在的区域。
[0010]可选地，第一分类器是利用第一对象的样本集基于第一图像特征训练得到的，第二分类器是利用第二对象的样本集基于第二图像特征训练得到的，其中，在图像中，第二对象的尺寸大于第一对象的尺寸和/或包含第一对象。
[0011]可选地，第一对象的样本集是解剖结构中的特征组织的样本集，第二对象的样本集是解剖结构中的器官组织的样本集。
[0012]可选地，所述设备还包括:分割器，用于细化识别的第一对象所在的区域的边界。[0013]可选地，图像划分器将图像划分为多个超像素作为所述多个块。
[0014]本发明的另一方面提供一种从图像中检测对象的方法，其特征在于，包括:从图像中检测显著区域；从检测的显著区域提取第一图像特征；利用第一分类器来基于提取的第一图像特征识别第一对象所在的区域；图像划分器，将图像划分为多个块；从分割的块提取第二图像特征；利用第二分类器来基于提取的第二图像特征识别第二对象所在的区域；基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓。
[0015]可选地，基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓的步骤包括:利用第一对象所在的区域和第二对象所在的区域之间的位置关系，生成候选区域；生成描述所述轮廓的可能位置的代价图；从代价图中提取总代价最小的路径作为所述轮廓。
[0016]可选地，将被分类为第二对象的块所组成的联通域之中的面积最大的联通域识别为第二对象所在的区域。
[0017]可选地，第一分类器是利用第一对象的样本集基于第一图像特征训练得到的，第二分类器是利用第二对象的样本集基于第二图像特征训练得到的，其中，在图像中，第二对象的尺寸大于第一对象的尺寸和/或包含第一对象。
[0018]可选地，第一对象的样本集是解剖结构中的特征组织的样本集，第二对象的样本集是解剖结构中的器官组织的样本集。
[0019]可选地，所述方法还包括:用于细化识别的第一对象所在的区域的边界。
[0020]可选地，将图像划分为多个超像素作为所述多个块。
[0021]根据本发明的实施例的从图像中检测对象的设备和方法，对于形状、尺寸、外观不同的对象可以直接进行检测，不需要人工调试。此外，本发明可以精确提取目标边界和轮廓。此外，本发明可以同时检测多种对象，并且需要的计算量较少，提高了检测速度，可以实现在线检测。
[0022]将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。
【专利附图】

【附图说明】
[0023]通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中:
[0024]图1示出根据本发明的一个实施例的从图像中检测对象的设备的框图；
[0025]图2示出根据本发明的实施例的显著区域的示例；
[0026]图3示出根据本发明的实施例的图像划分结果的示例；
[0027]图4示出根据本发明的实施例的提取器的框图；
[0028]图5示出根据本发明的实施例的候选区域的示例；
[0029]图6示出根据本发明的实施例的轮廓的示例；
[0030]图7示出根据本发明的另一个实施例的从图像中检测对象的设备的框图；
[0031]图8示出根据本发明的实施例的从图像中检测对象的方法的流程图；
[0032]图9示出根据本发明的实施例的提取第二对象的轮廓的流程图；
[0033]图10示出图像中存在多种对象的一个示例。【具体实施方式】
[0034]现在，将参照附图更充分地描述不同的示例实施例，其中，一些示例性实施例在附图中示出。在附图中，相同的标号表示相同的组件。
[0035]图1示出根据本发明的一个实施例的从图像中检测对象的设备的框图。
[0036]根据本发明的从图像中检测对象的设备可以通过对图像中存在的多种对象的初步检测结果进行综合处理来最终精确地检测出至少一种对象。
[0037]如图1所示，根据本发明的从图像中检测对象的设备100包括:显著区域检测器110、第一特征提取器120、第一识别器130、图像划分器140、第二特征提取器150、第二识别器160、提取器170。
[0038]显著区域检测器110从图像中检测显著区域。显著区域是指与背景存在一定对比的区域。
[0039]显著区域检测器110可使用各种显著区域提取算法(例如，MSER检测方法、边缘检测方法或者Harris-affine检测方法)从图像中检测与背景存在对比的显著区域。
[0040]图2示出根据本发明的实施例的显著区域的一个示例。如图2所示，检测出的显著区域以粗实线为轮廓标出。
[0041]与传统对象检测中使用扫描窗方法来获得区域的方式相比，进行显著区域检测所得到的区域的有效区域数量多、区域总数少、并且所需的处理时间少。
[0042]第一特征提取器120从显著区域检测器110所检测的每个显著区域提取图像特征(以下，为了描述方便，称为第一图像特征)。
[0043]可提取至少一种用于表现对象特性的图像特征。图像特征可以是例如边缘能量、面积周长比、不同部分平均灰度等中的至少一个，但本发明不限于此，也可使用其他用于表现对象特性的图像特征。
[0044]第一识别器130利用第一分类器来基于提取的第一图像特征识别第一对象所在的区域。此时，可以初步检测到第一对象。
[0045]可利用第一对象的训练样本集基于第一图像特征来预先训练出第一分类器。为了识别多种类型的第一对象，第一分类器可采用多类分类器，例如随机森林分类器或多类SVM分类器。由于利用从训练样本集提取的图像特征训练分类器的技术是已知的，将不再详述。
[0046]图像划分器140将图像划分为多个块。图像划分器140可利用各种图像划分算法来将图像划分为多个块。例如，可以将图像划分为尺寸类似或相同的多个块。
[0047]在一个示例中，使用超像素(super pixel)算法将图像划分为多个尺寸类似或相同的多个块。图3示出根据本发明的实施例的图像划分结果的一个示例。如图3所示，每个超像素的面积较小，包含的内容相对简单。通过这样的划分处理，便于随后检测图像中可能包含有的第一对象的第二对象。
[0048]第二特征提取器150从每个划分的块提取图像特征(以下，为了描述方便，称为第二图像特征)。可提取至少一种用于表现对象特性的图像特征。
[0049]第二识别器160利用第二分类器来基于提取的第二图像特征识别第二对象所在的区域。
[0050]可利用第二对象的训练样本集基于第二图像特征来预先训练出第二分类器。[0051]在一个示例中，第二识别器160可采用二类分类器，用于将划分的块归类为第二对象或背景。此外，第二识别器160将被分类为第二对象的块所组成的联通域之中的面积最大的联通域识别为第二对象所在的区域。
[0052]提取器170基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓。具体地说，提取器170可基于第一对象所在的区域和第二对象所在的区域的位置关系提取第二对象的轮廓，从而更精确地检测第二对象。
[0053]下面参照图4描述根据本发明的提取器170的一个示例。图4示出根据本发明的实施例的提取器的框图。
[0054]如图4所示，根据本发明的提取器170包括:候选区域产生单元171、代价图生成单元172、路径提取单元173。
[0055]候选区域产生单元171利用第一对象所在的区域和第二对象所在的区域，生成第二对象的轮廓所在的候选区域。具体地说，选区域产生单元171利用第一对象所在的区域和第二对象所在的区域之间的位置关系，确定第二对象的轮廓所在的候选区域。通常可以确定第二对象的轮廓所在的候选区域位于第一对象所在的区域和第二对象所在的区域之间的区域中。
[0056]例如，在第一对象是解剖结构中的特征组织，第二对象是解剖结构中的器官组织的情况下，可以根据由第一识别器130识别出的特征组织和由第二识别器160识别出的器官组织之间的位置关系，来大概确定器官组织的轮廓所在的区域。
[0057]图5示出根据本发明的实施例的候选区域的一个示例。在图5中，竖直虚线区域为由第二识别器160识别出的肝脏区域，倾斜虚线区域为由第一识别器130识别出的隔膜区域，根据隔膜区域和肝脏区域的位置关系，可以确定肝脏的轮廓所在的区域存在于隔膜区域与肝脏区域之间的区域(如粗实线围绕的区域所示)。
[0058]代价图生成单元172生成描述轮廓可能位置的代价图，也即，可能的轮廓的代价图。代价图生成单元172可利用各种图像信息来生产代价图。例如，代价图生成单元172可利用沿轮廓的灰度值的连续性、垂直于轮廓的梯度强度、轮廓与第一对象所在的区域和第二对象所在的区域的位置关系中的至少一个来生成代价图。由于生成代价图的技术是已知的，不再详述。
[0059]当利用多种信息产生代价图时，每个像素的代价是所述多种信息产生的代价的加权和。
[0060]路径提取单元173从代价图中提取总代价最小的路径作为所述轮廓。可使用最短路方法(例如，Di jkstra算法或Bellman-Ford算法)从代价图中提取总代价最小的路径。图6示出根据本发明的实施例的轮廓的一个示例。在图6中，提取的轮廓由粗实线示出。
[0061]图7示出根据本发明的另一个实施例的从图像中检测对象的设备的框图。
[0062]与图1所示的实施例相比，图7所示的从图像中检测对象的设备还包括分割器180。分割器180用于细化识别的第一对象所在的区域的边界。可利用现有的分割算法(例如，水平集方法)来细化第一对象所在的区域的边界。
[0063]根据本发明的显著区域检测器、第一特征提取器、第一识别器、图像划分器、第二特征提取器、第二识别器、提取器、分割器、候选区域产生单元、代价图生成单元、路径提取单元代表硬件组件，可由诸如模块执行特定任务的现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现。本领域技术人员根据说明书对这些器件的描述可以容易地实现对应的FPGA或ASIC的结构。
[0064]图8示出根据本发明的实施例的从图像中检测对象的方法的流程图。
[0065]在步骤801，从图像中检测显著区域。显著区域是指与背景存在预定对比的区域。
[0066]可使用各种显著区域提取算法(例如，MSER检测方法，边缘检测方法或者Harris-affine检测方法)从图像中检测与背景存在对比的显著区域。
[0067]在步骤802，从在步骤801所检测的每个显著区域提取第一图像特征。
[0068]可提取至少一种用于表现对象特性的图像特征。图像特征可以是例如边缘能量、面积周长比、不同部分平均灰度等中的至少一个，但本发明不限于此，也可使用其他用于表现对象特性的图像特征。
[0069]在步骤803，利用第一分类器来基于提取的第一图像特征识别第一对象所在的区域。此时，可以初步检测到第一对象。
[0070]可利用第一对象的训练样本集基于第一图像特征来预先训练出第一分类器。为了识别多种类型的第一对象，第一分类器可采用多类分类器，例如随机森林分类器或多类SVM分类器。
[0071]在步骤804，将图像划分为多个块。可利用各种图像划分算法来将图像划分为多个块。例如，可以将图像划分为多个尺寸类似的多个块。
[0072]在一个示例中，使用超像素(super pixel)算法将图像划分为多个尺寸类似的多个块。
[0073]在步骤805，从每个划分的块提取第二图像特征。可提取至少一种用于表现对象特性的图像特征。
[0074]在步骤806，利用第二分类器来基于提取的第二图像特征识别第二对象所在的区域。
[0075]可利用第二对象的训练样本集基于第二图像特征来预先训练出第二分类器。
[0076]在一个示例中，可采用二类分类器，以将划分的块归类为第二对象或背景。此外，可将被分类为第二对象的块所组成的联通域之中的面积最大的联通域识别为第二对象所在的区域。
[0077]在步骤807，基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓。具体地说，可基于第一对象所在的区域和第二对象所在的区域的位置关系提取第二对象的轮廓。
[0078]应该理解，步骤801-803与步骤804-806的先后执行并且执行次序可以交换或者步骤801-803与步骤804-806可以并行或同时进行。
[0079]此外，图8所示的方法还可包括细化在步骤803识别的第一对象所在的区域的边界的步骤。可利用现有的分割算法(例如，水平集方法)来细化第一对象所在的区域的边界。
[0080]下面参照图9描述基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓的一个示例。图9示出根据本发明的实施例的提取第二对象的轮廓的流程图。[0081 ] 在步骤901，利用第一对象所在的区域和第二对象所在的区域，生成第二对象的轮廓所在的候选区域。具体地说，可利用第一对象所在的区域和第二对象所在的区域之间的位置关系，确定第二对象的轮廓所在的候选区域。[0082]在步骤902，生成描述轮廓可能位置的代价图，也即，可能的轮廓的代价图。可利用各种图像信息来生产代价图。例如，可利用沿轮廓的灰度值的连续性、垂直于轮廓的梯度强度、轮廓与第一对象所在的区域和第二对象所在的区域的位置关系中的至少一个来生成代价图。
[0083]当利用多种信息产生代价图时，每个像素的代价是所述多种信息产生的代价的加权和。
[0084]在步骤903，从代价图中提取总代价最小的路径作为所述轮廓。可使用最短路方法(例如，Dijkstra算法或Bellman-Ford算法)从代价图中提取总代价最小的路径。图6示出根据本发明的实施例的轮廓的一个示例。
[0085]根据本发明的实施例的从图像中检测对象的设备和方法可以通过对图像中存在的多种对象的初步检测结果进行综合处理，来最终精确地检测出至少一种对象。例如，图10示出图像中存在多种对象的一个示例。
[0086]在图10中示出的图像为一个医学图像，标号a指示的对象为特征组织(例如，血管、结节、隔膜、肿瘤、囊肿等)，标号b指示的区域为器官组织(例如，肝脏、肺、胆囊、肾脏等)。在医学图像中，由于特征组织尺寸较小，与背景对比突出，并且内部一般不包含其他结构，而器官组织所占面积较大，通常会包含着特征组织，因此根据现有的技术很难从图像中识别出器官组织。根据本发明的实施例的从图像中检测对象的设备和方法，针对医学图像中特征组织和器官组织的特点，可以首先初步检测出作为第一对象的特征组织并初步检测出作为第二对象的器官组织，然后最终结合初步检测的特征组织和器官组织来最终精确地检测出器官组织。
[0087]此外，除了上面作为示例的医学图像之外，本发明也可应用于其他的具有多种类型的对象的图像，特别适应于在图像中至少一个类型的对象的尺寸较小并且可能包含在另一种类型的对象中的情况。
[0088]根据本发明的实施例的从图像中检测对象的设备和方法，对于形状、尺寸、外观不同的对象可以直接进行检测，不需要人工调试。此外，本发明可以精确提取目标边界和轮廓。此外，本发明可以同时检测多种对象，并且需要的计算量较少，提高了检测速度，可以实现在线检测。
[0089]尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
【权利要求】
1.一种从图像中检测对象的设备，其特征在于，包括: 显著区域检测器，从图像中检测显著区域； 第一特征提取器，从检测的显著区域提取第一图像特征； 第一识别器，利用第一分类器来基于提取的第一图像特征识别第一对象所在的区域； 图像划分器，将图像划分为多个块； 第二特征提取器，从分割的块提取第二图像特征； 第二识别器，利用第二分类器来基于提取的第二图像特征识别第二对象所在的区域； 提取器，基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓。
2.根据权利要求1所述的设备，其中，提取器包括: 候选区域产生单元，利用第一对象所在的区域和第二对象所在的区域之间的位置关系，生成候选区域； 代价图生成单元，生成描述所述轮廓的可能位置的代价图； 路径提取单元，从代价图中提取总代价最小的路径作为所述轮廓。
3.根据权利要求1所述的设备，其中，第二识别器将被分类为第二对象的块所组成的联通域之中的面积最大的联通域识别为第二对象所在的区域。
4.根据权利要求1所述的设备，其中，第一分类器是利用第一对象的样本集基于第一图像特征训练得到的，第二分类器是利用第二对象的样本集基于第二图像特征训练得到的，其中，在图像中，第二对象的尺寸大于第一对象的尺寸和/或包含第一对象。
5.根据权利要求4所述的设备，其中，第一对象的样本集是解剖结构中的特征组织的样本集，第二对象的样本集是解剖结构中的器官组织的样本集。
6.根据权利要求1所述的设备，还包括: 分割器，用于细化识别的第一对象所在的区域的边界。
7.根据权利要求1所述的设备，其中，图像划分器将图像划分为多个超像素作为所述多个块。
8.一种从图像中检测对象的方法，其特征在于，包括: 从图像中检测显著区域； 从检测的显著区域提取第一图像特征； 利用第一分类器来基于提取的第一图像特征识别第一对象所在的区域； 图像划分器，将图像划分为多个块； 从分割的块提取第二图像特征； 利用第二分类器来基于提取的第二图像特征识别第二对象所在的区域； 基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓。
9.根据权利要求8所述的方法，其中，基于第一对象所在的区域和第二对象所在的区域提取第二对象的轮廓的步骤包括: 利用第一对象所在的区域和第二对象所在的区域之间的位置关系，生成候选区域； 生成描述所述轮廓的可能位置的代价图； 从代价图中提取总代价最小的路径作为所述轮廓。
10.根据权利要求9所述的方法，其中，将被分类为第二对象的块所组成的联通域之中的面积最大的联通域识别为第二对象所在的区域。
11.根据权利要求9所述的方法，其中，第一分类器是利用第一对象的样本集基于第一图像特征训练得到的，第二分类器是利用第二对象的样本集基于第二图像特征训练得到的，其中，在图像中，第二对象的尺寸大于第一对象的尺寸和/或包含第一对象。
12.根据权利要求11所述的方法，其中，第一对象的样本集是解剖结构中的特征组织的样本集，第二对象的样本集是解剖结构中的器官组织的样本集。
13.根据权利要求9所述的方法，还包括: 用于细化识别的第一对象所在的区域的边界。
14.根据权利要求9所述的方法，其中，将图像划分为多个超像素作为所述多个块。
【文档编号】G06K9/46GK103914710SQ201310001556
【公开日】2014年7月9日 申请日期:2013年1月5日 优先权日:2013年1月5日
【发明者】沈晓璐, 冯雪涛, 王强, 郝志会, 金培亭, 金智渊 申请人:北京三星通信技术研究有限公司, 三星电子株式会社