在图像中确定目标区域的装置和方法
【专利摘要】提供了一种在待定图像中确定目标区域的装置，所述装置包括：图像分割模块，被配置为对与所述待定图像对应的热图执行分层分割以获得多层分层图像，其中，每层分层图像被分割为多个超像素；分类器训练模块，包括与一层或多层分层图像分别对应的一个或多个超像素分类器，并被配置为使用超像素分类器来确定与所述超像素分类器对应的层中的每个超像素位于目标区域或非目标区域的置信度；目标确定模块，被配置为基于超像素分类器确定的与所述超像素分类器对应的层中的每个超像素位于目标区域或非目标区域的置信度，在待定图像中确定目标区域。
【专利说明】在图像中确定目标区域的装置和方法
【技术领域】
[0001] 本申请涉及一种在图像中确定目标区域的装置和方法，更具体地讲，涉及一种通 过对待定图像进行分层分割来在待定图像中自动确定目标区域的装置和方法。
【背景技术】
[0002] 目前为止，对肿瘤的早期检测仍然是降低癌症死亡率的一种解决方案。在过去的 几十年中，X线照相术是用于诊断肿瘤的主要方式。然而，这种方式由于其低特异性而可能 产生较高的假阳性率，并使得需要进行许多不必要的且对患者而言昂贵又不舒适的活组织 检查。
[0003] 超声波技术是一种更加方便、安全的检测手段，并能够在诊断过程中达到更高的 精确率。但众所周知的是，超声波图像的解释极度依赖于对超声造影术的原理的理解。即 便是对于一个受到良好训练的医学专家而言，也难以非常准确地在超声波图像中识别和划 分良性肿瘤和恶性肿瘤的边界。因此，需要一种能够帮助检查者有效地在超声波图像中识 别肿瘤区域的装置和方法。
[0004] 从图像处理的角度来看，肿瘤区域的确定通常由于以下原因而比一般对象更加困 难：
[0005] (1)用于检测肿瘤区域的超声波图像的质量较差、对比度较低并且具有严重的散 斑噪声；
[0006] (2)肿瘤的形状和外观差异较大；
[0007] (3)肿瘤边界不明确并且不规则；
[0008] (4)图像中存在类似肿瘤的组织和声影区。
[0009] 大部分现有的在图像中确定肿瘤区域的方法是基于区域生长（region growing)、 轮廓建模（contour modeling)、直接像素标记（straightforward pixel labeling)或其组 合，并且在各种明示或暗示的假设中，肿瘤是致密（compact)的并且纹理一致，并具有相对 清晰的轮廓。然而，在实践中，相当多的肿瘤，尤其是恶性肿瘤，与这样的假设恰恰相反。因 此，需要一种能够在图像中更准确的确定肿瘤区域的方法和设备。
【发明内容】
[0010] 根据本发明的一方面，提供了一种在待定图像中确定目标区域的装置，所述装置 包括：图像分割模块，被配置为对与所述待定图像对应的热图执行分层分割以获得多层分 层图像，其中，每层分层图像被分割为多个超像素；分类器训练模块，包括与一层或多层分 层图像分别对应的一个或多个超像素分类器，并被配置为使用超像素分类器来确定与所述 超像素分类器对应的层中的每个超像素位于目标区域或非目标区域的置信度；目标确定模 块，被配置为基于超像素分类器确定的与所述超像素分类器对应的层中的每个超像素位于 目标区域或非目标区域的置信度，在待定图像中确定目标区域。
[0011] 所述装置还可包括：图像转换模块，被配置为将待定图像转换为与所述待定图像 相应的热图。
[0012] 所述待定图像可以是超声波图像。
[0013] 图像转换模块可以是具有低通阈值的均值滤波器。
[0014] 所述图像分割模块可被配置为通过归一化割算法对热图进行分割以获得被分割 为多个超像素的第一层分层图像，并且所述图像分割模块可使用k均值聚类算法对每层分 层图像中的每个超像素进行分割以获得所述每层的下一层的分层图像。
[0015] 所述分类器训练模块还可包括：特征提取器，被配置为提取分层图像中的每个超 像素的特征。特定层的超像素分类器可基于特征提取器提取的所述特定层的分层图像中的 每个超像素的特征来确定所述特定层的分层图像中的每个超像素位于目标区域或非目标 区域的置信度。
[0016] 所述分类器训练模块可为每层分层图像分配一个超像素分类器。
[0017] 特定层的超像素分类器可基于特征提取器提取的所述特定层的分层图像中的每 个超像素的特征以及与所述特定层的分层图像的上一层分层图像相关的附加特征来确定 所述特定层的分层图像中的每个超像素位于目标区域或非目标区域的置信度，其中，所述 附加特征是从所述特定层的上一层的超像素分类器接收的所述上一层分层图像中的每个 超像素位于目标区域或非目标区域的置信度。
[0018] 分类器训练模块中的超像素分类器已通过使用目标区域已确定的多幅图像被训 练。
[0019] 所述目标确定模块可被配置为基于分类器训练模块中的最低层的超像素分类器 确定的最低层分层图像中的每个超像素位于目标区域或非目标区域的置信度来在待定图 像中确定目标区域，其中，所述最低层分层图像是指所述多层分层图像中通过图像分割模 块的最后一次分层分割所获得分层图像。
[0020] 可使用支持向量机来实现超像素分类器。
[0021] 超像素的特征可包括所述超像素的稠密SIFT、颜色直方图、空间灰度相关特征、图 心的位置和形状线索中的至少一个。所述超像素的形状线索可包括所述超像素的最大轴和 最小轴的长度、边界椭圆的朝向、以及边界椭圆所包括的所有像素中属于所述超像素的像 素所占的比例。
[0022] 所述目标区域可以是病变区域或肿瘤区域。
[0023] 根据本发明的另一方面，还提供了一种在待定图像中确定目标区域的方法，所述 方法包括：对与所述待定图像对应的热图执行分层分割以获得多层分层图像，其中，每层分 层图像被分割为多个超像素；使用超像素分类器来确定与所述超像素分类器对应的层中的 每个超像素位于目标区域或非目标区域的置信度；基于超像素分类器确定的与所述超像素 分类器对应的层中的每个超像素位于目标区域或非目标区域的置信度，在待定图像中确定 目标区域。
[0024] 所述方法还可包括：将待定图像转换为与所述待定图像相应的热图。
[0025] 所述待定图像可以是超声波图像。
[0026] 可使用具有低通阈值的均值滤波器来将待定图像转换为与所述待定图像相应的 热图。
[0027] 可通过归一化割算法对热图进行分割以获得被分割为多个超像素的第一层分层 图像，并可使用k均值聚类算法对每层分层图像中的每个超像素进行分割以获得所述每层 的下一层的分层图像。
[0028] 使用超像素分类器确定置信度的步骤还可包括：提取分层图像中的每个超像素的 特征。特定层的超像素分类器可基于提取的所述特定层的分层图像中的每个超像素的特征 来确定所述特定层的分层图像中的每个超像素位于目标区域或非目标区域的置信度。
[0029] 可为每层分层图像分配一个超像素分类器。
[0030] 使用超像素分类器确定置信度的步骤可包括：特定层的超像素分类器基于提取的 所述特定层的分层图像中的每个超像素的特征以及与所述特定层的分层图像的上一层分 层图像相关的附加特征来确定所述特定层的分层图像中的每个超像素位于目标区域或非 目标区域的置信度，其中，所述附加特征是从所述特定层的上一层的超像素分类器接收的 所述上一层分层图像中的每个超像素位于目标区域或非目标区域的置信度。
[0031] 已通过使用目标区域已确定的多幅图像对所述超像素分类器进行过训练。
[0032] 确定目标区域的步骤可包括：基于最低层的超像素分类器确定的最低层分层图 像中的每个超像素位于目标区域或非目标区域的置信度来在待定图像中确定目标区域，其 中，所述最低层分层图像是指所述多层分层图像中通过最后一次分层分割所获得分层图 像。
[0033] 可使用支持向量机来实现超像素分类器。
[0034] 有益效果
[0035] 本发明的方法和装置能够更准确的在图像中自动确定指定类型的目标区域。
【专利附图】
【附图说明】
[0036] 通过以下结合实施例对附图进行的详细描述，本发明的上述和其他目的以及特点 将会变得更加清楚，其中：
[0037] 图1是示出根据本发明的示例性实施例的在图像中确定目标区域的装置的框图；
[0038] 图2A和图2B分别是根据本发明的示例性实施例的超声波图像和与所述超声波图 像对应的热图；
[0039] 图3A至图3C示意性地示出根据本发明的示例性实施例的对热图进行分层分割而 获得的分层图像的示图；
[0040] 图4是示出根据本发明的示例性实施例的各层分层图像中的超像素的关系的示 意图；
[0041] 图5是示出根据本发明的示例性实施例的分类器训练模块的框图；
[0042] 图6是示出根据本发明的示例性实施例的在图像中确定目标区域的方法的流程 图。
【具体实施方式】
[0043] 提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本 发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示 例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下， 可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构 造的描述。
[0044] 除非另有定义，否则这里使用的所有术语(包括技术和科学术语）具有与示例性实 施例所属领域的普通技术人员通常理解的含义相同的含义。还应该理解，除非这里明确定 义，否则术语(诸如在常用词典中定义的术语）应被解释为具有与所述术语在相关领域的上 下文中的含义一致的含义，而不应理想化或过于正式地被理解。
[0045] 在下文中，为便于描述，将以超声波图像作为需要确定目标区域的待定图像为例 详细解释如何在超声波图像中确定目标区域的方法，所述目标区域可以是超声波图像所反 映的身体部位中的病变区域(例如，肿瘤所在的肿瘤区域)。
[0046] 图1是示出根据本发明的示例性实施例的在图像中定位目标区域的装置100的框 图。
[0047] 如图1中所示，根据本发明的在图像中定位目标区域的装置100包括图像转换模 块110、图像分割模块120、分类器训练模块130和目标确定模块140。
[0048] 根据本发明的图像转换模块110可将超声波图像转换为与所述超声波图像对应 的热图。以下将结合图2详细描述图像转换模块110将超声波图像转换为与所述超声波图 像对应的热图的操作。
[0049] 图2A和图2B分别是根据本发明的示例性实施例的超声波图像和与所述超声波图 像对应的热图。
[0050] -般来说，为了在超声波图像中可靠地区分目标区域和非目标区域(例如，病变区 域和非病变区域，或者更具体地讲，肿瘤区域和非肿瘤区域)，应该在对不同区域进行分类 之前将图像中处于目标区域和非目标区域的像素最大程度地分割到不同的超像素中。然 而，在超声波图像中，目标区域(尤其是肿瘤区域）的形状可能有较大差异并且边界可能较 为模糊，因此使用一般的分割方法可能难以获得准确的分割结果。
[0051] 在根据本发明的示例性实施例中，可将超声波图像转换为热图以抑制非目标区域 的影响并突出目标区域的边界，从而可在后续的对图像进行分割的步骤中获得较为准确的 分割结果。在根据本发明的示例性实施例中，可使用具有低通阈值的均值滤波器来实现图 像转换模块110。
[0052] 仅作为示例，在根据本发明的示例性实施例中，可通过下面的等式（1)来将输入的 超声波图像I转换为对应的热图H :
[0053]
【权利要求】
1. 一种在待定图像中确定目标区域的装置，所述装置包括： 图像分割模块，被配置为对与所述待定图像对应的热图执行分层分割以获得多层分层 图像，其中，每层分层图像被分割为多个超像素； 分类器训练模块，包括与一层或多层分层图像分别对应的一个或多个超像素分类器， 并被配置为使用超像素分类器来确定与所述超像素分类器对应的层中的每个超像素位于 目标区域或非目标区域的置信度； 目标确定模块，被配置为基于超像素分类器确定的与所述超像素分类器对应的层中的 每个超像素位于目标区域或非目标区域的置信度，在待定图像中确定目标区域。
2. 如权利要求1所述的装置，所述装置还包括：图像转换模块，被配置为将待定图像转 换为与所述待定图像相应的热图。
3. 如权利要求2所述的装置，其中，所述待定图像是超声波图像。
4. 如权利要求2所述的装置，其中，图像转换模块是具有低通阈值的均值滤波器。
5. 如权利要求1所述的装置，其中，所述图像分割模块被配置为通过归一化割算法对 热图进行分割以获得被分割为多个超像素的第一层分层图像，并且所述图像分割模块使用 k均值聚类算法对每层分层图像中的每个超像素进行分割以获得所述每层的下一层的分层 图像。
6. 如权利要求1所述的装置，其中，所述分类器训练模块还包括：特征提取器，被配置 为提取分层图像中的每个超像素的特征， 其中，特定层的超像素分类器基于特征提取器提取的所述特定层的分层图像中的每个 超像素的特征来确定所述特定层的分层图像中的每个超像素位于目标区域或非目标区域 的置信度。
7. 如权利要求6所述的装置，其中，所述分类器训练模块为每层分层图像分配一个超 像素分类器。
8. 如权利要求7所述的装置，其中，特定层的超像素分类器基于特征提取器提取的所 述特定层的分层图像中的每个超像素的特征以及与所述特定层的分层图像的上一层分层 图像相关的附加特征来确定所述特定层的分层图像中的每个超像素位于目标区域或非目 标区域的置信度，其中，所述附加特征是从所述特定层的上一层的超像素分类器接收的所 述上一层分层图像中的每个超像素位于目标区域或非目标区域的置信度。
9. 如权利要求1所述的装置，其中，分类器训练模块中的超像素分类器已通过使用目 标区域已确定的多幅图像被训练。
10. 如权利要求1所述的装置，其中，所述目标确定模块被配置为基于分类器训练模块 中的最低层的超像素分类器确定的最低层分层图像中的每个超像素位于目标区域或非目 标区域的置信度来在待定图像中确定目标区域，其中，所述最低层分层图像是指所述多层 分层图像中通过图像分割模块的最后一次分层分割所获得分层图像。
11. 如权利要求6所述的装置，其中，使用支持向量机来实现超像素分类器。
12. 如权利要求6所述的装置，其中，超像素的特征包括所述超像素的稠密SIFT、颜色 直方图、空间灰度相关特征、图心的位置和形状线索中的至少一个， 其中，所述超像素的形状线索包括所述超像素的最大轴和最小轴的长度、边界椭圆的 朝向、以及边界椭圆所包括的所有像素中属于所述超像素的像素所占的比例。
13. 如权利要求1所述的装置，其中，所述目标区域是病变区域或肿瘤区域。
14. 一种在待定图像中确定目标区域的方法，所述方法包括： 对与所述待定图像对应的热图执行分层分割以获得多层分层图像，其中，每层分层图 像被分割为多个超像素； 使用超像素分类器来确定与所述超像素分类器对应的层中的每个超像素位于目标区 域或非目标区域的置信度； 基于超像素分类器确定的与所述超像素分类器对应的层中的每个超像素位于目标区 域或非目标区域的置信度，在待定图像中确定目标区域。
15. 如权利要求14所述的方法，所述方法还包括：将待定图像转换为与所述待定图像 相应的热图。
16. 如权利要求15所述的方法，其中，所述待定图像是超声波图像。
17. 如权利要求15所述的方法，其中，使用具有低通阈值的均值滤波器来将待定图像 转换为与所述待定图像相应的热图。
18. 如权利要求14所述的方法，其中，通过归一化割算法对热图进行分割以获得被分 割为多个超像素的第一层分层图像，并使用k均值聚类算法对每层分层图像中的每个超像 素进行分割以获得所述每层的下一层的分层图像。
19. 如权利要求14所述的方法，使用超像素分类器确定置信度的步骤还包括：提取分 层图像中的每个超像素的特征， 特定层的超像素分类器基于提取的所述特定层的分层图像中的每个超像素的特征来 确定所述特定层的分层图像中的每个超像素位于目标区域或非目标区域的置信度。
20. 如权利要求19所述的方法，其中，为每层分层图像分配一个超像素分类器。
21. 如权利要求20所述的方法，其中，使用超像素分类器确定置信度的步骤包括：特定 层的超像素分类器基于提取的所述特定层的分层图像中的每个超像素的特征以及与所述 特定层的分层图像的上一层分层图像相关的附加特征来确定所述特定层的分层图像中的 每个超像素位于目标区域或非目标区域的置信度，其中，所述附加特征是从所述特定层的 上一层的超像素分类器接收的所述上一层分层图像中的每个超像素位于目标区域或非目 标区域的置信度。
22. 如权利要求14所述的方法，其中，已通过使用目标区域已确定的多幅图像对所述 超像素分类器进行训练。
23. 如权利要求14所述的方法，其中，确定目标区域的步骤包括：基于最低层的超像素 分类器确定的最低层分层图像中的每个超像素位于目标区域或非目标区域的置信度来在 待定图像中确定目标区域，其中，所述最低层分层图像是指所述多层分层图像中通过最后 一次分层分割所获得分层图像。
24. 如权利要求19所述的方法，其中，使用支持向量机来实现超像素分类器。
【文档编号】G06T7/00GK104517116SQ201310461639
【公开日】2015年4月15日 申请日期:2013年9月30日 优先权日:2013年9月30日
【发明者】郝志会, 任海兵, 张丽丹, 刘志花 申请人:北京三星通信技术研究有限公司, 三星电子株式会社