专利名称：用于定位图像中紧凑目标的系统和方法
技术领域：
本发明涉及图像处理领域，特别涉及在二进制图像或标记图像中探测三维目标。
相关技术的讨论图像处理领域的发展超越了捕获图像以及对捕获的图像应用基础图像变换的基本功能。通常与三维(3-D)图像的处理相比，二维图像的处理复杂性相对较小。假设在识别一个3-D形状之前，3-D图像中的表面、形状、以及大小的检测需要处理大量参数，则3-D图像的识别是一个复杂的过程。
在立体图像中探测三维(3-D)目标是一个复杂的任务。然而，当识别速度至关重要时，3-D的识别问题就更加复杂了。例如，在一个急救病房或者一个繁忙的医院中的一台医学成像设备要求对获取的图像作十分快速的分析，以使得内科医生或外科医生在已识别的图像的基础上，能够快速地产生医疗诊断和决定。
根据一幅图像处理的透视图，一个理想的3-D目标识别系统需要全面测试每个图像要素，也就是图像的每个体元(体积元素)。然而，即使所有的现有体元存在于一幅相对中等大小的图像中，这将也是一项不可实行的技术。因此，存在对于一个系统和快速的方法的需要，即通过使用一个优化的标准以在随后的处理步骤中选择完全被测试的少量体元。
医学图像处理是图像处理应用中一个重要的类型。在医学图像分析中，重点部分在于识别医学上有意义的目标对象，如瘤，囊肿等。代表性地，被探测的目标具有相对小的体积。例如，CT(可计算的X线断层摄影术扫描)肺扫描中自动探测肺结节是一个困难的过程。然而，肺结节的早期诊断有助于检测和治疗肺癌。计算机辅助的结节检测系统应该是快速的、具有高敏感度和高特殊性，这是所希望的。
现有的方法通常使用图像目标的几何特征，例如球状和曲率，来识别结节。然而，计算这样的特征是一件浪费计算时间的事情。代表性地，医学诊断处理的时间限制导致3-D医学图像的每个体元的完全测试是一种效率低的技术。因此，为医学图像处理而需要由系统应用快速算法以检测图像中特殊的构造和/或目标。
概要一个用于在三维图像中检测结构/目标的系统对三维立体图像操作。图像被分割成前景和背景区域，其中前景区域是我们关心的区域。一个掩模产生器产生三维掩模。一个候选搜寻器，也叫候选产生器，在三维图像中搜索与搜索目标相似的可能的结构/目标。该候选搜寻器对前景区域的选择应用掩模，以确定图像中被搜寻结构/目标的存在。每个被识别的结构/目标称为一个候选。
应用相交(intersection)技术以确定在三维图像中候选的存在。应用掩模到前景区域的一部分。计数在掩模和前景区域的该部分间的相交的数量。如果有零个或只有一个相交存在，则可推断出一个候选的存在。这表示结节完全地被掩模覆盖或者附在一个壁或脉管上。然而，如果相交多于一个，则该图像部分不是一个候选。
在一个实施例中，三维图像是从人或其他活的有机体捕获的图像。这里，候选是一个将被搜索的医学结构，例如一个肺结节，瘤等。掩模典型地是一个立方形的掩模，其形状和大小用于覆盖一个单一的结节(或其他结构/目标)。由于只测试前景图像区域的体元，而不是整个图像的体元，所以迅速检测这样的结节成为可能。此外，与测试图像中所有体元的表面特性相比，相交的确定是一个计算强度较小的过程。
附图简要说明本发明的优选实施例结合附图加以说明，其中
图1是示出具有示例性掩模的肺结节的示意图；图2是示出用于产生候选的图像处理步骤的流程图；图3是示出处理包括相交的图像的流程图；图4是示出相交探测过程的流程图；图5A示出了一个菱形掩模；
图5B示出了一个正方形掩模；图5C示出了一个小尺寸的菱形(平行四边形)掩模；图5D示出了一个大尺寸的菱形(平行四边形)掩模；图6示出了一个用于在三维图像中寻找候选的示范系统；以及图7示出了一个用于执行现有发明的一个实施例的计算机系统。
优选实施例详述本发明的优选实施例将结合附图加以说明。
图1是示出了具有示例性掩模的肺结节的说明性图形。本发明至少一个实施例能够用来探测固态肺结节。然而，本领域的技术人员将知道肺部结节只是用于举例说明的一个典型实例，任何在立体图像中具有已知几何形状的结构都能够被探测到。例如，能够检测到瘤、囊肿等。进一步地，虽然附图出于清晰展示的目的是二维的，但本发明实施例的实施对象是三维图像。
医学成像设备所捕获到的典型图像是立体图像。示范立体图像的横截面10是肺扫描的一部分。三个说明性的结节12，14以及16与相应的掩模18-22一起示出。从其中获得横截面10的输入图像典型是一幅分割的立体图像，该图像可被分类为两个区域。第一个区域是关心的区域(前景)，另一个是不关心的区域(背景)。
接下来描述输入图像。所有背景区域图像元素有一个唯一的值。前景区域图像元素可有一个共同的值，该情况中的体积称为“二进位的体积”。可是，在一个前景区域中的每个区域或结构有一个唯一的值，则该情况中的体积称为“标记”或“被标记的体积”。针对该图像的进一步处理如下所述。
输入图像被转换为其中的每个体元被标记为前景或者为背景的图像。这幅图像接着用作为进一步图像处理的输入。图像中所有属于背景的像素设为0值，所有前景像素设为非零值，以区分图像的前景和背景区域。
通过处理该图像可定位结节。选择有明确大小和方向的掩模或基准形状来确定需要的几何特征的存在。这里，在至少一个实施例中，使用肺部结节的现有例证。因此使用形状为边界框的一个基准形状或一个掩模。也可使用其它形状的掩模，其他例证如下所述。本领域的技术人员能够理解，边界框是适合肺部结节几何形状的掩模的一个示例。
在二维空间中，掩模是一个小区域，该小区域的所有表面点设为1，所有其它的非表面点设为0。在3-维中，掩模是一个小体积，该小体积所有表面点设为1，所有其它的非表面点设为0。接着，该掩模在整幅图像上移动。掩模的中心点放置在每个属于前景的像素上。计数与前景点相交的掩模像素的数量。其后，可确定图像中的结节的多少边缘(3-D面)与基准掩模相交。
相交的确定可以多种途径实现。例如，当掩模覆盖在一个定义前景图像的输入图像部分上时，覆盖在输入图像上的掩模的特殊像素(带有非零值)与在输入图像中的相应像素相比较。在输入图像上执行了覆盖和移动掩模的处理后，当掩模的任何非零值像素对应于一个在输入图像中的非零值像素时，从而能够确定相交的存在。
在本实例中，认为说明性的结节或者是单独的，或者附在一个脉管或肺壁上。因此，对于单独的结节不会出现相交。例如，结节16是一个单独的结节，并且完全包括在掩模22中，因此没有相交。相反，某些结节可以附着在一个脉管或壁上并且因此仅有一个相交。然而，如果没有或只有一个相交的标准没有被满足，那么为不同大小和方向而重复掩模覆盖的步骤。上述寻找结节处理的结果是生成一个可能结节区域列表。
在另一种方法中，该技术可用于减少通过不同算法所产生的候选的数量。一起处理一幅分割的立体图像和一个先前发现的位置的列表。掩模现在可直接放置在先前发现的位置上。在确定相交后可在需要时删掉位置列表。以下详细地说明上述处理，其与搜寻一幅三维图像或者搜寻先前发现的位置列表的操作相似。
图2是用于结构/目标探测的图像处理步骤的流程图。流程图24示出的步骤开始于步骤26，此处从图像设备中获得立体图像。该立体图像在步骤28被转换为分割的图像。其后，在步骤30和32产生所有大小和方向的掩模。多个大小和方向的掩模可被用于在图像中检测不同的结节和其他结构/目标。在步骤34，使用掩模以在图像中寻找结节(或其他结构/目标)的候选。其后，在步骤36输出一个候选列表。
图3是处理包括相交的图像的流程图。流程图38开始于步骤40，在步骤40，此处开始一个迭代过程直到在输入图像体积中的所有体元都被处理了。只在前景像素上执行图像处理。在步骤42，如果一个像素或体元为前景类型，则在步骤44计算相交。在步骤46确定相交是否多于一个或少于一个(如零个或一个)。
零个相交表示结节或结构/目标完全被掩模所限制，而一个相交表示结节或结构/目标附在一个壁或脉管上。对于相交多于一个的情况，如到步骤50的分支所示，该迭代过程将重复用于其他体元。该过程在步骤50返回到步骤40进行迭代，直到所有输入的体元都处理完了。如果所有的体元都处理完了，则在步骤52返回一个用于结节或结构/目标的候选列表。
图4是相交检测处理的流程图。在步骤54产生掩模。在步骤54示出了两个典型掩模。掩模为格子状的结构(当以二维观测时)，其中一些象素具有零值并且一些象素具有非零值以从而形成掩摸。在步骤56，解释掩模的3-D特性。一个3-D掩模将具有形成其6个面的6个边。变量dx，dy以及dz表示掩模点和掩模中心之间的距离。
使用一个迭代过程处理掩模的每个体元。如果掩模函数mask(dx，dy，dz)非0，则在步骤62执行(掩模的)边的查找。在步骤64，如果图像中的相应体元的值vol(x+dx，y+dy，z+dz)为0，则该过程被迭代以处理下一个体元。然而，如果图像中的相应体元的值vol(x+dx，y+dy，z+dz)非零，则在步骤66将intersect[f]设为真。如果掩模中还有剩下的体元待处理，则该迭代过程再次从步骤58开始重复。
因为上述技术只计数与框面的相交，从而提高了识别结节或其他结构/目标的速度。框内的体元不用考虑。对于每个框(带有固定大小和旋转)，只有面上的坐标需要被计算一次。在检测步骤期间，体元的位置和这些坐标相比较。
图5A-5D示出了不同类型的掩模。图5A示出了一个菱形(平行四边形)的掩模；图5B示出了一个正方形掩模；图5C示出了一个小尺寸的菱形(平行四边形)掩模；图5D示出了一个较大尺寸的菱形(平行四边形)掩模。掩模的尺寸和方向可以改变。在下面的描述中，为解释目的而考虑掩摸的二维面，然而，如上所述掩模本身是带有多个面的三维掩模。
首先，考虑掩模在方向方面的改变。考虑以菱形平行四边形和正方形为形式的两个典型方向。菱形掩模(图5A)与结节(用*指出以达到突出该结节的目的)只在一个地方相交，结节其余部分落在掩模中。然而，一个正方形的掩模(图5B)与结节在两个地方相交。因此，掩模的方向和结节的几何结构将确定最佳的相交确定。
掩模的大小是影响相交确定过程的另一个要素。图5C示出了一个小尺寸菱形掩模，其与图像中的结节只有一个相交。然而，一个较大尺寸的菱形掩模则有多于一个的相交。因此，选择一个最佳的掩模尺寸和掩模方向将决定相交确定过程的效率。
图6示出了一个用于在三维图像中寻找候选的示范系统。在至少一个实施例中，图像处理系统70包括图像捕获设备72。图像分割模块74产生带有一个分离的前景以及一个背景的一幅图像，其中前景为关心的区域。图像处理系统70可由一个内部插入设备，一个外部设备或一个软件结构的一部分实现。图像处理系统可实现上述部分或全部图像处理算法。
图像特征搜寻系统76包括一个掩模产生模块78，该模块产生上面详细描述的掩模。候选搜寻模块80利用掩模产生模块78所产生的掩模，找到掩模和图像分割模块74所产生的分割图像的相交。基于相交，候选搜寻模块80确定与要被搜寻的一个结构/目标相匹配的像素。为了进一步的后续处理，输出模块82将发现的候选列表输出给模块84。例如，后续处理可包括对每个候选的彻底的分析，或者在显示器上显示候选以供医生诊断医学问题。
图6是一个示范电子系统，其能够用于实现本发明的至少一个实施例。可被理解的是，本发明可以各种形式的硬件、软件、固件、特殊用途处理器，或者它们的组合来实现。在至少一个实施例中，本发明可以软件形式实施为明确包含在程序存储设备上的应用程序。该应用程序可向一台机器上传以及由之执行，其中该机器可计算并有任何合适的结构。
接下来描述扫描的肺部图像的说明。在一幅扫描的肺部图像中，执行肺部结节的搜寻。整个的肺为前景区域，掩模被应用于该肺部区域。当一个给定的掩模与结节图像的相交为零时，由于结节被包围在掩模中，所以结节是存在的。即使有一个相交，由于一个结节可能附在一个壁或脉管上，则也可推断出一个结节的存在。
通过只搜寻前景区域的特定区域，对以医学图像特征(例如，肺部结节)的形式出现的候选图像的快速搜寻成为可能。其他可供选择的对图像中每个体元均执行测试的办法是一项耗费时间的操作，因此只搜寻特定区域会更快一些。通过只计数相交进行搜寻，提高了搜寻的速度，这是因为搜寻空间缩小了，并且从计算的角度来看计算相交是一个相对快的过程。
参考图7，根据本发明的一个实施例，用于实现本发明的计算机系统101可以包括中央处理单元(CPU)102，存储器103和输入/输出(I/O)接口104以及其他的部件。计算机系统101通常通过I/O接口104耦合一台显示器105和例如鼠标和键盘的各种输入设备106。辅助电路可包括如高速缓冲存储器、电源、时钟电路、以及通信总线等电路。存储器103可包括随机存取存储器(RAM)，只读存储器(ROM)，磁盘驱动器，磁带驱动器等，或者它们的组合。本发明可以一个例程107的形式实现，该例程存储在存储器103中，并通过CPU102执行以处理从信号源108发出的信号。同样地，计算机系统101是一通过计算机系统，当其执行本发明的例程107时成为有特定目的的计算机系统。
计算机平台101同样包括一个操作系统和微指令代码。这里描述的各种程序和功能可是微指令代码的一部分，或应用程序的一部分(或它们的结合)，其中的微指令代码或应用程序通过操作系统执行。另外，各种其他的外围设备可连接到计算机平台，如一个附加的数据存储设备和一台打印设备。
可进一步理解的是由于结合附图描述的一些要素系统部件和方法步骤可用软件实现，故系统部件(或处理步骤)间的实际连接可能不同，这依赖于对本发明编程的方式。根据此处提供的本发明的教导，一个相关领域的普通技术人员可得出这些或相似的本发明实施或结构。
虽然结合了本发明的示例性实施例具体示出和描述了本发明，但是本领域的技术人员可理解，在没有偏离被所附权利要求书定义的本发明的精神和范围的情况下，可在形式和细节方面做出各种改变。
权利要求
1.一种图像处理系统，用于在三维图像中识别目标，该系统包括掩模产生器，用于产生至少一个掩模；以及候选搜寻器，用于搜寻与至少一幅三维图像中的至少一个预定目标相似的至少一个候选目标，该候选搜寻器利用掩模搜寻候选。
2.如权利要求1所述的图像处理系统，进一步包括图像捕获模块，用于捕获三维图像；图像分割模块，用于分割捕获的三维图像；以及输出模块，用于输出候选搜寻器发现的候选的列表。
3.如权利要求1所述的图像处理系统，其中图像分割模块将三维图像分离为一幅前景图像和一幅背景图像。
4.如权利要求3所述的图像处理系统，其中候选图像搜寻器在上述前景图像上操作。
5.如权利要求1所述的图像处理系统，其中三维图像是一幅立体图像。
6.如权利要求1所述的图像处理系统，其中三维图像是一幅医学图像，并且预定的目标是一个活的有机体的一部分。
7.如权利要求1所述的图像处理系统，其中掩模包括一幅三维图像，包括多个体元并且具有多个面，其中至少一个体元有一个掩模值。
8.如权利要求7所述的图像处理系统，其中掩模为立方形。
9.如权利要求7所述的图像处理系统，其中掩模的面为平行四边形。
10.如权利要求7所述的图像处理系统，其中候选搜寻器将掩模应用于三维图像的一个前景图像部分。
11.如权利要求10所述的图像处理系统，其中候选搜寻器通过把掩模覆盖在预定区域上以将掩模应用于前景图像部分的该预定区域，从而确定在掩模体元和预定区域间的相交的数量。
12.如权利要求11所述的图像处理系统，其中，当相交的数量少于两个时，候选搜寻器确定至少一个候选的存在。
13.一个图像处理系统，用于识别医学目标的存在，该系统包括图像捕获设备，用于捕获活的有机体的一部分的三维图像；图像处理系统，用于将三维图像分割为一幅前景图像和一幅背景图像，图像处理系统将至少一个掩模应用于前景图像的一个选择的区域，以通过计数掩模和选择的区域之间的相交来确定至少一个医学目标的存在。
14.如权利要求13所述的系统，另外其中如果对相交的计数确定被计数的相交少于两个，则图像处理系统确定医学目标的确实存在。
15.如权利要求13所述的系统，其中图像处理系统进一步包括掩模产生器，用于产生三维掩模。
16.如权利要求15所述的系统，其中，掩模为立方形。
17.一种用于在三维图像中检测目标的方法，该方法包括以下步骤产生至少一个三维掩模；并且使用三维掩模在三维图像中搜寻候选。
18.如权利要求17所述的方法，进一步包括利用图像捕获设备捕获三维图像；以及将三维图像分割成前景区域和背景区域。
19.如权利要求18所述的方法，其中，搜寻的步骤进一步包括在三维图像的前景区域中搜寻候选。
20.如权利要求19所述的方法，其中，搜寻的步骤进一步包括用掩模覆盖三维图像的前景区域的预定部分；计数掩模和前景区域的预定部分间的相交数量；以及如果相交少于两个，则确定搜寻的目标的存在。
21.一种机器可读的程序存储设备，其有形地包括由机器可执行的程序以用来执行从目标集合中搜寻候选的方法步骤，该方法步骤包括产生至少一个掩模；以及通过在目标集合的每一目标上覆盖掩摸以便计数掩摸和目标之间的相交，来搜寻与该目标集合中的预定目标相似的候选。
22.如权利要求21所述的方法，进一步包括步骤当相交的数量少于两个时，确定预定目标的确实存在。
全文摘要
一种用于在三维图像中识别图像特征的图像处理系统，该三维图像可为医学图像，该系统使用掩模产生器(78)产生掩模，候选搜寻器(80)利用该掩模在三维图像中搜寻候选图像。候选搜寻器(80)将掩模应用于图像前景区域的一个部分，通过计数掩模和前景区域的该部分间的相交的数量来确定一个结构/目标的存在。
文档编号G06T7/00GK1836253SQ200480023006
公开日2006年9月20日 申请日期2004年8月16日 优先权日2003年8月14日
发明者M·沃尔夫 申请人:美国西门子医疗解决公司