超声图像中病变的检测和分类的制作方法

专利名称：超声图像中病变的检测和分类的制作方法
技术领域：
本发明涉及超声图像的数字图像处理，更具体地涉及这类图像中病变的检测和分类。
背景技术：
乳腺癌风险评估使得有机会设计监测计划，此计划包括增强对较高乳腺癌风险个人的普查。对乳房造影实质(mammographic parenchymal)模式的计算机分析提供了这些模式的可能与乳腺癌风险相关的客观和定量的特征和分类。基于只对乳房X线照片或者结合流行病学风险因素(例如年龄)分析的乳腺癌风险计算机评估可以替换现有的预测乳腺癌风险昂贵和/或信息相关的诊断方法。
乳房主要由两部分组成纤维腺组织和脂肪组织。乳房平均由50％的纤维腺组织和50％的脂肪组成。纤维腺组织是纤维连接组织和排列乳房导管的腺上皮细胞的混合物(软组织)。
主要的乳房疾病从乳房的末端导管小叶单元开始发展，并且主要起因于排列导管的上皮细胞。然而，也可涉及纤维或连接组织。一些人认为恶性乳房疾病是通过上皮细胞增生开始即上皮细胞数量增加的过程而产生的。上皮细胞增生发展到非典型的增生，其中上皮细胞不仅数量增加而且这些细胞以非正常的方法变化。在目前阶段认为此过程可逆。一旦达到某非典型标准水平，则可以诊断为原位癌，其中在导管外没有恶性细胞进入。在目前阶段认为恶性转变过程不可逆。在发展的最后阶段，癌细胞摆脱导管壁进入周围的基质组织，在这里此病称为浸润(infiltrating)癌或侵袭性(invasive)癌。
多数(80％-85％)乳腺癌可视为乳房X线照片上的块、一串微小钙化、或者其组合。其它乳房造影畸变与块和/或钙化相比特征和发病率都较小，并包括皮肤或乳头变化、腋窝畸变、不对称密度和结构变形。
早期检测到乳房癌会改进存活率。一些统计表明诊断为乳腺癌的妇女总的五年存活率为84％，但是如果在小的局部阶段发现，则5年存活率为97％。至少一项研究表明使用普查乳房造影会减小检测的病变尺寸和阶段，改进对存活的预测。现在，乳房造影是早期检测乳腺癌公认的成像技术。建议对超过40岁的妇女每年进行至少一次普查乳房造影。
美国专利6,282,305(Huo等人)涉及一种计算机评估乳腺癌风险的方法和系统，其中采集乳房的数字图像并且从数字图像中感兴趣的区域提取至少一个特征。提取的特征与预定的模型比较，此预定的模型将提取特征的模式与从相应特征模式获得的风险评估关联，相应的特征模式与基于基因载体信息或临床信息或者基因载体信息和临床信息两者的预定模型相关，并且输出风险分类因子作为比较结果。从数字图像中提取的优选特征包括1)基于所述感兴趣区域中像素灰度级绝对值的一个或多个特征，2)基于所述感兴趣区域中像素灰度级直方图分析的一个或多个特征；3)基于所述感兴趣区域中像素值傅立叶分析的一个或多个特征；和4)基于感兴趣区域内像素灰度级中空间关系的一个或多个特征。
美国专利5,984,870(Giger等人)涉及一种分析解剖组织中存在的病变的方法，包括下面的步骤(a)获得从其中存在病变的解剖组织超声图像中导出的第一数字图像数据；(b)确定病变相对于第一数字图像的位置；(c)选取下面内容的至少一个进行特征提取分析(1)病变边缘上感兴趣的区域，(2)包括病变的感兴趣的区域和处于病变周围附近的感兴趣的区域，和(3)包括病变的感兴趣的区域和处于病变边缘的感兴趣的区域；(d)从在所述选择步骤选择的每个感兴趣区域中提取至少一个表征所述第一图像数据中病变的第一特征；和(e)基于所提取的至少一个第一特征表征所述病变。
美国专利申请2003/0161513和2003/0125621描述了相似的系统，其分别采用了对超声图像中病变阴影和声像图(sonographic image)径向梯度指数(RGI)的分析。
用于检测和诊断乳腺病变的计算机系统的困难在于分割病变区域与周围组织。一些系统通过采用图形用户接口人工绘制病变而实现分割，例如美国专利5,984,870(Giger等人)。该手工步骤费力、妨碍全自动化，并且易于受到人为错误、不一致性和主观性的影响。因为从不准确的病变轮廓计算的特征(例如美国专利5,984,870(Giger等人)教导的内容)对病变分类不准确，所以所引起的病变轮廓中的不准确性对随后的计算机诊断产生负面影响。
因此，期望设计一种自动分割模块以将计算机乳房造影分析系统制成流线型。
基于像素、基于棱边、基于区域、和基于模型的分割技术在医学图像处理中已知。每种方法具有其自身的局限性。例如，当图像中存在大量噪声时，基于像素的分割技术难于实现；当没有良好地定义对象边界和当图像对比度差时，基于棱边的技术会产生问题；而当感兴趣对象的形状和外观出现大量偏差时，基于模型的技术容易失效。区域生长技术需要良好的种子点(通常由手工相互作用提供)并且当邻近的对象与感兴趣对象在外观上相配时会产生严重的错误。
同样，需要一种克服现有方法局限性的方法。
本发明提供一种病变分割和分类方法，其中分割自动进行且对图像噪声和目标外观(颜色和形状)较不敏感。另外，此方法可以提供一种通过级联自动化病变分割和自动化病变分类而对病变分割和分类的全自动系统。

发明内容
本发明的一个目的在于提供一种病变分割方法，其中分割自动进行并且对图像噪声和目标外观(例如颜色和形状)较不敏感。
本发明的另一个目的在于提供一种通过级联自动病变分割和自动病变分类而对病变分割和分类的自动系统。
这些目的仅仅通过解释性实例给出，并且这些目的是本发明一个或多个实施例的示范。本领域技术人员会清楚所公开发明自然实现的其它期望目的和优势。附加的权利要求书限定了本发明。
本发明提供一种方法、计算机程序、和系统，其中病变区域自动设置在超声(乳房造影)图像内，并且根据基于病变区域本身计算的多个特征对这样的病变区域进行分类以决定此病变是良性还是恶性。
本发明的一个优势在于提供一种改进的病变诊断方法和装置，其中自动进行分割并且此分割对图像噪声和目标外观(颜色和形状)较不敏感。
本发明的另一个有利效果为提供一种全自动病变分割和分类方法。
根据本发明一个方面，提供一种确定超声图像中候选病变区域的方法。此方法包括下面的步骤访问解剖组织的数字超声图像；根据基本上相似的强度值和空间平滑约束将超声图像中空间邻接的像素分割成多个区域；以及从多个区域选取一个或多个强度值低于预定强度值的候选病变区域。在一种安排中，将此一个或多个候选病变区域分为下面种类的至少一个良性、恶性或未知。


参照下面结合附图对本发明实施例的详细描述，本发明的上述和其它特征与目标和实现的方式将更加清晰，并且发明本身将更好理解，其中图1是描述根据本发明方法的一个实施例步骤的结构图。
图2是描述分割病变区域与正常组织区域步骤的结构图。
图3A-3D是包括病变(良性和恶性)和正常组织区域的超声图像的实例。
图4A-4D对应图3A-3D，并且是分割病变区域的实例。
图5A-5D对应图3A-3D和图4A-4D，并且示出了划分病变区域的实例。
图6A和6B示出了划分病变区域的其它实例。
具体实施例方式
下面参照附图详细说明本发明的优选实施例，其中在每个附图中相同的附图标记指代相同的结构元件。
接下来的一部分详细说明是针对于计算机存储器中数据位操作的算法和符号表示。数据处理领域的技术人员采用这些算法说明和表示以最有效地向本领域其他人员表达其工作实质。通常认为算法是产生期望结果的操作的自相一致的(self consistent)顺序。这些操作是需要物理量物理管理的操作。通常，尽管不一定，但这些量表现为能够储存、转移、组合、比较和以别的方式管理的电或磁信号。为简便起见，这些信号有时在这里指使用例如位、值、元件、符合、特征、术语、数字等对象所暗含的信息。
然而，应当认识到所有这些术语和相似的术语与合适的物理量相关并且仅仅是应用于这些量的便利标记。除非在下面的讨论中特别指明，否则应理解在全部说明书中，利用术语例如“处理”或“计算”或“确定”或“显示”等等的讨论，指的是计算机系统的行为或过程，或者相似数据处理装置，此数据处理装置管理并将表示为计算机系统寄存器和存储器中物理(例如电子)量的数据转换为相似的表示为计算机系统存储器或寄存器或其它这样的信息储存、传送或显示装置中物理量的其它数据。
本发明还涉及包括执行这里所述操作的特定装置的系统。例如可编程计算机的装置可为需要的目的而特别构造，或者可包括由储存在计算机中的计算机程序选择性启动或配置的通用计算机。这样的计算机程序可储存在计算机可读存储介质中，例如(但不限于)任意种类的软盘、光盘、CD-ROM、和磁-光盘、只读存储器(ROM)、随机访问存储器(RAM)例如动态RAM(DRAM)、EPROM、EEPROM、磁或光卡、或者适合于储存电子指令的任意类型介质，并将每一种上述存储元件耦合至计算机系统总线。
这里提供的算法和显示并非固有地与任何特别的计算机或其它装置相关。各种通用系统可采用这里所教导的程序，或者其便于构造多个专用装置以执行此方法。通过下面的描述将清楚各种这些系统的结构。此外，本发明并非参考任何特定的程序语言来加以说明。应当理解的是，各种程序语言可用于执行这里所描述的本发明的教导。
机器可读介质包括储存或传送机器(例如计算机)可读信息的任何机制。例如，机器可读介质包括只读存储器(“ROM”)；随机访问存储器(“RAM”)；磁盘存储介质；光存储介质；闪存装置；电、光、声或其它形式的传播信号(例如载波信号、红外线信号、数字信号等等)；等等。
“在具体实施例中”等等指的是在本发明至少一个实施例中出现的特征。“实施例”或“具体实施例”等等不一定指相同的实施例或者多个实施例；但是，除非指出或者对本领域技术人员来讲是显而易见的，否则这些实施例并不相互排斥。因此本发明包括这里所描述实施例的组合。
术语“病变”在这里用于指代其它正常解剖组织中的单个异常块。
术语“乳房造影图像”在这里用于指代示出一部分患者乳房的图像，其包括正常的乳房组织并在某些情况下包括病变。
这里未特别示出或说明的元件可从本领域已知的元件中选择。可以以软件提供待说明实施例的某些方面。给定下面材料中根据发明示出和说明的方法，用于执行本发明在这里没有特别示出、说明或建议的软件为常规软件并属于这些技术领域常规的技艺。本发明的方法用于但不局限于本领域技术人员熟知的彩色图像处理步骤。
参考图1，参考所示出的结构图说明本发明。首先，访问/采集/提供输入超声图像10用于分析。在输入超声图像上进行区域分割20以产生多个区域，每个区域具有独特的强度特征。在分割区域中，可选择一些作为候选的病变区域30。其次，为每个候选区域提取多个特征40。然后对每个候选区域划分50为良性病变、或恶性病变或者在一些情况下不是病变。
如下文更详细地描述，期望在区域分割20之前预处理15输入的图像。
现在参照图2，示出根据本发明优选实施例的合适区域分割方法(步骤20)的结构图。从Luo等人的“Towards physicsbased segmentationof photographic color images，”Proceedings of the IEEEInternational Conference on Image Processing，1997所描述的自适应贝氏(Bayesian)颜色分割算法经过修改可得到所述方法。
区域分割生成依据任意形状的相似强度模式的易处理数量的物理相干区域。
相似的强度模式指相似的强度值、或者相似的强度结构、和/或其组合。具有相似强度模式的区域属于相同的强度等级，但以别的方式空间分隔并具有不同的形状。尽管优选此分割方法，但是应理解本领域技术人员可以采用不同的分割方法以获得任意形状的区域而不偏离本发明的范围。分割任意形状的区域便于准确测量可能对象的尺寸、位置、形状和内部特征。
在S50将图像初始分割为区域。计算图像的强度直方图然后分割为对应图像中独特、突出强度的多个族。根据相对于强度族平均值的优选强度距离量度将图像的每个像素划分为强度空间中最接近的族(Luo等人的“Towards physics-based segmentation of photographic colorimages，”Proceedings of the IEEE International Conference onImage Processing，1997)。此划分过程产生图像的初始分割。
将相邻窗口放在每个像素处以确定什么样的相邻像素用于计算此像素的局部强度直方图。窗口尺寸初始设置为整个图像的尺寸S52，从而局部强度直方图与整个图像的相同而不必重新计算。
其次，在两个交替过程之间执行迭代过程基于当前分割重新计算S54每个强度级(intensity class)的局部平均值，和根据强度级的更新局部平均值重新划分像素S56。
此迭代过程一直执行到实现收敛S60。在此迭代过程中，可以逐渐调整空间约束的强度S58(例如表示空间约束强度的β值随着每次迭代线性增加)。
当对于特定的窗口尺寸实现收敛后，用于评估强度级局部平均值的窗口尺寸减半S62。
迭代过程对减小的窗口尺寸重复以对强度级的局部平均值更准确估计。此机制将空间自适应性引入分割过程。
最后，当迭代过程对最小窗口尺寸实现收敛S64时获得图像的分割。
在本发明的优选实施例中，申请人将不同强度级的数量设置/预定为3，粗略对应于病变、正常组织和未知结构。
图2中描述的优选分割方法的优点在于因为其尺寸所以不会丢失小病变，而这一点常常是其它非优选分割方法例如熟知的经典k-平均值算法的难题。没有适当的区域分割则难于进行对象识别和如尺寸与形状特征的正确评价。
分割结果包括区域标记，即由其标记值(lable value)表示每个像素。标记区域的图像被认为是标记图像或者分割地图。
如上所述，期望在区域分割20之前预处理15输入的图像。更特别地，期望在进行分割20之前增强病变和正常组织之间的对比度。
在本发明的优选实施例中，采用2.0的伽玛(gamma)调整。可以为相同目的执行可替换的对比度增强。如果像素坐标(x，y)、伽玛调整值通过方程I′(x，y)＝I(x，y)^(1/伽玛)给定，则I(x，y)表示强度值。
区域分割20后，可选择分割的区域作为步骤30中病变的候选区域。
通常，因为病变易于形成与正常组织的边界并具有较高的含水量，所以病变通常作为超声图像中颜色较深的区域出现。因此，在本发明中选取颜色较深的区域作为候选病变。
在本发明一个优选实施例中，选取平均强度低于预定值(例如可能最大强度值的20％)的区域作为候选区域。
可采用其它标准进一步消除/减少不可能的候选区域。例如，假设操作人员通常将病变置于视图中心。换言之，病变(如果出现)完全包括在图像中，因此接触图像边界的区域不可能是病变因此可根据进一步的分析去除。
候选区域的选取通过集中于少量区域而便于后续的病变分类。
对每个所选择的候选区域，在步骤40中提取一组特征以表征每个区域。特征列表可包括一种或多种类别。在特别的应用中，采用三种类别形状特征、内部特征和边界特征。其它类别可包括例如阴影特征。本领域技术人员已知其它类别。
此外，可通过适当的非线性特征功能将特征的原始测量值转换，使其值标准化以处于
内。本领域技术人员熟知标准化。本领域技术人员可以认识到特征的替换类型，而不偏离本发明的范围和精神。
通常，紧凑、椭圆形状和轮廓平滑的病变倾向于为良性。
基本特征为高度、宽度、直径和尺寸。
区域的高宽比为区域的长轴/短轴、或者高度比宽度。该特征检测器对于将长的窄形状看作为病变持怀疑态度。此外，恶性病变更难压缩并且沿着超声散射的方向即转换器的方向可以高度大于宽度。良性病变或非病变倾向于宽度大于高度。这些特征也可以高宽比表示。
致密度为区域周长除以区域面积的平方。S形置信函数将置信值绘制为圆。
内部特征包括候选区域内部强度值的平均和标准偏差。
边界特征包括沿着候选区域边界的强度梯度值的平均和标准偏差。
阴影特征用于测量候选病变区域投下的阴影。
一旦对所有的候选区域计算特定特征，那么这些特征用于在步骤50划分候选区域是良性病变、或者恶性病变或者根本不是病变。
如果候选选择步骤30因为模糊偶然包括待选择的非病变区域，那么为第三类“非病变”。需要收集如医学专业人员所划分的这些情况的实例作为所谓的培训实例。这些培训实例的特征和相关分类标记是获得分类器的基础，然后分类器用于划分所述分类器看不到的新候选区域。本领域技术人员可从许多现有的分类器选择，包括决策树、神经网络、“贝氏分类器”等等。Duda、Hart和Stork“模式分类器”描述了这些分类器的实例。在本发明的优选实施例中，采用决策树。如果置信度值是需要的，则应当采用替换分类器例如神经网络或者贝氏分类器。
图3A-3D示出了乳房的超声图像。在对应图3A-3D的图4A-4D中，以分割图像中的最高亮度表示的颜色最深区域强度级，将每个图像分割为三种强度级。通常，从这些区域中选择候选病变。在图5A-5D中，将所有的候选区域划分为良性(例如部分100)、恶性(例如部分110)、或非病变(例如部分120)。更特别地，图5A示出非病变，图5B示出良性病变，图5C示出恶性病变，而图5D示出恶性病变。
可选择地，如果需要置信度值，可在邻近操作员放置光标的区域显示颜色条200(示出为近似图5A-5D)，其中这些条的阴影(颜色饱和度)给出了病变分类的可视显示以及相关的置信度值。例如，当以高置信度值将病变划分为恶性时，记号201(或其它符号)可指向颜色条的深红范围，或者当以低置信度值将病变划分为良性时，指向颜色条的浅蓝范围等等。
图6A和6B提供了其它实例，示出了操作人员可操作的光标并且其中画出候选区域的轮廓。
尽管以和乳房病变相关的优选实施例描述了本发明，但是应当理解的是可在本发明的精神和范围内对其它组织病变进行改变和更改，例如肝。
可以在线、实时、脱机执行本发明。在实时状态，其可以为操作员提供即时警报或者反馈。在脱机状态，其可分析预先记录图像的数据库。
此外，期望在自动分割后显示超声图像和分割病变区域的轮廓，并且接收由使用图形用户接口的操作人员对区域轮廓的调整。
本发明例如可以以计算机程序产品执行。计算机程序产品可包括一个或多个存储介质；例如磁存储介质如磁盘(如软盘)或磁带；光存储介质例如光盘、光带、或机读条形码；固态电子存储装置例如随机访问存储器(RAM)、或只读存储器(ROM)；或者用于储存计算机程序的任何其它物理设备或介质，此计算机程序具有控制一个或多个计算机以执行根据本发明方法的指令。
本发明的系统包括可编程计算机，其具有微处理器、计算机存储器、和储存在所述计算机存储器中用于执行此方法步骤的计算机程序。此计算机具有可操作地连接至微处理器的存储器接口。这可以是接受可拆卸存储器的驱动器上的端口例如USB端口，或者允许访问照相机存储器的其它装置。此系统包括具有与存储器接口兼容的存储器的数码照相机。如果需要，可以用摄影胶片照相机和扫描仪替代数码照相机。图形用户接口(GUI)和用户输入单元例如鼠标和键盘可作为计算机的一部分。
权利要求
1.一种检测解剖组织数字超声图像中病变的方法，所述方法包括下面的步骤访问解剖组织的数字超声图像；根据基本上相似的强度模式将数字图像中空间邻接的像素分割成多个区域；从多个区域选取一个或多个强度值低于预定强度值的候选病变区域；以及将所述一个或多个候选病变区域分为下面种类的至少一种良性、恶性或未知。
2.如权利要求1所述的方法，其中对一个或多个候选病变区域分类的步骤包括下面的步骤根据下述特征的至少一个将所述一个或多个候选病变区域划分为良性或恶性种类形状特征、内部特征、或边界特征。
3.如权利要求1所述的方法，还包括提供所述病变分类置信度值的步骤。
4.如权利要求1所述的方法，还包括在分割步骤前预处理所述数字超声图像的步骤。
5.如权利要求4所述的方法，其中所述数字超声图像包括病变，并且预处理所述数字超声图像以增强病变和正常解剖组织之间的对比度。
6.如权利要求1所述的方法，其中所选择的候选病变区域具有低于预定强度值的平均强度值。
7.一种确定超声图像中候选病变区域的方法，所述方法还包括下面步骤访问解剖组织的数字超声图像；根据基本上相似的强度值和空间平滑约束将超声图像中空间邻接的像素分割成多个区域；从多个区域选取一个或多个强度值低于预定强度值的候选病变区域。
8.如权利要求7所述的方法，还包括在分割之前预处理超声图像从而增强病变和正常解剖组织之间对比度的步骤。
9.如权利要求8所述的方法，其中预处理步骤包括伽玛调整。
10.如权利要求7所述的方法，还包括将所述一个或多个候选病变区域分为下面种类的至少一种良性、恶性或未知。
11.如权利要求10所述的方法，其中对一个或多个候选病变区域分类的步骤包括下面步骤根据下述特征的至少一个将所述一个或多个候选病变区域划分为良性或恶性种类形状特征、内部特征、或边界特征。
12.如权利要求7所述的方法，还包括在选择一个或多个候选病变区域之前通过去除区域内部小孔和使所述区域轮廓平滑而减小多个区域数量的步骤。
13.如权利要求7所述的方法，其中分割步骤通过使用修改k-平均值算法中马尔可夫随机场模型而完成。
14.如权利要求10所述的方法，其中所述分类步骤的步骤还包括下面的步骤提取所选择候选病变区域的轮廓；从下面的组确定至少一个特征形状特征、内部特征、或者边界特征；以及响应于所计算的至少一个特征将所选择的候选病变区域划分为良性、恶性或者未知或恶性。
15.如权利要求14所述的方法，其中对于所选择候选病变区域确定至少两个特征。
16.如权利要求14所述的方法，其中所述形状特征为所选择候选病变区域的高宽比。
17.如权利要求14所述的方法，其中所述边界特征包括区域周长与所选择候选病变区域平方根的比值。
18.如权利要求14所述的方法，其中所述内部特征为所选择候选病变区域中像素值的方差。
19.如权利要求14所述的方法，其中所述边界特征为所选择候选病变区域边界上的平均梯度。
20.如权利要求7所述的方法，还包括下面步骤以所选择候选病变区域的轮廓在显示器上显示所述超声图像。
21.一种计算机存储产品，包括至少一个计算机存储介质，所述计算机存储介质中存储有使一个或多个计算机执行权利要求1方法的指令。
22.一种检测解剖组织的数字超声图像中病变的系统，所述方法包括下面的步骤访问解剖组织的数字超声图像的装置；根据基本上相似的强度模式将数字图像中空间邻接的像素分割成多个区域的装置；从多个区域选取一个或多个强度值低于预定强度值的候选病变区域的装置；以及将所述一个或多个候选病变区域分为下面种类的至少一种良性、恶性或未知的装置。
全文摘要
一种确定超声图像中候选病变区域的方法。此方法包括下面的步骤访问解剖组织的数字超声图像；根据基本上相似的强度值和空间平滑约束将超声图像中空间邻接的像素分割成多个区域；以及从多个区域选取一个或多个强度值低于预定强度值的候选病变区域。在一种安排中，将此一个或多个候选病变区域分为下面种类的至少一个良性、恶性或未知。
文档编号A61B8/00GK101061513SQ200580039892
公开日2007年10月24日 申请日期2005年10月20日 优先权日2004年11月22日
发明者J·罗, Z·霍, W·郝 申请人:伊斯曼柯达公司