专利名称：数字乳房x射线照片中的自动分割及轮廓线和乳头的检测的制作方法
技术领域：
本发明涉及产生计算机增强型乳房X射线照片的方法，该方法包括存储表示一个受检者的乳房密度分布的输入象素阵列对输入的象素阵列进行处理以检测轮廓线并产生一个象素的输出阵列。
本发明还涉及一种乳房X射线照片系统，该系统包括X射线放射源、X射线检测器、数字化单元、数字存储装置和计算机，其中X射线放射源用来放射X射线束，以便用X射线按预定的检查方向照射受检者的乳房；X射线探测器用来在二维场中从所说的检查方向接收从乳房及其周围退出的X射线辐射；数字化单元用来产生作为所接收的X射线函数的数字信号，该信号相应于数字象素的输入二维阵列；数字存储装置用来存储所述数字象素的输入二维阵列；计算机用来处理已存储的数字象素的二维阵列，以检测轮廓并产生数字象素的输出二维阵列。
在论文《数字乳房X射线照片中肿块的计算机检测双向相减图象的分析》(Compurerized detection of masses in digitalmammogramsAnalysis of bilateral subtraction images)中可以知道这样的一种方法，F.F.Yin等的该篇论文发表在《医学物理18(1991)》(《Medial Physics18 (1991)》)上的955-963页。
例如，通过下述步骤可以产生象素阵列-用X射线在预定的检查方向上照射受检者的乳房；-在二维场中从所述的检查方向接收从乳房及其周围退出的X射线；-产生一个作为所接收到的X射线的函数的数字信号，该数字信号相应于数字象素的输入阵列；-相应于所述信号，把所述数字象素的输入阵列存储到计算机相连的数字存储装置中。
所述计算机还用来处理数字象素的输入阵列。
在更特别的方面，本发明涉及计算机辅助诊断乳房X射线照象法(CADM)，该方法包括把数字乳房X射线照片自动分割成和与乳房内部部位相对应的前景、自动检测各部位的界线轮廓或边界并检测乳头。
分割和轮廓检测的方法可以从Nishikawa，R.等的《从数字乳房X射线照片进行肿块及束状微钙化的计算机辅助检测和诊断》(SPIE1905-46，1993年2月)(Computer-aided detection and diagnosis ofmasses and clustered microcalcifications from digital mammograms，(SPIE1905-46，Feb.1993))、Yin，F.等的《数字乳房X射线照片中肿状的计算机检测双向相减图象的分析》(《医学物理》，1991年9-10月)(“Computerized detection of masses in digitalmammogramsAnalysis of bilateral subtraction images，”MedicalPhysics18(5)，Sept./Oct.1991)和Yabashi，S等的《用于识别乳房X射线照片上的肿块的图象处理》(《1989年雷达和图象传感器中的噪声和干扰抑制国际学术研讨会会刊》)(“Image Processing forrecognition of tumor onmammography”(《Proceedings of the1989International Symposium on Noise and Clytter Rejection in Radars andImaging Sensors》))得知，其中前两篇论文反映了芝加哥大学(TheUniversity of Chicago)的成果。
乳癌是西方社会妇女死亡的主要原因之一。由于原发在乳房的癌症而致死的绝大多数可以通过早期检测避免，因此美国的国家健康组织建议所有50岁以上的妇女要定期进行乳房X射线检查。
看懂或解释屏幕乳房X射线照片是一种需要丰富经验和注意细节的技术。尽管乳房X射线照片上癌症的主要迹象是在乳房X射线照片上的可见的块状物，但更敏感的迹象之一是存在与局部增强的X射线减弱相对应的相对较亮的小点(在胶片—屏幕乳房X射线照片上)，它们呈束状排列，其中局部X射线减弱是由于被称为微钙化(Microcalcification)的细小钙盐沉淀造成的。事实上，呈束状的微钙化经常是表明该处有早期恶性病变的唯一迹象。然而，要识别这些束是困难的，因为它们经常因受到由周围组织产生的光强上的渐变而模糊。要解释大量乳房X射线照片以及对它们和其它不易辨识的恶性病变进行识别的困难这两者推动了乳房X射线照片的计算机辅助诊断(CADM)的发展，至少可以在显示于显示器上的图象中自动标识和增强包括怀疑区域在内的感兴趣的特征以便于乳房X射线照象者进行解释。
适合于计算机辅助诊断的数字乳房X射线片可以通过扫描用常规的乳房X射线方法所得的胶片来得到，也可以应用其它可以产生直接数字化的电子成象信号类型的X射线检测器来得到，而不必产生胶片媒介物。这些类型的检测器包括X射线图象增强器/摄象机、光励荧光屏/激光读出装置(见美国专利4,236,078)和硒板/静电计读出技术。这些技术在获得空间分辨率和对比灵敏度方面是有进展的；尤其是后两种技术在乳房X射线照象应用中将得到广泛应用。
CADM系统的早期发展之一是把图象分割成前景(相应于乳房)和后景(相应于乳房周围区域)。该分割减少了进一步处理的工作量，这是因为排除了对可能要占到图象中象素的三分之二的属于背景的大量象素进行进一步考虑。该分割还得到了用来确定在理论上位于轮廓线上的前景和后景的界线轮廓边界处的信息。在这一点对今天理解乳房X射线照象者是如何在胶片—屏幕乳房X射线照象术中使用轮廓线将会是有帮助的。
乳房X射线照象者检查从不同观察方向或投影方向取得的X射线胶片，这些取景方向包括被称为头部-尾部(CC)的从头到脚的取景方向、被称为中部一侧部(IML)或侧部-中央(ML)的从边到边的取景方向以及被称为斜摄(OD)的、通常是在从头到脚方向和从边到边方向之间成45°的取景方向。因为乳房成分(一种脂肪、薄壁组织和基质组织的混合物)变化，所以在乳房X射线片上看到的对比度对于不同的图象变化很大。轮廓线在这些图象中的一个或全部上经常是不可见的。当乳房X射线照象者在视框中看不见轮廓框时，就使用称为主光(hot light)的、强度特别高的白炽灯光来辅助对皮肤边界及其下的皮下部位进行定位。
定位轮廓线对乳房X射线照象者来说在两个方面是很重要的。首先，就其本身而言，皮肤状部具有诊断上的重要性。皮肤变厚和收缩是指示恶性病变的迹象。相反，认为在轮廓线上或紧接在轮廓线之下发现微钙是良性的。其次，轮廓线起着界标的作用。据报道，在很多情况下，异常位置都与轮廓线有关，例如低于轮廓线2厘米。另外，一旦乳房X射线照象者在一幅图象上发现可疑的疾患，他也必须在另一幅图象上找出。通过在一幅图象中测量被检测对象和轮廓线间的距离，并在另一幅图象上、在离开轮廓线同样距离的假想线上找出目标来实现。最后，乳房X射线照象者必须确定在所摄的全部图象上的轮廓线和胸壁间都观察到了相等数量的组织。一般地，对全部图象都测量在胸壁方向上从轮廓线(常用乳头，如果它能用肉眼检测到)上的一点到胶片边缘间的距离。这些距离应大体相等。如果有大的偏差，就重新拍片。
轮廓线的另一个用途是作为比较左右乳房的图象或比较同一乳房在不同时间(例如现在和上一次研究时)所取得的图象时的对准手段。最后，轮廓线可以引导对乳头的可视寻找，乳头象轮廓线一样也是标志。除非在拍摄乳房X射线照片时用金属珠标识乳头，否则乳头将难以检测。通常由于患者皮肤的位置或倾翻在外形上的原因乳头轮廓是看不见的。
在反映芝加哥大学(Unviersity of Chicago)成果的上述出版物中，使用初次全程阈值操作(initial global threshold operation)把背景和前景分割开，随后用形态闭合技术(morphological closeoperation)把腺(gland)同外部的噪声分开，用四点连接跟踪方案来描绘边界，使用对边界取平均来对边界进行平滑。左、右侧的图象各自独立进行该操作。然而，选择两个检测边界中的较小者并把它叠加到两幅图象上以进行后序处理。
上述现有技术方法的问题是它们全都依赖于全程阈值实最初分割。困难之一是自动选择有意义的阈值。另一个困难是，不管选择什么样的阈值，也不能始终如一地和可靠地对乳房X射线照片进行分割，这是因为噪声和伪差即背景和前景中的灰度可以重叠和/或需要人工剪辑以消除背景伪差，一旦更广泛地采用全美放射学会(ACR)的标识推荐技术标准(labeling recommendation)，人工剪辑将变得更难。此外，已经发现使用该现有技术方法所产生的边界有可能处于皮肤的皮下脂肪区下的薄壁组织上而不是在轮廓线自身上。因为皮下脂肪区有可能厚达2.5厘米，把组织误标识为背景的情况很多。
在Yabashi等的论文中，一维的梯度操作应用于各个数据线，而阈值用于确定通常垂直于胸壁的未定方向以寻找皮肤边缘。这种逼近不能充分地沿轮廓线分割这里的乳房，其中垂直于轮廓线明显地不同于垂直于胸壁。
进一步讲，乳头的自动检测并不广为人知。这种自动检测可以为对在不同时候、从不同观察方向就同一乳房所得的乳房X射线照片或从同一观察方向所得的左、右胸的乳房X射线照片进行目视、自相关或对准提供参考点。
本发明的目的之一是提供一种用于把数字乳房X射线照片分割成前景和后景的方法和系统，该方法和系统能够在存在典型噪声和背景色差的情况下自动且可靠地检测轮廓线并在乳房X射线照片产生的显示上进行叠加。本发明的另一目的是自动可靠地检测轮廓线和乳头。本发明的又一目的在于上述方法是具有高运算效率的，因此，它可以在相当短的处理时间内完成。
本发明的这些及其他目的可以通过按照本发明的产生计算机增强型乳房X射线照片的方法实现。该方法的特征在于把在相应于检测轮廓线的输出阵列中的象素值设定为标识检测的轮廓线的值，并且轮廓线的检测包括在乳房和其外围之间进行粗分割的步骤，所述的分割包括至少是位于轮廓线附近的每一象素的第一和第二二进制值的组合，其中第一二进制值依赖于把该象素上的光强与第一阈值进行比较的结果，第二二进制依赖于把所测的光强梯度同第二阈值进行比较的结果。
根据本发明实现上述分割，基于把其幅值超过全程幅度阈值的一组象素与通常是沿由边缘检测操作所产生的轮廓线的乳房边缘的、通常成板状的一组象素进行组合、尤其是进行联合来实现上述分割。后一组象素优选梯度幅值超过梯度阈值的那些象素。
作为乳房形状的结果，在观察方向上的乳房组织的厚度随着接近轮廓线而减少。靠近轮廓线的一组前景象素的梯度势必较大、朝着垂直于轮廓线的方向，并且当从乳房内的点接近轮廓线时该梯度势必具有相应于所减少的衰减的固定不变的符号。在轮廓线附近，前景具有与背景载然不同的梯度。主要的观察之一是在产生其幅值超过全程幅值阈值的象素串与边缘检测象素串的联合时，全程幅值阈值的值并不是关键的。因为二进制图象或标志在前景和后景间的轮廓线上几乎没有间隙或不连贯性，所以结果是很容易从二进制图象中提取出轮廓线。在前景和后景之间不想要的连接的间隙处，使用曲线拟合插入处理来完成轮廓。此后，使用连接成分处理填充乳房中的洞，使用形态学的腐蚀和稀释去除背景中的噪声。最终的二进制图象包括乳房区域的所有二进制1和背景部位中的全部二进制0。作为轮廓线提取部位间的轮廓或边界，并且在输入图象上叠加轮廓线。
然后选择曲率最大的轮廓线的一部分，并且沿轮廓线线段搜索在乳房邻近点中的小区域中的输入图象。所述搜索利用了这一事实在乳房中的乳头处有皮下薄壁组织，该组织具有相对大的X射线衰减特性，因此它在乳房X射线照片上产生相对较亮的区域。选择靠近小区域的轮廓线上的具有最大平均光强值的点作为乳头位置。把该点叠加到乳房X射线照片上。
在从属权利要求2和3中描述了另外的优选实施例。在权利要求4中描述了一种实现权利要求1的方法的装置。
本发明的其他目的、特征和优点通过下面结合附图所作的详细说明将会更加清楚，其中
图1是按照本发明的用于获取和处理乳房X射线照片的计算机辅助系统的原理图；图2是表示由图1中的计算机进行处理的流程图；图3是原始乳房X射线照片图象中象素点与灰度值的关系曲线的典型直方图，在图1的流程图中的一个步骤中使用该直方图；图4A示出了最初的乳房X射线照片图象；图4B-4E示出了最初的乳房X线射图象照片在不同处理阶段所得到的二进制图象；和图4F示出了图4A的、在其上叠加有检测的轮廓线及乳头的最初图象。
首先参考图1，示出了一种计算机辅助乳房X射线照象系统10，且它的乳房X射线照片拍摄单元被安排为以头部-尾部(CC)观察方向拍摄，该系统包括一个X射线源12，所说的源对着直立的受检者的乳房14用X射线束15照射，乳房14被接纳在通常为平面的上、下层部件16和18之间，并用预定的压力或配重压缩。在下层部件16下面是用来在矩形象素区内进行检测的二维X射线检测装置22，X射线辐射通过胸部14及其紧靠其的外围，X射线检测装置22可以是接纳在支持架上的胶片或光励荧光成象板，也可以是硒感光板/静电计数字读出检测器。X射线图象增强器/摄象机也是合适的检测装置。X射线源12、板14和16以及检测装置20可以作为一个单元围绕横向轴A转动，以便沿图1所标CC(头部-尾部)、LM或ML(中部一侧部或侧部一中央)和OB(斜摄)中的任一观察方向来接收和照射乳房14。
不管使用哪一种类型的检测装置20，最终都有一个数字象素的二维阵列，该阵列代表乳房X射线照片的X射线投影图象，可以作为图象文件存储在数字存储装置22，该装置可以包括RAM、硬盘、磁光盘、WORM驱动器或其他数字存储装置。使用胶片时，胶片经冲洗后用数字化单元24扫描。目前，胶片可以数字化成100微米的空间分辨率，产生大小在1672×2380到2344×3016个象素范围的典型图象，每一图象可达12位光强分辨率。使用光励板时，用扫描器26中的激光进行扫描产生类似的图象大小和通常为10位的光强分辨率。最后，当利用诸如硒感光板/静电数字读出装置这类检测器时，检测器直接产生模拟电信号，该模拟电信号系由数模转换器28转换成数字形式。
存储在装置22中代表乳房X射线照片的二维数字象素阵列由计算机工作站30处理，以便在乳房X射线照片中作标志或增强其中包括轮廓线在内的感兴趣的特征，和在显示装置32(如CRT监视器)上显示处理过的最终的乳头X射线照片。作为初始步骤存储的乳头X射线照片可以用适当的中间滤波器和/或在幅度上通过截断使图象在精度上降低到大约500,000到2,5000,000个象素和8位到10位的光强分辨率，以便与监视器的空间分辨率和灰度标尺的分辨率一致。在进行标志或增强特征的处理时，乳房X射线照片被分割成对应于乳房的前景部分和对应于乳房外围的背景部分，且在进行分割的过程中检测轮廓线。该分割使背景能通过查找要作标记或增强的诸如块状物和微钙化束的感兴趣的特征来消除。
在这里理解胶片上乳房X射线照片中背景部分的实质是有用的。背景本身理想地是“空而黑”的区域。实际上，该区域既不空也不是同等地黑。该区域包括来自胶片保护塑层组织的噪音、胶片处理机中的滚子引起的擦痕和线，以及围绕乳房边界的散射辐射效应。数字化处理进一步把结构噪声和无结构噪声加到图象上。另外，还有一批遵循美国放射学会(ACR)标志推荐标准的、具有标志性质的东西。
图2的流程图表示了计算机30执行的步骤。那里，作为在空间分辨率和幅度分辨率都适当减少的原始存储图象包括输入阵列36。优选该处的象素是40微米见方且灰度值为256种。在图4A中示出了该阵列代表的典型输入图象，图4A是为了说明斜的、侧部—中央或中央—侧部的观察方向。
在步骤38，计算输入阵列中象素点与灰度值的直方图。图3示出了典型的输入阵列直方图。灰度值典型地落在三个区域中。第一区域标记为E，相应于背景空的部分。第二区域标记为B，相应于乳房的内部；第三区域标记为A，相应于背景中的伪差。本目的是选择一个光强阈值以便把图象分割成两个区域，其中一个包括乳房内部的区域，另一个包括轮廓线和背景的区域。该阈值由直方图确定，所述的直方图是在搜索到位于第一个高峰后的峰值对其平滑后的直方图。在图3中，把适当的谷值标志为V。图4B表示把输入图象的象素的光强和光强阈值比较所得的二进制图象。其中，值为数字1的象素因其光强超过了光强阈值显示为白，值为数字0的象素因其光强没有超过光强阈值显示为黑。
在步骤40，把光强梯度或边缘检测操作子施加到输入图象的含轮廓线和背景的区域内(亦即，输入到在图4A的输入图象中的那些在图4B中为黑的象素上)，然后把该区域取阈值，以便只保存具有极高梯度的象素。优选地使用Sobel操作子(两个坐标方向上空间偏差平方和的平方根)作为光强梯度操作子，这是因为它提供了梯度的幅值。极高的梯度通常由乳房组织在轮廓线上成向下的斜坡引起。图4C示出了由步骤40产生的二进制图象。其中，在图4B中的黑色象素中，因其梯度超过光强梯度阈值而在图4C中具有数字0值的那些象素显示为白色，因其梯度未达到光强梯度阈值而具有数字0值的那些象素显示为黑色。另外，为说明起见，在图4B中为白色的象素在图4C中指定为值数字0，因而在该处显示为黑色。在步骤42中，步骤38和40的结果通过合并图4B和4C中的一系列白色象素来组合，以形成图4D所示的合并图象。虽然可以通过对象素进行象素“或”操作来完成，应该认识到，通过在合并图象中把在图4B中的白色象素设定为白色可以容易地与步骤40结合起来。
与上述方法不同，在步骤38中所用的光强阈值并不是关键性的，合并图象由乳房的大部分、一些伪差和来自背景的成分组成。在图4D中，要知道背景通过顶部在水平线上连接到前景上，在步骤40中，在一些空区引入了一些噪声点，并且在靠近轮廓线的乳房区域存在空洞。这些伪差在步骤44中处理。
在该处检查合并图象中的开始几行和最后几行。如果其行几乎包括所有的数字1，就把它清除。对图象中间部分的行而言，检查乳房区域看它是否连接到背景上。通过寻找一系列连续行完成此操作，这些连续行具有比其邻近行长得多的一串数字1。清除这一系列行，在它们的位置上用一个二次多项式拟合C＝ao＋a1r＋a2r2通过在要清除的行前和行后使用一系列点并使Σi=0n(ci-a0-a1r1-a2ri2)2]]>最小化来完成拟合。
乳房图象仍有需要填充的空洞，因此使用了一个连续成分的算法来填充比包含一定数量的象素的区域更小的洞，该象素数由经验确定，大约为100个象素。然后为消除空区中的噪声，用3×3掩膜进行形态学的腐蚀和稀释操作。经验发现，用该掩膜进行四次腐蚀然后进行四次稀释来消除背景中的噪声。
在一些图象中在轮廓线间有间隙。因此，先前的步骤不能填充乳房中的空洞，通过轮廓线中的间隙把乳房连接到背景上。在类似这样的状况下，通过施加形态学的稀释和随后分别用3×1和1×3掩膜腐蚀到图象上可以使皮肤边界中的间隙的影响达到最少。图4E说明了步骤44的结果。然后在步骤46，通过跟踪图4E中黑白区域之间的轮廓和边界、如有必要再进行平滑可以容易地检测轮廓线。
在步骤48中，在相应于乳头的轮廓线上对参照点进行自动检测。该方法包括隔离轮廓线的一个高曲率段并沿该曲率段上的每一点移动一个小的矩形窗口来寻找乳房内部的、在乳头下面的、由皮下薄壁组织引起的亮(高衰减)区。从轮廓线段上的一点指向乳房，优选为两个象素高八个象素宽(即0.8×3.2微米)。在窗上的每一位置计算窗口中的平均(或总)光强。在轮廓线上选择窗口具有最大平均(或总)光强的点，以便检测相应于乳头的参考点。
最后，对本发明来说，在步骤50中，对所检测的轮廓线、乳头和原始输入阵列进行组合或叠加以产生与图4F所示具有亮白轮廓的轮廓线和乳头的图象相对应的输出阵列52。应该理解，实际上输出阵列52在其内还有已作标记或增强的可疑区，在步骤54中在分割成乳房区的区域检测该可疑区。在由与本申请相同的发明人于1994年7月14日提交的、申请号为08/274,939、标题为《使用多阈值甄别亮点的数字X射线图象中的肿块检测》(Mass Detection in Digital X-ray Images UsingMultiple Thresholds to Discriminate Spots)的美国专利申请中描述了识别可疑块的方法。在1993年1月11日提交的、申请号为08/003,071、标题为《乳房X射线照片中微钙化的计算机检测》(Computer Detectionof Microcalcifications in Mammograms)美国专利申请中描述了识别可疑的微钙化束的方法，该申请也授权给与本发明相同的代理人。标识的轮廓线和乳头作为位置参考来帮助对由计算机标识的可疑区的解释。
应该明白，本发明的目的已经得到满足。尽管已经详细叙述了本发明，但有可能在本发明的设计精神和范围内进行大的改进。
权利要求
1.一种产生计算机增强乳房X射线照片的方法，该方法包括-存储象素的输入阵列，其中象素的输入阵列表示受检者乳房的密度分布；-在预定的观察方向上用X射线照射被检查的受检者的乳房；-在二维场中从所说的观察方向接收从乳房及其外周围退出的X射线；-产生作为接收到的X射线的函数的数字信号，该数字信号相应于数字象素的输入阵列；-响应于所述信号，把所述数字象素的输入阵列存储到与计算机相连的数字存储装置中；-处理所存储的数字象素输入阵列，以便检测轮廓线并产生数字象素的输出阵列；其特征在于-把相应于检测的轮廓线的输出阵列中的象素值设定为标志所检测的轮廓线的值；和-轮廓线的检测包括在乳房和其外围间进行粗分割的步骤，该步骤包括合并至少是位于轮廓线附近的每一象素的第一和第二二进制值，其中第一二进制值决定于该象素的光强度与第一阈值的比较结果，第二二进制决定于灰度梯度的检测同第二阈值的比较结果。
2.如权利要求1所述的方法，其特征在于-所述第一二进制值和第二二进制值的合并在至少位于轮廓线附近处产生了一个合并的象素系列，该系列的光强超过了第一阈值，并且其光强梯度的量度超过了第二阈值。
3.如权利要求1或2所述的方法，其特征在于-自动检测乳头，在输出图象中由计算机标志轮廓线和乳头，乳头通过搜索位于窗口内的乳房来检测，其中该窗口从所检测轮廓线的一段指向乳房并沿所述的段移动，基于所述窗口中的平均光强来识别相应于乳头的轮廓线段上的点。
4.一种乳房X射线照片装置，包括-X射线辐射源(12)，用来放射X射线束，以便照射按预定检查方向用X射线检查的受检者的乳房；-X射线探测器(20)，用来在二维场中接收从乳房及其外围按所述的检查方向退出的X射线；-数字化单元(28)，用来产生作为所接收的X射线函数的数字信号，该信号相应于数字象素的输入二维阵列；-数字存储装置(22)，用来存储所述数字象素的输入二维阵列；-计算机，用来处理已存储的数字象素的二维阵列，以检测轮廓线并产生数字象素的输出二维阵列；其特征在于安排计算机(30)用于-把相应于检测的轮廓线的输出阵列中的象素值设定为标志检测的轮廓线的值；和-进行乳房以其外围间的粗分割，所述的粗分割包括在把至少是位于轮廓线附近的每一象素的第一二进制值和第二二进值进行组合，其中第一个二进制值决定于该象素的光强同第一阈值的比较结果，第二个二进制值决定于其光强梯度的检测同第二阈值的比较结果。
全文摘要
通过检测轮廓线把数字乳房X射线照片自动分割成背景和前景，其中背景与乳房的外部部位相对应，前景与乳房内部部位相对应，轮廓线形成这些部位的边界。产生一个二进制阵列，该二进制阵列表示前景和后景的最初分割，在该最初分割中，对二进制阵列中的光强和/或梯度值超过其阈值的每个象素点指定一个二进制值。
文档编号G06T7/00GK1145674SQ95192508
公开日1997年3月19日 申请日期1995年12月4日 优先权日1994年12月30日
发明者M·阿德-莫塔列布 申请人:菲利浦电子有限公司