X射线照片方向的检测和校正方法

专利名称：X射线照片方向的检测和校正方法
技术领域：
本发明通常涉及用于处理X射线照片的技术，尤其涉及用于自动检测和校正X射线照片方向的技术。
背景技术：
图片存档和通信系统(PACS)被用于从各种医学影像设备(modality)中获得图像、存储和检索所获得的图像以及在显示工作站上分发和呈现所获得的图像。这样的医学影像设备能够包括磁共振成像(MRI)、计算机断层摄影(CT)、正电子发射断层显像(PET)、超声波扫描术(US)、计算机射线摄影(CR)、数字射线摄影(DR)等。
在PACS系统上显示图像时，优选以其正确方向显示图像。如果图像从磁共振成像(MRI)、计算机断层摄影(CT)、正电子发射断层显像(PET)和超声波扫描术(US)中获得，则可以容易地完成，这是由于在获得期间已经得知图像的方向。
然而，对于其它医学影像设备，例如计算机射线摄影(CR)，由于方向未知因而图像方向是个问题，这是因为CR暗盒，类似于胶卷暗盒，与捕捉设备是独立的。即，它们可以以各种方向放置以适应检查条件。因此，直到图像被处理并显示在屏幕上才知道图像方向。
在数字胶片中也存在这样情况。当放射部门对数字图像检索系统进行投入时，通常需要对大量的胶片进行数字化，以提供对PACS中先前检查的在线调用。大量X射线照片胶片的数字化经常使用批量给送器来执行；因此，当数字化时，胶片的方向对于PACS经常是未知的。
目前，校正图像方向的操作通常由技术人员手工执行。尽管可以短时间完成工作站上图像的旋转，但是当假定有大量的X射线照片需要审阅时，累计的时间耗费和所需要的成本可能很大。
此外，还存在与校正图像方向的需求相关的其它因素。例如，图像的正确方向可能对于图像质量有利且能提高诊断可信度。准确的医疗诊断经常取决于图像中诊断相关区域的正确显示。正确定向的图像能够促进X射线照片中诊断相关区域的位置的一致性，有利于这些区域的分割和提取，并能进一步帮助设计用于给出和显示图像的更加鲁棒和有效的图像处理算法。
因此，存在对于自动检测X射线照片方向并将其重新定向(如果需要)至放射科医师(或其它观察者)认为较佳的位置的方法。这样的方法将促进PACS中图像管理和显示的效率和有效性，并将加速医院的工作流程。
然而，识别X射线照片的方向是个具有挑战性的问题，这是由于X射线照片经常在各种检查条件下拍摄。病人的姿势和尺寸可能是变化的；根据病人的情况放射科医师可以具有偏爱。这些因素可能导致来自同一检查的X射线照片看起来相当不同。人类倾向于通过捕捉图像内容、将其分组为有意义的对象并将它们与上下文信息匹配使用高层次概念来识别图像的正确方向。然而在现实中，对于计算机来讲很难实现所有的这些分析过程。
已经提出了一些方法来识别胸腔X射线照片的方向。
例如Pieka等人(″胸腔图像的方向校正(OrientationCorrection for Chest Images)″，数字成像杂志(Journal ofDigital Imaging)，Vol.5，No.3，1992)提出了一种使用图像的两个投影剖面确定胸腔图像的投影和方向的自动方法，所述图像的投影剖面通过计算沿着水平线和竖直线的平均密度得到。
Boone等人(″使用神经网络的用于图片存档和通信系统显示的胸腔X射线照片方向的识别(Recognition of Chest RadiographOrientation for Picture Archiving and Communication SystemsDisplay Using Neural Networks)″，数字成像杂志(Journal ofDigital Imaging)，Vol.5，No.3，1992)提出了一种人工神经网络来对胸腔X射线照片的方向进行分类。提取的特征包括两个投影剖面和四个感兴趣区域。
Evanoff等人(″胸腔图像方向的自动确定(AutomaticallyDetermining the Orientation of Chest Images)″，SPIE Vol.3035)将线性回归应用在两个正交剖面上，来确定图像的顶部，然后寻找心脏的边缘以确定图像是否需要重新定向。
由于胸腔X射线照片的特性，上述方法在其特定应用中均可一定程度的成功实现。然而，这些方法对于其它检查类型的X射线照片并不适合，诸如肘部、膝部、脊柱颈段等，这是因为所述投影剖面是沿着行和列的累计像素值，它不够详细以致于不能够提供图像方向信息。此外，它对于噪声和病人的位置也非常敏感。
已经探讨过自然场景图像方向检测。Vailaya等人(″自动图像方向检测(Automatic image orientation detection)″，IEEE图像处理国际会议(IEEE International Conference on ImageProcessing)，Vol.2，1999)使用了贝叶斯学习网络以对图像方向进行分类。Wang等人(″基于低层次视觉内容来检测图像方向(Detectingimage orientation based on low-level visual content)″，计算机视觉和图像理解(Computer Vision and Image Understanding)，Vol.93，2004)提出了同时基于结构和彩色(低层次)内容特征的自动图像方向检测算法。在两种方法中，特征都是彩色的。然而，由于在X射线照片中无法得到基于彩色的特征，因此所述的方法也不适合于X射线照片方向检测。
文件图像方向检测是公知的。然而，由于文件图像和X射线照片之间的重大差别，因此这些方法也不适合于X射线照片的方向。
因此，存在一种对于自动检测X射线照片方向的方法的需要。这种方法应该是鲁棒的且应该适应X射线照片的较大变化。

发明内容
本发明的一个目标是提供用于检测X射线照片方向的自动方法。
本发明的另一目标是提供校正X射线照片显示方向的方法。
仅仅通过示例性实例给出了这些目标，这样的目标可以是本发明的一个或更多实施例的示范。通过所公开的发明自然实现的其它期望目标和优点也是可能的，或者对本邻域技术人员来讲这些目标和优点是显而易见的。本发明由附属的权利要求书限定。
根据本发明的一个方面，这些方法通过以下步骤完成对输入的X射线照片进行预处理(可选)，从X射线照片中提取感兴趣区域，识别X射线照片的方向，以及根据需要校正图像方向。
预处理输入的X射线照片包括对原始图像进行子采样，将图像分割成前景、背景和解剖体，以及基于解剖体的特性对图像强度进行标准化。
从X射线照片中提取感兴趣区域包括检测解剖体的中轴，确定所述感兴趣区域的中心、尺寸和形状，并定位X射线照片中的感兴趣区域。
识别X射线照片的方向可以通过从感兴趣区域中提取一组方向相关特征并使用已训练的分类器对它们进行分类来完成。
然后如果需要可以根据分类器的结果将图像重新定向至期望的方向。
本发明提供一些优点，包括鲁棒性和效率。例如，对于促进鲁棒性，X射线照片的预处理帮助避免了来自准直区域和其它噪声的干扰。此外，用于方向分类的特征对于尺寸、平移和旋转是不变的。对于促进效率，在子采样得到的粗分辨率图像上实施所述过程，这增加了识别过程的速度。


如附图中所示，从下面本发明实施例的更加具体的描述中本发明的前述和其它目标、特征和优点将显而易见。附图的元素并不一定相对于彼此成比例。
图1A、1B和1C示出了用于检测X射线照片方向的自动方法的流程图；图2示出了预处理步骤的流程图；图3A-3E示出了从预处理步骤中得到的结果的图解视图，图3A示出了原始图像，图3B至3D分别显示了从分割中得到的前景、背景和解剖体图像。图3E示出了标准化图像；图4A-4C示出了解剖体中轴的检测的图解视图，图4A示出了原始图像，图4B示出了从解剖体图像中计算得到的欧几里得距离图(Euclidean distance map)，图4C示出了从解剖体图像中检测到的中轴。
图5A和5B示出了感兴趣区域的形状的图解视图，其中(白色)点代表ROI的中心，图5A描述了从脊柱颈段X射线照片中提取的感兴趣区域，图5B示出了手部X射线照片中发现的感兴趣区域；图6示出了ROI的外围子块的选择的图解视图。
具体实施例方式
下面是参考附图对本发明的优选实施例的详细说明，其中在几幅附图的每幅中，相同附图标记表示了相同的结构元件。
本发明针对一种用于自动检测X射线照片方向的方法。图1A、1B和1C示出了用于检测X射线照片方向的自动方法的流程图。
在图1A中示出了根据本发明的第一实施例。如图1A所示，所述方法包括若干步骤，包括获得/得到数字形式的X射线照片图像(步骤10)；从输入X射线照片中提取感兴趣区域(ROI)(步骤11)；以及使用一组特征和已预先训练的分类器检测图像方向(步骤12)。这些步骤将在下面更加具体地进行说明。
在图1B的流程图中示出的本发明的另一实施例中，在步骤11的ROI提取之前可完成附加的步骤。该附加步骤是X射线照片的预处理，在图1B中被注释为步骤13，下面将更加具体地进行说明。
在图1C的流程图所示出的再一实施例中，可以在方向检测(步骤12)之后添加可选步骤。该可选步骤(在图1C中被注释为步骤14)为将X射线照片重新定向至放射科医师认为较佳的位置。
最初，在步骤10，获得X射线照片图像，并且所述X射线照片图像是数字图像。所述数字图像可以直接使用本领域技术人员公知医学影像设备获得，或者间接地采用本领域技术人员公知的方式获得，例如通过模拟X射线胶片图像的数字化。
根据本发明，预处理图像的步骤(步骤13)包括三个方面(1)使需要处理的像素的数目最小化，在不降低识别性能的情况下完成这种最小化；(2)减小来自准直区域(例如前景)和直接曝光区域(例如背景)的干扰，使得通过诊断上有用的图像数据部分(例如，解剖体)来驱动方向识别；和(3)生成用于任意下面过程的一致的强度和对比度图像。
现在参考图2，那里示出了用于对X射线照片进行预处理(步骤13)的方法的流程图。预处理方法包括对原始图像(即，步骤10所得到的图像)进行子采样，得到小尺寸粗糙分辨率图像(步骤20)。然后将该子采样得到的图像分割成前景、背景和解剖体区域(步骤21)。随后，从图像中移除前景和背景区域(步骤22)，其中仅保留解剖体区域以供将来处理。在预处理的最后步骤，基于解剖体区域的强度范围对最终得到的图像(即，解剖体区域)进行标准化(步骤23)。
原始图像的子采样(步骤20)可以通过用于减小图像尺寸同时保留足够的图像信息用于方向识别的已知方法完成，这种方法对本领域技术人员来讲是公知的。在本发明的一个实施例中，采用了塔式数据结构。然后将最终得到的子采样图像用于下面的过程。
图像分割(步骤21)可以使用本领域技术人员公知的方法来完成。一种公知的分割方法是从图像直方图中找到两个阈值，然后将图像分割成前景、背景和解剖体区域。图3A示出了示范性的X射线照片(脚部)，图3B至图3D示出了从分割中得到的其前景、背景和解剖体图像。
一旦分割了图像，就通过将前景和背景区域中的像素设定成预定值而将这些区域从子采样图像中移除(步骤22)，但是保持剩下的解剖体区域中的像素不变。作为该步骤的结果，已预处理的图像仅仅包括诊断上有用的图像数据部分，因此可使来自准直区域的干扰最小化，并且可以准确地检测到解剖体区域的强度范围。
根据本发明，在图像上执行图像强度标准化(步骤23)，从而补偿由于病人改变和检查条件而引起的曝光强度的差异。完成该步骤的一种技术是从图像直方图中检测最大和最小亮度值，然后应用线性或者对数转换函数将图像亮度调整至预定范围。可以进一步在图像上执行直方图均值化，从而图像直方图中的那些峰值展开，使得可以更好地示出图像中低对比度区域中的更多细节。图3E示出了在使用该方法完成的强度标准化之后得到的图像。备选地，其它技术，诸如LEE等人在美国专利号No.5633511中公开的色阶方法(标题为“使用图像动态测量的自动色阶调整(AUTOMATIC TONE SCALE ADJUSTMENT USINGIMAGE ACTIVITY MEAURES)”，其全部内容包含在此以供参考)可以用来提供标准化。注意，本发明并不限于使用上述方法来对图像进行标准化。还可以使用提供了显示出一致强度和对比度的结果图像的其它算法。
相同检查得到的解剖体的尺寸和位置以及方向将会根据检查条件发生改变。此外，X射线照片中示出的解剖体部分还根据病人情况和准直刀片的设置发生改变。这些因素可以导致不同的X射线照片外观，这对方向识别可能成为挑战。
为处理这些情况，从X射线照片(步骤11)中提取感兴趣区域(ROI)。利用ROI从图像数据中捕捉诊断上有用的部分，并使由上述因素导致的改变最小化。在该ROI的协助下，现在方向识别可以集中在ROI的内容上，而不受到来自其余图像的扰乱。为此，ROI提取方法(步骤11)包括两个步骤检测X射线照片中解剖体的中轴，和在X射线照片中定位ROI。
根据本发明，使用中轴来描述X射线照片中的解剖体。中轴提供了X射线照片中解剖体的方向和位置的简单描述，并促进了界限搜索复杂度和加速处理。
虽然本领域技术人员可以识别出其它适当的方法，但是在本发明的优选实施例中，使用欧几里得距离图来检测中轴。更具体地，在实施期间，检测解剖体的轮廓，并用于计算欧几里得距离图。图4A示出了原始图像，图4B示出了从图4A的解剖体图像中计算得到的欧几里得距离图。然后，检测最大的隆起线并用作中轴。图4C描述了结果得到的中轴。该方法尤其适合于诸如肘部、膝部和腕部等趋向于具有简单形状的四肢的X射线照片。
在本发明的另一实施例中，中轴可以通过多尺度中值分析(参考Morse等人的“医学图像的多尺度中值分析(Multiscale MedialAnalysis of Medical Images)”，图像与视觉计算(Image and VisionComputing)，Vol.12，No.6，1994)来检测。使用MMA的特征是它直接作用于图像强度，并且不需要现有的图像分割或对象边界的明确确定。
定位ROI从搜索ROI的中心开始，接着是基于解剖体的特征确定ROI的尺寸和形状。
根据本发明，ROI的中心取决于检查中解剖体的特性。例如，在脊柱颈段检查的X射线照片中，ROI的中心位于脖颈的中心处，如图5A所示。对于手部的X射线照片，手掌的中心可以用作ROI的中心，如图5B所示。
ROI的大小与X射线照片中解剖体的尺寸相关，所述解剖体的尺寸可以在中轴的帮助下从解剖体图像中得出。根据本发明，ROI的尺寸与解剖体边缘至中轴的最小距离成比例。
对于ROI的形状，在本发明中，它与中轴对准。中轴还提供了X射线照片中解剖体的位置和方向信息，因此沿着中轴调节ROI的形状可以帮助降低因平移和旋转而造成的影响，并可以确保ROI是平移和旋转不变的，这接着又促进了鲁棒的方法。图5A和图5B示出了从不同解剖体对象的X射线照片中提取的不同的ROI形状。在图5A中，脊柱颈段的中轴几乎是直的，因此ROI的形状是矩形。对于一些解剖体，诸如手部，其中轴可能不总是保持直线。其结果是，ROI的形状可以呈现为围绕中轴扭曲或倾斜的带状，如图5B所示。
为计算用于方向识别的特征，将ROI进一步分成N*N块，并且从子块中计算出一组低层次视觉特征。子块的数量根据经验确定，以平衡计算复杂度和识别性能之间的折衷选择。
虽然，可以使用其它的方法，但是根据本发明的优选实施例，使用了ROI内部的外围子块而不是整个ROI上的所有子块。这样的方法是优选的，这是因为实验已经表明解剖体的外围已经提供了用于方向检测的足够的信息，加上ROI的中心部分不会提高识别准确度，并且在某些情况下甚至可能降低识别性能。另外，仅仅使用外围的块可以降低计算负荷并可加速所述过程。
图6示出了外围子块的选择。根据本发明，可能的低层次特征可以是从子块中提取的灰度级平均值、变化、边缘信息、纹理(texture)和其它图像特征。注意，在本发明的优选实施例中，仅仅使用了ROI的外围子块。该优选的方案与Wang等人(″基于低层次的视觉内容检测图像方向(Detecting image orientation based on low-levelvisual content)″，计算机视觉和图像理解(Computer Vision andImage Understanding)，Vol.93，2004)的不同，其中Wang等人公开了使用被定义为矩形的整个原始图像的外围子块。本发明的优选实施例仅仅使用了ROI的外围子块。在原始图像中，ROI并不一定是矩形区域，这是因为ROI沿着中轴调整其形状，如上面图5A和图5B所示以及相关讨论。
已经完成了特征提取之后，需要在整个训练实例的集合上对得到的低层次视觉特征进行标准化，以适应特征提取期间的尺度差别。特征向量x的定标第i特征分量xi计算如下xi＝xi-mini/maxi-mini其中mini和maxi代表训练实例集合上x的第i个特征分量xi的范围。
在步骤12，检测图像方向。该图像方向的步骤通过已预先训练的分类器来完成。根据本发明的实施例，提供了一种生成这种分类器的方法。所述方法包括训练步骤和测试步骤。
在训练步骤期间，首先以已知的目标方向形成训练图像集合。接着，使用来自个别训练图像的一组提取特征以及规定了正确或者不正确方向的它们的相关目标输出来训练分类器。所述分类器可以使用本领域公知的多种方法，诸如神经网络，并支持向量机(vectormachine)。如果原始特征对于分类没有效果，则可以增加可选的步骤，所述可选的步骤从原始特征中计算适当的变换。附加该步骤的有益之处在于进一步学习训练特征的特性，并得出了用于分类的最具区别的特征。变换的实例包括利用主成分分析(PCA)或独立成分分析(ICA)的特征提取、标准化或者非线性变换，以生成第二特征。关于分类器和特征提取的更多信息请参见Duda，Hart，和Stork的图案分类(Pattern Classification)，John Wiley & Sons，New York，2001。
一旦训练了分类器，则对新颖的图像执行测试步骤，以评估分类性能。如果性能没有或者不能满足预定要求，例如阈值，则分类器可通过训练数据产生偏差或者过拟合(overfit)。当这种情况发生时，可以重新训练分类器直到它对训练数据和测试数据均能适当地和/或充分地执行。
使用已预先训练的分类器，方向检测(步骤12)从处于初始方向的输入图像分类开始。如果对具有可信值的方向分类，则无需再采取任何动作；否则，重新定向所述图像(步骤14)。
为了完成重新定向，将图像旋转90度并从图像中提取新的ROI以计算新的一组方向特征。接着，将新的方向特征送至分类器以验证旋转后的图像是否处于较佳方向。重复/继续该操作直到以高可信值确认所述方向。
根据本发明，通过分类器，正确的方向对应于具有最高可信度等级的方向。在实践中，当可信度值达到最大值或者在预定阈值之上时，假定其对应的方向为图像的较佳方向。随后将X射线照片重新定向至该方向。
一种计算程序产品可以包括一个或更多存储介质，例如磁性存储介质，诸如磁盘(诸如软盘)或磁带；光存储介质，诸如光盘、光带或者机器可读条形码；固态电子存储器件，诸如随机存取存储器(RAM)或者只读存储器(ROM)；或者用于存储计算机程序的任何其它物理设备或者介质，所述计算机程序具有用于控制一个或更多计算机实施根据本发明方法的指令。
部件列表
10步骤-获得X射线照片图像11步骤-从X射线照片中提取感兴趣区域12步骤-检测图像的方向13步骤-对图像进行预处理14步骤-重新定向图像20步骤-对图像进行子采样21步骤-将图像分割成前景、背景和解剖体区域22步骤-移除前景和背景区域23步骤-对剩余图像进行标准化。
权利要求
1.一种检测数字X射线照片方向的方法，包括步骤得到X射线照片；定位所述X射线照片中的感兴趣区域；和使用所定位的感兴趣区域和分类器检测X射线照片的方向。
2.根据权利要求1所述的方法，其中所述方法进一步包括在定位所述X射线照片中的感兴趣区域之前对X射线照片进行预处理的步骤。
3.根据权利要求2所述的方法，其中对X射线照片进行预处理的步骤包括步骤对X射线照片进行子采样；将X射线照片分割成前景、背景和解剖体区域；从X射线照片中移除前景区域和背景区域；和对X射线照片的解剖体区域的强度进行标准化。
4.根据权利要求1所述的方法，其中所述定位感兴趣区域的步骤包括步骤检测X射线照片的解剖体区域的中轴；定位所述感兴趣区域的中心；确定所述感兴趣区域的尺寸和形状；和提取所述感兴趣区域。
5.根据权利要求4所述的方法，其中所述检测解剖体区域的中轴的步骤包括步骤检测解剖体区域的轮廓；计算所述轮廓的距离图；和检测距离图中的隆起线作为中轴。
6.根据权利要求1所述的方法，其中所述使用所定位的感兴趣区域和分类器检测X射线照片方向的步骤包括步骤提取所述X射线照片的特征；和对所提取的特征进行分类。
7.根据权利要求1所述的方法，其中所述使用所定位的感兴趣区域和分类器检测X射线照片方向的步骤包括步骤从所述感兴趣区域中提取一组方向相关特征；使用分类器识别所述X射线照片的方向，其中所述分类器为已预先训练的分类器；如果方向不正确则旋转X射线照片；和重复上述识别和旋转步骤直到识别到正确方向。
8.根据权利要求7所述的方法，其中所述已预先训练的分类器通过以下步骤得到收集预定数量的训练X射线照片图像，每个图像具有已知方向；定位每个训练图像的感兴趣区域；计算来自每个训练图像的感兴趣区域的一组特征；与指定每个训练图像方向的目标输出相关；计算所述特征组的变换；和使用变换的特种组和目标输出训练分类器，以产生已预先训练的分类器。
9.根据权利要求8所述的方法，其中所述计算一组特征的步骤包括步骤定位感兴趣区域的多个外围子块；和仅使用所定位的多个外围子块计算一组特征。
10.一种检测和定向数字X射线照片的方法，包括步骤(1)得到X射线照片；(2)通过以下步骤对所述X射线照片进行预处理(a)对X射线照片进行子采样；(b)将X射线照片分割成前景、背景和解剖体区域；(c)从X射线照片中移除前景区域和背景区域；和(d)对X射线照片的解剖体区域的强度进行标准化；(3)定位所述X射线照片中的感兴趣区域；(4)使用所定位的感兴趣区域和分类器检测X射线照片的方向；和(5)将所述X射线照片重新定向至较佳方向，以供在显示器上进行显示。
11.根据权利要求10所述的方法，其中对X射线照片的解剖体区域的强度进行标准化的步骤包括步骤检测解剖体区域的中轴；定位所述感兴趣区域的中心；确定所述感兴趣区域的尺寸和形状；和提取所述感兴趣区域。
12.根据权利要求11所述的方法，其中所述检测解剖体区域的中轴的步骤包括步骤检测解剖体区域的轮廓；计算所述轮廓的距离图；和检测距离图中的隆起线作为中轴。
全文摘要
一种用于检测和校正X射线照片方向的方法。所述方法通常包括步骤得到X射线照片；定位所述X射线照片中的感兴趣区域；以及使用所定位的感兴趣区域和分类器来检测X射线照片的方向。在优选的实施例中，对X射线照片进行了预处理。
文档编号G06T7/00GK101061511SQ200580039716
公开日2007年10月24日 申请日期2005年10月19日 优先权日2004年11月19日
发明者H·罗, J·罗 申请人:伊斯曼柯达公司