图像处理方法和图像处理设备的制作方法

图像处理方法和图像处理设备的制作方法
【专利摘要】本发明涉及一种图像处理方法和图像处理设备。该图像处理设备用于对由X射线摄像系统拍摄的图像进行色调转换，该图像处理设备提取用作图像基准的基准区域，并且如果存在图像变化，则进行色调转换，从而在所提取的基准区域中抑制由图像变化所引起的对比度变化，并且在其它区域中反映该对比度变化。
【专利说明】图像处理方法和图像处理设备
[0001]本申请是申请日为2010年6月28日、申请号为201010212301.2、发明名称为“图
像处理方法和图像处理设备”的申请的分案申请。
【技术领域】
[0002]本发明涉及一种用于将X射线图像变换为具有最佳色调的输出图像的X射线图像处理方法。更具体地，本发明涉及用于创建色调转换曲线以限定输出图像的对比度的图像处理方法(即，色调映射(tone-mapping)方法)和图像处理设备，其中，所创建的色调转换曲线至少部分包含前一图像的色调转换曲线。
【背景技术】
[0003]对于X射线图像，已经提出了各种类型的色调转换，以提高输入X射线图像的输出版本，从而力图提高医生的诊断能力。进行用于最优化X射线图像的观察区域的色调转换，以提高医生的诊断能力。为了进行该最优化，已经提出了从X射线图像中提取相对于噪声和运动具有更高鲁棒性的观察区域。已经使用S形函数作为色调曲线以最优化该区域的输出图像。当拍摄X射线图像作为(由帧序列组成的)运动图像时，还需要考虑这些帧之间的对比度变化并使其稳定。由于X射线变化以及被摄体变化，因而引起帧之间的对比度变化。X射线变化是指即使在恒定摄像条件下也产生的X射线的量的变化、以及由于X射线操作或控制引起的摄像条件的变化。例如，被摄体变化可以是指肺野由于呼吸而移入和移出摄像区域，或者是指注入造影剂。
[0004]迄今为止，已通过使X射线更稳定来应对由X射线的量的差异所引起的帧之间的对比度变化。另一方面，已通过分析被摄体的方法或通过控制色调转换曲线来应对被摄体变化。
[0005]分析被摄体的示例方法包括涉及根据输入图像的像素值创建直方图、提取最小值和最大值并在时间方向上对这些值进行滤波的方法(例如，参见日本专利3334321)。在时间方向上对最小值和最大值进行滤波使得能够抑制对对比度变化的灵敏度并使其稳定。
[0006]用于控制色调转换的示例方法包括涉及通过分析输入图像检测场景变化、并基于场景变化所需的时间将新创建的色调转换曲线与过去的色调转换曲线进行合成的方法(例如，参见日本专利4050547)。根据该方法，可以通过在时间方向上对色调转换曲线进行滤波来抑制对对比度变化的灵敏度并使其稳定。
[0007]然而，上述传统技术中存在有以下问题。即使通过对直方图的最小值和最大值(表示特别暗和特别亮的区域的最小值和最大值)进行滤波来抑制图像整体的对比度变化，也不能抑制正被注视观察的区域中的变化，并且(诸如正在使用输出图像进行诊断的医生等的)用户敏锐地感受到该状况。响应于此而抑制观察区域中的变化的尝试导致了饱和和限幅，这是因为不能反映运动图像中的对比度变化并且不能创建最适于输入帧的输出图像。
[0008]期望一种在反映图像整体的对比度变化的同时抑制正被注视观察的区域中的对比度变化的方法。此外，存在如下多种情况:在图像序列内基于场景变化所需的时间来控制色调转换曲线的情况下，期望与该场景变化所需的时间无关地控制对比度变化。

【发明内容】

[0009]期望提供在通过抑制运动图像的闪烁获得稳定色调的同时针对(一系列帧或构成运动图像的图像内的)各运动图像帧获得最佳色调的设备和方法。还期望提供在创建没有感觉不自然的观察区域的图像的同时反映(即，考虑)每一帧的对比度变化的设备和方法。期望提供在具有不同亮度或对比度等级的一系列时序帧或同步帧中、或者甚至在具有使观察者不能辨别具有较低对比度等级的其它低亮度区域的高亮度区域的单个图像中获得最佳色调的设备和方法。
[0010]根据本发明的一方面，提供了一种图像处理方法，用于对由X射线摄像系统所生成的图像序列的图像进行色调转换，所述图像处理方法包括:提取步骤，用于从所述图像序列的第二图像中提取在所述图像序列的图像中用作基准区域的区域；以及色调转换步骤，用于在相对于所述图像序列中的第一图像在所述第二图像中存在对比度变化的情况下，对所述第二图像进行色调转换，从而在所述基准区域中抑制在所述第一图像和所述第二图像之间产生的对比度变化，并且在所述基准区域以外的区域中反映所述对比度变化。
[0011]根据本发明的另一方面，提供了一种图像处理设备，用于对由X射线摄像系统所生成的图像序列的图像进行色调转换，所述图像处理设备包括:提取部件，用于从所述图像序列的第二图像中提取在所述图像序列的图像中用作基准区域的区域；以及色调转换部件，用于在相对于所述图像序列中的第一图像在所述第二图像中存在对比度变化的情况下，对所述第二图像进行色调转换，从而在所述基准区域中抑制所述对比度变化，并且在所述基准区域以外的区域中反映所述对比度变化。
[0012]通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
【专利附图】

【附图说明】
[0013]图1是示出根据本发明的图像处理设备的硬件结构的示例的框图。
[0014]图2是示出图1所示的图像处理单元104的详细结构的框图。
[0015]图3A和图3B示出两个X射线图像帧中的像素值的直方图。
[0016]图4A和图4B示出合成色调转换曲线的特性。
[0017]图5是示出根据本发明的反馈系数的图。
[0018]图6是示出第一实施例中的图像处理的流程图。
[0019]图7A和图7B是示出基准区域中的合成色调转换曲线和反馈系数的图。
[0020]图8是示出基于反馈系数对色调转换曲线进行合成的处理的示意图。
[0021]图9是示出第二实施例中的图像处理的流程图。
【具体实施方式】
[0022]下文中，将参考附图详细说明用于实现本发明的实施例。在实施例中，将说明用于创建如下图像的方法，在该图像中，通过将正被观察的区域的反馈系数设置为大值而在该正被观察的区域中抑制对对比度变化的灵敏度，并且通过将剩余区域的反馈系数设置为小值而在该剩余区域中反映(即，考虑)对比度变化。“反映”的含义是指在非基准区域中以某种方式识别到对比度变化。例如，如果显示处理完成，则显示对比度变化，因此在该显示中反映已出现的对比度变化。另一方面，如果没有进行完整的显示处理并且仅进行没有引起显示的内部处理，则计算对比度变化，并且在合成色调转换曲线的处理中考虑该对比度变化。
[0023]首先，将使用图1说明根据本发明的图像处理设备的硬件结构的示例。图1所示的示例是在个人计算机(PC)上实现图像处理设备的情况下的结构。如图1所示，图像处理设备100包括:中央处理单元，即CPUlOl ;只读存储器，即R0M102 ;随机存取存储器，即RAM103 ;图像处理单元104 ;硬盘驱动器，即HDD105 ;输入/输出接口，即输入/输出I/F106 ;以及网络接口，即网络I/F107。组件101?107经由系统总线108相连接。CPUlOl根据存储在R0M102和HDD105等中的计算机程序来控制整体设备。R0M102是存储启动程序和控制数据等的存储器。RAM103是当CPUlOl执行处理时对程序进行展开的、且定义有各种表和工作区等的存储器。
[0024]图像处理单元104对输入X射线图像进行(稍后详述的)色调转换等的图像处理。在图1中，将图像处理单元104实现为专用图像处理板，但是还可以实现为软件模块。换句话说，可以根据目的来适当地实现图像处理单元104。HDD105存储操作系统(OS)和应用程序软件等。输入/输出I/F106是与显示器等的输出设备和键盘或鼠标等的输入设备的接口。网络I/F107是与局域网(LAN)等的外部网络的接口。
[0025]图像处理单元104连接至X射线摄像系统的网络140。该网络140可以包括控制局域网(control area network, CAN),或者可以包括光纤。X射线生成设备110、医疗监视器120和X射线传感器(平面检测器)130连接至网络140。此外，影像存档和通信系统(picture archiving and communication system, PACS)和用于存储 X 射线图像的医学影像设备内置(intra-modality)硬盘设备也可以连接至网络140。可以通过将命令从图像处理单元104发出至X射线摄像系统中的X射线生成设备110或发出至X射线摄像系统中的X射线传感器130来控制被摄体的摄像。
[0026]接着，将使用图2来说明图1所示的图像处理单元104的详细结构。图像处理单元104包括图像输入单元201、色调转换曲线计算单元202、基准区域提取单元203、色调转换曲线合成单元204、色调转换曲线存储单元205、色调转换单元206、以及图像输出单元207。图像输入单元201输入要处理的X射线图像，并且进行(稍后所述的)色调转换的处理之前所需的处理。这里，所需的处理例如包括校正X射线传感器特性或校正系统特性。图像输入单元201还根据需要进行用以抑制随机噪声的处理和图像增强。
[0027]色调转换曲线计算单元202计算用于对由图像输入单元201处理后的X射线图像进行色调转换的色调转换曲线。基准区域提取单元203提取色调转换曲线合成单元204在对色调转换曲线进行合成时所参考的“要被注视观察的区域”。色调转换曲线合成单元204对前一帧的色调转换曲线和当前帧的色调转换曲线进行合成。色调转换曲线存储单元205保存由色调转换曲线合成单元204合成后的色调转换曲线。该色调转换曲线存储单元205可以位于RAM103中。
[0028]色调转换单元206使用由色调转换曲线合成单元204合成后的色调转换曲线，对输入X射线图像进行色调转换。图像输出单元207对处理后的图像进行所需的处理，并且将该图像输出到医疗监视器120或硬盘设备等。这里，“所需的处理”例如可以包括监视器伽玛转换或几何转换等。
[0029]将使用图3A和图3B以及图4A和图4B来说明上述结构中的图像处理单元104的具体处理。图3A是X射线图像序列的第N-1个图像或帧中的像素值的直方图。“序列”的含义是指按时间顺序拍摄的帧序列或者同时拍摄的多个帧。另外可选地，帧序列可以是从单个X射线图像提取出的多个帧，其中该多个帧对于图像中的像素具有不同的亮度或强度等级。例如，如果正被X射线照射的被摄体在曝光至X射线期间发生移动，则可以有效地从图像中提取具有不同强度等级的帧序列。
[0030]图3A的点划线表示对于该直方图的最佳或线性色调转换曲线。这里，“最佳”是指直方图范围分布在整个输出范围上。如稍后所述，输出范围是构成作为图像输出单元207的输出的图像的像素值的范围，并且可以缺少输入像素的最大值和最小值。
[0031]图3B是X射线图像序列的第N个帧中的像素值的直方图。从图3A和图3B可以看出，由于被摄体变化或造影剂的注入等引起的可应用输入像素值的变化，因而相对于第N-1个帧，沿着X轴(输入像素值)的直方图的范围在第N个帧中改变。因为输入像素值的范围依赖于X射线传感器130所接收到的光的亮度，因此与如上所述的X射线变化相比，输入像素值的范围的变化更可能是由被摄体变化引起的。该直方图的最佳或线性色调转换曲线如由双点划线所示。注意，在图3A和图3B中，附图标记301表示正被注视观察的内脏等的区域。
[0032]这里，通过色调转换曲线的倾斜度(gradient)来确定各帧的对比度。当从第N_1个帧改变为第N个帧时，作为考虑了正被X射线照射的被摄体的亮度变化的结果，色调转换曲线的倾斜度降低，并且对比度减小。通过“考虑”第N-1个帧和第N个帧之间的被摄体的变化，理解了一些替代方案。比较图3A和图3B，第N-1个图像的最大和最小输入像素值(即，具有极少出现的低值和高值的输入像素值)不存在。可能因为缺少造影剂等的高对比度被摄体或者因为X射线传感器130的设置，原本就不存在这些值，或者可能在图像处理期间将(亮度或强度)像素值钳位在特定阈值之间。例如，可以对该阈值进行设置，以去除由金属移植引起的特别亮的片或暗片。然而，正是由于拍摄了图像并对其进行处理，因而本实施例的结果是对于第一图像(N-1)，输出像素值相对于输入像素值的倾斜度与对于第二图像(N)的倾斜度相比更陡，其中第二图像没有考虑到所有输入像素值(即，甚至没有考虑具有较高值和较低值的像素)。
[0033]由此，在图4A所示的传统技术中，通过对第N-1和第N个帧的色调转换曲线取平均，来创建合成色调转换曲线(实线)。实际进行该取平均的方式是将图3B的直方图中的最大和最小像素值反馈至图像输入单元201，并且针对第N个图像的输出考虑这些值而进行取平均。
[0034]然而，即使利用由实线示出的该合成色调转换曲线，正被注视观察的区域401中的图像闪烁也是明显的。
[0035]由此，如图4B所示，通过对合成色调转换曲线进行加权以使其更近似接近于正被注视观察的区域401中的第N-1个帧的色调转换曲线，在该区域401中维持第N-1个帧的对比度。因此，对于观察者来说，该区域中的较不明显的对比度更加可见。此外，通过对合成色调转换曲线进行加权以使得随着相对注视观察的区域401的距离增加而接近第N个帧的色调转换曲线，在该区域401之外的区域中显示第N个帧的对比度。这样，在注视观察的区域之外的区域中可以看见诸如由造影剂所引起的对比度的较大的极值。
[0036]可以通过以下步骤来实现以上操作:获得第N-1个帧中的多个像素的对比度值；获得第N个帧中的多个像素的对比度值；以及有效地生成如下的第三帧，其中，该第三帧在其基准区域中包含第N-1个帧的多个像素的对比度值，并且在该基准区域以外的区域中包含第N个帧的多个像素的对比度值。然而，为了获得基准区域和基准区域之外的区域的对比度值之间的平滑转变，优选在第三帧中具有如下色调转换曲线，其中，该色调转换曲线没有精确地与基准区域中的第N-1个帧的色调转换曲线相同，而是接近该基准区域中的第N-1个帧的色调转换曲线；并且没有精确地与基准区域之外的第N个帧的色调转换曲线相同，而是接近该基准区域之外的第N个帧的色调转换曲线，在两个对比度值倾斜度之间逐渐弯曲。这可以通过将第N-1和第N个帧的色调转换曲线的(如图4A中的实线所示的)平均值乘以用于对第三帧的色调转换曲线进行期望调整的第三曲线(图5中的点线)来进行。该第三曲线已知为反馈系数α。
[0037]更具体地，如图5所示，对反馈系数α进行设置。这里，对反馈系数α进行设置，从而当将该反馈系数α乘以第N-1和第N个帧的色调转换曲线的平均值时，如图4Β所示，α的值越大，由此得到的合成色调转换曲线接近第N-1个帧的色调转换曲线，且α的值越小，由此得到的合成色调转换曲线接近第N个帧的色调转换曲线。稍后将进一步说明该反馈系数α。因此，可以抑制正被注视观察的区域401中的图像闪烁，并且反映图像整体的对比度变化。
[0038]通过色调转换曲线计算单元202来选择反馈系数α，以使得由此得到期望的色调曲线。优选地该反馈系数α在基准区域(正被注视观察的区域)处具有最大值，并且在该区域之外具有最小值。以下将详细进行说明。
[0039]第一实施例
[0040]将使用图6来说明第一实施例中用以从X射线摄像系统获取X射线图像并对该X射线图像进行色调转换的图像处理。首先，通过图像输入单元201从X射线摄像系统输入要经过色调转换的X射线图像(S601)。接着，进行考虑到X射线传感器130的特性和X射线摄像系统的特性的校正，作为预处理(S602)。对X射线传感器130的特性的校正可以包含进行偏移校正或缺陷校正等。对X射线摄像系统的特性的校正可以包含进行调制传递函数(modulation transfer function,MTF)改善或网格线(grid line)校正等。另外，除了校正X射线传感器130的特性和系统特性以外，还可以根据需要进行用于抑制随机噪声或系统噪声的噪声抑制处理以及用于增强边缘的增强处理等。
[0041]这里，预处理后的X射线图像是原始图像。然后，进行场景变化检测(S603)。这里，场景变化是指正被X射线照射的被摄体变化或正被注视观察的观察区域在帧之间变化。在图像的辉度由于X射线操作等导致不稳定的情况下，也检测到场景变化。关于检测方法，如果整个图像的平均辉度超过预定阈值，或者如果X射线管电压或管电流的变化超过预定阈值，则检测到场景变化。这里，如果存在场景变化，则处理直接进入S607。另一方面，如果不存在场景变化，则处理进入S604，并且通过基准区域提取单元203从原始图像提取被摄体区域。
[0042]在S604中，首先，从原始图像中检测照射野(treatment field)以外的或不存在被摄体的区域，并且将剩余区域识别为被摄体区域。用于识别照射野的方法包括涉及得到轮廓并计算微分值的方法以及使用神经网络的方法。另一方面，用于检测不存在被摄体的区域的方法可以涉及创建像素值的直方图并基于像素的辉度值进行检测。因此，可以使用这些方法提取被摄体区域。除进行照射野以外的以及不存在被摄体的区域的检测之外，在根据需要去除由于被摄体中的移植金属等而引起的图像中的假象(artefact)之后，可以进行被摄体区域的识别。可以通过示出移植金属或其它反射/高密度材料的区域中的像素的高辉度值来确定这类假象。因此，可以提取直方图中的非常亮的像素值，以去除这些种类的图像假象。因此，基于像素辉度的提取处理可以产生图3A所示的直方图形状。
[0043]接着，基于所提取的被摄体区域来提取基准区域(S605)。这里，基准区域是要被注视观察的区域301、401。可以使用诸如内脏的图像形式的表现等的解剖学要素来指定该基准区域。在第一实施例中，使用摄像区域信息(即，与图像中的期望区域有关的信息)来指定解剖学要素。创建表示被摄体区域的像素值的直方图，并且基于摄像区域信息和直方图的形状来确定基准区域。例如，在对腹部区域进行摄像的情况下，可以将该区域大体地划分为肠、肠以外的脏器、骨头、以及其它区域。因此，将自动判别分析应用于直方图，以将该直方图划分为四个区域，并将上述的各解剖学结构分配至区域。将分配给在本示例中作为最受关注的区域的肠的直方图范围确定为基准区域。
[0044]注意，当提取基准区域时，除了上述定义的解剖学要素以外，还可以使用摄像技术信息(即，与摄像技术有关的信息)。在这种情况下，创建表示被摄体区域的像素值的直方图，并且基于摄像技术信息和直方图的形状来确定该基准区域。例如，在进行肾血管造影(renal angiography)的摄像技术的情况下,可以将该区域大体地划分为肾血管、肾脏、肾脏以外的脏器、以及其它区域。因此，将自动判别分析应用于该直方图，以将该直方图划分为五个区域，并将各解剖学结构分配至区域。因为该基准区域依赖于所使用的摄像技术(在这种情况下为肾血管造影术)，因此该基准区域被确定为与血管造影术有关的区域。因此，接着将分配给作为在血管造影术中最受关注的区域的肾血管和肾脏的直方图范围确定为基准区域。
[0045]可选地，当提取基准区域时，可以使用统计学要素。例如，创建直方图作为统计学要素，并且在该直方图内，可以将累积直方图的40%和60%的位置之间的区域确定为基准区域。可选地，可以将直方图范围自身的40%和60%的位置之间的区域确定为基准区域。
[0046]按照如下说明当提取基准区域时所使用的统计学要素的示例。可以使用包含被摄体区域的中心的预定ROI (region of interest,关注区域)作为统计学要素。例如,对包含被摄体区域的中心的N*N矩形ROI进行设置，并计算ROI内的像素值的直方图。将ROI内的直方图的累积直方图的40%和60%的位置之间的区域确定为基准区域。可选地，以上述ROI中的平均值作为基准区域的中心像素，并基于基准区域的中心像素，可以将规定像素范围确定为基准区域。
[0047]接着，针对所获得的基准区域计算反馈系数(S606)。如图5所示，该反馈系数可以是反馈系数在基准区域内达到其最大值的函数。具体地，可以通过诸如以下等式I等的三次函数来近似该反馈系数，其中，amin是反馈系数的最小值，X是针对相应点处的反馈系数的当前像素值，Xmax是原始图像中的最大像素值，并且Xbasis是反馈系数在基准区域内达到其最大值处的原始图像的像素值。k是依赖于与基准区域的距离的加权系数。
【权利要求】
1.一种由图像处理设备执行的图像处理方法，所述图像处理设备用于对由X射线摄像系统所生成的图像执行色调转换，所述图像处理方法包括: 设置步骤，用于设置所述图像的要用作基准的基准区域； 合成步骤，用于通过对前一图像的色调转换曲线和当前图像的色调转换曲线进行合成，生成合成色调转换曲线以抑制所述基准区域的对比度变化；以及 色调转换步骤，用于基于所述合成色调转换曲线对所述图像进行色调转换。
2.根据权利要求1所述的图像处理方法，其中，还包括: 第一获得步骤，用于获得所述前一图像中的多个像素的对比度值；以及 第二获得步骤，用于获得所述当前图像中的多个像素的对比度值， 其中，所述色调转换步骤包括生成如下第三图像，其中，所述第三图像在所述基准区域中的对比度值接近所述前一图像中的多个像素的对比度值，并且所述第三图像在所述基准区域以外的区域中的对比度值接近所述当前图像中的多个像素的对比度值。
3.根据权利要求2所述的图像处理方法，其中，生成所述第三图像的步骤包括: 获得所述前一图像的色调转换曲线的步骤； 计算步骤，用于计算所述当前图像的色调转换曲线； 其中，所述合成步骤基于反馈系数α对所述前一图像的色调转换曲线和所述当前图像的色调转换曲线进行合成，以获得合成色调转换曲线，从而生成所述第三图像。
4.根据权利要求3所述的图像处理方法，其中，所述反馈系数α包括依赖于与所述基准区域中的像素值之间的差异程度进行加权的乘数。
5.根据权利要求3所述的图像处理方法，其中，根据以下等式计算所述反馈系数α:
X ( Xbasis: α =k1x3+k2x2+k3x+ a min
x>xbasis: α =ki (Xmax-X) 3+k2 (Xmax-X) 2+k3 (Xmax-X) + a min， 其中，X是输入像素值，Xbasis是所述基准区域中的中间像素值，Xfflax是原始图像中的最大像素值，a min是最小反馈系数值，以及kp k2、k3是根据X与Xbasis之间的差异程度进行加权的加权系数。
6.根据权利要求1所述的图像处理方法，其中， 所述合成步骤基于反馈系数α对所述前一图像的色调转换曲线和所述当前图像的色调转换曲线进行合成，其中，与针对所述基准区域以外的区域的反馈系数相比，针对所述基准区域的反馈系数被设置为较大的值。
7.根据权利要求1所述的图像处理方法，其中，所述基准区域是包含所关注的解剖学区域的图像的图像区域。
8.根据权利要求1所述的图像处理方法，其中，通过摄像区域信息或摄像技术信息来确定所述基准区域的位置。
9.一种图像处理设备，用于对由X射线摄像系统所生成的图像进行色调转换，所述图像处理设备包括: 设置部件，用于设置所述图像的要用作基准的基准区域； 合成部件，用于通过对前一图像的色调转换曲线和当前图像的色调转换曲线进行合成，生成合成色调转换曲线以抑制所述基准区域的对比度变化；以及 色调转换部件，用于基于所述合成色调转换曲线对所述图像进行色调转换。
10.根据权利要求9所述的图像处理设备，其中，还包括: 获得部件，用于获得所述前一图像中的多个像素的对比度值，并且获得所述当前图像中的多个像素的对比度值， 其中，所述色调转换部件用于生成如下第三图像，其中，所述第三图像在所述基准区域中的对比度值接近所述前一图像中的多个像素的对比度值，并且所述第三图像在所述基准区域以外的区域中的对比度 值接近所述当前图像中的多个像素的对比度值。
【文档编号】G06T5/00GK103544684SQ201310478506
【公开日】2014年1月29日 申请日期:2010年6月28日 优先权日:2009年6月26日
【发明者】近江裕行 申请人:佳能株式会社