图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及 一 种图像处理设备和图像处理方法以及程序。 更具体地，本发明涉及一种适合于在用于噪声降低的递归处理
(recursive processing)中使用的图像处理设备和图像处理方法
以及程序。
背景技术：
利用非常低的X射线剂量来拍摄X射线透视图像(X-ray fluoroscopic image)以最小化辐射暴露的不利影响。因此， 许多量子噪声(quantum noise)重叠在所拍摄的X射线透视图像 上。目前为止，已经通过应用递归滤波来沿时间方向进行像素 的平滑而实现了所拍摄的图像的噪声降低。递归滤波(也称为帧 间噪声降低处理)对多个静止图像中的降低噪声非常有效。然 而，当将递归处理应用于运动图像时，可能产生图像滞后(image lag)。因此，递归滤波器对运动图像中的降低噪声不总是有效 的。
因此，日本特开平l-273487号公报讨论了这样一种数字X 射线设备即使在对运动图像或连续图像进行递归滤波的情况 下，该数字X射线设备也能够显示具有较小的图像滞后的清晰 图像。该数字X射线设备具有分离电路单元、滤波器电路单元 以及加法电路单元以实现具有较少图像滞后的噪声降低处理。 该分离电路单元将X射线透视图像的每帧分离为低频分量图像 和高频分量图像。滤波器电路单元对高频分量图像进行递归滤 波。加法电路单元将所分离的低频分量图像和已经进行了递归 滤波的高频分量图像相加。曰本特许3158371号公报讨论了用于降低噪声的消声器，该
消声器在生成表示由模拟录像带记录器所再现的运动图像和由 递归滤波器所获得图像之间的差的差分信号之后，从该差分信 号中提取噪声信号，并从所再现的运动图像中减去所提取的噪 声信号。该消声器利用简单的方法来检测的图像的运动，并改 变运动图像和静止图像之间的噪声的降低量。因此，消声器进 行具有较少图像滞后的噪声降低处理。
如上所述，用于拍摄x射线透视图像的x射线剂量是极小 的。因此，由于量子噪声引起的大量噪声信号重叠在每个所拍
摄的X射线透视图像上。因此，使用递归滤波的噪声降低处理 是必不可少的。
在将传统技术应用于具有频率处理功能的X射线透视拍摄 设备的情况下，可以将递归滤波应用于由频率分量分解功能获 得的高频分量图像。然而，用于将图像数据延迟l帧的帧存储器 对于进行递归处理是必需的。有时，在频率处理分析中，在对 将原始图像数据分解成分别对应于多个频带的分解后的图像数 据进行预定处理之后，根据分解后的图像数据来重构原始图像。 因此，需要用于延迟分解后的图像数据的延迟存储器。
也就是说，在将传统技术应用于具有频率处理功能的X射 线透视拍摄设备的情况下，X射线透视拍摄设备需要用于将原 始图像数据延迟1帧的帧存储器以及用于延迟分解后的图像数 据的延迟存储器。因此，在将传统技术应用于具有频率处理功 能的X射线透视拍摄设备的情况下，需要的存储器容量和在整 个X射线透视拍摄设备中存储器存取的量显著增加。
在将进行了频率处理的图像存储在集成的大容量存储器中 的情况下，到该存储器存取的量极大地增加。在使用集成的大 容量存储器附加地进行递归滤波的情况下，存储器存取的量大幅增力口 。

发明内容
本发明涉及一种能够緩和在进行用于噪声降低的递归处理 中所需要的存储器容量和存储器存取的量的增加的图像处理设 备。
根据本发明的一个方面， 一种图像处理设备，包括帧间 噪声降低单元，其包括帧存储器、用于从当前帧图像信号中减 去所述帧存储器的内容以生成第一信号的减法部件512、用于 非线性转换所述第 一 信号以生成非线性转换后的第 一 信号的非 线性转换部件、以及用于从所述当前帧图像信号中减去所述非 线性转换后的第 一信号以生成噪声降低图像信号的减法部件 513，所述帧间噪声降低单元还用于将所述噪声降低图像信号 存储在所述帧存储器中，其特征在于，所述图像处理设备还包 括读取部件，所述读取部件用于在所述减法部件512已读取所述 帧存储器的内容以生成所述第一信号之后并且在将所述噪声降 低图像信号存储在所述帧存储器中之前，读取所述帧存储器的 内容。
根据本发明的另一方面， 一种图像处理方法，包括从当 前帧图像信号中减去帧存储器的内容以提供第 一 信号；非线性 转换所述第 一 信号以提供非线性转换后的第 一 信号；通过从所 述当前帧图像信号中减去所述非线性转换后的第一信号来生成 噪声降低图像信号；在已经生成所述第一信号之后并且在将所 述噪声降低图像信号存储在所述存储器中之前，读取所述帧存 储器的内容；将所述噪声降低图像信号存储在所述帧存储器中； 以及从所述当前帧图像信号中减去所述噪声降低图像信号以生 成图像。根据下面参考附图对典型实施例的详细说明，本发明的其 它特征和方面将显而易见。


包含在说明书中并构成说明书的 一部分的附图示出本发明 的典型实施例、特征和方面，并和说明书一起用来解释本发明 的原理。
图l示出根据本发明典型实施例用于进行图像的拉普拉斯
算子(Laplacian)金字;荅分解/重构的分解/重构处理单元的结构。 图2示出根据本发明典型实施例的拉普拉斯算子金字塔分解。
图3更详细地示出图1中示出的分解/重构处理单元的结构 的例子。
图4示出考虑了用于重构处理的延迟而构建的分解/重构处 理单元的结构的例子。
图5示出添加了帧间噪声降低处理功能的分解/重构处理单 元的结构的例子。
图6示出根据本发明第 一 典型实施例的图像处理设备的结构。
图7示出根据本发明第二典型实施例的图像处理设备的结构。
图8示出示意性示出根据本发明第二典型实施例的图像处 理设备中的处理过程的时序图。
图9示出根据本发明第三典型实施例的图像处理设备的结构。
图10示出图9中示出的第二图像处理单元的结构的例子。 图11示出根据本发明典型实施例的图像处理设备的硬件结构。
具体实施例方式
下面将参考附图详细说明本发明的各种典型实施例、特征 和方面。
根据本发明典型实施例的图像处理设备具有多分辨率分析 功能和噪声降低功能。在下文中，说明对运动图像进行多分辨 率分析和噪声降低两者的根据典型实施例的图像处理设备。根
据典型实施例的图像处理设备适合于在例如利用极低的x射线 剂量来拍摄x射线透视图像的x射线透视拍摄设备中使用。在下 面的说明中，将通过x射线透视拍摄所获得运动图像(即，x射 线透视图像)描述为要由根据典型实施例的图像处理设备处理 的对象。然而，要由根据典型实施例的图像处理设备处理的对 象不限于此。
首先，说明根据典型实施例的图像处理设备的多分辨率分 析功能。
下面参考图l和图2说明多分辨率分析中的拉普拉斯算子金 字塔分解/重构的概要。
图l示出根据本发明典型实施例用于进行图像的拉普拉斯 算子金字塔分解/重构的分解/重构处理单元100的结构。如图1 所示，分解/重构处理单元100包括图像输入单元101、频率分解 单元102、系数存储单元103、系数改变单元104、图像重构单元 105、图像显示单元106以及拍摄条件输入单元107。
图像输入单元101输入由X射线透视拍摄所获得的X射线透 视图像的每帧的图像。在下文中，将要处理的帧称为第t个帧(t 是自然数)。将紧挨在要处理的第t个帧之前的帧称为第(t-l)个 帧。图像输入单元101还输入表示用于X射线透视拍摄的拍摄条 件以及基于图像处理设置的拍摄条件的拍摄条件信号。拍摄条件输入单元107从图像输入单元101接收与第t个帧 图像(X射线透视图像)相对应的拍摄条件信号。
频率分解单元102将从图像输入单元101供给的帧图像分解 成频带和图像大小上互不相同的多个图像。更具体地，频率分
解单元102对从图像输入单元IOI供给的第t个帧图像递归地执 行N(N是自然数)次频率分解。因此，频率分解单元102生成分 别与波段分解的(subband-decomposed)图像相对应的(N+1)个
系数群。
下面参考图2说明由频率分解单元102执行的图像分解。 如图2所示，在由频率分解单元102执行的第一分解中，将 原始帧图像FO分解成大小与原始帧图像FO的大小相同的第一 高频子图像H1 ，以及纵向(垂直)大小和横向(水平)大小均为原 始图像的相关大小的 一 半的第 一 低频子图像L1 (未示出)。将分 别与作为第 一分解的结果所获得的高频子图像H1和低频子图 像L1相对应的数据从频率分解单元10 2发送至系数存储单元 103作为系数数据。然后，将系数数据临时存储在系数存储单元 103中。
在第二频率分解中，从系数存储单元10 3读取与第 一 低频子 图像L1相对应的系数数据。将从系数存储单元103读取的与第 一低频子图像L1相对应的系数数据分解成对应于具有与第一 低频子图像L1的大小相同的大小的第二高频子图像H2以及垂 直大小和水平大小均缩减为图像L1的相关大小的 一 半的第二 低频子图像L 2的系数数据。将分别与作为第二分解的结果所获 得的第二高频子图像H2和第二低频子图像L2相对应的数据从 频率分解单元10 2发送至系数存储单元10 3作为系数数据。然后， 将该系数数据临时存储在系数存储单元103中。
存储在系数存储单元103中的系数数据用于重构原始帧图像F0。
现在说明基于存储在系数存储单元103中的系数数据的原 始帧图像FO的重构。
与在上述频率分解中进行的高频子图像的生成类似，进行 原始帧图像FO的重构。然而，在生成高频子图像时获得两种图 像之间的差分，在重构原始帧图像FO时进行两种图像的相加。
也就是说，在第一重构中，从系数存储单元103读取分别与 第二低频子图像L2和第二高频子图像H2相对应的系数数据。图 像重构单元10 5基于所读取的系数数据重建与第 一 低频子图像 Ll相对应的系数数据。然后，将与第一低频子图像L1相对应的 重建的系数数据存储在系数存储单元103中。在第二重构中，图 像重构单元105从系数存储单元103读取所存储的对应于第一低 频子图像L1的系数数据以及对应于第 一 高频子图像H1的系数 数据。此外，图像重构单元105基于从系数存储单元103读取的 系数数据重建原始帧图像FO。
在图像的实际重构中，系数改变单元104基于从拍摄条件输 入单元107提供的信息(例如，用于锐化和噪声降低的图像处理 设置信息，以及拍摄条件)改变系数数据。因此，由图像重构单 元105实际重建的图像具有与原始帧图像FO的大小相同的图像 大小，但与原始帧图像FO略有不同。在完成重构时，图像重构 单元105向监视器等图像显示单元106输出所重建的图像。
图3详细示出分解/重构处理单元10 0的结构的例子。
如在图3中所示，分解/重构处理单元100包括处理单元，即 低通滤波器311、 321、 331和341, 二次采样(sub-sampling)单元 312、 322、 332和342，上采样(up-sampling)单元313、 323、 333 和343,插值处理单元314、 324、 334和344以及减法单元315 、 325、 335和345。这些处理单元实现图1中示出的频率分解单元102和系数存储单元103的功能。
分解/重构处理单元1 OO还包括对系数数据进行加权并实现 图l中示出的系数改变单元104的功能的系数改变单元316、326、 336、 346和350。
分解/重构处理单元IOO还包括上采样单元317、 327、 337 和347，插值处理单元318、 328、 338和348以及加法单元3 19、 329、 339和349。这些处理单元实现图1中示出的图 <象重构单元 105和系数存储单元103的功能。
当从端子3 01输入要分解的第t个帧的图像时，5个处理单元 311 315执行该图像的第一频率分解。更具体地，低通滤波器311 提取输入图像的低频分量。然后，二次采样单元312基于由低通 滤波器311提取的输入图像的低频分量，通过沿垂直和水平方向 将该输入图像的像素二次采样为一半来生成缩小的图像。
由二次采样单元312生成的缩小图像是第 一低频子图像 Ll。然后，在下一阶段中由处理单元321 325进一步分解第一 低频子图像L1。此外，由上采样单元313对第一低频子图像L1 进行上采样以将其放大到与原始输入图像的大小相同的大小。 随后，通过插值处理单元314将放大的图像转换成仅具有原始输 入图像的低频分量的图像，通过减法单元从输入图像中减去该 图像。因此，生成第一高频子图像H1。
通过处理单元321 325对第 一低频子图像L1进行进一步频 率分解。因此，与第一高频子图像H1和第一低频子图像L1类似， 生成第二高频子图像H2和第二低频子图像L2。当图3中示出的 分解/重构处理单元10 0进 一 步继续递归执行第二低频子图像L 2 的频率分解时，将输入图像进一 步分解成第三高频子图像H3 、 第四高频子图像H4和第四低频子图像L4 。
作为频率分解的结果，获得4个高频子图像H1、 H2、 H3和H4以及单个低频子图像L4。系数改变单元316、 326、 336、 346 和350基于用于锐化和噪声降低的图像处理设置信息以及拍摄 条件来对与子图像H1 H4和L4相对应的系数数据进行加权。因 此，基于加权后的系数数据，处理单元317 319、 327 329、 337 339以及347 349重构图像数据。因此，重建真实空间图像。
假定加权数据根本没有改变、并且不存在计算误差，则理 论上可以重建与输入图像相同的图像。这是因为，用于图像重 构的处理单元具有与用于频率分解的处理单元的一部分的结构 类似的结构。用于图像重构的处理单元的结构与用于频率分解 的处理单元的 一 部分的结构的不同之处在于利用用于图像重 构的处理单元的结构中的加法单元319、 329、 339和349来替代 用于频率分解的处理单元部分的结构中的减法单元315、 325、 335和345。因此，由于加法单元的每个将如下数据与被减数数 据相加，所以理论上可以重建与输入图像相同的图像，其中该 数据与由相关的减法单元从被减数数据减去的数据相同。
由系数改变单元350来对与垂直大小和水平大小为输入图 像的相关大小的(1/16)的第四低频子图像L4相对应的系数数据 进行加权。然后，上釆样单元347将第四低频子图像L4放大为 垂直大小和水平大小都为输入图像的相关大小的(1/8)的图像。 随后，由插值处理单元348生成具有与放大的图像的大小相同大 小的插值图像。当加法单元349将由插值处理单元348生成的插 值图像和对应于由系数改变单元346加权的系数数据的第四高 频子图像H4，相加时，重建垂直大小和水平大小为输入图像的 相关大小的(1/8)的子图像(分解后的图像)。
类似地，处理单元337 339、 327 329以及317 319递归进 行上采样和后续处理。因此，顺序重建垂直大小和水平大小为 输入图像的相关大小的(1/4)的子图像、垂直大小和水平大小为输入图像的相关大小的1/2的子图像以及大小等于输入图像的
大小的图像。由加法单元319来获得大小与从端子301输入的图 像的大小相等的重建的图像，并通过端子302将该重建的图像输 出至外部监视器等。
在前述说明中，为了简便说明，没有考虑由于每个处理迭 代所导致的延迟时间。然而，有两种导致应当考虑延迟时间的 处理。 一种是插值处理。为进行垂直插值，不仅需要一行的数 据而且需要下一行的数据。因此，为等待所需要的下一行的数 据，有必要延迟插值处理的起始时间。因此，获得插值处理的 结果时的时间被延迟。
另 一种是在分解/重构单元IOO的频率分解单元102和图像 重构单元105等组件单元中要进行的处理的顺序处理 (sequential processing)。该顺序处理造成延迟。在分解/重构单 元100的各组件单元中要处理的数据量根据图像大小彼此不同。 在组件单元相互并行地处理数据的情况下，处理相对小量的数 据的组件单元中处理效率非常低。因此，需要处理的顺序处理。 另外，在将与各种各分解水平相对应的图像的数据存储在一个 大存储单元中的情况下，这种顺序处理产生较高的效率。
如上所述，在参考图1 图3说明的实现图像的分解和重构 时，在各种位置发生时间延迟。因此，需要用于调整处理定时 的延迟存储器。图4示出在图3中示出的分解/重构处理单元100 中重构图像所需的延迟存储器。在图4中，利用与在图3中示出 的相关联组件相同的附图标记来指示具有与在图3中示出的组 件中的相关联一 个的功能相同的功能的组件。
将延迟存储器411、 421、 431、 441和450设置在图4中示出 的分解/重构处理单元中的分散的位置上。然而，每个延迟存储 器需要临时存储通过分解处理所获得的高频子图像和低频子图像。因此，在分解/重构处理单元中设置单独的延迟存储器的情 况下，延迟存储器的使用效率低。因此，从成本的角度，可以使用集成的单个存储器以实现延迟存储器411、 421、 431、 441 和450的功能。除延迟存储器411、 421、 431、 441和450夕卜的组 件与图3中示出的相关组件相同。例如，在由一个集成存储器实现延迟存储器411、 421、 431、 441和450的功能的情况下，对集成的存储器进行相当大量的存 取。如果对多分辨率分析功能添加各种功能，则对集成的存储 器的存取量进一步增加。在存储器存取量大大增加的情况下， 需要将要处理的图像的大小缩小以将整个分解/重构处理单元 中的存储器存取的总量限制在预定量内。通过对系数改变单元104中的系数数据进行加权而可以在 图像的上述分解/重构中使用的、用于噪声降低的技术是可能钝 化锐化边缘的空间平滑。在上述分解/重构中不能使用时间平 滑。用于时间方向上平滑的噪声降低技术是使用帧间的相关性 的帧间噪声降低。然而，当在上述分解/重构单元中由一个集成 的存储器来实现延迟存储器的功能，以及在将帧间噪声降低处 理功能简单地添加至多分辨率分析功能的情况下，如上所述， 在整个分解/重构处理单元中存储器存取的总量极大地增加。此 外，需要延迟至少l帧的图像数据以实现帧间噪声降低。因此， 需要用于存储图像数据的帧存储器。因此，增加了必需的存储 器容量。第一实施例根据本发明第 一 典型实施例的图像处理设备，即使在将帧 间噪声降低功能添加至上述多分辨率分析功能的情况下，也可 以防止在整个设备中存储器存取量的增加从而避免缩小要处理 的图像的大小。在图4中示出的分解/重构处理单元中对通过频率所获得的 多个高频子图像进行帧间噪声降低处理的情况下，可以考虑两 种结构的分解/重构处理单元。 一种是在延迟存储器的之前的阶段(preceding stage)处进行帧间噪声降低处理的结构。另 一种是 在延迟存储器的之后的阶段(subsequent stage)处进行帧间噪声 降低处理的结构。图5示出在延迟存储器的之前的阶段侧(或者 紧前的阶段)处进行帧间噪声降低处理的前 一 种结构。也就是说，图5示出通过将帧间噪声降低功能添加至图4中 示出的分解/重构处理单元所获得的分解/重构处理单元的结构 的例子。图5中示出的帧间噪声降低单元610、 620和630沿时间 方向对通过频率分解所获得的多个高频子图像进行平滑，以利 用帧间的相关性来降低噪声。噪声降低单元610包括帧存储器 611、减法单元612和613以及非线性处理单元614。尽管在图5 中未示出，与帧间噪声降低单元610类似，帧间噪声降低单元620 和630中的每个均包括帧存储器、两个减法单元以及非线性处理 单元。在图5中示出的分解/重构处理单元中进行的图像的分解/ 重构处理类似于在上述图l 图4中示出的分解/重构处理单元中 进行的分解/重构处理。因此，省略对在图5中示出的分解/重构 处理单元中进行的分解/重构处理的说明。在下文，说明帧间噪 声降低处理。将降低了噪声的1帧噪声降低图像存储在帧间噪声降低单 元610、 620和630的每个的帧存储器611中。在经过了 l帧时间段 之后，读取所存储的l帧图像。然后，将表示所读取的图像的信 号作为表示基准图像的基准图像信号提供至减法单元612。将表 示从减法单元315输出的图像数据的信号作为噪声降低目标图 像信号输入至减法单元612。除减法单元612,还将噪声降低目标图像输入至减法单元6 1 3 。通过从自减法单元315提供的噪声降低目标图像信号减去 自帧存储器611提供的基准图像信号(递归滤波器图像信号)，减 法单元612生成帧间差分信号。由所生成的帧间差分信号表示的 信息包含表示随机生成的噪声分量和由于拍摄被摄体的运动引 起的水平(level)变化所生成的差分(称为运动分量)的信息。非线性处理单元614执行所谓的限制器算术运算等非线性 处理，以从由减法单元612所生成的帧间差分信号中去除运动分 量并仅提取噪声分量。尽管使用限制器算术运算仅可以实现限 制水平的调整，使用查找表单元作为非线性处理单元可以执行 使能用于噪声降低的良好调整的非线性处理。减法单元613从自减法单元315提供的噪声降低目标图像信 号中减去由非线性处理单元614提取的噪声分量。因此，减法单 元613生成具有降低噪声的高频子图像。减法单元613将所生成 的高频子图像写入至延迟存储器411并写回至帧存储器611。图5中示出的分解/重构处理单元要求帧间噪声降低单元 610、 620和630将各分辨率的、已经降低了噪声的高频子图像写 回至帧存储器并还写入至延迟存储器。也就是说，图5中示出的 分解/重构处理单元将相同的图像写入至帧存储器和延迟存储 器两者。因此，增加了必要的存储器容量。另外，存储器访问 量增加。因此，如图6所示配置根据第一典型实施例的图像处理设 备，从而防止由于将帧间噪声降低功能添加至多分辨率分析功 能而引起的存储器存取量的增加。更具体地，图6中示出的图像 处理设备设置有这种端口 在0和1帧时间段之间的延迟之后， 从该端口读取已经被写入至帧间噪声降低单元510、 520和530 每个的帧存储器中的数据。以与帧间噪声降低单元510、 520和530中的延迟存储器的相关一个延迟存储器相对应的延迟时间相等的延迟时间，从该端口读取与帧间噪声降低单元510、 520 和530的每个相对应的数据。图6示出根据本发明第 一典型实施例的图像处理设备的结 构。根据第一典型实施例的图像处理设备具有多分辨率分析功 能和帧间噪声降低功能。在图6中，由用于表示图1 图5中示出 的具有相同功能的组件的相同附图标记来表示与图1 图5中示 出的组件具有相同功能的每个组件。不重复对这种组件的说明。图6中示出的用于平滑通过频率分解所获得的多个高频子 图像的帧间噪声降低单元510、520和530通过使用帧间的相关性 来降低噪声。帧间噪声降低单元510包括帧存储器511、减法单 元512和513以及非线性处理单元514。尽管图6中未示出，以与 帧间噪声降低单元510相同的方式来配置帧间噪声降低单元520 和530。在图6中示出的根据第 一典型实施例的图像处理设备中进 行的图像的分解/重构处理与上述分解/重构处理类似。因此， 省略对图6中示出的根据第 一 典型实施例的分解/重构处理的说明。将与降低了噪声的图像相对应的系数数据存储在帧间噪声 降低单元510、 520和530的每个中的帧存储器511中。在经过l 帧时间段之后读取与存储在帧间噪声降低单元510、 520和530 的帧存储器511中的这种图像相对应的系数数据。将表示所读取 的系数数据的信号作为要在噪声降低处理中使用的基准图像信 号提供至减法单元512。将表示从减法单元315输出的图像数据 的信号作为噪声降低目标图像信号输入至减法单元512 。除减法 单元512,还将该噪声降低目标图像信号输入至减法单元513。在O和l帧时间段之间的延迟之后，从帧间噪声降低单元510、 520和530的帧存储器511中读取存储在其中的系数数据， 然后将该系数数据提供至系数改变单元316、326和336中关联的 一个。也就是说，在经过了小于l帧时间段的延迟时间之后(即， 在延迟了小于1帧时间段的时间之后)读取存储在帧存储器的每 个中的系数数据。然后，将所读取的系数数据提供至系数改变 单元316、 326和336中关联的一个。更具体地，以与分别对应于 帧间噪声降低单元510、 520和530的延迟存^f渚器的延迟时间相等 的延迟时间，读取在帧间噪声降低单元510、 520和530的图4和 图5中示出的帧存储器中所存储的系数数据。通过从自减法单元315提供的噪声降低目标图像信号中减 去自帧存储器511提供的基准差分信号，减法单元512生成帧间 差分信号。如上所述，所生成的帧间差分信号包含表示随机生 成的噪声分量、以及由于由拍摄被摄体的运动所引起的水平改 变而生成的差分(称为运动分量)的信息。非线性处理单元514通过,人由减法单元512生成的帧间差分 信号中去除运动分量来仅提取噪声分量。通过从由减法单元315 提供的噪声降低目标图像信号中减去已经由非线性处理单元 514提取的噪声分量，减法单元513生成已经降低了噪声的噪声 降低的高频子图像。减法单元513将已经降低了噪声的所生成的 高频子图像返回写入至帧存储器511中。因此，在应用了帧间噪声降低单元和延迟存储器两者的分 解水平(频带)处，在0和1帧时间段之间的延迟之后读取存储在 帧存储器中的数据。然后，使用所读取的数据作为延迟数据。 因此，在与图5中示出的配置中的单元相比，如下是明显的可 以进行处理，而不用在应用了帧间噪声降低单元和延迟存储器 两者的分解水平处、在分解/重构处理单元中设置延迟存储器。 也就是说，对于由频率分解单元所分解的多个子图像中的每个子图像，在处理单元中仅设置帧存储器和延迟存储器中的一个 就足够。对于 一 个帧存储器，以1帧时间段的周期来更新要存储在该 帧存储器中的系数数据。另一方面，在不同相位中，在以帧时 间段的周期(小于1帧时间段的每个周期内的定时处)的重构中 使用图像数据。每个延迟存储器的延迟量对应于在执行帧间噪 声降低处理处的时刻与在执行重构处理处的时刻之间的相位 差。如上所述，根据本实施例，分解/重构处理单元设置有帧存 储器，该帧存储器可以输出在经过了 1帧时间段的延迟时间之后 以及甚至在经过了小于1帧时间段的延迟时间之后写入至其中 的数据。在对通过多分辨率分析的分解所获得的多个子图像中 的部分或全部进行帧间噪声降低处理的情况下，分解/重构处理 单元仅配置有帧存储器并且存储在帧存储器中数据被在分解水 平处的噪声降低处理和重构处理两者共享。因此，即使在多分 辨率分析处理以外、对构成运动图像的帧的图^f象进行帧间噪声 降低处理的情况下，也可以防止执行该处理所需要的存储器容 量和存储器存取的量增加。在分解的次数为4的情况下所获得的四个高频子图像H1 、 H2、 H3和H4中分别包括的信号在频带以及噪声分量和运动分 量的大小方面互不相同，并且它们之间的比率不同。噪声分量 的大小极大地依赖于图像的信号源(图像传感器)。因此，期望 根据信号源来控制每个频带中噪声降低的度。例如，在非线性 处理单元中要执行的处理是限制器算术运算的情况下，与在每 个分解水平处的噪声降低处理相对应地设置限制水平是有用 的。第二典型实施例根据本发明第二典型实施例的图像处理设备仅使用处理单 元的一个共用序列来顺次执行多个分解、差分图像生成、噪声 降低以及图像重构。因此，可以简化才艮据本发明的图像处理设 备的构成，而实现与本发明第 一 实施例的功能类似的功能。在图像处理单元中设置有专用于必要处理的每个元件的处 理单元的情况下，类似于第一实施例，可以以高速执行必要的 处理。另外，可以简单地控制整个设备。然而，在将图像分解 为高频子图像和低频子图像的每个分解中，低频子图像的垂直 和水平方向的图像大小缩减为一半的大小。因此，低频子图像 的图像数据的量縮减为(1/4)。因此，在处理低频子图像的处理单元中要进行的分解的次数越多，该处理单元的空闲时间(idle time)越长。因此，发生处理单元的浪费。因此，根据第二典型实施例的图像处理单元有效地共享上 述处理中的处理单元的单个序列，并通过处理单元的单个序列 来处理所有原始未分解的图像和合成的子图像。图7示出根据本 发明第二典型实施例的图像处理设备的结构。如图7中所示，根据第二典型实施例的图像处理设备包括用 于执行上述四种处理的处理单元的序列即，缩小图像生成处 理单元701、差分图像生成处理单元703、噪声降低单元705、重 构单元707和主存储器710。在本实施例中，通过将分解处理分 割为降低图像生成处理和差分图像生成处理来实现该处理。缩小图像生成处理单元701包括用于提取图像的低频分量 的低通滤波器711，以及用于基于由低通滤波器711所提取的低 频分量来生成垂直大小和水平大小都缩减为图像的相关大小的 一半的缩小图像的二次采样单元712。差分图像生成处理单元 703包括用于上采样以将子图像放大至原始图像大小的上采样 单元731、用于将图像转换成仅具有低频分量的子图像的插值单元732以及减法单元733。噪声降低单元705包括减法单元751和752、以及用于从帧间 差分信号去除运动分量并提取噪声分量的非线性处理单元753。 重构单元707包括用于基于图像处理设置信息和拍摄条件来对 系数数据进行加权的系数改变单元771、用于对子图像进行上采 样的上采样单元772、用于将图像转换成仅具有低频分量的子图 像的插值单元7 7 3以及加法单元7 7 4 。由处理单元701、 703、 705和707的每个进行的处理与根据 第一典型实施例的处理的不同之处仅在于将分解处理分割为 缩小图像生成处理和差分图像生成处理。因此，要由处理单元 701、 703、 705和707进行的处理类似于根据第一典型实施例的 处理。因此，省略对要由处理单元701、 703、 705和707进行的 处理的说明。在下文，参考图8中示出的时间图来说明根据第二典型实施 例的图像处理设备中的处理过程。图8示出示意性示出根据本发明第二典型实施例的图像处 理设备中的处理过程的时序图。更具体地，图8示出由矩形框指 示的四种处理(缩小图像生成、差分图像生成、噪声降低以及图 像重构)的时序，以及两种延迟数据(噪声降低帧延迟数据和图 像重构延迟数据)的时序。在本实施例中，以示例的方式，在多 分辨率分析中的分解的次数为4。然而，根据本发明的处理和延 迟数据的时序以及分解的次数不限于此。至于四种处理中缩小图像生成处理、差分图像生成处理和 噪声降低处理的帧间关系的说明，图8示出对两帧进行的三种处 理的时序。为了图示方便，在图8中，适当地压缩三个处理的处 理时间的比率。例如，要在第一缩小图像生成和第二缩小图像 生成处处理的数据量之间的比率为4:1。然而，图8示出具有不同于4:1的比率的第一缩小图像生成和第二缩小图像生成。首先，假定已经将要处理的每帧的帧图像存储在主存储器710中。缩小图像生成单元701执行要处理的帧图像的图像缩小处 理4次。缩小图像生成单元701在第一图像大小缩小处理B1中执 行第一缩小图像生成。更具体地，缩小图像生成单元701在第i 次图像大小缩小处理B i中执行第i个缩小图像生成(在这种情况 下，后缀i二l、 2、 3、 4)。在每次图像大小缩小时将表示图像大 小缩小处理的结果的数据存储在主存储器710中。在下一图像大 小缩小或噪声降低中使用存储的数据的情况下，从主存储器710 读取所存储的数据。紧接着第i次图像大小缩小处理B i之后，差分图像生成处理 单元703使用第i次图像大小缩小的结果来执行差分图像生成处 理Si。噪声降低处理单元705使用在差分图像生成处理Si中生成 的差分图像的像素数据来同时执行帧间噪声降低处理Ni。此时， 噪声降低处理单元705从主存储器710读取在紧前帧中通过噪声 降低而获得的图像的像素数据。在帧间噪声降低处理Ni中，噪声降低处理单元705计算在差 分图像生成处理Si中生成的差分图像的像素数据与从主存储器 710读取的像素数据之间的差分。随后，噪声降低处理单元705 从通过计算差分所获得的帧间差分信号中提取噪声分量。然后， 噪声降低处理单元705从由差分图像生成处理Si所生成的差分 图像中减去所提取的噪声分量从而获得已经过帧间噪声降低处 理的图像的像素数据。将所获得的像素数据存储在主存储器710 中，并用于在预定延迟时间之后要进行的图像重构处理中。所 获得的像素数据还用于在经过了 l帧时间段之后要进行的噪声 降低处理中。在图8中示出的例子中，交替重复图像大小缩小处理、差分 图像生成处理以及噪声降低处理，直到完成第四次图像大小缩 小处理为止。如从图8中的时序图可以明显看出，在图像大小缩小处理B1之后是一组差分图像生成处理S1和噪声降低处理N1。 随后，按照后缀"i" (i=l、 2、 3、 4)的顺序交替执行图像大小 缩小处理B i以及 一 组差分图像生成处理S i和噪声降低处理N i 。在完成这种处理(一组处理S4和处理N4)时，将分别与经过 了噪声降低处理的四个高频子图像H1、 H2、 H3和H4以及一个 低频子图像L4相对应的系数数据存储在主存储器710中。接着，使用存储在主存储器710中的、分別与经过了噪声降 低处理的四个高频子图4象H1、 H2、 H3和H4以及一个低频子图 像L4相对应的系数数据来执行与四次分解相对应的图像重构 处理。重构处理单元707对子图像H1、 H2、 H3和H4以及一个低 频子图像L4中图像大小为最小的低频子图像L4进行上采样和 插值。随后，在重构处理R4中，重构处理单元707通过将上采 样和插值的结果与垂直和水平大小均为子图像L4的相关大小 的两倍的高频子图像H4进行相加来重构低频子图像L3，。此时， 基于图像处理设置信息和拍摄条件来加权与高频子图像H4相 对应的系数数据。将与重构后的图像相对应的系数数据 一 次存 储在主存储器710中并在下一重构阶段中使用。随后，在重构处理Rj(后缀j二3、 2、 l)中，重构处理单元707 根据高频子图像Hj和低频子图像Lj来类似地重构低频子图像 L(j-i)，。然后，在完成由重构处理单元707对低频子图像L0，(具 有原始输入图像的图像大小的帧图像)进行重构时，完成1帧的 图像的分解/重构处理。因此，根据第二典型实施例，与第一典型实施例类似，即 使在图像处理设备对构成运动图像的帧图像执行多分辨率分析处理和帧间噪声降低处理的情况下，也可以防止执行该处理所 需要的存储器容量和存储器存取量的增加。另外，通过使用仅 一组处理单元多次顺次进行缩小图像生成处理、差分图像生成 处理、噪声降低处理以及图像重构处理，可以縮小图像处理设 备的构成及图像处理设备的大小。根据第二典型实施例的图像处理设备需要在1帧时间段内 执行上述组的缩小图像处理、差分图像生成处理、和噪声降低 处理以及相关的图像重构处理四次。尽管图像处理设备执行处 理的组四次，在每次图像大小缩小时将要处理的数据量缩校为(1/4)。因此，要处理的数据的总量约为原始输入图像的数据的 量的(4/3)。因此，由于这个原因，由图像处理设备更快地处理 数据是有用的。根据上述第二典型实施例，单独地分派縮小图像生成、差 分图像生成以及噪声降低的处理时间。然而，可以相互并行地 执行縮小图像生成处理、差分图像生成处理以及噪声降低处理。 可选择地，可以如下执行缩小图像生成处理、差分图像生成处 理以及噪声降低处理。首先，执行缩小图像生成处理四次。随 后，执行差分图像生成处理和噪声降低处理组四次。第三典型实施例图9示出根据本发明第三典型实施例的图像处理设备的结 构。根据第三典型实施例的图像处理设备包括第 一 图像处理单 元910和第二图像处理单元920。如上所述，第一图像处理单元910可以对图像进行多分辨率 分析处理和帧间噪声降低处理，从而防止存储器存取量的增加。 例如，如在图6中所示来配置第一图像处理单元910。第二图像 处理单元920用于对图像简单地进行多分辨率分析处理和帧间 噪声降低处理而不增加存储器存取量。例如，如在图10中所示来配置第二图像处理单元920。在第三典型实施例中，根据例如输入运动图像的帧频和要 处理的目标区域的图像大小，图像处理单元在图像处理单元910和920之间选择性地变更。由图像处理单元910和920来适当地处 理从端子901输入的帧图像。从端子902输出对输入帧图像进行 处理的结果。图IO示出图9中示出的第二图像处理单元920的结构的例 子。在图10中，利用相同的附图标记来指示具有与在图1 4中 示出的组件相同的功能的每个组件。因此，不重复对这种组件 的说明。如上所述，除多分辨率分析处理，第二图像处理单元920 还执行帧间噪声降低处理而不降低存储器存取量。利用这种结 构，将根据第三典型实施例的该图像处理单元中的存储器存取 量增加为在根据第 一典型实施例的图像处理设备中的存储器存 取量的两倍，这是由添加帧间噪声降低处理所引起的。然而， 第二图像处理单元920能够实现帧间噪声降低处理的良好控制。图IO中示出的帧间噪声降低单元IOIO、 1020和1030沿时间 方向对由频率分解所获得的多个高频子图像执行平滑以通过利 用帧间的相关性来降低噪声。噪声降低单元1010包括帧存储器 1011、减法单元1012和1013以及非线性处理单元1014。尽管在 图IO中没有示出，以与噪声降低单元1010相同的方式来配置噪 声降低单元1020和1030。噪声降低单元1010中的帧存储器1011、减法单元1012和 1013以及非线性处理单元1014与图5中示出的噪声降低单元610 中的帧存储器611、减法单元612和613以及非线性处理单元614 相对应。除在延迟存储器的后续阶段处设置有噪声降低单元 1010,噪声降低单元1010类似于噪声降低单元610。因此，省略对噪声降低单元1 0 1 0的详细说明。图10中示出的第二图像处理单元1020可以在图像重构时执行帧间噪声降低处理(第一典型实施例需要在频率分解时执行帧间噪声降低处理)。因此，第二图像处理单元1020可以基于要 用于重构的两种的图像的低频子图像来控制高频子图像的帧间 噪声降低处理。一般地，根据对图像数据进行的伽玛处理的结果以及依赖 于图像拍摄/显示装置的非线性处理，在图像的某个水平噪声可 见度高，而在图像的其它水平噪声不可见。在大部分噪声呈现 在高频子图像时，图像的图像水平极大地依赖于低频子图像。 因此，基于低频子图像的水平，利用该特性来控制帧间噪声降 低处理的应用的度。在噪声可见度高的图像水平处将帧间噪声 降低处理的应用的度设置为高。另一方面，在噪声不可见的图 像水平处将帧间噪声降低处理的应用的度设置为低。结果，可 以提高噪声降低处理的视觉效果。用于降低被摄体的X射线曝光剂量的最有效的方法之一是 降低X射线辐射剂量。因此， 一般地，通过根据被摄体的X射线 拍摄目标部分的运动的速度来减小拍摄帧频，来降低每单位时 间的X射线曝光剂量。当拍摄帧频为低时，每单位时间要处理 的图像数据的量小。因此，存储器存取变低。这生成了用于存 储器存取量的余量。因此，在根据第三典型实施例的图像处理设备中，进行下 面的控制操作是有效的。也就是说，在整个图像处理设备的操 作中存在用于存储器存取量的余量时，第二图像处理单元1020 用于执行处理以提高噪声降低处理的效果。另一方面，在帧频 高的情况下，并且在图像处理设备中存在较少用于存储器存取 量的余量的情况下，第一图像处理单元1010用于执行该处理以降低存储器存取量。更具体地，在图9中示出的第二图像处理单元920中，将所生成的高频图像差分数据存储在延迟存储器中。在需要用于重 构处理的图像数据的定时处，从延迟存储器读取图像数据。然 后，对读取的图像数据进行噪声降低处理。随后，将经过噪声 降低处理的图像数据用于重构处理。另外，将经过噪声降低处 理的图像数据存储在帧存储器中以用作为在下 一 帧的图像的噪 声降低处理中的基准图像数据。另一方面，如在图9中所示，在第一图^f象处理单元910中， 仅在生成高频子图像之后，对所生成的高频子图像进行噪声降 低处理。然后，将具有噪声降低处理的高频子图像存储在帧存 储器中。在重构处理需要图像数据的定时处，从帧存储器读取 图像数据以照原样在重构处理中使用。在调整帧频以外一些情况中，才艮据^U聂体的运动或变化来 改变处理目标图像区域的图像大小。在帧频为恒定的情况下， 在本实施例中下面的切换控制操作是有效的。也就是说，在目 标图像区域的图像大小为小的情况下，第二图像处理单元920 用于执行处理。另一方面，在目标图像区域的图像大小为大的 情况下，第一图像处理单元910用于执行该处理。如上所述，才艮据第三典型实施例，基于例如帧频，可以在 第 一图像处理单元1010和第二图像处理单元1020之间切换用于 执行处理的图像处理单元。因此，基于输入运动图像，通过在 尽管存储器的量增加但仍可以实现噪声降低处理的良好控制的 图像处理单元与尽管不能实现噪声降低处理的良好控制但可以 降低存储器访问的量的图像处理单元之间的适当的切换，可以 实现图像处理。图ll示出根据本发明第 一 第三典型实施例的其中之一的图像处理设备的硬件结构的例子的图。如在图1 1中所示，图像处理设备800包括中央处理单元(CPU) 801、只读存储器(ROM) 802以及随机存取存储器(RAM) 803。图像处理设备800还包括操作/输入单元(CONS) 809的控制 器(CONSC) 805以及用于如阴极射线管(CRT)或液晶显示器 (LCD)等用作显示单元的显示装置(DISP)的显示控制器(DISPC) 806。图像处理设备800还包括用于如硬盘(HD) 811和软盘等存 储装置(STD) 812的控制器(DCONT) 807以及网络接口卡(NIC) 808。通过系统总线804来彼此连接这些功能单元801、 802、 803、 805、 806、 807和808。CPU 801通过拭J亍存储在ROM 802或HD 8U中的软件或者 从S T D 812提供的软件来控制连接至系统总线8 0 4的组件单元。 也就是说，CPU 801从ROM 802、 HD 811或者STD 812读取用于 进行上述操作的处理程序并执行所读取的处理程序以执行用于 实现第一~第三典型实施例的其中之一 的上述操作的控制操 作。RAM 803用作为用于CPU 801的主存储器或工作区域。CONSC 805控制来自CONS 809的指令和图像的输入。 DISPC 806控制DISP 810的显示操作。DCONT 807控制到存储 有引导程序、各种应用程序、用户文件、网络管理程序以及处 理程序的HD 811和STD 812的访问。NIC 808与网络813上的其 它单元双向交换数据。例如，用于执行提供至其的处理程序的CPU 801实现分解 单元、噪声降低单元、系数改变单元、重构单元以及读取单元 的功能。RAM 803实现帧延迟单元。尽管由CONS 809将要处理 的运动图像提供至图像处理设备8 0 0,可以通过网络813将运动 图像提供至图像处理设备800。可选择地，可以将运动图像存储 在HD 811和STD 812中并可以从HD 811和STD 812^是供运动图其它典型实施例本发明包括提供到连接至各种装置的系统或设备中的计算机(或CPU或樣史处理单元(MPU))的实现上述典型实施例的功能 的软件程序从而操作各种装置并实现上述典型实施例的功能。 然后，通过使各种装置根据存储在系统或设备中的程序运行来 实现上述典型实施例的功能。在这种情况下，从存储了软件程序的存储介质读取的软件 程序自身实现了上述典型实施例的功能。这种软件程序自身构 成了本发明。用于提供这种软件程序的单元，例如存储了软件 程序的存储介质构成了本发明。例如，可以使用如下作为用于 存储这种程序的存储介质软盘、硬盘、光盘、磁光盘、致密 盘只读存储器(CD-ROM)、磁带、非易失性存储卡和只读存储 器(ROM)。在所提供的程序与操作系统或运行在计算机上的其它应用 软件合作共同实现上述典型实施例的功能的情况下，这种程序 也包括在本发明的典型实施例中。在将所提供的程序存储在插入至计算机的功能扩展板或连 接至计算机的功能扩展单元中所设置的存储器中的情况下，并 且在随后根据来自程序的指令使用设置在功能扩展板或功能扩 展单元上的C P u等进行实际处理的部分或全部以实现上述典型实施例的功能的情况下，这种程序也包括在本发明中。尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1.一种图像处理设备，包括帧间噪声降低单元，其包括帧存储器、用于从当前帧图像信号中减去所述帧存储器的内容以生成第一信号的减法部件(512)、用于非线性转换所述第一信号以生成非线性转换后的第一信号的非线性转换部件、以及用于从所述当前帧图像信号中减去所述非线性转换后的第一信号以生成噪声降低图像信号的减法部件(513)，所述帧间噪声降低单元还用于将所述噪声降低图像信号存储在所述帧存储器中，其特征在于，所述图像处理设备还包括读取部件，所述读取部件用于在所述减法部件(512)已读取所述帧存储器的内容以生成所述第一信号之后并且在将所述噪声降低图像信号存储在所述帧存储器中之前，读取所述帧存储器的内容。
2. 根据权利要求l所述的图像处理设备，其特征在于，还 包括分解部件，用于将帧图像分解成与不同的各频带相对应的 多个图像，其中，所述当前帧图像信号基于如下图像所述图像对应 于与通过利用所述分解部件来分解帧图像所获得的所述多个图 像中的各个图像相对应的所述频带中至少 一 个频带。
3. 根据权利要求2所述的图像处理设备，其特征在于，所 述分解部件将所述帧图像分解成图像大小等于所述帧图像的图 像大小的第 一 高频图像，以及垂直和水平大小均为所述帧图像 的相关大小的一半的第一低频图像，以及其中，所述分解单元递归地将所述第一低频图像分解成图 像大小等于所述第 一 低频图像的图像大小的第二高频图像，以 及垂直和水平大小均为所述第一低频图像的相关大小的一半的 第二低频图像。
4. 根据权利要求l所述的图像处理设备，其特征在于，为 通过利用所述分解部件对所述帧图像进行分解所获得的所述多 个图像中的每个图像设置噪声降低单元和读取部件。
5. —种图像处理方法，包括从当前帧图像信号中减去帧存储器的内容以提供第 一信 非线性转换所述第 一 信号以提供非线性转换后的第 一 信通过从所述当前帧图像信号中减去所述非线性转换后的第 一信号来生成噪声降低图像信号；在已经生成所述第一信号之后并且在将所述噪声降低图像 信号存储在所述存储器中之前，读取所述帧存储器的内容；将所述噪声降低图像信号存储在所述帧存储器中；以及从所述当前帧图像信号中减去所述噪声降低图像信号以生 成图像。
全文摘要
本发明涉及一种图像处理设备和图像处理方法。图像处理设备包括噪声降低单元，用于非线性转换通过从当前帧图像信号的值减去从存储器读取的减法图像信号的值所获得的信号从而通过从当前帧图像信号减去非线性转换后的信号来生成噪声降低信号、并用于将噪声降低信号存储在存储器中；读取单元，用于在将从存储器读取的减法图像信号存储在存储器中的时刻与从存储器读取减法图像信号的时刻之间的时刻处读取来自存储器的减法图像信号；以及生成单元，用于基于由读取单元所读取的减法图像信号来生成图像。
文档编号H04N5/21GK101321235SQ20081011120
公开日2008年12月10日 申请日期2008年6月5日 优先权日2007年6月5日
发明者中山忠义 申请人:佳能株式会社